Мультимедиа

Google использует систему компьютерного зрения для определения основного предмета на изображении, содержащем несколько объектов. Система ранжирует распознанные объекты, отдавая предпочтение тем, которые крупнее по размеру, расположены ближе к центру кадра …
Патент описывает технологию Google для "второго экрана", которая идентифицирует просматриваемую телепередачу и в реальном времени находит соответствующие ей онлайн-новости. Система агрегирует новостные статьи, кластеризует их по темам, извлекает ключевые слова …
Google использует систему для визуального поиска похожих товаров. Система обнаруживает лицо на изображении, удаляет фон и участки кожи, чтобы изолировать предмет одежды. Затем, используя размер лица для нормализации масштаба, извлекаются …
Google идентифицирует известные сущности (например, знаменитостей) из поисковых логов и веб-документов. Система извлекает изображения, уже связанные с ними (например, через метаданные), и использует распознавание лиц для поиска наиболее репрезентативного лица. …
Google использует систему машинного обучения для автоматического определения ключевых моментов (Highlights) в видео. Система анализирует низкоуровневые признаки (цвет, движение, звук) для выявления повторяющихся паттернов (событий). На основе частоты и последовательности …
Google патентует систему для сбора и анализа окружающих звуков (музыка, шум) через микрофоны пользовательских устройств. Эта информация используется для определения акустической атмосферы (например, "тихо", "шумно", жанр музыки) конкретных заведений. Эти …
Google использует масштабируемую систему для борьбы с дублированным и частично дублированным медиаконтентом (видео, аудио). Вместо сравнения всех файлов между собой, система создает компактные «репрезентативные наборы» для каждого элемента, используя фингерпринтинг …
Google использует систему автоматического распознавания контента (ACR) для идентификации медиа (ТВ-шоу, реклама, стриминг), которое потребляет пользователь. Система не просто определяет название, но извлекает контекст в реальном времени (субтитры, EPG, анализ …
Google использует метод кросс-модального переноса для автоматического создания текстовых описаний (captioning) для видео и аудио. Система находит видеокадры, визуально похожие на уже размеченные изображения из существующих датасетов, и переносит качественные …
Google улучшает поиск изображений по редким (long-tail) запросам, когда данных о кликах недостаточно. Система анализирует визуальные характеристики топовых и нижних результатов исходной выдачи, чтобы создать «визуальную подпись» запроса. Затем все …
Google использует систему для управления ранжированием медиаконтента, защищенного авторским правом. Система идентифицирует оригинальную (авторитетную) версию контента и активно продвигает ее в результатах поиска выше, чем пользовательские копии, даже если эти …
Google использует систему для эффективного обнаружения изображений-почти дубликатов (измененный размер, обрезка, сжатие). Система анализирует локальные особенности контента ("визуальные слова") и их точное пространственное расположение ("тайлы"), чтобы создать компактные дескрипторы. Сравнивая …
Google использует низкоуровневые технические параметры кодирования видео для эффективного анализа контента. Система автоматически определяет смену сцен, анализируя расположение ключевых кадров (I-frames), которые вставляются при значительном изменении изображения, и отфильтровывает технические …
Google использует двухэтапный процесс машинного обучения для создания моделей визуального сходства. Сначала модель обучается на неразмеченных данных, анализируя расстояния между векторами признаков, извлеченных нейронными сетями (автоэнкодерами). Затем модель уточняется с …
Патент Google описывает фундаментальные технологии компьютерного зрения для точного распознавания объектов. Система использует вероятностные модели для Регистрации — точного определения ключевых точек объекта, даже если он повернут или частично скрыт. …
Google использует архитектуру для обработки медиазапросов (фильмы, сериалы). Система определяет, что запрос связан с медиа, и одновременно отправляет запросы в разные корпусы данных (структурированные данные, веб-индекс, картинки, расписания). Затем результаты …
Google использует систему для генерации анимированных сниппетов (например, GIF) в результатах поиска. Система анализирует страницу, идентифицирует постоянные изображения (исключая рекламу и иконки), оценивает их расположение и качество, и группирует их …
Google использует метод сбора данных о предпочтениях пользователей в формате игры. Пользователям показывают пары изображений, представляющих разные группы мест (например, ресторанов). Выбирая предпочтительное изображение, пользователь итеративно сужает список кандидатов. Собранные …
Патент Google раскрывает продвинутую систему поиска похожих изображений. Используя гибкую архитектуру (Fetchers, Scorers, Poolers), система оценивает подобие по множеству признаков, а не только по визуальному совпадению. Она интегрирует мультимодальные данные …
Google разработал систему для улучшения навигации по VOD-контенту (Video-on-Demand). Вместо просмотра видео с начала, пользователи могут искать конкретные типы сцен («хуки»). Система идентифицирует эти моменты, используя анализ видео (Video Image …