Мультимедиа

Google использует механизм для обнаружения медиаконтента (например, видео на YouTube), который обходит стандартные системы контент-анализа (Content ID). Система анализирует историю поисковых запросов, которые приводили пользователей к уже удаленному (пиратскому) контенту. …
Патент Google, описывающий интерфейс для просмотра рекомендаций видео. Система отображает центральное видео и связанные с ним ролики, расположенные вокруг него. Расстояние между видео зависит от их "оценки рекомендации", основанной на …
Google использует гибридную языковую модель для повышения точности распознавания речи (ASR). Система запоминает наиболее частые полные запросы и их точную вероятность на основе истории поиска (Компонент 1). Для редких или …
Google разработал метод поиска, позволяющий пользователям объединять отображаемые объекты (например, изображения людей или продуктов) с помощью жеста, такого как перетаскивание. Система идентифицирует сущности, стоящие за этими объектами, находит их общие …
Патент Google, описывающий технологию для видеоплатформ (например, YouTube), которая позволяет автоматически распознавать объекты в видео (товары, лица) и делать их кликабельными. Авторы или рекламодатели могут привязывать к этим объектам теги …
Патент описывает, как Google автоматически анализирует контент (на примере email), используя правила на основе синтаксиса и содержания. Система распознает сущности (номера телефонов, адреса), объекты на изображениях (Object Recognition) и текст …
Патент Google описывает систему поиска похожих изображений, основанную на эмбеддингах. Система проецирует изображения в многомерное пространство признаков, учитывая как визуальное сходство (внешний вид), так и семантическое сходство (контекстный смысл и …
Google использует данные с датчиков мобильного устройства (камера, микрофон, GPS) для понимания неоднозначных запросов пользователя, таких как «Что я вижу?» или «Что это за песня?». Система распознает объекты или звуки …
Google может обрабатывать мультимодальные запросы, состоящие из изображения и аудио (речи). Система использует речь для понимания намерений пользователя: определения конкретного объекта интереса на картинке, его местоположения (локализации) или желаемых характеристик …
Google анализирует, в каких корпусах (Веб, Картинки, Новости и т.д.) пользователи чаще ищут и кликают результаты по конкретному запросу. Система рассчитывает показатель относительной релевантности между корпусами и использует его для …
Патент описывает систему автоматического определения местоположения мобильного устройства в момент создания визуального контента (фото, видео). Система сопоставляет эти геоданные с базой точек интереса (POI), предлагает пользователю «подсказки» для подтверждения места …
Google сканирует веб-сайты в поисках метаданных, связывающих «цифровые дополнения» (AR-опыт, 3D-модели, действия) с реальными объектами. При визуальном поиске система ранжирует эти дополнения, учитывая не только релевантность и авторитетность источника (Prestige …
Google использует технологию визуального поиска для идентификации исходного (канонического) документа по изображению (например, фотографии страницы). Система анализирует не только распознанный текст (OCR), но и структурную информацию (верстку, шрифты, расположение), чтобы …
Патент описывает инфраструктуру визуального поиска Google. Система сканирует веб-ресурсы для обнаружения метаданных о "цифровых дополнениях" (интерактивный контент, AR, действия) и индексирует их, привязывая к объектам реального мира ("анкорям"). При визуальном …
Google использует двухэтапный процесс для автоматического создания базы данных достопримечательностей из больших коллекций изображений. Сначала изображения группируются по географической близости (гео-кластеризация), а затем внутри этих групп они кластеризуются по визуальному …
Google может анализировать фоновый звук, записанный устройством до или после голосового запроса. Система идентифицирует аудио (например, песню или телепередачу), извлекает связанные сущности и термины из Графа Знаний и использует этот …
Google использует данные окружающей среды (фоновый звук, изображения), полученные с мобильного устройства одновременно с голосовым запросом, чтобы понять контекст. Если пользователь спрашивает "Кто режиссер этого шоу?", система идентифицирует шоу по …
Система Google для автоматической контекстуализации запросов во время просмотра мультимедиа. Google индексирует сущности (людей, объекты) и точное время их появления в контенте. Когда пользователь задает расплывчатый вопрос (например, «Кто это?»), …
Google разработал систему для индексации и поиска 3D-моделей. Система может автоматически аннотировать части объектов (например, определять «объектив» на камере), изучая их форму и расположение. Это позволяет искать 3D-объекты, используя изображения …
Google использует автоматический анализ изображений (например, Street View и фото пользователей) для создания Геосемантического индекса. Этот индекс каталогизирует физические особенности мест (скамейки, деревья, игровые площадки) и связывает их с активностями …