Мультимедиа в Google: разборы патентов
Детальные разборы патентов Google, связанные с аудио, видео и изображениями
Как Google автоматически генерирует поисковые запросы на основе аудиоконтекста медиа (ТВ, радио, реклама)
Google использует технологию для автоматизации поиска на основе медиаконтента, потребляемого пользователем. Система записывает аудиосэмпл с устройства пользователя (например, звук телевизора), идентифицирует контент (шоу или рекламу) с помощью аудиофингерпринтинга и извлекает связанную метаинформацию (субтитры, EPG, текст из видео). На основе этих данных автоматически формируется и выполняется поисковый запрос, предоставляя пользователю релевантные результаты без ручного ввода ключевых слов.
- US8694533B2
- 2010-05-19
Как Google организует результаты поиска по картинкам в масштабируемый интерфейс с помощью кластеризации по сходству
Google использует систему для визуализации результатов поиска по картинкам. Изображения группируются на основе визуального и семантического сходства и размещаются в двумерной сетке. При уменьшении масштаба система показывает меньше изображений, выбирая одно репрезентативное для каждого кластера. При увеличении масштаба отображается больше детализированных результатов внутри кластера. Это позволяет пользователям эффективно просматривать большие наборы изображений.
- US20150170333A1
- 2011-09-15
Как Google использует аудиовизуальный контекст (то, что пользователь смотрит в данный момент) для уточнения поисковых запросов
Google использует технологию для понимания запросов о медиаконтенте, который воспроизводится в данный момент (например, "Кто этот актер?"). Система идентифицирует программу и точный момент с помощью аудио/видео отпечатков, определяет, какие сущности (актеры, объекты) сейчас на экране, и использует эту информацию как контекст для точного ответа на запрос пользователя.
- US10002191B2
- 2014-02-26
Как Google позволяет пользователям переключаться между ключевыми моментами (Хуками) в VOD-контенте на основе анализа видео и внешних сигналов
Google разработал систему для улучшения навигации по VOD-контенту (Video-on-Demand). Вместо просмотра видео с начала, пользователи могут искать конкретные типы сцен («хуки»). Система идентифицирует эти моменты, используя анализ видео (Video Image Recognition) и внешние сигналы (например, популярность клипов в соцсетях), и позволяет переключаться между разными видео, начиная просмотр сразу с этих ключевых сцен (time-shifting).
- US20180302680A1
- 2016-12-16
Как Google автоматически генерирует и выполняет поисковые запросы на основе того, что пользователь смотрит или слушает
Google патентует систему проактивного поиска для "второго экрана". Анализируя исторические данные, система определяет, что пользователи ищут во время просмотра контента (фильма, матча). Когда новый пользователь смотрит этот контент, система распознает его (например, по звуку) и автоматически выполняет релевантные запросы в нужный момент, показывая свежие результаты без ручного ввода.
- US10545954B2
- 2017-03-15
Как Google использует камеру и микрофон для понимания неоднозначных голосовых запросов (типа "что это?")
Google использует механизм мультимодального поиска, объединяющий данные с камеры и микрофона устройства. Если пользователь задает неоднозначный голосовой запрос (например, "Сколько это стоит?"), система распознает объект в поле зрения камеры и использует его название для уточнения запроса (например, "Сколько стоит [Распознанный Объект]?"), обеспечивая точный ответ.
- US20150088923A1
- 2013-09-23
Как Google в реальном времени перестраивает поисковые подсказки (Autocomplete) на основе прямых эфиров и трансляций
Google отслеживает прямые эфиры (ТВ, радио, стримы) и извлекает из них ключевые темы и сущности. Система использует эту информацию для повышения в реальном времени релевантных поисковых подсказок (Autocomplete), адаптируя их под текущие события. Это также помогает валидировать всплески поискового интереса (query spikes).
- US20150149482A1
- 2013-03-14
Как Google синхронизирует онлайн-новости с телевизионным эфиром, используя кластеризацию статей, TF-IDF и анализ субтитров
Патент описывает технологию Google для "второго экрана", которая идентифицирует просматриваемую телепередачу и в реальном времени находит соответствующие ей онлайн-новости. Система агрегирует новостные статьи, кластеризует их по темам, извлекает ключевые слова (используя TF-IDF) и сопоставляет их с потоком субтитров телеканала. Это демонстрирует механизмы Google по обработке, кластеризации и ранжированию новостного контента по свежести и популярности.
- US9544650B1
- 2013-12-11
Как Google использует анализ видео и аудио для построения графов зависимостей между эпизодами сериализованного контента
Google анализирует медиаконтент (например, эпизоды сериалов или обучающих курсов), чтобы автоматически понять, какие эпизоды связаны между собой. Изучая фрагменты повторов, транскрипты и визуальные элементы (включая распознавание лиц), система строит «Граф Зависимостей». Это позволяет рекомендовать пользователям необходимые для понимания предыдущие эпизоды, улучшая организацию и потребление сериализованного контента.
- US9558407B1
- 2014-12-16
Как Google выбирает главное (репрезентативное) изображение страницы для показа в результатах поиска
Google использует систему для автоматического выбора наилучшего изображения, представляющего содержание статьи или веб-страницы. Система анализирует все изображения на странице, оценивая их характеристики (размер, формат, расположение, контекст) и присваивая им оценку (Image Data Score). Цель – отличить содержательные фотографии от элементов дизайна или иконок. Изображение с наивысшей оценкой выбирается в качестве репрезентативного для показа в SERP, Новостях или Discover.
- US7580568B1
- 2004-03-31
Как Google итеративно генерирует запросы из метаданных контента для поиска "Похожих Видео" (на примере YouTube)
Google (в частности, YouTube, упомянутый в патенте) использует итеративный процесс для генерации списков связанного контента. Система анализирует метаданные (заголовок, описание, теги) просматриваемого элемента и создает упорядоченный список ключевых слов. Затем она формирует внутренний поисковый запрос и автоматически уточняет его — сужая добавлением слов или расширяя удалением слов — пока не будет найдено оптимальное количество похожих результатов.
- US8078632B1
- 2008-02-15
Как Google показывает недавно просмотренные изображения в результатах поиска по схожим запросам
Google может персонализировать выдачу поиска по картинкам, показывая изображения, которые пользователь недавно выбирал (кликал). Это происходит, если текущий запрос пользователя признан похожим на предыдущий. Недавно просмотренные результаты отображаются в отдельном блоке для улучшения пользовательского опыта.
- US20150169708A1
- 2014-04-10
Как Google использует компьютерное зрение для анализа, сегментации и визуального поиска товаров в E-commerce
Патент описывает комплексную систему Google для визуального поиска товаров. Система автоматически обрабатывает изображения: отделяет объект от фона (сегментация), выравнивает его, извлекает визуальные признаки (цвет, форма, текстура) и создает цифровые подписи (векторы). Это позволяет пользователям искать похожие товары, используя изображение в качестве запроса (CBIR), уточнять поиск по визуальным характеристикам и находить товары на сторонних сайтах.
- US8732030B2
- 2012-02-16
Как Google News использует расширяемые блоки (Story Clusters) для агрегации разнообразного контента по одной теме
Патент Google описывает интерфейс для агрегации контента (например, Google News). Система группирует связанные документы в кластеры и представляет их в виде сворачиваемых блоков. В развернутом виде блок показывает разнообразные типы контента (статьи, видео, мнения, контекст) из разных источников, помогая пользователю всесторонне изучить тему.
- US9678618B1
- 2012-05-31
Как Google использует визуальный поиск и GPS для уточнения местоположения пользователя и показа гиперлокальных результатов (Visual Positioning System)
Google использует механизм, который объединяет изображение с камеры (визуальный запрос) и приблизительные данные GPS для точного определения местоположения и ориентации пользователя. Сопоставляя изображение с базой геопривязанных изображений (например, Street View), система вычисляет точные координаты (Enhanced Location) и направление взгляда (Pose). Эти уточненные данные используются для показа релевантных локальных бизнес-листингов, находящихся в поле зрения пользователя.
- US9852156B2
- 2010-08-12
Как Google использует текст внутри изображений (например, Street View) для индексации и ранжирования в локальном и имиджевом поиске
Google извлекает текст непосредственно из изображений (например, названия улиц, вывески бизнесов в Street View), используя передовые методы OCR и улучшения качества (Superresolution). Этот текст ассоциируется с точными географическими координатами (GPS). Это позволяет Google индексировать информацию из реального мира и использовать её для ответа на локальные поисковые запросы и повышения релевантности поиска по картинкам.
- US8098934B2
- 2006-06-29
Как Google индексирует и ранжирует контент дополненной реальности и цифровые дополнения для визуального поиска (Google Lens)
Google создал систему для индексации и ранжирования цифровых дополнений (например, AR-контента, купонов, приложений), связанных с реальными объектами. Система сканирует веб-страницы в поисках метаданных, которые связывают эти дополнения с визуальными анкорями (продуктами, изображениями, местами). При визуальном поиске Google ранжирует эти дополнения, используя сигналы престижа (аналог PageRank) и релевантности, чтобы предоставить пользователю наиболее полезный интерактивный опыт.
- US10878037B2
- 2018-06-21
Как Google планирует использовать аудио-отпечатки для поиска по голосовым запросам без распознавания речи (ASR)
Google разрабатывает технологию для голосового поиска, которая не требует транскрибации речи в текст (ASR). Система создает компактный аудио-отпечаток (фонетический сигнал) из голоса пользователя и напрямую сопоставляет его с токенами документов в общем векторном пространстве. Это позволяет находить релевантные результаты быстрее, эффективнее и с сохранением конфиденциальности пользователя.
- US20250069593A1
- 2023-08-22
Как Google выбирает изображения с сайта компании для показа в ее бизнес-профиле (Local Pack, Knowledge Panel)
Google использует автоматизированную систему для выбора наиболее репрезентативных изображений бизнеса с его официального сайта. Система предпочитает локальные сайты филиалов, а не общие сайты сетей. Она анализирует структуру сайта для поиска разделов с изображениями, а затем оценивает сами изображения, отдавая предпочтение реальным цветным фотографиям высокого разрешения и отфильтровывая графику, баннеры и нежелательный контент.
- US9645981B1
- 2013-01-18
Как Google использует компактные дескрипторы и пространственное кодирование для выявления и удаления почти дубликатов изображений из поиска
Google использует систему для эффективного обнаружения изображений-почти дубликатов (измененный размер, обрезка, сжатие). Система анализирует локальные особенности контента ("визуальные слова") и их точное пространственное расположение ("тайлы"), чтобы создать компактные дескрипторы. Сравнивая эти дескрипторы, Google быстро идентифицирует и удаляет дубликаты из результатов поиска для повышения разнообразия выдачи.
- US9063954B2
- 2013-03-15
Как Google использует машинное обучение для ранжирования в Поиске по Картинкам, динамически взвешивая сигналы изображения и посадочной страницы
Google использует модель машинного обучения для ранжирования изображений, которая совместно обрабатывает признаки запроса, самого изображения и посадочной страницы, на которой оно размещено. Это позволяет системе динамически определять важность визуальных характеристик изображения и контекста страницы в зависимости от конкретного запроса, улучшая релевантность выдачи.
- US20200201915A1
- 2019-01-31
Как Google использует механизм внимания для выбора ключевых визуальных элементов на изображениях для улучшения поиска по картинкам
Google использует модель глубокого обучения для анализа изображений, которая не только извлекает визуальные признаки (дескрипторы), но и оценивает их важность с помощью механизма внимания. Это позволяет системе фокусироваться на самых значимых элементах (например, объектах или ориентирах) и игнорировать визуальный шум, повышая точность и эффективность поиска похожих изображений.
- US10402448B2
- 2017-06-28
Как Google разбирает визуальные запросы, отправляя их одновременно в несколько специализированных поисковых систем (OCR, распознавание лиц, объектов)
Google использует архитектуру для обработки визуальных запросов (изображений), которая одновременно отправляет изображение в несколько параллельных поисковых систем (распознавание текста, лиц, объектов, штрихкодов). Система агрегирует результаты, часто создавая интерактивный документ, где разные части изображения связаны с соответствующими результатами поиска, и использует обратную связь для обучения.
- US9135277B2
- 2010-08-04
Как Google разбирает изображения на части для визуального поиска товаров (e.g., Google Lens)
Система Google для визуального поиска товаров, которая анализирует изображения, извлекая глобальные и локальные признаки (цвет, форма, текстура). Патент описывает, как это позволяет пользователям искать похожие товары, выделяя конкретные части объекта (например, узор на сумке или форму каблука), используя технологию, лежащую в основе Google Lens.
- US9008435B2
- 2012-09-14
Как Google использует структурные шаблоны сайта для идентификации «Визуальных Конечных Страниц» (Visual Leaf Pages) и повышает их в поиске по картинкам
Google анализирует структуру сайтов для автоматического определения «Visual Leaf Pages» (например, карточек товаров или рецептов), где изображение является основным контентом. Система находит «Hub Pages» (например, категории), которые ссылаются на них, и выявляет общие структурные признаки (шаблоны верстки, URL). Эти шаблоны используются для классификации страниц и повышения их ранжирования в поиске по картинкам для соответствующих запросов.
- US11086961B2
- 2017-04-05
Как Google определяет «идеальное изображение» (Canonical View) объектов для улучшения точности визуального поиска
Google анализирует массивы изображений, чтобы определить стандартный способ фотографирования объекта (например, обуви) — так называемый «Canonical View». Затем система создает шаблоны (оверлеи) на основе этих видов, чтобы помочь пользователям делать снимки для визуального поиска (например, Google Lens). Это гарантирует, что поисковая система получит четкие входные данные, и помогает SEO-специалистам понять, как оптимизировать свои изображения для лучшего распознавания.
- US9087269B2
- 2012-10-24
Как Google индексирует, ищет и отображает интерактивные 3D-модели в результатах поиска
Google разработал систему для индексации и поиска 3D-моделей. Система может автоматически аннотировать части объектов (например, определять «объектив» на камере), изучая их форму и расположение. Это позволяет искать 3D-объекты, используя изображения или другие 3D-модели в качестве запроса. Результаты поиска включают интерактивные 3D-модели, которые можно вращать прямо в выдаче (moveable inline).
- US9916345B1
- 2015-02-11
Как Google рассчитывает оценку качества и количества видео на домене (Domain Video Score) для приоритизации индексирования и ранжирования
Google использует систему для оценки доменов, размещающих видеоконтент, рассчитывая метрику Domain Video Score. Эта оценка учитывает как количество видео на сайте (известных и прогнозируемых), так и их качество (на основе метрик вовлеченности, таких как Long Clicks). Этот балл используется для определения приоритета индексирования видео и служит сигналом ранжирования, особенно для нового контента.
- US8407207B1
- 2011-05-12
Как Google автоматически выбирает лучший сегмент видео для создания анимированной превью-миниатюры
Google использует систему для автоматической генерации движущихся миниатюр (анимированных превью). Система анализирует видео покадрово, оценивая визуальное качество, наличие лиц и движение. Затем она использует метод «скользящего окна» для оценки целых сегментов и выбирает наиболее качественный и информативный фрагмент. Этот фрагмент может быть дополнительно скорректирован по границам сцен и скорости воспроизведения для повышения вовлеченности пользователей (CTR).
- US10347294B2
- 2016-06-30
Как Google повышает ранжирование каналов на основе позиций их контента в результатах поиска
Google использует механизм для улучшения видимости «Каналов» (например, каналов YouTube) в поиске на контент-платформах. Система гарантирует присутствие определенного числа каналов в выдаче, а затем агрессивно повышает ранжирование канала, если его отдельные единицы контента (например, видео) уже занимают высокие позиции по данному запросу. Это достигается путем расчета совокупной оценки канала на основе позиций его контента.
- US9348922B2
- 2013-05-17