Мультимедиа в Google: разборы патентов
Детальные разборы патентов Google, связанные с аудио, видео и изображениями
Как Google создает тематические анимированные превью для SERP, анализируя и кластеризируя изображения на странице
Google использует систему для генерации анимированных сниппетов (например, GIF) в результатах поиска. Система анализирует страницу, идентифицирует постоянные изображения (исключая рекламу и иконки), оценивает их расположение и качество, и группирует их по темам. Для одной страницы создается несколько анимированных превью. При получении запроса Google выбирает то превью, которое наиболее релевантно теме запроса, улучшая визуальное представление выдачи.
- US10503803B2
- 2016-11-23
Как Google автоматически сегментирует обучающие видео ("how-to"), анализируя транскрипты и атрибуты задачи
Google использует систему для анализа и структурирования обучающих ("how-to") видео. Система определяет задачу, оценивает качество видео (Confidence Measure), сравнивая его с идеальным шаблоном (Template), и автоматически разбивает лучшее видео на сегменты (шаги, инструменты). Анализ основан на транскрипте видео и поиске переходных индикаторов, что позволяет пользователям переходить к нужным моментам инструкции (Key Moments).
- US9304648B2
- 2013-06-26
Как Google идентифицирует конкретные видео (фильмы, клипы, эпизоды) на веб-страницах, анализируя окружающий текст
Google использует библиографические данные (название, актеры, длина) для поиска и идентификации конкретных видео на веб-страницах. Система анализирует текст, расположенный рядом с видеоплеером («associated text»), и вычисляет «оценку совпадения» (Occurrence Score), чтобы точно понять, какой именно фильм, клип или эпизод представлен на странице.
- US8983945B1
- 2012-01-03
Как Google использует изображения и видео на экране пользователя для уточнения неоднозначных поисковых запросов
Google может анализировать активные нетекстовые данные (изображения или видео), отображаемые на устройстве пользователя в момент ввода запроса. Если запрос неоднозначен (например, содержит местоимения или общие фразы), система извлекает из визуального контента сущности, текст (через OCR) или структурированные данные (QR-коды) и использует их для автоматической модификации запроса, чтобы лучше понять намерение пользователя и предоставить точные результаты или инициировать действия.
- US9830391B1
- 2014-06-24
Как Google использует выделение деталей на изображении для уточнения визуального поиска и комбинирования результатов
Google использует технологию, позволяющую пользователям уточнять визуальные запросы путем произвольного выделения конкретных деталей на изображении (например, обводя или закрашивая элемент). Система интерпретирует это действие для понимания истинного намерения пользователя. Используя визуальные эмбеддинги, система находит результаты, релевантные как выделенному признаку, так и объекту в целом, и предоставляет комбинированную выдачу, сохраняя контекст исходного запроса.
- US12072925B2
- 2022-03-18
Как Google объединяет изображения и текст в мультимодальном поиске для уточнения визуальных запросов
Google использует модель уточнения запросов для мультимодального поиска (например, в Google Lens). Система принимает эмбеддинг исходного изображения и текстовое уточнение от пользователя. Модель генерирует новый, уточненный эмбеддинг изображения, который объединяет визуальные данные с текстовым интентом. Этот новый эмбеддинг используется для поиска релевантных изображений в общем пространстве эмбеддингов, позволяя пользователям итеративно уточнять визуальный поиск текстом.
- US20240370487A1
- 2022-11-04
Как Google использует вероятностное тематическое моделирование для ранжирования видео и медиаконтента с недостатком текста
Google применяет вероятностную модель для улучшения поиска медиаконтента, такого как видео, где текстовых данных мало. Система определяет скрытые темы (Domain Topics) запроса P(T|Q) и находит контент, релевантный этим темам P(R|T). Это позволяет ранжировать видео, даже если оно не содержит ключевых слов из запроса, используя данные о кликах и базы знаний для установления связей.
- US8620951B1
- 2012-06-01
Как Google создает видео-нарезки (Composite Videos) на лету, используя текстовый запрос и анализ аудиодорожек
Google может анализировать аудиодорожки (транскрипты) видео для идентификации конкретных сегментов, где произносятся слова из запроса пользователя. Система автоматически объединяет эти сегменты из разных видео в одно новое сводное видео (Composite Video). Для выбора сегментов используются метрики релевантности, популярности и свежести исходного контента.
- US9672280B2
- 2014-04-10
Как Google комбинирует визуальное сходство и семантические метки для улучшения поиска по картинке (Visual Search)
Google использует систему поиска по изображению, которая сочетает анализ визуальных характеристик и семантических меток. Система генерирует высокоточные метки (High Confidence Labels) для изображения, анализируя текст, связанный с визуально похожими картинками в интернете. Затем она ранжирует кандидатов, используя модель визуального сходства, обученную на основе человеческих оценок, и применяет правила фильтрации для обеспечения однородности результатов.
- US8429173B1
- 2010-04-20
Как Google использует визуальное сходство для определения и уточнения ключевых слов изображений (VisualRank)
Google анализирует визуальные характеристики изображений и строит граф сходства. Релевантные ключевые слова распространяются от размеченных изображений к похожим, но неразмеченным или плохо размеченным изображениям. Это позволяет поисковой системе понять реальное содержание картинки, основываясь на визуальных данных, и отфильтровать шум в метаданных или окружающем тексте.
- US8356035B1
- 2007-04-10
Как Google использует несколько изображений в одном запросе для уточнения визуального поиска через общие атрибуты и проекции эмбеддингов
Google использует механизм поиска, принимающий на вход два или более изображения. Система анализирует их для выявления общих атрибутов (стиль, цвет, тип объекта) и генерирует векторные представления (эмбеддинги). Если изображения вводятся последовательно, система вычисляет «траекторию» интереса пользователя в векторном пространстве и проецирует поиск в этом направлении, чтобы найти результаты, соответствующие эволюционирующему визуальному интенту.
- US12271417B2
- 2023-04-24
Как Google выбирает контекстуально релевантные изображения для блоков с ответами (Featured Snippets и Direct Answers)
Google улучшает блоки с ответами, добавляя релевантные изображения. Система объединяет вопрос и ответ в «контекстуальный запрос» для поиска изображений. Затем эти изображения фильтруются и переранжируются, чтобы гарантировать, что они представляют как тему вопроса, так и контекст ответа, обеспечивая более точное визуальное представление.
- US8819006B1
- 2013-12-31
Как Google автоматически определяет и отображает ключевые моменты (Key Moments) в видео для улучшения навигации
Google использует систему для анализа видеоконтента с помощью текстовых, визуальных и аудиосигналов. Система определяет "ключевые моменты" (salient topics), генерирует для них текстовые метки и интеллектуально выбирает наиболее релевантные стоп-кадры. Эти "временные анкоря" (Video Timed Anchors) позволяют пользователям понять структуру видео и перейти к интересующему сегменту прямо из поиска или плеера.
- US20240046964A1
- 2023-10-17
Как Google контекстуально выбирает изображения и отзывы для локаций на основе атрибутов запроса пользователя
Google использует машинное обучение для анализа изображений и отзывов о местах (например, ресторанах) и связывания их с конкретными атрибутами (например, "есть детское меню", "вид на горы"). При поиске система динамически ранжирует этот контент, отдавая приоритет тем изображениям и отзывам, которые наиболее релевантны атрибутам, указанным в запросе пользователя.
- US10671660B2
- 2017-09-29
Как Google конвертирует визуальные характеристики изображений в текстовые ключевые слова для визуального поиска
Google использует механизм для понимания содержания изображений путем анализа их визуальных характеристик (цвет, текстура, края). Система сопоставляет эти характеристики с текстовыми терминами, используя модели машинного обучения, обученные на истории поиска картинок. Это позволяет Google генерировать релевантные текстовые запросы для любого изображения, что является основой работы визуального поиска (например, Google Lens).
- US8935246B2
- 2012-08-08
Как Google определяет намерение поиска изображений, анализируя контент топовых веб-результатов
Google использует систему для определения того, следует ли показывать блок с изображениями в поисковой выдаче. Вместо анализа только текста запроса, система анализирует характеристики контента (например, плотность изображений, соотношение изображений к тексту) на страницах, которые уже ранжируются в топе. Если эти страницы похожи на контент, который обычно удовлетворяет потребность в изображениях, система активирует показ блока картинок.
- US9195717B2
- 2013-03-13
Как Google объединяет изображение и текст для создания мультимодальных запросов (Google Multisearch)
Google патентует интерфейс для уточнения визуального поиска. Пользователь загружает изображение, видит результаты и специальное поле для ввода текстового уточнения. Система объединяет изображение и текст в единый мультимодальный запрос (Multimodal Search Query), чтобы точнее понять намерение пользователя и предоставить релевантные результаты разных форматов, включая товары, видео и статьи.
- US20240028638A1
- 2022-07-22
Как Google связывает медиаконтент (видео) с Графом Знаний для улучшения поиска и автоматического тегирования
Google использует систему для связи медиаконтента (например, видео на YouTube) со структурированными данными из Базы Знаний (Knowledge Graph). Описывается, как создаются ассоциации между видео и сущностями путем анализа метаданных, что позволяет пользователям искать контент по идентификаторам сущностей и автоматически тегировать медиафайлы, улучшая их обнаруживаемость.
- US9189528B1
- 2013-03-15
Как Google использует визуальное сходство для связывания изображений и видео, кластеризации выдачи и обогащения метаданных
Google анализирует визуальное содержимое изображений и ключевых кадров видео для выявления сходств. Это позволяет связывать разнотипный контент, даже если у него мало текстовых данных. Система использует эти связи для переноса метаданных (например, ключевых слов или геопозиции) от одного ресурса к другому, а также для кластеризации и смешивания изображений и видео в результатах поиска.
- US9652462B2
- 2011-04-29
Как Google связывает изображения с семантическими сущностями для устранения неоднозначности в поиске по картинкам
Google использует систему для понимания того, что именно изображено на картинке, связывая её с конкретной семантической сущностью (например, статьей в Wikipedia или Freebase). Это позволяет устранить неоднозначность (понимать разницу между «Ягуаром» машиной и животным) и предоставлять более точные результаты при поиске по изображению (например, в Google Lens).
- US9171018B2
- 2013-01-16
Как Google использует консенсус между сайтами для валидации ключевых слов и ранжирования изображений и видео
Google агрегирует описания (метки) изображения или видео со всех сайтов, где этот контент размещен. Чтобы метка была принята как надежная («Final Label») и использовалась для ранжирования, она должна подтверждаться несколькими независимыми группами источников (консенсус). Этот механизм двойной группировки (по домену и по смыслу) снижает влияние спама и значительно повышает релевантность поиска медиаконтента.
- US8275771B1
- 2010-06-07
Как Google заложил основу визуального поиска (Google Lens), превращая изображения с камеры в поисковые запросы
Google разработал систему, позволяющую использовать изображения с мобильных устройств в качестве поисковых запросов. Система распознает объекты на изображении (продукты, здания, текст, лица), преобразует их в символьное описание (текстовый запрос) и использует его для поиска релевантной информации в стандартной поисковой системе.
- US8421872B2
- 2004-02-20
Как Google использует мультимодальные модели и парсинг диаграмм для понимания визуальных запросов и решения задач по фото
Google использует передовые методы для интерпретации изображений, содержащих диаграммы (например, задачи по геометрии, физике, химии). Система преобразует визуальную информацию либо в формальное языковое представление, либо в мультимодальный эмбеддинг для генерации текстового запроса. Это позволяет пользователям получать решения, пошаговые инструкции и похожие задачи, просто загрузив фотографию диаграммы.
- US20240152546A1
- 2023-11-06
Как Google определяет интент и позицию вертикальных результатов (например, картинок) для длиннохвостых (long-tail) запросов
Google использует механизм для определения интента пользователя по редким или новым (long-tail) запросам, когда исторические данные отсутствуют. Система эффективно "прощупывает" вертикальные индексы (например, картинки), чтобы решить, стоит ли проводить полный поиск. Для определения позиции блока с результатами используется "предполагаемый интент", унаследованный от характеристик найденных веб-страниц и сайтов, а не от истории самого запроса.
- US9183312B2
- 2013-03-12
Как Google выбирает, синтезирует и озвучивает прямые ответы для голосового поиска с учетом контекста пользователя
Google обрабатывает голосовые запросы, идентифицируя стандартный результат (ссылка и сниппет) и одновременно находя или синтезируя прямой ответ в форме законченного предложения. Этот ответ адаптируется под контекст пользователя (например, местоположение), конвертируется в аудиоформат и озвучивается вместе с отображением визуальной выдачи.
- US20170235827A1
- 2013-06-20
Как Google агрегирует и ранжирует пользовательские метки для идентификации объектов в Визуальном поиске (Google Lens)
Google использует этот механизм для повышения точности идентификации объектов при поиске по изображению. Система находит множество визуально похожих изображений, загруженных пользователями (UGC), и анализирует их текстовые метки. Метки группируются по смыслу, а затем эти группы ранжируются на основе совокупной визуальной релевантности. Это позволяет определить наиболее вероятное название объекта, опираясь на коллективное мнение.
- US9424279B2
- 2013-03-08
Как Google переносит визуальную релевантность между похожими запросами в поиске по картинкам
Патент Google описывает механизм для улучшения ранжирования в поиске по картинкам. Если для конкретного запроса нет обученной модели визуальной релевантности, система использует модель от похожего запроса. Оценка релевантности (Boost) корректируется с помощью "дробного множителя" (Fractional Adjustment Multiplier), который уменьшает влияние модели пропорционально степени различия между запросами.
- US9152700B2
- 2012-01-13
Как Google использует обобщенные запросы для проверки визуального соответствия в Поиске по Картинкам
Google использует этот механизм для повышения точности поиска изображений, когда запрос содержит визуальные ограничения (например, ракурс или контекст). Система генерирует более общий запрос (например, «автомобиль вид сбоку» вместо «Subaru вид сбоку»), чтобы понять, как выглядит это ограничение в данной категории. Затем эти знания используются для фильтрации или переранжирования результатов исходного запроса, отдавая предпочтение изображениям, которые визуально соответствуют намерению пользователя.
- US8751530B1
- 2012-08-02
Как Google определяет текстовое описание изображения для визуального поиска, анализируя похожие картинки и связанные с ними запросы
Google использует систему визуального поиска, которая позволяет пользователям отправлять изображение в качестве запроса. Для этого система создает индекс визуальных признаков и анализирует метаданные (запросы, по которым кликали на картинку, и текст на ссылающихся страницах). При получении изображения система находит визуально похожие картинки в индексе, анализирует связанные с ними текстовые фразы (n-граммы) и выбирает наилучшее описание. Затем выполняется стандартный поиск по этому текстовому описанию.
- US8761512B1
- 2010-12-03
Как Google использует Vision-Language и Генеративные модели для анализа ключевых кадров видео и ответов на вопросы пользователей
Google разработал систему для эффективного понимания содержания видео. Вместо анализа каждого кадра система выбирает ключевые кадры и использует Vision-Language Model для создания их текстового описания. Когда пользователь задает вопрос о видео, система объединяет запрос с этими описаниями и использует генеративную модель (LLM) для формирования точного ответа в реальном времени.
- US20250190488A1
- 2023-12-11