Мультимедиа в Google: разборы патентов
Детальные разборы патентов Google, связанные с аудио, видео и изображениями
Как Google комбинирует визуальные признаки и распознанный текст (OCR) внутри изображения для улучшения визуального поиска
Google использует технологию мультимодального поиска, которая анализирует как визуальные характеристики захваченного изображения (например, с камеры телефона), так и текст, распознанный внутри него (OCR). Комбинация этих двух типов данных позволяет точнее идентифицировать электронный оригинал изображения, что критически важно для работы систем визуального поиска (например, Google Lens).
- US9323784B2
- 2010-12-09
Как Google использует OCR и канонические документы для улучшения результатов визуального поиска
Google использует технологию визуального поиска для идентификации текста в изображениях (визуальных запросах). Система оценивает качество распознанного текста (OCR), находит соответствующие строки в своей базе канонических документов (например, веб-страниц или книг) и генерирует комбинированный результат. Этот результат может накладывать чистый текст или изображение из канонического источника поверх исходного визуального запроса, создавая «исправленную» версию изображения.
- US9176986B2
- 2011-12-01
Как Google использует распознавание сущностей в тексте (например, в email) для отображения персонализированного медиаконтента и социальных действий
Google анализирует текст (например, электронные письма) для идентификации медиа-сущностей (фильмов, книг, музыки). Система автоматически отображает связанный контент, ссылки для покупки и персонализированную информацию, включая активность социальных связей пользователя. Это демонстрирует возможности Google в извлечении сущностей из неструктурированного текста и их связи с действиями и социальным графом.
- US9430447B1
- 2013-05-20
Как Google объединяет изображение с камеры и одновременный аудиовход (речь и звуки) для выполнения сложных мультимодальных поисковых запросов
Система мультимодального поиска Google, которая одновременно обрабатывает визуальные данные с камеры и аудиоданные с микрофона. Система извлекает визуальные признаки, транскрибирует речь и анализирует звуковые сигнатуры. Это позволяет пользователям задавать контекстные вопросы об объектах в кадре (например, «[Фото платья] + Найди такое же синее») или диагностировать проблемы по звуку и изображению (например, шум неисправного прибора), получая релевантные результаты из веб-поиска, поиска по картинкам или от генеративных моделей.
- US12346386B2
- 2023-04-25
Как Google интеллектуально уточняет запросы из изображений, предсказывая намерения пользователя и исправляя ошибки OCR
Google совершенствует визуальный поиск (например, Google Lens), анализируя текст на изображениях (OCR) и предсказывая задачу пользователя (например, перевод, покупка). Если результаты поиска по исходному тексту не решают эту задачу, система автоматически корректирует ошибки распознавания и генерирует уточненный запрос, используя данные о завершенных поисковых сессиях (Query Completion).
- US20250217412A1
- 2023-12-28
Как Google использует контент на экране пользователя для понимания и переписывания неоднозначных запросов
Google использует механизм для понимания неоднозначных запросов (например, «Что это?»), анализируя то, что пользователь видит на экране своего устройства. Система определяет основное изображение, распознает объекты на нем и анализирует окружающий текст. Затем, используя эту информацию и историю поиска пользователя, она переписывает исходный запрос в конкретный поисковый запрос.
- US10565256B2
- 2017-03-20
Как Google объединяет текстовые описания с разных сайтов для улучшения поиска по картинкам
Google улучшает поиск по картинкам, находя дубликаты или похожие изображения на разных сайтах. Система собирает все текстовые метки (из alt-текста, заголовков, окружающего текста), связанные с каждой копией изображения, объединяет их в единый набор и присваивает его всем копиям. Это позволяет находить изображение по любому из описаний, использованных в сети.
- US7460735B1
- 2004-09-28
Как Google агрегирует данные из разных индексов для создания специализированной выдачи по медиазапросам (Фильмы, Сериалы)
Google использует архитектуру для обработки медиазапросов (фильмы, сериалы). Система определяет, что запрос связан с медиа, и одновременно отправляет запросы в разные корпусы данных (структурированные данные, веб-индекс, картинки, расписания). Затем результаты агрегируются в единый специализированный интерфейс (например, Knowledge Panel или детальная страница сущности), предоставляя пользователю сводную информацию из разных источников.
- US8533761B1
- 2007-04-30
Как Google использует интерактивные карточки (Media Interfaces) для навигации по связанному контенту и плейлистам в медиаплеерах (например, YouTube)
Патент Google, описывающий механизм пользовательского интерфейса (UI) для медиаплатформ. Система отображает интерактивные карточки (Media Interfaces) для текущего контента и динамически подгружает карточки для связанного контента (видео или плейлистов) на основе схожести метаданных и анализа поведения пользователя. Это упрощает навигацию и обнаружение контента, особенно на устройствах с ограниченным экраном.
- US20150301693A1
- 2014-04-17
Как Google динамически выбирает лучший кадр из видео (thumbnail) и точку воспроизведения под конкретный запрос пользователя
Google использует систему для динамического выбора thumbnail для видео в результатах поиска. Система анализирует запрос пользователя и содержание каждого кадра видео, преобразуя их в числовые векторы в общем семантическом пространстве. Кадр, наиболее близкий по смыслу к запросу, выбирается в качестве репрезентативного (thumbnail). Ссылка в выдаче может вести непосредственно к этому моменту в видео (Deep Linking).
- US20160378863A1
- 2015-06-24
Как Google выбирает главное изображение для сущности, анализируя тематичность веб-страниц и визуальные характеристики картинки
Google использует многоэтапный процесс для выбора наиболее репрезентативного (evocative) изображения для сущности (например, для Knowledge Panel). Система оценивает, насколько тематически связаны с сущностью как само изображение, так и веб-страницы, на которых оно размещено. Изображения с нерелевантных страниц отфильтровываются. Финальный выбор делается на основе визуальных характеристик, таких как распознавание лиц, логотипов или флагов.
- US9110943B2
- 2013-01-31
Как Google использует единый Image Embedding для параллельного поиска по разным вертикалям (Web, Shopping, Local) при визуальном запросе
Google патентует механизм для улучшения визуального поиска (например, Google Lens). Система генерирует единое векторное представление (Image Embedding) для изображения-запроса и использует его для одновременного поиска визуально похожих результатов в нескольких разных базах данных (например, в общем веб-индексе и специализированном индексе товаров или локаций). Контекст пользователя (местоположение, история) помогает системе выбрать, какие специализированные базы активировать для поиска.
- US20240311421A1 (Application)
- 2023-03-13
Как Google автоматически понимает контекст запросов, заданных во время просмотра видео, используя временные метки и анализ N-грамм
Google использует систему для автоматического уточнения запросов, заданных во время просмотра мультимедиа (например, «Кто это?»). Система определяет сущности (людей, объекты), присутствующие на экране в момент запроса, используя временные метки и анализ истории поисковых запросов (N-грамм). Затем она переписывает запрос, добавляя релевантный контекст, чтобы предоставить точный ответ без прерывания просмотра.
- US9852188B2
- 2014-06-23
Как Google использует семантический анализ и оценку эстетики для генерации динамических превью видео под запрос пользователя
Google анализирует видео, разбивая его на сегменты и определяя семантические концепции (объекты, действия) в каждом кадре. Для каждой сцены выбирается лучший кадр, сочетающий информативность и визуальное качество. Эти кадры используются для создания динамических превью (storyboards) или замены тамбнейлов, адаптируясь под конкретный поисковый запрос или интересы пользователя для повышения CTR.
- US9953222B2
- 2015-09-08
Как Google переводит изображения в текстовые запросы, валидируя метки через веб-поиск
Google использует эту систему для определения наилучшего текстового описания (метки) для изображения. Система тестирует различные варианты меток, используя их как поисковые запросы, и проверяет, сколько результатов поиска указывают на веб-страницы, содержащие исходное изображение. Это гарантирует, что выбранная метка точно отражает то, как изображение используется и понимается в интернете.
- US9218546B2
- 2012-06-01
Как Google использует Граф Сущностей для определения главных тем страницы и генерации релевантных рекомендаций контента
Патент Google описывает систему анализа веб-страницы для выявления ее главных тем («Центральных Сущностей») с помощью глобального Графа Сущностей, основанного на совместной встречаемости терминов. Система отфильтровывает периферийные и неоднозначные темы, генерирует на основе главных тем поисковые запросы и предлагает пользователю категоризированный дополнительный контент (новости, видео, товары).
- US20160026727A1
- 2011-06-03
Как Google автоматически определяет ключевые темы в медиапотоках (ТВ, аудио, текст) и использует механизм "Boosting" для поиска релевантного контента
Система анализирует мультимедийные потоки (например, ТВ-трансляции) в реальном времени, преобразует их в текст и автоматически генерирует поисковые запросы. Используются классические методы IR (TF-IDF, стемминг, анализ контекста). Ключевой особенностью является механизм пост-обработки "Boosting", который переранжирует результаты поиска на основе дополнительного контекста, не вошедшего в исходный запрос.
- US8868543B1
- 2003-04-08
Как Google реализует интерактивный визуальный поиск объектов и людей внутри видеоконтента
Google использует систему интерактивного поиска внутри видеоконтента. Пользователь может остановить видео, и система автоматически распознает объекты и людей в кадре. Используя визуальные индикаторы (например, цветные рамки), система показывает статус идентификации (известен, неизвестен, несколько вариантов). При выборе объекта пользователь получает информацию и ссылки в оверлее поверх видео.
- US9596515B2
- 2012-01-04
Как Google использует жесты на экране (например, «Circle to Search») для генерации мультимодальных поисковых запросов
Google использует технологию, позволяющую инициировать поиск жестами (например, обведением объекта на экране). Система анализирует выбранный контент (текст, изображения, видео), извлекает ключевые темы, учитывает контекст страницы и пользователя (местоположение, время), взвешивает эти данные и автоматически формирует релевантный поисковый запрос.
- US9916396B2
- 2013-02-19
Как Google выбирает изображения для блоков с ответами (Featured Snippets), обеспечивая контекст и скорость
Google использует многоэтапный процесс для выбора изображений, отображаемых рядом с прямыми ответами на вопросы. Система генерирует отдельный запрос для поиска изображений на основе темы вопроса и заранее оценивает изображения на релевантных страницах. Когда источник текстового ответа определен, Google отдает предпочтение лучшему изображению с этой же страницы, гарантируя его контекстуальную связь с ответом.
- US10691746B2
- 2016-07-12
Как Google анализирует видеоконтент, прогнозирует поисковые намерения пользователей и динамически показывает поясняющие карточки сущностей
Google использует машинное обучение для анализа транскрипции видео и прогнозирования, какие сущности (термины, концепции, объекты) зрители, скорее всего, захотят поискать. Система автоматически генерирует информационные «Карточки сущностей», используя контент из внешних веб-источников, и синхронно показывает их в интерфейсе плеера в момент упоминания сущности в видео.
- US12072934B2
- 2022-12-30
Как Google извлекает факты из изображений для наполнения Knowledge Graph
Google использует технологию распознавания объектов на изображениях для обогащения своей Базы Знаний (Knowledge Graph). Система анализирует наборы изображений, определяет, какие сущности часто появляются вместе (например, «Медведь Гризли» и «Рыба»), и выводит отношения между ними (например, «ест»). Эти извлеченные факты затем используются для ответов на поисковые запросы.
- US10534810B1
- 2016-02-29
Как Google использует real-time анализ текста, аудио и изображений для автоматической генерации запросов и проактивного поиска
Система Google для анализа информации, захваченной из различных источников (вводимый текст, изображения документов, аудиопотоки) в реальном времени. Система автоматически распознает контент, выделяет ключевые фрагменты, формирует поисковые запросы и мгновенно предоставляет пользователю релевантный цифровой контент или связанные действия без явных запросов. Это механизм, лежащий в основе технологий визуального (Lens) и голосового поиска.
- US8990235B2
- 2010-03-12
Как Google использует мультимодальный поиск (текст + изображение) для уточнения запросов и фильтрации видеоконтента
Google использует механизм мультимодального поиска, позволяющий пользователям дополнять текстовые запросы визуальным вводом (например, фотографией). Система анализирует изображение с помощью моделей машинного обучения для распознавания объектов и генерации семантической информации. Эта информация используется либо для создания уточненного составного запроса (composite query), либо для фильтрации исходных результатов поиска путем сопоставления метаданных изображения с метаданными проиндексированного видеоконтента.
- US20210064652A1
- 2020-09-03
Как Google использует данные веб-поиска для распознавания сущностей в специализированных вертикалях (на примере поиска медиаконтента)
Google использует двухэтапный процесс для ответа на описательные запросы в специализированных поисках (например, поиск фильмов по сюжету). Сначала система ищет информацию в основном веб-индексе, анализирует топовые результаты для выявления релевантных сущностей (названий фильмов), а затем использует эти сущности для поиска в специализированной базе данных.
- US9063984B1
- 2013-03-15
Как Google использует машинное обучение для автоматического расширения запросов о фильмах и сериалах и показа связанного контента
Google использует систему для распознавания запросов, связанных с медиа (фильмы, сериалы). Если запрос идентифицирован как медийный, система автоматически расширяет его, добавляя семантически связанные термины (например, похожие шоу, актеров, жанры), найденные с помощью обученной модели машинного обучения. Это позволяет возвращать более широкий и релевантный набор результатов, даже если исходный запрос был узким.
- US8484192B1
- 2007-04-30
Как Google использует местоположение пользователя для улучшения распознавания текста на изображениях и поиска источника контента
Google использует географическое положение пользователя для выбора наиболее подходящей языковой модели при распознавании текста (OCR) на изображениях (визуальных запросах). Это позволяет системе учитывать региональные различия в языке (например, орфографию или терминологию) для более точной интерпретации контента. Цель — найти оригинальный канонический документ, соответствующий тексту на изображении.
- US8805079B2
- 2011-12-01
Как Google использует машинное обучение для распознавания разных смыслов запроса и ранжирования изображений в Image Search
Google использует модель машинного обучения для улучшения ранжирования в поиске по картинкам. Система определяет различные смыслы (senses) неоднозначного запроса (например, "Jaguar" как автомобиль и как животное), проецирует изображения в многомерное пространство признаков и строит гиперплоскости (hyperplanes) для разделения этих смыслов. Итоговый ранг изображения определяется его близостью к любому из релевантных смыслов.
- US8923655B1
- 2012-10-12
Как Google использует 3D-модели объектов для понимания контекста изображений и переписывания поисковых запросов
Google использует базу данных 3D-моделей для глубокого анализа объектов в поисковых запросах, особенно в изображениях. Система сопоставляет объект с его эталонной 3D-моделью, чтобы определить точный контекст: ориентацию, масштаб, освещение и окружающую обстановку. Затем исходный запрос переписывается с учетом этого контекста, что позволяет предоставлять более релевантные результаты, адаптированные под ситуацию (например, продукт на кухне vs продукт в магазине).
- US9529826B2
- 2013-12-26
Как Google визуализирует связи между рекомендованными видео с помощью "взвешенной совместной посещаемости"
Патент Google, описывающий интерфейс для просмотра рекомендаций видео. Система отображает центральное видео и связанные с ним ролики, расположенные вокруг него. Расстояние между видео зависит от их "оценки рекомендации", основанной на том, как часто пользователи смотрят эти видео одно за другим (взвешенная совместная посещаемость), и их корреляции друг с другом.
- US7966632B1
- 2007-12-12