Мультимедиа в Google: разборы патентов
Детальные разборы патентов Google, связанные с аудио, видео и изображениями
Как Google вычисляет «Оценку отвлекательности» (Distractiveness Score) для изображений, чтобы понизить кликбейт в поиске
Google анализирует поведение пользователей для выявления изображений (например, юмористических или откровенных), на которые часто кликают независимо от исходного запроса. Система рассчитывает «Distractiveness Score» на основе кликов по не связанным между собой запросам и использует эту оценку для понижения таких изображений в выдаче, улучшая релевантность поиска.
- US7877382B1
- 2004-12-31
Как Google использует анализ жестов и машинное обучение для показа интерактивных видео-превью прямо в результатах поиска
Google использует интерфейс для поиска медиаконтента, объединяющий прокручиваемый список результатов и специальную «область фокуса» для автоматического воспроизведения превью. Система анализирует жесты пользователя (свайпы, касания) в реальном времени, используя персонализированное машинное обучение для определения заинтересованности, и мгновенно показывает соответствующее превью, не требуя перехода на другую страницу.
- US11762902B2
- 2017-12-12
Как Google использует поведенческие сигналы и контекст событий для обучения моделей целостному пониманию изображений
Google использует анализ естественного языка (например, из Google Assistant) для определения значимых событий. Система анализирует поведенческие сигналы (время просмотра, редактирование, шеринг) и контент изображений, сделанных в этот период, чтобы автоматически аннотировать релевантные фотографии. Эти данные критически важны для обучения моделей машинного обучения целостному (holistic) пониманию контекста и тематики изображений, выходя за рамки простого распознавания объектов.
- US11836183B2
- 2023-01-05
Как Google (YouTube) ранжирует рекомендуемые видео, балансируя релевантность, монетизацию и вероятность просмотра рекламы
Google использует систему для ранжирования рекомендуемых (дополнительных) видео на платформах типа YouTube. Система учитывает не только релевантность и потенциал монетизации видео, но и «экспериментальные данные» о том, как пользователи взаимодействуют с рекламой в этом видео. Цель — показывать видео, где пользователи с большей вероятностью досмотрят рекламу, максимизируя доход и минимизируя отток пользователей.
- US9405775B1
- 2013-03-15
Как Google (YouTube) динамически приоритизирует каверы и альтернативные версии песен в блоке рекомендаций
Google использует механизм для улучшения рекомендаций на контент-платформах (например, YouTube). Когда пользователь проявляет интерес к конкретной песне в просматриваемом видео (явно или неявно), система идентифицирует другие видео, содержащие альтернативные версии этой же песни (каверы, живые выступления). Затем блок рекомендаций обновляется, чтобы приоритизировать показ этих альтернативных версий над стандартными похожими видео.
- US10345998B2
- 2016-11-10
Как Google классифицирует запросы о медиа (фильмы, книги, музыка), используя данные из разных вертикалей поиска и поведенческие сигналы
Google использует многофакторную модель для определения, относится ли запрос к медиа-контенту (фильмам, книгам, музыке). Система анализирует результаты товарного поиска, предлагаемые подсказки (candidate queries), частоту запроса в специализированных вертикалях (Search Probability Ratio) и наличие специфичных ключевых слов. Это позволяет точнее определить интент пользователя и показать релевантные специализированные блоки или товарные предложения.
- US8768910B1
- 2012-04-13
Как Google распознает и связывает объекты на изображении с результатами поиска (Архитектура Google Lens)
Google использует систему параллельных поисковых движков (OCR, распознавание лиц, объектов, продуктов) для анализа визуального запроса (изображения). Система создает интерактивный документ, накладывая на исходное изображение визуальные идентификаторы (например, рамки или метки) для распознанных объектов. Эти идентификаторы служат ссылками на конкретные результаты поиска для каждого объекта.
- US9087059B2
- 2010-08-04
Как Google выбирает лучшую целевую страницу (Landing Page) для результатов поиска по картинкам
Google использует запатентованный метод для выбора наилучшего контекста для изображения в поиске по картинкам. Когда одно и то же или похожее изображение появляется на нескольких сайтах, система оценивает качество и важность каждой веб-страницы (Web Score). Страница с наивысшей оценкой выбирается в качестве официальной целевой страницы (Landing Page), на которую попадает пользователь при клике на результат.
- US9158857B2
- 2012-06-05
Как Google использует поведение пользователей для автоматического перевода запросов в поиске по картинкам и видео
Google улучшает поиск по визуальному контенту (картинки, видео), анализируя, как пользователи переформулируют запросы на других языках в рамках одной сессии. Если пользователь ввел запрос на одном языке, а затем его перевод на другом, система запоминает эту связь («двуязычное уточнение»). В дальнейшем система автоматически добавляет самый популярный перевод к исходному запросу, чтобы показать больше релевантных результатов на разных языках.
- US8577909B1
- 2009-06-09
Как Google использует IDF и CTR для выбора языка перевода запросов в поиске по картинкам и видео (CLIR)
Google применяет механизм кросс-язычного поиска (CLIR) для улучшения выдачи изображений и видео. Система автоматически переводит запрос пользователя на другие языки, выбирая наиболее подходящий на основе частотности терминов (IDF) в его корпусе. Результаты поиска по переведенному запросу подмешиваются в основную выдачу, а их ранжирование зависит от статистики качества (например, CTR) этого запроса.
- US8577910B1
- 2009-06-09
Как Google выбирает главные изображения для локаций и достопримечательностей, используя качество, клики и веб-контекст
Google использует иерархическую систему для выбора наилучшего репрезентативного изображения для локаций (городов) и достопримечательностей. Система оценивает фотографии по двум основным критериям: релевантности (основанной на кликах пользователей в поиске по картинкам и контексте веб-страниц, где размещено изображение) и визуальному качеству (четкость, экспозиция). Для крупных локаций система выбирает лучшее изображение из числа лучших фотографий её ключевых достопримечательностей.
- US9076079B1
- 2013-03-29
Как Google использует клики пользователей для генерации альтернативных запросов и автоматической разметки изображений
Google анализирует исторические данные о том, какие запросы приводили к кликам по конкретному изображению. Эти запросы используются как автоматические метки (labels) для индексации и как предлагаемые альтернативные запросы при взаимодействии пользователя с этим изображением в выдаче. Система позволяет уточнять поиск на основе коллективного поведения и переносить метки между визуально похожими изображениями.
- US20150161175A1
- 2008-02-08
Как Google использует историю местоположений пользователя для поиска чужих фотографий, сделанных в том же месте и в то же время
Google может использовать историю местоположений устройства пользователя (GPS-логи или чекины) для поиска в интернете фотографий, сделанных другими людьми в тех же местах и в то же время. Система находит изображения с соответствующими метаданными (геокоординаты и время съемки) и предлагает их пользователю.
- US9165017B2
- 2011-09-29
Как Google (YouTube) использует последовательность просмотров и общее время просмотра для определения и ранжирования похожих видео
Google использует поведенческие сигналы для определения похожих видео на платформах типа YouTube. Система анализирует, какие видео пользователи смотрят одно за другим в течение короткого времени (ко-просмотры). Если пользователи положительно взаимодействуют (например, долго смотрят) с Видео А и сразу после этого с Видео Б, система считает их связанными. Финальный список рекомендаций ранжируется с учетом временной близости просмотров и общего времени просмотра (Total Watch Time).
- US9088808B1
- 2008-02-08
Как Google (YouTube) определяет «Классические видео», используя нормализацию просмотров для оценки долгосрочной популярности
Google использует алгоритм для идентификации «Классических видео» на платформах типа YouTube. Система анализирует не абсолютное количество просмотров, а долю видео в общем трафике платформы за день. Если видео стабильно поддерживает значительную долю трафика на протяжении длительного периода, оно получает статус «Классического», что отличает его от вирусного контента с кратковременной популярностью.
- US8650488B1
- 2010-12-08
Как Google использует историю медиапотребления и фоновый звук для персонализации поисковых подсказок (Autocomplete)
Google может анализировать историю потребления медиаконтента пользователем (музыка, фильмы) и захватывать фоновый звук (например, играющую музыку) в момент ввода запроса. На основе распознанных сущностей (артисты, названия) система персонализирует поисковые подсказки (Autocomplete), предлагая запросы, связанные с недавно потребленным или текущим контентом.
- US9984075B2
- 2015-10-06
Как Google использует поведенческие данные и визуальные превью для предложения вариантов поиска картинок на других языках
Google использует механизм для улучшения поиска изображений, предлагая пользователю варианты запроса на других языках. Если система определяет, что перевод запроса может вернуть лучшие результаты, она отображает эти альтернативные запросы с визуальным превью. Выбор лучших переводов основан на анализе поведенческих данных: частоте запросов (Frequency of Submission), CTR и том, как часто пользователи сами переформулируют запросы между языками (Frequency of Revision).
- US8856162B2
- 2009-11-20
Как Google использует Социальный Граф и метрику Affinity для персонализации и ранжирования поиска по картинкам
Google использует социальный граф пользователя для персонализации поиска по картинкам. Система идентифицирует изображения, опубликованные контактами пользователя (друзьями, подписками), и ранжирует их в единой выдаче с общими результатами. Ключевую роль играет метрика Affinity (близость контакта к пользователю), основанная на степени связи и частоте взаимодействий, которая используется для повышения релевантных социальных результатов.
- US20150169571A1
- 2010-10-21
Как Google использует историю покупок, социальные связи, геолокацию и демографию для персонализации ранжирования в поиске по медиаконтенту (Приложения, Книги, Музыка, Фильмы)
Google применяет механизм для глубокой персонализации результатов поиска в вертикалях цифрового контента (например, Google Play). Система комбинирует стандартные оценки релевантности с персонализированными оценками, основанными на «сигналах предпочтений пользователя». Эти сигналы включают историю покупок и просмотров, демографические данные, местоположение, активность социальных кругов пользователя и историю потребления смежного контента (например, просмотр трейлера влияет на ранжирование книги).
- US20140317099A1
- 2013-04-23
Как Google комбинирует текстовый запрос и изображение-образец для уточнения поиска по картинкам
Google использует механизм для обработки гибридных запросов (текст + изображение). Система находит изображения, которые одновременно релевантны тексту и визуально похожи на образец. Для этого создаются компактные визуальные дескрипторы и используются "визуальные ключи" для быстрого поиска. Финальная выдача ранжируется по степени визуального сходства с образцом.
- US9043316B1
- 2012-03-28
Как Google использует визуальное сходство изображений для проверки качества перевода и улучшения кросс-язычного поиска (CLIR)
Google проверяет точность перевода фраз, сравнивая визуальное сходство результатов поиска по картинкам и видео для исходной фразы и её перевода. Если топовые визуальные результаты похожи и показывают высокое качество взаимодействия, перевод считается валидным. Этот механизм используется для расширения запроса и показа релевантного контента на других языках (Cross-Lingual Information Retrieval).
- US8538957B1
- 2009-06-03
Как Google использует мультимодальный поиск (изображение + голос) для более точного понимания запросов и ранжирования результатов
Google использует механизм мультимодального поиска, обрабатывая запросы, которые одновременно содержат изображение (например, фото) и аудио (например, голосовое описание или уточнение). Система анализирует визуальные признаки и конвертирует речь в текст, используя совместную модель релевантности для поиска ресурсов (таких как товары или веб-страницы), которые соответствуют обоим типам входных данных.
- US8788434B2
- 2010-10-28
Как Google использует динамические UI-элементы (Floatables и Chips) для ускорения обнаружения видео и адаптации рекомендаций в реальном времени
Google патентует механизмы интерфейса для мобильных платформ (например, YouTube), направленные на улучшение обнаружения контента. Система активно показывает превью скрытых видео в виде анимированных плавающих элементов (Floatables) или компактных плиток (Chips) до того, как пользователь до них доскроллит. Взаимодействие с этими элементами обеспечивает мгновенную обратную связь для адаптации рекомендаций в реальном времени.
- US11941240B1
- 2022-12-21
Как Google использует одновременный ввод видео и аудио (Multimodal Search) для понимания сложных запросов
Google разрабатывает систему мультимодального поиска, позволяющую пользователям записывать видео и одновременно задавать вопрос голосом или записывать звук. Система использует продвинутые ML-модели для генерации видео-эмбеддингов, анализа временной информации и аудиосигнатур. Это позволяет поиску понимать сложные запросы, требующие визуального и аудиального контекста (например, диагностика поломок, обучение действиям), и находить релевантные ответы в виде видео, веб-страниц или AR.
- US20240403362A1 (Application)
- 2023-05-31
Как Google преобразует изображения в текст для понимания мультимодальных запросов с помощью LLM
Google использует систему для обработки мультимодальных запросов (текст + изображение), позволяя LLM отвечать на вопросы об изображениях. Система анализирует изображение с помощью вспомогательных моделей (распознавание объектов, VQA) и выполняет обратный поиск по картинкам для извлечения текста с найденных веб-ресурсов. Вся эта информация объединяется в структурированный текстовый промт, который позволяет LLM понять визуальный контекст и сгенерировать релевантный ответ.
- US20250061146A1
- 2024-08-13
Как Google использует машинное обучение для анализа содержания видео и динамического выбора релевантных тамбнейлов
Google использует систему машинного обучения для связывания аудиовизуальных признаков видео (цвет, текстура, звук) с ключевыми словами. Это позволяет системе понимать содержание каждого кадра и динамически выбирать для тамбнейла (миниатюры) тот кадр, который наилучшим образом соответствует запросу пользователя или общему содержанию видео.
- US20110047163A1
- 2009-08-24
Как Google идентифицирует первоисточник текста на изображении, анализируя OCR и структуру верстки (Structural Information)
Google использует эту технологию для обработки визуальных запросов (например, фотографий текста). Анализируя как распознанный текст (OCR), так и его точную верстку (шрифт, расположение, размеры — структурную информацию), Google идентифицирует оригинальный авторитетный источник (канонический документ). Это позволяет найти точное издание или формат, гарантируя совпадение не только содержания, но и внешнего вида.
- US8811742B2
- 2011-12-01
Как Google выбирает главное изображение для новостных статей и кластеров в Google News и Top Stories
Google использует многофакторную систему для выбора наилучшего изображения, представляющего новостную статью или кластер. Система фильтрует неподходящие изображения (рекламу, логотипы), анализирует контекст (подписи, Alt-текст, расположение рядом с заголовком) и оценивает технические параметры (размер, формат), чтобы выбрать изображение для показа в результатах поиска новостей.
- US8775436B1
- 2008-08-20 (Продолжение заявки от 2004-03-19)
Как Google позволяет пользователям "привязывать" веб-контент к конкретным моментам в видео или аудио
Патент Google, описывающий механизм, который позволяет пользователям ассоциировать ("привязывать") один тип контента (например, веб-статью) с конкретной позицией в индексированном контенте (например, таймкодом в видео). При просмотре видео другие пользователи увидят ссылку на привязанную статью в соответствующий момент.
- US9288121B2
- 2012-10-03
Как Google использует визуальные доказательства из изображений для подтверждения информации о местах (POI) и повышения доверия к данным
Google разработал систему для повышения доверия к данным о точках интереса (POI). Система извлекает фактическую информацию (адреса, часы работы, услуги) из изображений (Street View, фото пользователей) с помощью компьютерного зрения и помечает её как «визуально проверяемую». При ответе на запрос система может показать исходное изображение и аннотировать (выделить или увеличить) ту его часть, которая подтверждает предоставленную информацию.
- US20230044871A1
- 2020-12-29