Как Google использует визуальный анализ кликов по картинкам для понимания интента запроса и переранжирования выдачи

Термины и определения

Categorizer Engine (Механизм категоризации)

Компонент системы, который анализирует результаты поиска по изображениям и поведенческие данные для определения категорий запроса.

Click Data (Данные о кликах)

Тип User Behavior Data. Включает информацию о том, как часто пользователи выбирают результат, а также продолжительность просмотра результата (dwell time). Упоминаются long click (длительный просмотр, индикатор релевантности) и short click (короткий просмотр, индикатор нерелевантности).

Image Annotators (Аннотаторы изображений)

Модули, которые анализируют визуальный контент изображения и извлекают специфические характеристики (аннотации). Примеры, указанные в патенте: Face Annotator, Fingerprint Annotator, Screenshot Annotator, Text Annotator, Graph/Chart Annotator, Dominant Color Annotator.

Image Annotations (Аннотации изображений)

Информация, извлеченная из визуального контента изображения. Например: количество и размер лиц, доминирующие цвета, наличие текста или графика, является ли изображение скриншотом, визуальный отпечаток (fingerprint).

Query Categories (Категории запросов)

Классификация интента запроса, определенная на основе анализа аннотаций изображений, получивших положительный отклик пользователей. Примеры: Single Person Query, Diverse/Homogenous Query, Color Query.

Query Classifiers (Классификаторы запросов)

Модули, основанные на машинном обучении (в патенте упоминается AdaBoost), которые принимают на вход запрос и аннотации изображений и определяют категорию запроса.

Rank Modifier Engine (Механизм модификации ранжирования)

Компонент, который использует категории запросов для корректировки оценок ранжирования (IR scores) и переупорядочивания результатов поиска.

User Behavior Data (Поведенческие данные пользователя)

Данные, которые указывают на взаимодействие пользователя с результатами поиска. Включают количество выборов (selections) изображения для данного запроса и Click Data.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод категоризации и применения.

1. Система получает изображения из первых результатов поиска в ответ на первый запрос. Каждое изображение связано с оценкой (score) и User Behavior Data (данные о взаимодействии пользователей с этим изображением как с результатом поиска по этому запросу).
2. Система отбирает изображения (selected images), чьи User Behavior Data удовлетворяют пороговому значению.
3. Система ассоциирует каждое выбранное изображение с аннотациями путем анализа его контента. Это включает:
   • Передачу выбранных изображений множеству различных компьютерных аннотаторов изображений (computer image annotators), каждый из которых визуально анализирует изображение для идентификации конкретных визуальных признаков.
   • Получение аннотаций от этих аннотаторов.
4. Система передает первый запрос и полученные аннотации множеству различных классификаторов, сгенерированных системой машинного обучения (machine learning system generated classifiers). Это делается для ассоциирования запроса с одной или несколькими категориями, которые указывают на наличие конкретных визуальных признаков.
5. Система получает второй запрос (такой же или похожий на первый).
6. Система получает вторые изображения в ответ на второй запрос с начальным ранжированием (first rank).
7. Система модифицирует ранжирование одного или нескольких вторых изображений на основе категорий, ассоциированных с первым запросом, что приводит к переупорядочиванию выдачи.

Ядро изобретения заключается в использовании визуального анализа (через аннотаторы) только тех изображений, которые пользователи посчитали релевантными (фильтрация по User Behavior Data), для определения интента запроса (через ML-классификаторы), и последующего использования этого интента для переранжирования выдачи.

Claim 3 (Зависимый от 1): Уточняет применение категории single person query. Если запрос категоризирован как запрос об одном человеке, система увеличивает оценки (scores) тех изображений в выдаче, чьи аннотации указывают на наличие одного лица (single face).

Claim 4 (Зависимый от 1): Уточняет применение категории diverse query (разнообразный запрос). Если запрос категоризирован как разнообразный, система увеличивает оценки тех изображений, чьи аннотации указывают на то, что изображение является разнообразным (diverse).

Claim 5 (Зависимый от 1): Уточняет применение категории text query (текстовый запрос). Если запрос категоризирован как текстовый, система увеличивает оценки тех изображений, чьи аннотации указывают на наличие текста.

Claim 7 (Зависимый от 1): Уточняет, что по крайней мере один из аннотаторов генерирует отпечаток (fingerprint) для изображения, который представляет собой сжатую форму его визуальных признаков.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, используя данные, собранные на этапе взаимодействия с пользователем, и влияя на этапы понимания запросов и ранжирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе Image Annotators могут использоваться для предварительного анализа визуального контента изображений и сохранения Image Annotations (визуальных признаков) в индексе. Это позволяет системе быстро получать эти данные во время ранжирования.

QUNDERSTANDING – Понимание Запросов
Это один из основных этапов применения патента. Система использует результаты поиска по изображениям и накопленные User Behavior Data для глубокого понимания интента запроса за пределами его текста. Categorizer Engine определяет Query Categories. Этот процесс может выполняться как офлайн (предварительный расчет категорий для популярных запросов), так и онлайн.

RANKING / RERANKING – Ранжирование и Переранжирование
На этом этапе Rank Modifier Engine использует рассчитанные Query Categories для корректировки IR scores результатов поиска. Если запрос категоризирован (например, как Color Query), система повышает в выдаче изображения, чьи визуальные аннотации соответствуют этой категории (например, изображения с соответствующим доминирующим цветом).

Входные данные:

• Первый запрос.
• Результаты поиска по изображениям для первого запроса (с оценками ранжирования).
• User Behavior Data (клики, время просмотра) для этих результатов.

Выходные данные:

• Image Annotations для выбранных изображений (промежуточные).
• Query Categories для первого запроса (промежуточные).
• Переранжированный набор результатов поиска для второго (похожего) запроса.

На что влияет

• Типы контента: В первую очередь влияет на поиск по изображениям (Image Search). Может косвенно влиять на веб-поиск через смешивание результатов (Universal Search), если категоризация влияет на выбор изображений для отображения в основной выдаче.
• Специфические запросы: Наибольшее влияние оказывается на неоднозначные запросы или запросы, где визуальный интент отличается от текстового. В патенте приводится пример запроса "red sea" (Красное море): система, проанализировав клики, поймет, что пользователи не ищут красные изображения, и не будет применять категорию Color Query (red).
• Языковые и географические ограничения: Система работает независимо от языка запроса, так как анализирует визуальный контент, на который кликают пользователи. Например, она будет продвигать красные изображения по запросу "красное яблоко" на любом языке, если пользователи преимущественно кликают на красные яблоки.

Когда применяется

• Условия работы алгоритма: Алгоритм категоризации активируется для запросов, по которым накоплено достаточное количество User Behavior Data.
• Пороговые значения: Критическим является порог для User Behavior Data. Анализируются только те изображения, которые удовлетворяют этому порогу (например, были выбраны пользователями определенное количество раз или имеют высокий показатель long clicks).
• Временные рамки: Категоризация может выполняться периодически офлайн или в реальном времени (онлайн). Применение категорий для переранжирования происходит во время выполнения запроса.

Пошаговый алгоритм

Процесс А: Категоризация запроса (Может выполняться Офлайн или Онлайн)

1. Получение данных: Система получает первый запрос и соответствующие ему результаты поиска по изображениям. Для каждого результата извлекается связанная с ним User Behavior Data.
2. Фильтрация по поведению: Отбираются изображения, чьи поведенческие данные удовлетворяют заданному порогу (например, достаточное количество кликов или long clicks).
3. Визуальное аннотирование: Отобранные изображения передаются набору Image Annotators:
   • Face Annotator определяет количество и размер лиц.
   • Fingerprint Annotator создает визуальные отпечатки для сравнения схожести.
   • Screenshot/Text/Graph Annotators определяют тип контента.
   • Dominant Color Annotator определяет основные цвета.
4. Сбор аннотаций: Система агрегирует все сгенерированные Image Annotations.
5. Классификация запроса: Запрос и агрегированные аннотации передаются набору обученных Query Classifiers (например, на основе AdaBoost).
6. Определение категории: Классификаторы выводят вероятности принадлежности запроса к различным категориям (например, Single Person Query, Color Query).
7. Сохранение: Ассоциация между запросом и его категорией сохраняется в базе данных Query Categories для будущего использования.

Процесс Б: Применение категоризации при ранжировании (Онлайн)

1. Получение запроса: Система получает второй запрос от пользователя.
2. Проверка категории: Система проверяет, есть ли для этого запроса (или похожего на него) сохраненная категория в базе Query Categories.
3. Получение результатов: Генерируется стандартный набор результатов поиска с исходными оценками ранжирования (IR scores).
4. Переранжирование: Rank Modifier Engine корректирует оценки результатов на основе категории запроса. Например:
   • Если категория Single Person Query, повышаются изображения с одним лицом.
   • Если категория Color Query, повышаются изображения с соответствующим доминирующим цветом.
   • Если категория Diverse Query, система может способствовать разнообразию, анализируя кластеры отпечатков (fingerprints).
5. Выдача результатов: Переупорядоченный набор результатов предоставляется пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании визуальных и поведенческих данных.

• Мультимедиа факторы (Визуальный контент): Содержимое самих изображений является основным источником данных для аннотирования. Анализируются пиксели для определения лиц, цветов, текста, графиков и создания визуальных отпечатков.
• Поведенческие факторы: Критически важные данные для фильтрации релевантных изображений. Используются User Behavior Data, включая:
  • Количество выборов (selections) результата пользователями.
  • Click Data: время просмотра (dwell time), long clicks, short clicks.
• Системные данные: Исходные оценки ранжирования (IR scores), сгенерированные поисковой системой.

Какие метрики используются и как они считаются

• Порог поведенческих данных: Минимальное значение User Behavior Data (например, количество кликов или метрика, основанная на long clicks), необходимое для того, чтобы изображение было использовано в процессе категоризации.
• Аннотации (Визуальные метрики): Конкретные метрики, вычисляемые аннотаторами:
  • Количество лиц, размер лиц.
  • Визуальный отпечаток (Fingerprint).
  • Наличие/отсутствие текста, графика, признаков скриншота.
  • Доминирующий цвет.
• Метрики кластеризации: Для определения разнообразия (Diverse/Homogenous Query Classifier) используются алгоритмы кластеризации на основе расстояния между визуальными отпечатками. Метрики включают количество кластеров, размер кластеров и схожесть между кластерами.
• Вероятности классификации: Выходные данные Query Classifiers, представляющие вероятность того, что запрос принадлежит к определенной категории.
• Алгоритмы машинного обучения: Упоминается использование систем машинного обучения, в частности AdaBoost (Adaptive Boosting), для создания Query Classifiers. Классификаторы обучаются на наборах данных, включающих запросы, векторы признаков (аннотации) и правильную категоризацию.

1. Визуальный интент может перевесить текстовую оптимизацию: Патент демонстрирует механизм, при котором Google определяет интент запроса, анализируя визуальные характеристики изображений, которые предпочитают пользователи. Соответствие этому визуальному интенту становится критически важным фактором ранжирования.
2. Поведенческие данные определяют набор для обучения: Система не анализирует все изображения. Она обучается только на тех изображениях, которые пользователи посчитали релевантными (удовлетворяющие порогу User Behavior Data). Клики и время просмотра напрямую влияют на то, как Google поймет запрос в будущем.
3. Категоризация запросов через машинное обучение: Google использует сложные Image Annotators (распознавание лиц, цветов, текста, графиков) для извлечения признаков и Query Classifiers на основе ML (например, AdaBoost) для автоматического определения категории запроса.
4. Активное переранжирование на основе категорий: Если запрос отнесен к определенной категории (например, Single Person Query), система активно повышает в выдаче изображения, соответствующие этой категории (изображения с одним лицом), и может понижать не соответствующие.
5. Языковая независимость и устойчивость к неоднозначности: Поскольку метод основан на визуальном анализе кликов, он работает для всех языков и помогает разрешать текстовые неоднозначности (например, отличать запрос о цвете от запроса о названии, как в примере с "Red Sea").
6. Анализ разнообразия через отпечатки: Использование Fingerprints и кластеризации позволяет системе понять, ожидает ли пользователь разнообразную выдачу (много маленьких кластеров) или ищет конкретное изображение (один большой кластер, много дубликатов).

Best practices (это мы делаем)

• Соответствие визуального контента интенту пользователя: Убедитесь, что изображения визуально соответствуют тому, что пользователи ожидают увидеть по данному запросу. Анализируйте текущую выдачу по изображениям и определяйте доминирующие визуальные паттерны (цвета, композиция, наличие лиц, тип графики).
• Оптимизация под визуальные категории: Если запрос подразумевает определенную визуальную характеристику (например, цвет в запросе "синий велосипед"), критически важно использовать изображения, где этот цвет является доминирующим. Dominant Color Annotator и Color Query Classifier могут активно повышать такие изображения.
• Использование лиц для персонализированных запросов: Для запросов, связанных с именами людей, используйте качественные изображения с четко различимыми лицами. Если запрос подразумевает конкретного человека, Single Person Query Classifier будет отдавать предпочтение изображениям с одним лицом, а не групповым фото.
• Улучшение поведенческих факторов для изображений: Работайте над привлекательностью изображений в выдаче, чтобы стимулировать клики и увеличивать время просмотра (long clicks). Изображения с хорошими поведенческими факторами станут основой для обучения системы категоризации и получат преимущество.
• Использование уникальных изображений: Используйте уникальные или высококачественные авторские изображения. Fingerprint Annotator позволяет Google легко определять дубликаты. В зависимости от категории запроса (Diverse или Homogenous), неуникальный контент может быть понижен.

Worst practices (это делать не надо)

• Несоответствие изображения тексту (Кликбейт): Использование изображений, которые визуально не соответствуют запросу или окружающему тексту. Это может привести к short clicks (быстрый возврат на выдачу), что негативно скажется на User Behavior Data и может привести к понижению в ранжировании.
• Игнорирование визуальных характеристик: Фокусироваться только на текстовой оптимизации (alt text, заголовки), игнорируя фактическое визуальное содержание. Если изображение визуально нерелевантно интенту, определенному Google, описанный механизм его понизит.
• Использование стоковых изображений низкого качества: Использование заезженных, нерелевантных стоковых фото, которые пользователи часто игнорируют или быстро закрывают. Они не будут собирать положительные поведенческие сигналы и не помогут в ранжировании.

Стратегическое значение

Патент подтверждает, что Google рассматривает поиск по изображениям как сложную систему, требующую глубокого понимания визуального контента и интента пользователя, а не только анализа текста вокруг картинки. Стратегия SEO должна включать визуальную стратегию. Понимание того, как Google категоризирует запросы на основе визуальных данных и кликов, позволяет более точно соответствовать ожиданиям пользователей и требованиям алгоритмов. Это также подчеркивает важность синергии между качеством контента и поведенческими факторами.

Практические примеры

Сценарий 1: Оптимизация для цветового запроса в E-commerce

• Задача: Оптимизировать карточку товара для запроса "красное вечернее платье".
• Действие: Разместить в качестве основного изображения товара качественное фото, на котором красное платье занимает большую часть кадра и красный цвет является очевидно доминирующим.
• Механизм (по патенту): Пользователи, ищущие этот запрос, преимущественно кликают на изображения с доминирующим красным цветом. Dominant Color Annotator фиксирует это. Color Query Classifier относит запрос к категории "Color Query: Red". При ранжировании система повысит изображения с доминирующим красным цветом.
• Результат: Изображение получает буст в ранжировании по сравнению с изображениями, где красный цвет не доминирует (например, фото в интерьере с маленьким платьем).

Сценарий 2: Оптимизация статьи о знаменитости

• Задача: Оптимизировать изображение для биографической статьи по запросу [Имя Фамилия].
• Действие: Использовать качественный портрет (одно лицо, хорошо различимое) в качестве основного изображения статьи.
• Механизм (по патенту): Пользователи по таким запросам чаще кликают на портреты. Face Annotator фиксирует наличие одного лица. Single Person Query Classifier относит запрос к категории Single Person Query. Система будет повышать портреты и понижать групповые фото или изображения без лиц.
• Результат: Улучшение позиций в поиске по изображениям и повышение вероятности показа изображения в основной веб-выдаче.