Как Google использует клики по изображениям для определения схожести запросов и картинок (Поведенческая схожесть)

Термины и определения

Selection Vector (Вектор выбора)

Ключевая структура данных для запроса (или изображения). Для запроса: включает элементы, соответствующие уникальным изображениям. Значение элемента пропорционально количеству выборов (кликов) этого изображения в ответ на данный запрос.

Similarity Measure (Мера схожести)

Метрика, определяющая степень схожести между двумя запросами (или двумя изображениями), вычисленная на основе их Selection Vectors.

Cosine Similarity (Косинусное сходство)

Один из методов расчета Similarity Measure. Симметричная метрика, измеряющая косинус угла между двумя Selection Vectors. Высокое значение указывает на значительное пересечение кликов.

KL Divergence (Расхождение Кульбака-Лейблера)

Альтернативный метод расчета схожести. Используется, если Selection Vector интерпретируется как распределение вероятностей кликов. Измеряет разницу между двумя такими распределениями.

Sparse Matrix (Разреженная матрица)

Матрица, в которой большинство элементов равны нулю. Матрица всех запросов и всех изображений является разреженной.

Inverted Image List (Инвертированный список изображений)

Структура данных для оптимизации вычислений. Для каждого изображения хранится список кортежей (tuples), идентифицирующих запросы, которые привели к клику на это изображение, и количество кликов (ненулевое значение вектора).

Inverted Query List (Инвертированный список запросов)

Аналогичная структура для поиска схожих изображений. Для каждого запроса хранится список изображений, на которые кликнули.

Image Contribution Value (Значение вклада изображения)

Промежуточное значение при расчете схожести запросов. Получается путем перемножения значений кликов для одного и того же изображения из векторов двух сравниваемых запросов.

Normalization Value (Значение нормализации)

Значение, используемое для нормализации Selection Vector, например, Евклидова норма (Euclidean norm) вектора. Используется в расчете Cosine Similarity.

Historical Data (Исторические данные)

Хранилище логов запросов и данных о действиях пользователей (кликах по изображениям).

Ключевые утверждения (Анализ Claims)

Патент фокусируется как на методе определения схожести через клики, так и на способе эффективного вычисления этой схожести для разреженных данных.

Claim 1 (Независимый пункт): Описывает метод определения схожести запросов с использованием оптимизации.

1. Генерация Selection Vector для каждого запроса (значение элемента пропорционально кликам на соответствующее изображение).
2. Выбор первого и второго запросов.
3. Генерация Inverted Image List для каждого изображения. Список содержит кортежи {Запрос, Ненулевое значение элемента}.
4. (Оптимизация Шаг 1): Выборка инвертированных списков, содержащих кортеж для первого запроса.
5. (Оптимизация Шаг 2): Из выбранных списков выборка кортежей, идентифицирующих второй запрос. (Шаги 4 и 5 эффективно находят пересечение кликов).
6. Определение Similarity Measure между первым и вторым запросами.

Система использует структуру Inverted Image List, чтобы избежать сравнения всех элементов в огромных векторах. Обрабатываются только те изображения, которые были кликнуты для обоих запросов.

Claim 2 и 3 (Зависимые от 1): Детализируют расчет Similarity Measure (фактически описывая расчет Cosine Similarity).

1. (Claim 2) Для каждого общего изображения перемножаются ненулевые значения элементов из кортежей первого и второго запросов. Это дает Image Contribution Value. Затем эти значения суммируются (это скалярное произведение векторов).
2. (Claim 3) Вводится нормализация. Сумма Image Contribution Values делится на произведение Normalization Values (например, Евклидовых норм) первого и второго запросов.

Claim 14 (Независимый пункт): Описывает инвертированный процесс для определения схожести изображений.

1. Генерация Selection Vector для каждого изображения (элементы соответствуют запросам, которые привели к кликам).
2. Использование Inverted Query Lists для оптимизации.
3. Определение Similarity Measure путем нахождения общих запросов и расчета схожести (аналогично Claims 1-3).

Где и как применяется

Изобретение применяется в компонентах, отвечающих за понимание запросов и улучшение результатов поиска, преимущественно в поиске по изображениям.

INDEXING – Индексирование и извлечение признаков (Обработка данных)
Основная часть вычислений происходит здесь в офлайн-режиме. Система (Query Similarity Subsystem) обрабатывает Historical Data (логи запросов и кликов) для:

• Генерации Selection Vectors для всех запросов и изображений.
• Создания структур оптимизации: Inverted Image Lists и Inverted Query Lists.
• Расчета и сохранения Similarity Measures.

QUNDERSTANDING – Понимание Запросов
Система использует рассчитанные данные о схожести запросов для:

• Query Suggestion Operations: Предложение пользователю похожих запросов (Related Searches/Подсказки).
• Search Augmentation Operations: Автоматическое выполнение поиска по похожим запросам, если результаты по исходному запросу неудовлетворительны (например, мало результатов).

METASEARCH / RERANKING – Метапоиск и Переранжирование (Image Search)
Результаты анализа схожести изображений используются для:

• Search Result Augmentation Operations: Добавление в выдачу похожих изображений (Related Images / «More like this») к выбранному результату, используя инвертированный процесс (Image Similarity).

Входные данные:

• Логи запросов (текстовых и визуальных).
• Логи кликов (выборов) на изображения в результатах поиска.

Выходные данные:

• База данных Similarity Measures между парами запросов и парами изображений.

На что влияет

• Типы контента: Влияет непосредственно на поиск изображений (Google Images).
• Специфические запросы: Наибольшее влияние на неоднозначные запросы, где поведение пользователей помогает уточнить интент.
• Языковые и Модальные ограничения: Механизм позволяет находить схожие запросы независимо от языка (Cross-Lingual) и модальности (Cross-Modal: текст vs изображение), так как он основан на кликах по одним и тем же изображениям, а не на анализе ввода пользователя.

Когда применяется

• Временные рамки: Расчет Selection Vectors и Similarity Measures происходит в офлайн-режиме или периодически, обрабатывая исторические данные.
• Применение результатов: Происходит в реальном времени при обработке запроса пользователя для генерации подсказок или формирования SERP.
• Пороговые значения: Система использует Minimum Similarity Threshold. Запросы/изображения считаются похожими, только если их мера схожести превышает этот порог.
• Оптимизация (Top M): Патент упоминает возможность ограничения расчетов только Топ-M самых кликабельных изображений для запроса (например, M=100-2000), чтобы сократить объем вычислений и повысить эффективность.

Пошаговый алгоритм

Процесс А: Подготовка данных (Офлайн)

1. Сбор данных: Агрегация Historical Data о запросах (Q) и кликах по изображениям (I).
2. Генерация Selection Vectors: Для каждого запроса формируется вектор, содержащий количество выборов для каждого изображения.
3. Нормализация: Расчет Normalization Value (например, Евклидовой нормы) для каждого вектора выбора.
4. Создание Inverted Image Lists: Для каждого уникального изображения создается список кортежей (tuples). Кортеж содержит: Идентификатор запроса, Количество выборов (ненулевой элемент вектора), и (опционально) Значение нормализации для этого запроса.

Процесс Б: Эффективное вычисление схожести между Запросом А и Запросом Б (Основан на FIG. 3)

1. Идентификация релевантных списков: Выбор всех Inverted Image Lists, которые содержат кортеж, идентифицирующий Запрос А.
2. Поиск совпадений (Пересечение): В каждом из выбранных списков выполняется поиск кортежа, идентифицирующего Запрос Б. Это находит все изображения, кликнутые по обоим запросам.
3. Расчет вклада изображения: Если Запрос Б найден в списке:
   1. Перемножение значений выбора для Запроса А и Запроса Б для получения Image Contribution Value.
4. Агрегация (Скалярное произведение): Суммирование всех рассчитанных Image Contribution Values.
5. Финальная нормализация (для Cosine Similarity): Деление суммарного значения на произведение значений нормализации для Запроса А и Запроса Б (если не было сделано заранее).
6. Применение порога: Сравнение результата с minimum similarity threshold.

Процесс В: Расчет схожести изображений (Image Similarity)

Процесс аналогичен Процессам А и Б, но данные инвертируются:

1. Генерация векторов (Офлайн): Для каждого изображения создается Selection Vector, где элементы соответствуют запросам.
2. Генерация инвертированных списков (Офлайн): Создание Inverted Query Lists.
3. Расчет схожести: Сравнение двух изображений путем нахождения общих запросов и вычисления Similarity Measure.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на использовании поведенческих данных для определения схожести.

• Поведенческие факторы:
  • Выборы (Selections/Clicks): Количество раз, когда изображение было выбрано (кликнуто), будучи представленным в качестве результата поиска для определенного запроса. Это основной сигнал.
  • Запросы (Queries): Текст или изображения, используемые пользователями в качестве поисковых запросов.

Контентные, технические, ссылочные и другие факторы в данном патенте не используются.

Какие метрики используются и как они считаются

• Элементы Selection Vector: Значения могут быть:
  • Количеством кликов (сырые данные).
  • Вероятностью клика (нормализованные данные).
• Similarity Measure: Метрика схожести между двумя векторами. Упоминаются два основных метода расчета:
  • Cosine Similarity: Рассчитывается как скалярное произведение двух векторов, деленное на произведение их Евклидовых норм (Euclidean norms). Формула: $sim(Q_i, Q_j) = \frac{Z_i \cdot Z_j}{||Z_i|| \cdot ||Z_j||}$ (где Z — это Selection Vector).
  • KL Divergence: Измеряет расхождение между двумя распределениями вероятностей P и Q. Формула: $D(P||Q) = \sum_i P(i) \log \frac{P(i)}{Q(i)}$. Поскольку метрика асимметрична, патент предлагает усреднять D(P||Q) и D(Q||P) для получения симметричной метрики.
• Minimum Similarity Threshold: Пороговое значение, при превышении которого два запроса или изображения считаются похожими.

1. Поведение пользователя как источник истины об интенте: Ключевой вывод — схожесть между запросами определяется не их содержанием (текст, язык, формат), а действиями пользователей. Если пользователи кликают на одни и те же результаты для двух разных запросов, эти запросы считаются схожими по интенту (Принцип Коллаборативной фильтрации).
2. Кросс-языковое и кросс-модальное понимание: Этот механизм позволяет Google связывать запросы на разных языках (например, «собака» и «dog») или разных типов (текстовый запрос и запрос изображением), используя клики по изображениям как универсальный посредник.
3. Эффективность обработки разреженных данных (Sparse Matrix): Значительная часть патента посвящена оптимизации вычислений с помощью структур Inverted Lists. Это критически важно для масштабирования системы и эффективной обработки миллиардов запросов и изображений.
4. Принцип инверсии (Двойное применение): Описанный механизм инвертируем. Его можно использовать как для поиска похожих запросов (Query Similarity, Claim 1), так и для поиска похожих изображений (Image Similarity, Claim 14).
5. Важность CTR в Image SEO: Для SEO это означает, что изображения, которые привлекают клики, активно участвуют в формировании понимания поисковой системой семантики и взаимосвязей запросов.

Best practices (это мы делаем)

• Оптимизация изображений для высокого CTR: Поскольку клики (Selections) являются основным сигналом для установления связей, необходимо оптимизировать привлекательность и релевантность изображений в выдаче. Используйте высококачественные, релевантные и визуально привлекательные миниатюры (thumbnails).
• Фокус на соответствии интенту пользователя: Убедитесь, что изображение точно соответствует намерению целевых запросов. Релевантные клики укрепляют ассоциацию между вашим изображением и кластером похожих запросов в глазах Google.
• Анализ связанных запросов в Image Search: Изучайте блоки «Похожие запросы» (Related Searches) и «Похожие изображения» (Related Images). Этот патент описывает механизм их генерации. Это дает представление о том, как Google группирует запросы и контент на основе поведенческих сигналов.
• Создание изображений для кластера интентов: Создавайте высококачественные изображения, которые могут удовлетворить кластер схожих запросов. Если изображение получает клики по разным, но схожим запросам, это укрепляет его позиции в этом тематическом кластере и увеличивает его видимость в рекомендациях.

Worst practices (это делать не надо)

• Манипуляция ключевыми словами (Keyword Stuffing): Попытки ранжировать изображение по запросам, которым оно не соответствует, путем манипуляции текстом или alt-атрибутами. Если пользователи не кликают на изображение, поведенческая связь, описанная в патенте, не установится.
• Использование кликбейта: Использование вводящих в заблуждение миниатюр для генерации кликов. Хотя данный патент фокусируется на факте клика, современные системы Google учитывают и пост-клик поведение (удовлетворенность пользователя). Кликбейт вреден для долгосрочной стратегии.
• Игнорирование качества и релевантности изображений: Размещение низкокачественных или нерелевантных изображений приведет к низкому CTR, и Google не сформирует сильную ассоциацию между этими изображениями и целевыми запросами.

Стратегическое значение

Патент подтверждает стратегическую важность поведенческих факторов в работе поисковых систем. Он демонстрирует, что Google активно использует данные о взаимодействии пользователей для организации информации и понимания связей между сущностями, выходя за рамки текстового или визуального анализа. Для SEO это означает, что фокус должен быть смещен с формальной оптимизации на фактическое удовлетворение интента пользователя, подтверждением которого служат клики.

Практические примеры

Сценарий 1: Кластеризация запросов на разных языках (Query Similarity)

1. Задача: Понять связь между запросами Q1="Eiffel Tower" и Q2="Tour Eiffel".
2. Механизм работы: Система анализирует Historical Data и видит, что пользователи, вводящие Q1 и Q2, часто кликают на один и тот же набор популярных фотографий Эйфелевой башни.
3. Результат: Selection Vectors для Q1 и Q2 очень похожи. Система рассчитывает высокую Cosine Similarity и классифицирует запросы как схожие, несмотря на разный язык. Q2 будет предложен как подсказка для Q1.
4. Действие SEO: Оптимизация качественного изображения для высокого CTR на одном языке может привести к его видимости по эквивалентным запросам на других языках.

Сценарий 2: Определение похожих изображений (Image Similarity)

1. Задача: Найти изображения, похожие на I1 (фото золотистого ретривера, играющего с мячом).
2. Механизм работы: Система анализирует Selection Vector для I1 и видит, что на него часто кликают по запросам "golden retriever puppy", "dog playing fetch". Затем она ищет другие изображения (например, I2), чей Selection Vector также содержит высокие значения для этих же запросов.
3. Результат: I1 и I2 признаются похожими, так как они удовлетворяют одним и тем же запросам. I2 будет показано в блоке «Похожие изображения» рядом с I1.
4. Действие SEO: Убедитесь, что ваши изображения получают клики по широкому спектру релевантных запросов, чтобы увеличить их видимость в рекомендательных блоках.