Как Google комбинирует визуальное сходство и поведение пользователей для переранжирования поиска по картинкам

Термины и определения

Adjustment Factor (Корректирующий коэффициент)

Числовое значение, представляющее меру качества изображения относительно запроса. Рассчитывается на основе Relevance Data и Image Similarity Data. Используется для корректировки исходного рейтинга.

Amplification Factor (Коэффициент усиления)

Множитель, применяемый к Adjustment Factor, когда выполнено условие Co-relevance. Увеличивает рейтинг.

Click Logs / Query Logs (Логи кликов / Логи запросов)

Хранилища данных о запросах и действиях пользователей (кликах) в ответ на результаты поиска. Источник Relevance Data.

Co-irrelevance Condition (Условие совместной нерелевантности)

Состояние, при котором и Relevance Data, и Image Similarity Data удовлетворяют нижним порогам (низкие клики и низкое визуальное сходство).

Co-relevance Condition (Условие совместной релевантности)

Состояние, при котором и Relevance Data, и Image Similarity Data удовлетворяют верхним порогам (высокие клики и высокое визуальное сходство).

Image Rank Score (Итоговая оценка ранжирования изображения)

Финальная оценка, используемая для упорядочивания результатов поиска изображений. Рассчитывается на основе исходного рейтинга и Adjustment Factor.

Image Similarity Data (Данные о сходстве изображений)

Данные, определяющие относительное визуальное сходство между изображением и другими изображениями, релевантными тому же запросу. Могут быть представлены как Visual Score.

Inverse-Amplification Factor (Обратный коэффициент усиления)

Множитель, применяемый к Adjustment Factor, когда выполнено условие Co-irrelevance. Уменьшает рейтинг.

Relevance Data (Данные о релевантности)

Данные обратной связи, указывающие на релевантность изображения запросу. Включают частоту выбора (клики), явную обратную связь от пользователей.

Visual Distance Matrix (Матрица визуальных расстояний)

Матрица NxN, хранящая попарные визуальные расстояния (меры различия) между N изображениями в выдаче.

Visual Score (Визуальная оценка)

Оценка, генерируемая на основе Visual Distance Matrix, отражающая, насколько изображение похоже на другие изображения в наборе.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод корректировки рейтинга на основе совпадения сигналов релевантности.

1. Система получает результаты поиска изображений, ранжированные по relevance score (оценка релевантности), которая определена независимо от визуального сходства.
2. Для конкретного результата система получает image similarity data (данные о визуальном сходстве с другими изображениями в выдаче).
3. Генерируется adjustment factor на основе relevance score и image similarity data.
4. Определяется, является ли результат «co-relevant result». Это происходит, если:
   • relevance score соответствует заданному порогу; И
   • image similarity data указывает, что изображение имеет пороговый уровень визуального сходства с пороговым количеством других изображений в выдаче.
5. Если результат признан «co-relevant», adjustment factor масштабируется (увеличивается) с помощью amplification factor.

Ядро изобретения заключается в том, что значительное повышение рейтинга происходит только тогда, когда независимые сигналы — поведенческий (например, клики) и визуальный — оба подтверждают высокую релевантность изображения.

Анализ механизма Co-irrelevance (Claims 6, 7 и Description): В тексте Claim 6 патента присутствует очевидная ошибка (он утверждает, что inverse-amplification factor применяется, когда результат является co-relevant). Однако, основываясь на Детальном Описании (Description), логике работы системы и Claim 15 (который описывает систему), механизм использует Inverse-Amplification Factor при выполнении условия Co-irrelevance Condition.

Система проверяет Co-irrelevance. Если relevance score ниже нижнего порога И визуальное сходство ниже нижнего порога (Claim 7), то применяется Inverse-Amplification Factor, что приводит к понижению результата.

Claim 12 (Зависимый): Уточняет расчет adjustment factor.

Adjustment Factor может быть рассчитан как произведение relevance score и image similarity data.

Где и как применяется

Изобретение применяется в подсистеме поиска изображений (Image Search Subsystem) и затрагивает несколько этапов поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе система извлекает визуальные характеристики (image features) из изображений (например, с помощью SIFT или geometric blur, как указано в патенте). Эти данные необходимы для последующего расчета визуального сходства.

RANKING – Ранжирование
Генерируется первоначальный набор результатов поиска с использованием стандартных оценок ранжирования (Search Rank Scores или Relevance Scores).

RERANKING – Переранжирование
Основной этап применения патента. Система анализирует результаты этапа RANKING:

1. Извлекаются Relevance Data (из Click Logs) и рассчитываются Image Similarity Data (например, Visual Score).
2. Вычисляется Adjustment Factor.
3. Проверяются условия Co-relevance и Co-irrelevance.
4. Применяются Amplification Factor или Inverse-Amplification Factor.
5. Вычисляется финальный Image Rank Score, и результаты переупорядочиваются.

Входные данные:

• Набор изображений, релевантных запросу, и их исходные оценки.
• Relevance Data (клики, обратная связь) для каждого изображения по этому запросу.
• Image Similarity Data (например, Visual Distance Matrix или Visual Scores).

Выходные данные:

• Переупорядоченный набор результатов поиска изображений с финальными Image Rank Scores.

На что влияет

• Конкретные типы контента: Влияет исключительно на результаты поиска изображений (Image Search) и блоки с изображениями в универсальном поиске.
• Специфические запросы: Наибольшее влияние на запросы с четким визуальным интентом (объекты, продукты, знаменитости) и на запросы, подверженные кликбейту или появлению пародий/мемов.

Когда применяется

Алгоритм применяется в процессе обработки запросов к поиску изображений, как правило, к Топ-N результатам (например, Топ-1000).

• Триггеры активации масштабирования:
• Усиление (Boost): Активируется только при выполнении Co-relevance (оба показателя выше верхних порогов).
• Понижение (Demotion): Активируется только при выполнении Co-irrelevance (оба показателя ниже нижних порогов).
• Исключения (Конфликт сигналов): Если сигналы смешанные (например, много кликов, но низкое визуальное сходство), масштабирование не применяется. В патенте упоминается возможность установки лимита на значение Adjustment Factor в таких случаях, чтобы предотвратить доминирование одного сигнала.

Пошаговый алгоритм

Процесс переранжирования результатов поиска изображений:

1. Получение исходных данных: Система получает доступ к результатам поиска изображений, отвечающим на запрос.
2. Извлечение и Нормализация Relevance Data: Для каждого изображения извлекаются данные о кликах. Эти данные нормализуются (например, путем биннинга/распределения по корзинам), чтобы привести значения к стандартному диапазону.
3. Извлечение и Нормализация Image Similarity Data: Для каждого изображения рассчитывается или извлекается Visual Score (на основе матрицы визуальных расстояний). Эти данные также нормализуются.
4. Генерация базового коэффициента: Для каждого изображения генерируется Adjustment Factor (например, как произведение нормализованных Relevance Data и Visual Score).
5. Проверка Co-relevance: Система проверяет, удовлетворяют ли оба показателя верхним порогам.
   • Если ДА: Adjustment Factor масштабируется (умножается) на Amplification Factor. Переход к шагу 8.
   • Если НЕТ: Переход к шагу 6.
6. Проверка Co-irrelevance: Система проверяет, удовлетворяют ли оба показателя нижним порогам.
   • Если ДА: Adjustment Factor масштабируется (умножается) на Inverse-Amplification Factor. Переход к шагу 8.
   • Если НЕТ: Переход к шагу 7.
7. Обработка конфликтов: Adjustment Factor не масштабируется. Могут быть применены ограничения на его максимальное значение.
8. Расчет итогового рейтинга: Вычисляется Image Rank Score как функция от исходного ранга и финального Adjustment Factor.
9. Упорядочивание: Результаты переупорядочиваются на основе Image Rank Score.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Relevance Data): Критически важные данные. Источник — Click Logs и Query Logs. Включает частоту выбора (клики) изображения по данному запросу. Также может включать явную обратную связь пользователей.
• Мультимедиа факторы (Image Similarity Data): Визуальные характеристики изображения (image features). Патент упоминает использование алгоритмов типа SIFT (Scale-Invariant Feature Transform) или geometric blur для определения визуального расстояния (Visual Distance) между изображениями.
• Контентные факторы: Упоминается, что текст, появляющийся рядом с изображением, также может учитываться в составе Relevance Data.

Какие метрики используются и как они считаются

• Normalized Relevance Score: Метрика, полученная из Relevance Data. Используется нормализация (например, биннинг), чтобы значения находились в определенном диапазоне (например, 1-10) и были сравнимы между новыми и старыми изображениями.
• Visual Score (Визуальная оценка): Метрика, рассчитанная на основе Visual Distance Matrix. Отражает статистические показатели (среднее, медиана) расстояний изображения до других изображений в выдаче. Также нормализуется.
• Adjustment Factor: Рассчитывается как функция (часто произведение) от Normalized Relevance Score и Visual Score.
• Пороги (Thresholds): Используются для активации масштабирования: Верхние пороги для Co-relevance и Нижние пороги для Co-irrelevance.
• Масштабирующие коэффициенты: Amplification Factor (>1) и Inverse-Amplification Factor (<1).

1. Перекрестная валидация сигналов релевантности: Google не полагается на один тип сигнала в поиске изображений. Система требует согласованности между поведением пользователей (клики) и визуальным анализом контента.
2. Синергия дает агрессивный бустинг: Изображение получает значительное усиление (Amplification Factor) только тогда, когда оно одновременно популярно у пользователей (высокий CTR) И визуально соответствует консенсусу выдачи (высокое сходство). Это условие Co-relevance.
3. Защита от манипуляций и кликбейта (Конфликт сигналов): Если изображение получает много кликов, но визуально не похоже на другие результаты (конфликт сигналов), система не применяет усиление и может ограничить его ранжирование. Это эффективно нейтрализует кликбейт.
4. Активное понижение нерелевантного контента: Механизм Co-irrelevance активно понижает изображения, которые непопулярны и визуально отличаются от основного набора.
5. Важность «Визуального Консенсуса»: Для успешного ранжирования изображение должно соответствовать устоявшемуся визуальному представлению темы или объекта в индексе Google. Радикальное визуальное отклонение может быть интерпретировано как низкое сходство.

Best practices (это мы делаем)

• Обеспечение визуального соответствия интенту: Анализируйте Топ выдачи Image Search, чтобы понять «визуальный консенсус» по вашим целевым запросам. Используйте изображения, которые визуально соответствуют тому, что уже ранжируется. Это максимизирует Visual Score.
• Оптимизация для достижения Co-relevance: Создавайте высококачественные, привлекательные изображения, которые стимулируют клики (высокий Relevance Score) и одновременно четко отражают суть запроса визуально (высокий Visual Score). Это цель для активации Amplification Factor.
• Использование четких и репрезентативных изображений: Для товарных запросов или запросов по сущностям используйте четкие изображения, которые однозначно изображают объект. Это облегчает работу систем визуального анализа и повышает сходство с другими релевантными изображениями.
• Оптимизация контекста для релевантных кликов: Убедитесь, что окружающий текст, alt-атрибуты и заголовок страницы точно описывают изображение для привлечения целевых кликов и повышения Relevance Score.

Worst practices (это делать не надо)

• Использование кликбейтных изображений: Использование провокационных картинок, которые не соответствуют теме запроса. Они могут собрать клики, но будут иметь низкий Visual Score. Система распознает этот конфликт и не применит Amplification Factor.
• Применение слишком абстрактных или генерических стоковых фото: Если изображение слишком общее и не похоже на другие специфические изображения в нише, оно может получить низкий Visual Score, что затруднит ранжирование.
• Манипуляции с CTR: Накрутка кликов на изображении будет неэффективна, если система визуального анализа не подтвердит релевантность изображения (низкое сходство), благодаря описанному механизму валидации.
• Игнорирование визуального содержания: Фокус только на оптимизации Alt-текста без учета самого изображения. Визуальные признаки являются полноценным фактором ранжирования.

Стратегическое значение

Патент подтверждает стратегию Google по глубокому пониманию контента за пределами текста, используя мультимодальный подход (поведение + компьютерное зрение). Для успешного Image SEO необходимо мыслить категориями визуального представления и соответствия интенту. Долгосрочная стратегия должна включать создание качественного визуального контента, который одновременно привлекателен для пользователей и соответствует визуальному паттерну, который Google считает релевантным для данной темы.

Практические примеры

Сценарий 1: Поиск товара («Кроссовки Nike Air Max 90 белые»)

1. Изображение А (Четкое фото товара): Фотография нужной модели и цвета на белом фоне. Высокий CTR и высокое сходство с другими фото этого товара.
   • Результат: Co-relevance. Применяется Amplification Factor. Буст в ранжировании.
2. Изображение Б (Кликбейт): Изображение с текстом «Скидка 90%», но сам товар плохо виден. Высокий CTR, но низкое сходство с эталонными фото товара.
   • Результат: Конфликт сигналов. Бустинг не применяется. Ранжирование ограничено.
3. Изображение В (Ошибка индексации): Фотография другой модели кроссовок. Низкий CTR и низкое сходство с Air Max 90.
   • Результат: Co-irrelevance. Применяется Inverse-Amplification Factor. Понижение в выдаче.

Сценарий 2: Поиск знаменитости («Джонни Депп»)

1. Изображение А (Стандартное фото): Качественный портрет. Высокий CTR и высокое визуальное сходство с другими фото актера.
   • Результат: Co-relevance. Буст в ранжировании.
2. Изображение Б (Карикатура или Мем): Популярная карикатура на актера. Очень высокий CTR, но низкое визуальное сходство с фотографиями.
   • Результат: Конфликт сигналов. Бустинг не применяется. Ранжирование ниже стандартных фото.