Как Google комбинирует визуальное сходство и поведенческие факторы для ранжирования изображений

Описание

Какую задачу решает

Патент решает проблему неточности определения релевантности изображений, когда текстовый контент, связанный с изображением, отсутствует или вводит в заблуждение. Он также устраняет уязвимость, при которой зашумленные поведенческие сигналы (например, клики из любопытства, кликбейт или манипуляции CTR) могут привести к ранжированию нерелевантных изображений. Изобретение улучшает качество поиска по картинкам, перекрестно проверяя поведенческие сигналы с помощью анализа визуальных характеристик.

Что запатентовано

Запатентован метод упорядочивания результатов поиска изображений путем генерации корректирующего фактора (Adjustment Factor) для каждого изображения относительно запроса. Этот фактор рассчитывается на основе двух компонентов: данных о релевантности (Relevance Data), основанных на действиях пользователей (например, кликах), и данных о сходстве изображений (Image Similarity Data), основанных на визуальных характеристиках. Система значительно усиливает влияние этого фактора, если оба компонента согласуются.

Как это работает

Механизм интегрирует две независимые оценки релевантности:

• Поведенческая оценка: Анализ Relevance Data (например, частота кликов на изображение по данному запросу).
• Визуальная оценка: Анализ Image Similarity Data (насколько изображение визуально похоже на другие релевантные изображения по этому запросу).

Эти оценки объединяются в Adjustment Factor. Ключевым является механизм масштабирования:

• Co-relevance: Если обе оценки высоки (условие co-relevance condition), применяется Amplification Factor, значительно повышая ранг.
• Co-irrelevance: Если обе оценки низки (условие co-irrelevance condition), применяется Inverse-Amplification Factor для понижения.
• Конфликт: Если сигналы противоречат друг другу, масштабирование не применяется или ограничивается.

Актуальность для SEO

Высокая. Патент описывает фундаментальную логику комбинирования разнородных сигналов (поведенческих и визуальных) для ранжирования. В эпоху мультимодального поиска (например, Google Lens, MUM, Gemini) методы оценки релевантности изображений за пределами текста крайне актуальны. Описанный механизм валидации кликов через визуальное сходство остается важным компонентом качества поиска изображений.

Важность для SEO

Патент имеет высокое значение для стратегий продвижения в поиске по картинкам (Image SEO). Он показывает, что ни одних только кликов (CTR), ни одной только текстовой оптимизации недостаточно. Ключевым фактором является сочетание высокого CTR и визуального соответствия интенту запроса (сходства с другими релевантными изображениями). Это требует от SEO-специалистов понимания визуального контекста ниши и оптимизации изображений как для привлечения внимания пользователей, так и для соответствия ожидаемым визуальным характеристикам.

Детальный разбор

Термины и определения

Adjustment Factor (Корректирующий фактор)

Числовое значение, представляющее меру качества изображения относительно поискового запроса. Рассчитывается на основе Relevance Data и Image Similarity Data.

Amplification Factor (Фактор усиления)

Множитель, применяемый для масштабирования Adjustment Factor, когда удовлетворяется условие co-relevance condition. Указывает на повышенную уверенность в релевантности.

Click Logs / Query Logs (Журналы кликов / Запросов)

Хранилища данных о действиях пользователей и отправленных запросах. Источники для Relevance Data.

Co-irrelevance condition (Условие ко-нерелевантности)

Условие, которое удовлетворяется, когда и Relevance Data, и Image Similarity Data указывают на низкую релевантность изображения запросу (обе ниже соответствующих нижних порогов).

Co-relevance condition (Условие ко-релевантности)

Условие, которое удовлетворяется, когда и Relevance Data, и Image Similarity Data указывают на высокую релевантность изображения запросу (обе выше соответствующих верхних порогов).

Image Rank Score (Итоговая оценка ранжирования изображения)

Скорректированная оценка ранжирования. Определяется как функция от Adjustment Factor и исходной оценки ранжирования (Search Rank Score).

Image Similarity Data (Данные о сходстве изображений)

Данные, определяющие относительное визуальное сходство между изображением и другими релевантными изображениями. Включают Visual Score.

Inverse-Amplification Factor (Обратный фактор усиления)

Множитель, применяемый для масштабирования Adjustment Factor, когда удовлетворяется условие co-irrelevance condition. Уменьшает итоговую оценку.

Relevance Data (Данные о релевантности)

Также Relevance feedback data. Данные, основанные на действиях пользователей (например, частота кликов, прямая обратная связь).

Visual Distance (Визуальное расстояние)

Мера визуального различия между признаками двух изображений. Может рассчитываться с использованием алгоритмов типа SIFT или geometric blur.

Visual Score (Визуальная оценка)

Оценка, генерируемая для изображения на основе мер визуального расстояния между ним и другими релевантными изображениями, часто на основе Visual Distance Matrix.

Ключевые утверждения (Анализ Claims)

Данная публикация (US 2015/0161168 A1) является продолжением (continuation) предыдущих заявок. Пункты 1-20 отменены. Анализ основан на действующем независимом пункте Claim 21.

Claim 21 (Независимый пункт): Описывает метод корректировки оценки релевантности (механизм co-relevance).

1. Система идентифицирует изображение, чья мера релевантности (рассчитанная независимо от визуального сходства, например, на основе кликов) соответствует определенному порогу релевантности (specified relevance threshold).
2. Система определяет, что это изображение имеет как минимум пороговый уровень визуального сходства (threshold level of visual similarity) с другими изображениями, которые считаются релевантными этому запросу.
3. Для изображения определяется Adjustment Factor, основанный на мере релевантности (шаг 1) и уровне визуального сходства (шаг 2).
4. Если оба условия выполнены, определяется скорректированная мера релевантности (Adjusted measure of relevance). Она пропорциональна исходной мере релевантности и Adjustment Factor.

Ключевой момент: значительное повышение ранга происходит только при подтверждении релевантности двумя разными типами сигналов.

Claim 27 (Зависимый): Описывает обратный процесс (механизм co-irrelevance).

1. Идентифицируется изображение, чья мера релевантности соответствует порогу нерелевантности (specified irrelevance threshold) (т.е. очень низкая).
2. Определяется, что это изображение имеет пороговый уровень визуального различия (threshold level of visual dissimilarity) с другими релевантными изображениями.
3. Мера релевантности изображения корректируется (понижается) в ответ на выполнение обоих этих условий.

Где и как применяется

Изобретение применяется в подсистеме поиска изображений (Image Search Subsystem) и затрагивает несколько этапов поиска.

INDEXING – Индексирование и извлечение признаков

• Извлечение визуальных признаков: Image Feature Detection System обрабатывает изображения для извлечения визуальных признаков (упоминаются SIFT, geometric blur).
• Расчет сходства: Вычисляются визуальные расстояния (Visual Distance) и могут строиться матрицы визуального расстояния (Visual Distance Matrix).
• Сбор поведенческих данных: Система обрабатывает Click Logs и Query Logs для определения Relevance Data (частоты кликов) для пар запрос-изображение.

RANKING – Ранжирование
Генерируется предварительный набор результатов с исходными Search Rank Scores.

RERANKING – Переранжирование
Основное применение патента. Система корректирует порядок результатов:

1. Генерация Adjustment Factor: Рассчитывается Adjustment Factor для каждого изображения, используя Relevance Data и Image Similarity Data.
2. Проверка условий и масштабирование: Проверяются условия co-relevance и co-irrelevance. Применяются Amplification Factor или Inverse-Amplification Factor.
3. Финальное упорядочивание: Результаты упорядочиваются на основе итоговых Image Rank Scores.

Входные данные:

• Поисковый запрос и набор отзывчивых изображений.
• Relevance Data (данные о кликах) для каждого изображения по этому запросу.
• Image Similarity Data (например, Visual Score).
• Исходные Search Rank Scores.

Выходные данные:

• Упорядоченный набор результатов поиска изображений на основе Image Rank Scores.

На что влияет

• Конкретные типы контента: Влияет исключительно на результаты поиска изображений (Image Search).
• Специфические запросы: Наибольшее влияние на запросы, где существует устоявшийся визуальный консенсус (например, логотипы, известные личности, конкретные продукты). Также влияет на запросы, подверженные кликбейту, помогая отфильтровать визуально нерелевантные результаты, даже если они получают клики.

Когда применяется

Алгоритм применяется при обработке запросов на поиск изображений. Ключевые условия активации корректировок:

• Триггер повышения (Co-relevance): Когда Relevance Data удовлетворяет верхнему порогу релевантности И Image Similarity Data удовлетворяет верхнему порогу сходства.
• Триггер понижения (Co-irrelevance): Когда Relevance Data удовлетворяет нижнему порогу релевантности И Image Similarity Data удовлетворяет нижнему порогу сходства (т.е. изображение сильно отличается).
• Исключения (Конфликт сигналов): Если условия не выполняются (например, много кликов, но низкое визуальное сходство), Adjustment Factor не масштабируется или его значение ограничивается (capped), чтобы предотвратить продвижение аномалий (например, кликбейта).

Пошаговый алгоритм

Процесс А: Генерация Adjustment Factor и переранжирование

1. Получение результатов: Система получает набор изображений, релевантных запросу (например, Топ-N).
2. Доступ к Relevance Data: Для каждого изображения извлекаются Relevance Data (например, нормализованные данные о кликах).
3. Доступ к Image Similarity Data: Для каждого изображения извлекаются Image Similarity Data (например, Visual Score).
4. Генерация базового Adjustment Factor: Рассчитывается базовый Adjustment Factor как функция (например, произведение) от Relevance Data и Image Similarity Data.
5. Проверка Co-relevance: Система проверяет, удовлетворяют ли оба показателя верхним порогам.
   • Если ДА: Adjustment Factor масштабируется (умножается) на Amplification Factor.
6. Проверка Co-irrelevance: Если Co-relevance не выполнено, система проверяет, удовлетворяют ли оба показателя нижним порогам.
   • Если ДА: Adjustment Factor масштабируется на Inverse-Amplification Factor.
7. Обработка конфликтов: Если ни одно из условий не выполнено, Adjustment Factor не масштабируется, и его значение может быть ограничено.
8. Расчет Image Rank Score: Генерируется итоговая оценка как функция от исходной оценки ранжирования и финального Adjustment Factor.
9. Упорядочивание: Результаты упорядочиваются на основе Image Rank Score.

Процесс Б: Предварительная обработка (Офлайн/Фоновый режим)

1. Нормализация Relevance Data: Данные о кликах нормализуются (например, методом биннинга/binning), чтобы привести их к сопоставимому диапазону значений.
2. Расчет Image Similarity: Извлекаются визуальные признаки (SIFT, geometric blur). Рассчитывается Visual Distance Matrix. Генерируются Visual Scores.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные (Relevance Data). Включают частоту кликов (frequency of clicks) или выбора изображения по конкретному запросу. Также может использоваться явная обратная связь от пользователей (explicit user feedback). Источник: Click Logs и Query Logs.
• Мультимедиа факторы: Визуальные характеристики изображений. Используются признаки (image features), извлеченные с помощью алгоритмов обнаружения признаков, таких как SIFT (scale-invariant feature transform) или geometric blur. Упоминаются patch-based shape features.
• Контентные факторы: Упоминается, что текст, появляющийся рядом с изображением (text appearing near the image), также может учитываться в Relevance Data.

Какие метрики используются и как они считаются

• Normalized Relevance Data: Данные о кликах нормализуются для обеспечения сравнимости. Описан метод биннинга (binning), когда изображения группируются по процентилям кликов, и каждой группе присваивается нормализованное значение (например, от 1 до 10).
• Visual Distance: Мера различия между изображениями, рассчитываемая на основе визуальных признаков.
• Visual Score: Оценка сходства изображения с другими релевантными изображениями. Может быть основана на статистических показателях (среднее, медиана, дисперсия) визуальных расстояний в Visual Distance Matrix.
• Adjustment Factor: Рассчитывается как функция (например, произведение) от нормализованных Relevance Data и Visual Score.
• Пороги (Thresholds): Используются верхние и нижние пороги для релевантности и сходства (upper/lower relevance threshold, upper/lower similarity threshold) для активации условий co-relevance и co-irrelevance.
• Amplification / Inverse-Amplification Factors: Коэффициенты для масштабирования Adjustment Factor.

Выводы

1. Мультимодальная валидация релевантности: Google использует комбинацию независимых сигналов для оценки изображений. Поведенческие сигналы (клики) перепроверяются и валидируются с помощью визуальных сигналов (сходство с другими релевантными изображениями).
2. Усиление при согласовании сигналов (Консенсус): Механизм co-relevance демонстрирует, что система значительно больше доверяет релевантности, если она подтверждена и поведением пользователей, и визуальным анализом. В этом случае применяется агрессивное повышение (Amplification Factor). Аналогично работает понижение при co-irrelevance.
3. Защита от манипуляций CTR и кликбейта: Патент описывает защиту от ситуаций, когда высокий CTR не является показателем релевантности. Если изображение получает много кликов, но визуально не похоже на другие релевантные результаты (конфликт сигналов), система ограничивает или не применяет масштабирование Adjustment Factor.
4. Важность визуального контекста и интента: Для успешного ранжирования изображение должно соответствовать общепринятому визуальному представлению темы запроса (визуальному консенсусу). Изображения, которые визуально выбиваются из кластера релевантных изображений, могут испытывать трудности в ранжировании.

Практика

Best practices (это мы делаем)

• Анализ и оптимизация под визуальный интент: Анализируйте топовые результаты в Image Search по целевым запросам, чтобы понять доминирующие визуальные характеристики (цвета, композиция, стиль, объект съемки). Создавайте изображения, которые соответствуют этому устоявшемуся визуальному интенту. Это повысит Image Similarity Data.
• Оптимизация CTR изображений (Естественная): Работайте над повышением кликабельности изображений, так как Relevance Data (клики) является одним из двух ключевых компонентов. Используйте четкие, привлекательные и высококачественные изображения, которые мотивируют пользователя кликнуть.
• Использование стандартных представлений объектов: При создании изображений продуктов или иллюстраций для общих понятий используйте стандартные ракурсы и представления. Это увеличивает вероятность того, что система распознает визуальное сходство с другими релевантными изображениями и присвоит высокий Visual Score.
• Обеспечение релевантного контекста: Размещайте изображения в релевантном текстовом окружении. Хотя патент фокусируется на визуальных и поведенческих сигналах, текстовый контекст влияет на исходный Search Rank Score и может влиять на Relevance Data.

Worst practices (это делать не надо)

• Использование кликбейтных или вводящих в заблуждение изображений: Использование нерелевантных изображений для генерации кликов неэффективно. Система обнаружит конфликт: высокий CTR (Relevance Data), но низкое визуальное сходство (Image Similarity Data), и ограничит повышение в ранжировании.
• Игнорирование визуального консенсуса: Попытка ранжировать изображения, которые радикально отличаются по стилю или содержанию от того, что находится в топе. Например, попытка ранжировать абстрактный рисунок по запросу, где ожидается фотография объекта.
• Манипуляции с поведенческими факторами (Накрутка CTR): Накрутка кликов может временно повысить Relevance Data, но без соответствующего визуального сходства (высокого Visual Score) механизм Amplification Factor не активируется, делая эту тактику неэффективной.

Стратегическое значение

Патент подчеркивает стратегическую важность мультимодального подхода к SEO. Релевантность больше не ограничивается текстом; визуальные характеристики контента играют прямую и верифицирующую роль в ранжировании изображений. Для SEO-специалистов это означает необходимость интеграции анализа визуального интента в свои стратегии. Долгосрочный успех в Image Search зависит от способности создавать контент, который одновременно привлекателен для пользователей и визуально соответствует ожиданиям поисковой системы.

Практические примеры

Сценарий 1: Оптимизация карточки товара (eCommerce)

• Задача: Улучшить ранжирование изображения нового смартфона в Image Search.
• Анализ выдачи: В топе по запросу модели смартфона доминируют фотографии на белом фоне с фронтального ракурса.
• Действия: Использовать в качестве основного изображения товара качественную фотографию, соответствующую этим характеристикам (белый фон, фронтальный ракурс).
• Ожидаемый результат: Изображение получает клики (высокий Relevance Data) и визуально похоже на другие топовые результаты (высокий Image Similarity Data). Активируется co-relevance condition, и ранг изображения значительно повышается.

Сценарий 2: Борьба с нерелевантным контентом (Знаменитости)

• Ситуация: По запросу имени знаменитости в выдаче появляется карикатура, которая собирает много кликов из любопытства.
• Работа системы: Система фиксирует высокий CTR (высокий Relevance Data). Однако она определяет, что карикатура визуально сильно отличается от фотографий актера, которые составляют большинство релевантных результатов (низкий Image Similarity Data).
• Результат: Условие co-relevance не выполняется из-за конфликта сигналов. Amplification Factor не применяется. Ранжирование карикатуры ограничивается, уступая место реальным фотографиям, у которых оба показателя высоки.

Вопросы и ответы