Как Google использует query-specific модели для переранжирования изображений на основе их визуальных характеристик в реальном времени

Термины и определения

Image Content Descriptor (Дескриптор содержания изображения)

Компактное представление Image Feature Values (например, 32 байта), оптимизированное для быстрого онлайн-анализа. Генерируется с помощью Hashing, PCA и Delta Encoding.

Image Feature Values / Content Feature Values (Значения признаков изображения)

Числовые значения, описывающие визуальные характеристики изображения или его частей (цвет, текстура, гистограммы, края, углы, геометрическая информация).

Image Relevance Model (Модель релевантности изображений)

Модель машинного обучения (в патенте упоминается PAMIR), обученная для конкретного индексированного запроса. Она принимает на вход визуальные характеристики изображения (дескриптор) и выводит Relevance Score Adjustment Factor.

Indexed Query (Индексированный запрос)

Запрос, сохраненный в Historical Data Store, для которого может быть обучена Image Relevance Model.

PAMIR (Passive-Aggressive Model for Image Retrieval)

Тип линейной модели, упомянутый как возможная реализация Image Relevance Model. Обучается итеративно для ранжирования изображений по текстовым запросам.

Qualified Query (Квалифицированный запрос)

Индексированный запрос, который соответствует критериям для обучения модели: имеет достаточное количество релевантных изображений (выше порога) И достаточное количество взаимодействий пользователей (выше порога).

Query Processing Window (Окно обработки запроса)

Период времени между получением поискового запроса и отправкой результатов пользователю. Ключевой аспект патента — анализ происходит именно в этот период (онлайн).

Relevance Feedback Score (Оценка обратной связи по релевантности)

Метрика релевантности, основанная на действиях пользователей (например, кликах). Используется для обучения Image Relevance Models.

Relevance Score Adjustment Factor (Коэффициент корректировки оценки релевантности)

Значение, генерируемое Image Relevance Model на основе визуальных признаков. Используется для изменения исходного Relevance Score.

Similarity Score (Оценка схожести)

Метрика, определяющая схожесть между двумя запросами (используется для выбора модели) или между двумя изображениями (используется для анализа визуального сходства).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает весь процесс, включающий селективную офлайн-тренировку и онлайн-применение для переранжирования изображений.

1. Система идентифицирует запросы в историческом хранилище, у которых количество релевантных изображений превышает порог.
2. Система обучает индивидуальные Image Relevance Models ТОЛЬКО для этих запросов (и не обучает для запросов, не достигших порога). Каждая модель уникальна.
3. Система получает новый запрос и набор отзывчивых результатов (изображений).
4. Система выбирает модель для использования. Это включает:
   • Определение (во время Query Processing Window), что полученный запрос наиболее похож на определенный индексированный запрос (для которого есть модель), на основе Similarity Score.
   • Выбор модели этого наиболее похожего индексированного запроса.
5. Для каждого результата (во время Query Processing Window):
   • Вычисление Relevance Score Adjustment Factor с использованием выбранной модели и Image Feature Values.
   • Корректировка Relevance Score.
6. Ранжирование результатов на основе скорректированных оценок и их предоставление.

Ядро изобретения — это селективное обучение моделей для конкретных запросов (на основе данных) и применение этих моделей (или моделей похожих запросов) в реальном времени для переранжирования на основе визуальных признаков.

Claim 5 (Зависимый от 1): Уточняет механизм корректировки при использовании модели от похожего запроса.

Система масштабирует (scaling) вычисленный Relevance Score Adjustment Factor пропорционально величине Similarity Score между полученным запросом и индексированным запросом, чья модель была использована.

Если система использует модель запроса, который лишь отдаленно похож на текущий запрос пользователя (низкий Similarity Score), то влияние визуальной модели на итоговое ранжирование будет слабым. Если схожесть высокая или запрос совпадает, влияние будет сильным.

Claim 8 (Зависимый от 1): Определяет критерии для тренировки модели (Qualified Query).

Обучение модели происходит только для запросов, которые удовлетворяют двум условиям: (1) пороговое количество изображений имеют минимальную оценку релевантности для этого запроса И (2) произошло пороговое количество взаимодействий пользователей с результатами этого запроса.

Это подчеркивает важность наличия достаточного объема данных и обратной связи от пользователей для построения надежной модели.

Claim 9 (Зависимый от 1): Описывает технический процесс создания Compressed Image Content Descriptor для обеспечения скорости.

Для каждого изображения генерируется сжатый дескриптор путем: конкатенации признаков, хеширования (для сокращения размера), применения Kernel PCA для генерации вектора чисел с плавающей запятой и применения Delta Encoding к подмножеству этих чисел, имеющих наибольшую вариативность. Этот дескриптор сохраняется в кеше и используется моделью для вычисления корректировки.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, связывая офлайн-обработку данных с онлайн-ранжированием в вертикали поиска по картинкам.

INDEXING – Индексирование и извлечение признаков

• Извлечение признаков: На этом этапе извлекаются Image Feature Values (цвет, текстура и т.д.).
• Генерация дескрипторов: Визуальные признаки сжимаются в компактный Image Content Descriptor (с использованием Hashing, PCA, Delta Encoding) и сохраняются в индексе (Indexed Cache).

(Офлайн-процессы, связанные с INDEXING и QUNDERSTANDING)

• Офлайн-тренировка: Система анализирует Historical Data Store (логи запросов и взаимодействий), идентифицирует Qualified Queries и обучает для них Image Relevance Models. Модели сохраняются в Image Relevance Model Store.

QUNDERSTANDING – Понимание Запросов (Онлайн)

• Во время обработки запроса система вычисляет Similarity Score между полученным запросом и индексированными запросами, чтобы найти наилучшее соответствие для выбора модели.

RANKING – Ранжирование (Онлайн)

• На этом этапе генерируется первоначальный набор результатов с исходными Relevance Scores (вероятно, на основе текстовых, ссылочных и других стандартных сигналов).

RERANKING – Переранжирование (Онлайн)

• Основное применение патента. Происходит онлайн, во время Query Processing Window. Система извлекает Image Content Descriptor для кандидатов, применяет выбранную Image Relevance Model, вычисляет и масштабирует Relevance Score Adjustment Factor, и пересортировывает результаты.

Входные данные:

• Запрос пользователя.
• Набор отзывчивых изображений с исходными Relevance Scores.
• Image Content Descriptor для каждого изображения.
• База обученных Image Relevance Models.

Выходные данные:

• Набор изображений, отсортированный по скорректированным Relevance Scores.

На что влияет

• Типы контента: Влияет исключительно на изображения (Image Search).
• Специфические запросы: Наибольшее влияние оказывается на запросы, для которых существуют обученные модели (Qualified Queries) — то есть, достаточно популярные запросы с четким визуальным интентом (например, названия продуктов, пород животных, мест, эстетические запросы).
• Конкретные ниши: Сильное влияние в тематиках, где визуальное соответствие критично: e-commerce, мода, дизайн, путешествия.
• Новые и редкие запросы: Для редких или новых запросов система будет пытаться найти похожий запрос с моделью, но влияние будет слабее (из-за масштабирования по Similarity Score). Если похожих запросов нет, механизм может не применяться.

Когда применяется

• Триггеры активации: Получение запроса на поиск изображений.
• Условия применения: Алгоритм корректировки активируется, если для полученного запроса (или достаточно похожего на него) существует предварительно обученная Image Relevance Model.
• Временные рамки: Корректировка ранжирования происходит онлайн, в течение Query Processing Window. Обучение моделей происходит офлайн, периодически.

Пошаговый алгоритм

Процесс А: Офлайн-подготовка (Индексирование и Тренировка)

1. Извлечение и сжатие признаков: Для индексируемых изображений извлекаются Image Feature Values. Они сжимаются через Hashing, PCA и Delta Encoding в Image Content Descriptor и сохраняются.
2. Анализ исторических данных: Система получает доступ к логам запросов и взаимодействий (кликов).
3. Идентификация Квалифицированных Запросов: Для каждого индексированного запроса проверяется:
   • Превышает ли количество релевантных изображений порог?
   • Превышает ли количество взаимодействий пользователей порог?
   • Если оба ДА, запрос помечается как Qualified Query.
4. Обучение Моделей: Для каждого Qualified Query обучается индивидуальная Image Relevance Model (например, PAMIR). Модель учится предсказывать релевантность (основываясь на Relevance Feedback Score) на основе визуальных признаков изображений.
5. Сохранение Моделей: Обученные модели сохраняются с привязкой к соответствующим запросам.

Процесс Б: Онлайн-обработка запроса (Ранжирование)

1. Получение запроса и первичных результатов: Система получает запрос и идентифицирует набор отзывчивых изображений с исходными Relevance Scores.
2. Определение схожести запросов: Вычисляются Similarity Scores между полученным запросом и индексированными запросами, для которых есть модели.
3. Выбор модели: Идентифицируется индексированный запрос с наивысшим Similarity Score (наиболее похожий). Его Image Relevance Model выбирается для анализа.
4. Вычисление корректировки: Для каждого изображения в наборе результатов:
   • Извлекается его Image Content Descriptor (и при необходимости декомпрессируется).
   • Выбранная модель применяется к дескриптору для вычисления Relevance Score Adjustment Factor.
5. Масштабирование корректировки: Каждый Relevance Score Adjustment Factor масштабируется пропорционально Similarity Score (между полученным и индексированным запросом).
6. Корректировка оценок: Исходный Relevance Score каждого изображения корректируется с помощью масштабированного фактора.
7. Переранжирование: Изображения ранжируются на основе скорректированных оценок и предоставляются пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании визуальных и поведенческих данных для улучшения ранжирования изображений.

• Мультимедиа факторы (Визуальные): Ядро изобретения. Image Feature Values — цвет, гистограммы цвета или оттенков серого, текстура, края, углы, геометрическая информация. Эти данные являются основой для анализа моделью и хранятся в виде Image Content Descriptor.
• Поведенческие факторы: Критически важны для офлайн-обучения. Данные из Historical Data Store (логи запросов и селектов/кликов). Используются для идентификации Qualified Queries и для обучения Image Relevance Models (чтобы понять, какие визуальные признаки коррелируют с выбором пользователя — Relevance Feedback Score).
• Контентные факторы (Текстовые): Текстовые метки (labels) и связанный текст используются для определения исходной релевантности и могут использоваться при офлайн-отборе кандидатов.

Какие метрики используются и как они считаются

• Similarity Score (между запросами): Метрика схожести запросов. Может основываться на синонимах, edit distance, transformation cost или данных о совместных кликах (co-click data). Используется для выбора подходящей модели и масштабирования её влияния.
• Relevance Score Adjustment Factor: Выход модели релевантности. В случае использования PAMIR, это может быть скалярное произведение (dot product) вектора весов модели и вектора признаков изображения (декомпрессированного дескриптора).
• Пороги Квалификации Запроса:
  • Порог количества релевантных изображений.
  • Порог количества взаимодействий (Interaction threshold).
• Методы анализа и вычислений:
  • Hashing (Хеширование): Например, Weighted Minhash. Используется для сокращения размерности признаков.
  • PCA (Kernel Principal Component Analysis): Используется для дальнейшего сокращения размерности и преобразования данных в вектор.
  • Delta Encoding (Дельта-кодирование): Используется для финального сжатия вектора в компактный дескриптор (например, 32 байта).

1. Визуальная релевантность является прямым фактором ранжирования: Патент доказывает, что Google использует визуальные характеристики изображения (цвет, текстура, форма) для корректировки ранжирования в Image Search. Это не просто сравнение с эталоном, а применение машинного обучения для оценки релевантности визуального контента.
2. Интерпретация визуального контента зависит от запроса (Query-Specific): Система не использует одну глобальную модель качества или релевантности изображений. Вместо этого она обучает отдельные Image Relevance Models для конкретных популярных запросов. Визуальные признаки, считающиеся релевантными для запроса А, могут отличаться от признаков для запроса Б.
3. Пользовательское поведение определяет визуальную релевантность: Модели обучаются на исторических данных о взаимодействиях (кликах). Это означает, что система учится распознавать визуальные паттерны, которые пользователи предпочитали в прошлом для данного запроса. Визуальный интент формируется коллективным поведением пользователей.
4. Система адаптируется к похожим запросам (Graceful Degradation): Даже если для конкретного запроса нет обученной модели, система использует модель наиболее похожего запроса. Однако влияние этой модели масштабируется (ослабляется) в зависимости от степени схожести (Similarity Score), чтобы избежать неточных корректировок.
5. Инфраструктура для скорости (Онлайн-анализ): Использование компактных Image Content Descriptors (сгенерированных через PCA, Hashing и Delta Encoding) позволяет проводить сложный визуальный анализ в реальном времени (онлайн), что критично для скорости работы поиска и учета свежего контента.

Best practices (это мы делаем)

• Анализ и соответствие визуальному интенту: Ключевая стратегия для Image SEO. Необходимо анализировать, какие типы изображений (стиль, цвет, композиция, объект) доминируют в выдаче по целевым запросам. Создавайте изображения, которые визуально соответствуют этому паттерну. Система, обученная на предпочтениях пользователей (кликах), с большей вероятностью присвоит таким изображениям положительный Relevance Score Adjustment Factor.
• Фокус на качестве и четкости контента: Высокое качество исполнения (четкость, освещение, резкость) способствует лучшему извлечению Image Feature Values и формированию точного Image Content Descriptor. Это повышает вероятность корректной оценки моделью.
• Оптимизация под популярные запросы (Head/Mid-Tail): Сосредоточьтесь на запросах, которые с высокой вероятностью являются Qualified Queries (имеют достаточный объем трафика и взаимодействий). Именно для них Google с наибольшей вероятностью обучит и применит специфические визуальные модели.
• Оптимизация под CTR в Image Search: Создавайте привлекательные изображения, которые мотивируют клики. Поскольку клики (Relevance Feedback Score) используются для обучения моделей, высокий CTR подтверждает визуальную релевантность вашего контента для системы.
• Текстовая оптимизация остается фундаментом: Не игнорируйте стандартное Image SEO (alt-текст, окружающий текст, имена файлов). Эти факторы отвечают за генерацию исходного Relevance Score и попадание изображения в первичный набор кандидатов, который затем переранжируется визуальной моделью.

Worst practices (это делать не надо)

• Использование стоковых или генерических изображений, не соответствующих интенту: Размещение нерелевантных изображений в надежде на ранжирование за счет текстовой оптимизации неэффективно. Image Relevance Model, специфичная для запроса, вероятно, понизит такое изображение, если его визуальные признаки не соответствуют ожиданиям.
• Clickbait и визуальное несоответствие: Использование привлекательных, но нерелевантных изображений приведет к негативным поведенческим сигналам. Это ухудшит ранжирование и негативно повлияет на обучение будущих Image Relevance Models для этой тематики.
• Низкое качество изображений: Использование размытых, темных или нечетких изображений. Система может некорректно извлечь признаки, что негативно скажется на оценке моделью.

Стратегическое значение

Этот патент подчеркивает переход Google от анализа текстовых меток к глубокому пониманию визуального содержания с помощью Computer Vision и Machine Learning. Стратегия Image SEO должна быть направлена на создание визуального контента, который не просто иллюстрирует текст, но и сам по себе является ответом на запрос пользователя. Понимание визуального интента становится столь же важным, как и понимание текстового интента. Долгосрочная стратегия требует инвестиций в качественный продакшн уникальных изображений, соответствующих ожиданиям аудитории в конкретной нише.

Практические примеры

Сценарий: Оптимизация карточки товара для E-commerce

Задача: Улучшить ранжирование изображения товара "красное вечернее платье с открытой спиной" в Image Search.

1. Анализ визуального интента: Изучаем выдачу по этому запросу. Предположим, 80% топовых результатов — это фотографии на моделях в полный рост, в интерьере, с хорошим освещением. Фотографии платьев на вешалке ранжируются ниже.
2. Причина (по патенту): Google, вероятно, обучил Image Relevance Model для этого запроса (он Qualified). Модель научилась ассоциировать Image Feature Values, характерные для фотографий на моделях, с высокой релевантностью, так как пользователи кликали на них чаще.
3. Действие: Создаем основное изображение товара, соответствующее доминирующему визуальному интенту — фото на модели в полный рост, в интерьере.
4. Ожидаемый результат: При обработке запроса система активирует модель. Модель анализирует Image Content Descriptor нашего изображения, находит соответствие обученным визуальным паттернам и генерирует высокий положительный Relevance Score Adjustment Factor, повышая изображение в выдаче.