Как Google переносит визуальную релевантность между похожими запросами в поиске по картинкам

Термины и определения

Boost Value / Adjustment Multiplier (Значение повышения / Множитель корректировки)

Потенциальное увеличение IR score изображения, рассчитанное на основе его Image Relevance Score. Используется для повышения ранга визуально релевантных изображений.

Content Feature Values (Значения признаков контента / Визуальные признаки)

Количественное представление визуальных характеристик изображения (цвета, яркость, формы, текстуры и т.д.). Используются как входные данные для Image Relevance Model.

Degree of Similarity (Степень схожести)

Метрика, определяющая, насколько близки два разных запроса. Учитывает различные текстовые факторы.

Divisor (Делитель)

Значение, используемое для уменьшения Boost Value, когда модель релевантности заимствуется от другого запроса. Определяется на основе Degree of Similarity; чем меньше схожесть, тем больше делитель.

Fractional Adjustment Multiplier / Fractional Boost (Дробный множитель корректировки / Дробный буст)

Итоговый Boost, полученный после применения Divisor. Это скорректированное значение, которое применяется к IR score.

Image Relevance Model (IRM) (Модель релевантности изображений)

Предиктивная модель, обученная для конкретного уникального запроса на основе его визуальных признаков (Content Feature Values) и поведенческих данных (кликов). Оценивает визуальную релевантность изображения этому запросу.

Information Retrieval (IR) Score (Оценка информационного поиска)

Базовая оценка релевантности ресурса (например, изображения) запросу, используемая для первоначального ранжирования.

Query Similarity Metrics (Метрики схожести запросов)

Факторы, используемые для расчета Degree of Similarity. Включают анализ Stop words (стоп-слов), Variants (синонимы или близкие термины), Optional words (необязательные слова) и порядок слов.

Relevance Feedback Score (Оценка обратной связи по релевантности)

Метрика релевантности, основанная на действиях пользователей (например, кликах). Используется для выбора обучающих изображений для IRM.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод применения модели релевантности от похожего запроса при отсутствии модели для исходного запроса.

1. Система получает поисковый запрос и идентифицирует набор релевантных изображений.
2. Идентифицируются доступные Image Relevance Models (IRM), каждая из которых обучена для уникального запроса и оценивает релевантность на основе визуальных признаков (visual features).
3. Ключевое условие: Система определяет, что IRM для полученного запроса недоступна.
4. В ответ на это система идентифицирует IRM для другого запроса, который признан похожим на полученный запрос.
5. Определяется Degree of Similarity между двумя запросами на основе схожести слов.
6. Определяется Fractional Adjustment Value (Значение дробной корректировки) на основе Degree of Similarity. Утверждается, что это значение для высокой степени схожести ниже, чем для низкой степени схожести (т.е. чем больше схожесть, тем меньше пенальти/делитель).
7. Используя IRM другого запроса, для каждого изображения получается Image Relevance Adjustment Value (базовый бустинг) на основе визуальных признаков.
8. Базовый бустинг уменьшается на основе Fractional Adjustment Value.
9. Определяется итоговая оценка релевантности изображения.
10. Выводятся результаты поиска на основе итоговой оценки.

Claim 4 (Зависимый от 1): Детализирует механизм расчета дробной корректировки.

1. Определяется множитель корректировки (Adjustment Multiplier, т.е. базовый Boost) на основе меры релевантности от IRM.
2. К этому множителю применяется Divisor (делитель).
3. Делитель определяется на основе Degree of Similarity между двумя запросами.

Где и как применяется

Изобретение применяется в рамках системы поиска по изображениям (Image Search Apparatus) и затрагивает несколько этапов обработки данных.

INDEXING – Индексирование и извлечение признаков
На этом этапе извлекаются и сохраняются визуальные характеристики изображений (Content Feature Values). Также офлайн происходит обучение Image Relevance Models на основе поведенческих данных (Click Logs, Query Logs).

QUNDERSTANDING – Понимание Запросов
Система должна уметь оценивать семантическую близость между различными запросами (Degree of Similarity), используя различные метрики (стоп-слова, синонимы, порядок слов), чтобы определить возможность переноса моделей.

RANKING – Ранжирование
На этом этапе генерируются первоначальные результаты поиска по изображениям с базовыми оценками (IR scores).

RERANKING – Переранжирование
Основной этап применения патента. Если для запроса нет своей IRM, система активирует механизм заимствования модели от похожего запроса. Рассчитывается Fractional Adjustment Multiplier, который применяется к IR scores для пересортировки результатов (создание Boosted IR Scores).

Входные данные:

• Поисковый запрос.
• Набор изображений-кандидатов с их IR scores.
• Визуальные признаки (Content Feature Values) изображений.
• Набор доступных обученных Image Relevance Models.

Выходные данные:

• Переранжированный набор изображений с Boosted IR Scores.

На что влияет

• Типы контента: Влияет исключительно на ранжирование изображений в поиске по картинкам (Image Search).
• Специфические запросы: Наибольшее влияние оказывается на редкие, новые или длиннохвостые (long-tail) запросы. Это запросы, по которым недостаточно данных для обучения собственной модели, но которые семантически похожи на более популярные (head) запросы.
• Конкретные ниши: Влияет на все ниши, особенно E-commerce, где вариативность запросов (например, по цветам или моделям товаров) очень высока.

Когда применяется

• Условие активации (согласно Claim 1): Алгоритм активируется, когда система определяет, что для текущего поискового запроса отсутствует собственная обученная Image Relevance Model.
• Необходимое условие: Должен существовать другой запрос, который признан достаточно похожим на текущий и для которого доступна обученная IRM.

Пошаговый алгоритм

Процесс А: Офлайн-обучение (Предварительный этап)

1. Сбор данных: Анализ Query Logs и Click Logs для расчета Relevance Feedback Score (например, CTR изображений по запросам).
2. Отбор данных: Выбор Training Images с высоким Relevance Feedback Score для конкретных запросов.
3. Обучение моделей: Обучение отдельной Image Relevance Model (IRM) для каждого запроса, где достаточно данных. Модель учится связывать визуальные признаки (Content Feature Values) с релевантностью.

Процесс Б: Обработка запроса (Рантайм)

1. Получение запроса: Система получает исходный запрос (Query A).
2. Первичное ранжирование: Генерируется набор изображений с базовыми IR Scores.
3. Проверка наличия модели: Система проверяет, есть ли IRM(A).
   • Если НЕТ: Переход к шагу 4.
   • Если ДА: Применяется стандартный бустинг (не фокус этого патента).
4. Поиск похожей модели: Идентифицируется похожий запрос (Query B), для которого существует IRM(B).
5. Расчет степени схожести: Вычисляется Degree of Similarity между Query A и Query B. Анализируются метрики: стоп-слова, синонимы (variants), необязательные слова, порядок слов.
6. Определение Делителя (Divisor): На основе Degree of Similarity определяется Divisor. (Например, синонимы -> Divisor=2; разный порядок слов -> Divisor=4).
7. Применение заимствованной модели: IRM(B) применяется к визуальным признакам изображений Query A. Генерируются Image Relevance Scores (IRS).
8. Расчет базового бустинга: IRS конвертируются в базовый Boost Value.
9. Расчет дробного бустинга: Fractional Boost = Boost Value / Divisor.
10. Переранжирование: Fractional Boost применяется к базовым IR Scores. Выдача пересортировывается.

Какие данные и как использует

Данные на входе

• Контентные (Визуальные) факторы: Критически важные данные. Content feature values, которые количественно описывают визуальное содержимое изображения (цвета, формы, текстуры). Патент упоминает, что эти данные могут быть представлены в виде "bag of features" или image content descriptor.
• Поведенческие факторы: Query logs и Click logs. Эти данные используются офлайн для обучения Image Relevance Models. Клики используются как индикатор релевантности (relevance feedback score).
• Текстовые факторы: Термины исходного и похожего запросов. Используются для расчета Degree of Similarity.

Какие метрики используются и как они считаются

• Image Relevance Score (IRS): Оценка визуальной релевантности, генерируемая моделью IRM. В патенте приводится пример линейной модели для расчета: