Как Google персонализирует результаты поиска изображений на основе языка и местоположения пользователя

Термины и определения

Attribute / Attribute-Pair (Атрибут / Пара атрибутов)

Характеристики пользователя, используемые для сегментации. В патенте основное внимание уделяется языку (language attribute) и местоположению (locale attribute), часто объединяемым в пару (например, Indian-English).

First Set of Images (Первый набор изображений)

Набор изображений, популярных среди первой группы пользователей (пользователи с различными атрибутами, т.е. общая популяция), которые ранее вводили соответствующий запрос. Обычно это глобальный Top K List.

Second Set of Images (Второй набор изображений)

Набор изображений, популярных среди второй группы пользователей, имеющих те же специфические атрибуты (язык/местоположение), что и текущий пользователь. Это специфичный для атрибутов Top K List.

Set Similarity Score (Оценка сходства наборов)

Метрика, определяющая степень сходства между First Set и Second Set. В патенте описан метод расчета на основе количества общих изображений (пересечения), а не порядка.

Statistics of Accesses (Статистика доступов)

Исторические данные о взаимодействии пользователей с результатами поиска. На практике это данные о кликах (click data) или CTR для конкретных изображений по конкретным запросам.

Threshold (Порог)

Заданное значение Set Similarity Score. Если оценка сходства ниже порога, активируется специфичное ранжирование; если выше – используется глобальное.

Top K List (Топ-K список)

Список из K наиболее часто выбираемых изображений в ответ на запрос.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс адаптации поиска изображений.

1. Система получает запрос на изображения.
2. Получает результаты, релевантные запросу.
3. Выбирает First plurality of images (Первое множество изображений) на основе first click data (клики пользователей с различными атрибутами – общая популяция).
4. Выбирает Second plurality of images (Второе множество изображений) на основе second click data (клики пользователей, имеющих те же атрибуты языка и местоположения, что и текущий пользователь).
5. Вычисляет сходство (similarity) между Первым и Вторым множествами. Уточняется, что вычисление включает сравнение количества общих изображений между множествами.
6. Ранжирует результаты поиска на основе вычисленного сходства.
7. Предоставляет упорядоченные результаты.

Claim 2 (Зависимый): Детализирует логику ранжирования при низком сходстве.

Если сходство между Первым и Вторым множествами меньше заданного порогового значения (specified threshold value), ранжирование основывается, по крайней мере, на second click data (специфичных для атрибутов пользователя).

Claim 3 (Зависимый): Детализирует логику ранжирования при высоком сходстве.

Если сходство больше или равно заданному пороговому значению, ранжирование основывается, по крайней мере, на first click data (глобальных данных).

Claims 4 и 5 (Зависимые): Уточняют природу Первого и Второго множеств.

Они определяются как Top K images (Топ-K изображений), идентифицированные как наиболее часто выбираемые (most frequently selected) соответствующими группами пользователей (общей популяцией и специфичным сегментом).

Где и как применяется

Изобретение применяется в системе поиска изображений (Image Search) и затрагивает финальные этапы обработки запроса.

INDEXING – Индексирование и извлечение признаков
На этом этапе изображения индексируются. Также происходит офлайн-обработка логов поведения пользователей для агрегации statistics of accesses, сегментированной по атрибутам пользователей (язык/местоположение). Эти данные сохраняются для использования в реальном времени.

RANKING – Ранжирование
На этом этапе генерируется начальный набор изображений, удовлетворяющих запросу, с использованием стандартных сигналов релевантности (например, упоминается information retrieval score, такой как TF-IDF).

RERANKING – Переранжирование
Основное применение патента происходит на этом этапе. Система использует атрибуты текущего пользователя и предварительно рассчитанные данные о кликах для корректировки финального порядка выдачи.

1. Определение атрибутов: Идентифицируются язык и местоположение пользователя.
2. Получение данных о поведении: Извлекаются First Set (глобальный Топ-K) и Second Set (специфичный Топ-K) для данного запроса и атрибутов.
3. Расчет сходства и выбор логики: Вычисляется Set Similarity Score и сравнивается с порогом для выбора источника данных для ранжирования (глобального или специфичного).
4. Финальное упорядочивание: Результаты переупорядочиваются на основе выбранного набора данных о кликах.

Входные данные:

• Запрос пользователя на изображения.
• Атрибуты пользователя (Язык, Местоположение).
• Начальный набор релевантных изображений.
• Исторические данные о кликах (Statistics of Accesses), сегментированные по атрибутам.

Выходные данные:

• Переранжированный список результатов поиска изображений, адаптированный к предпочтениям пользовательского сегмента.

На что влияет

• Конкретные типы контента: Влияет исключительно на изображения (статичные, движущиеся, изображения внутри мультимедиа контента), как указано в патенте.
• Специфические запросы: Наибольшее влияние оказывается на запросы, где визуальная интерпретация сильно зависит от культуры, традиций или локальных особенностей (например, запросы о еде, одежде, праздниках, знаменитостях, местных событиях).
• Языковые и географические ограничения: Механизм напрямую зависит от языка и географии. Он разработан для улучшения релевантности в различных локалях и языковых группах.

Когда применяется

• При каких условиях работает алгоритм: Алгоритм оценки активируется при каждом запросе в поиске изображений для определения наиболее подходящей модели ранжирования.
• Триггеры активации переранжирования: Переранжирование на основе специфичных данных (Second Set) активируется только тогда, когда Set Similarity Score между глобальными и специфичными предпочтениями ниже установленного порога.
• Исключения и особые случаи: Если для конкретного запроса или сегмента недостаточно данных о кликах для формирования надежного Second Set, система, вероятно, будет полагаться на глобальные данные (First Set) или стандартные сигналы ранжирования. Патент упоминает возможность отбрасывания изображений с недостаточным количеством кликов.

Пошаговый алгоритм

Процесс обработки запроса на изображения в реальном времени:

1. Получение запроса и атрибутов: Система получает запрос от пользователя и определяет его специфические атрибуты (язык и местоположение).
2. Идентификация релевантных изображений: Поисковая система определяет коллекцию изображений, удовлетворяющих запросу.
3. Формирование Первого набора (Глобальный Топ-K): Идентифицируется первый набор изображений (First Set) на основе статистики доступов всех пользователей (глобальной популяции), которые ранее вводили этот запрос.
4. Формирование Второго набора (Специфичный Топ-K): Идентифицируется второй набор изображений (Second Set) на основе статистики доступов пользователей, имеющих те же атрибуты, что и текущий пользователь.
5. Расчет сходства наборов: Вычисляется степень сходства (Set Similarity Score) между Первым и Вторым наборами. Например, используется формула, основанная на пересечении изображений в обоих наборах.
6. Сравнение с порогом: Полученная оценка сходства сравнивается с заранее определенным порогом.
7. Выбор логики ранжирования:
   • Если сходство >= порога: Система определяет, что предпочтения сегмента схожи с глобальными. Ранжирование производится на основе статистики доступов всех пользователей (Шаг 8а).
   • Если сходство < порога: Система определяет, что предпочтения сегмента отличаются. Ранжирование производится на основе статистики доступов пользователей с указанными атрибутами (Шаг 8б).
8. Финальное упорядочивание:
   8а. Результаты упорядочиваются на основе глобальных данных о кликах.
   8б. Результаты переупорядочиваются на основе специфичных данных о кликах.
9. Представление результатов: Упорядоченные результаты поиска представляются пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании атрибутов пользователя и поведенческих данных для переранжирования.

• Поведенческие факторы: Критически важные данные. Statistics of accesses (статистика доступов или click data). Эти данные агрегируются по запросам и сегментируются по атрибутам пользователей.
• Географические факторы: Locale attribute (атрибут местоположения). Может определяться по IP-адресу, домену поисковой системы (например, google.it), профилю пользователя или cookies.
• Пользовательские факторы (Язык): Language attribute (языковой атрибут). Может определяться по языку интерфейса, выбору языка пользователем, языку запроса или настройкам браузера.

Какие метрики используются и как они считаются

• Top K Lists: Списки наиболее популярных изображений для глобальной и специфичной аудитории. Формируются путем сортировки изображений по количеству кликов (count of times the image was selected).
• Set Similarity Score: Метрика для сравнения двух Top K Lists. Патент предлагает конкретную формулу для расчета: