Как Google использует атрибуты пользователей и показатели предвзятости (Bias Measures) для персонализации ранжирования

Термины и определения

User Attribute (Атрибут пользователя)

Характеристика, связанная с пользователем. Может включать интересы, темы, демографические данные, принадлежность к определенным кластерам сайтов или даже конкретные URL, с которыми пользователь часто взаимодействовал. Определяется на основе истории взаимодействий пользователя.

Bias Measure (Показатель предвзятости)

Метрика, связанная с конкретным документом и конкретным атрибутом пользователя. Она указывает на вероятность взаимодействия с документом пользователями, обладающими этим атрибутом, по сравнению с общей популяцией пользователей. Высокий показатель означает положительную предвзятость (группа предпочитает документ), низкий — отрицательную.

Overall Bias Measure (Общий показатель предвзятости)

Агрегированная оценка для документа, рассчитанная на основе нескольких Bias Measures, соответствующих атрибутам пользователя, выполняющего поиск.

Indicated Interactions (Зафиксированные взаимодействия)

Действия пользователей с документами (клики в поиске, посещения через браузер, взаимодействия в приложениях). Эти данные собираются в Indicated Interactions Database.

Navigational Measure (Навигационный показатель)

Метрика, зависящая от запроса, указывающая на частоту выбора документа для конкретного поискового запроса (например, CTR по запросу). Используется как фактор балансировки для предотвращения чрезмерной персонализации.

Document Attributes Engine

Компонент системы, отвечающий за офлайн-расчет Bias Measures для документов.

User Attributes Engine

Компонент системы, отвечающий за определение User Attributes на основе истории взаимодействий.

Document Bias Module

Компонент Ranking Engine, отвечающий за расчет Overall Bias Measure и корректировку ранжирования в реальном времени.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает процесс ранжирования в реальном времени с использованием атрибутов пользователя.

1. Система идентифицирует документы, релевантные запросу пользователя.
2. Идентифицируются атрибуты (User Attributes) этого пользователя.
3. Для данного документа определяется набор атрибутов пользователя, которые также связаны с этим документом (сопоставление).
4. Для каждого сопоставленного атрибута извлекается Bias Measure документа.
5. Ключевой механизм расчета Bias Measure: Показатель основан на сравнении (А) количества взаимодействий с документом пользователями, имеющими этот атрибут, и (Б) количества взаимодействий с документом второй группой пользователей (включающей тех, у кого нет этого атрибута, например, общая популяция).
6. Ключевое условие: Эти взаимодействия включают взаимодействия с документом независимо от запроса (independent of the query).
7. Рассчитывается Overall Bias Measure для документа на основе отдельных Bias Measures.
8. Ранжирование документа определяется на основе Overall Bias Measure.

Claim 12 (Независимый пункт): Описывает офлайн-процесс вычисления Bias Measure для документа.

1. Идентифицируется атрибут пользователя и документ.
2. Идентифицируются взаимодействия с документом первой группы пользователей (имеющих атрибут). Взаимодействия происходят в ответ на более чем один запрос.
3. Идентифицируются взаимодействия с документом второй группы пользователей (включая тех, у кого нет атрибута). Также в ответ на более чем один запрос.
4. Определяется Bias Measure путем сравнения взаимодействий первой и второй групп.
5. Детализация расчета: Расчет включает сравнение: (A) Количества взаимодействий с данным документом первой группой по отношению к общему количеству взаимодействий первой группы (со всеми документами); и (B) Количества взаимодействий с данным документом второй группой по отношению к общему количеству взаимодействий второй группы (со всеми документами).
6. Bias Measure ассоциируется с документом и атрибутом.

Claim 5, 6, 8, 9 (Зависимые): Детализируют механизм корректировки ранжирования.

Ранжирование документа может определяться путем сравнения его Overall Bias Measure с Overall Bias Measure другого документа (Claim 5, 6). Кроме того, решение о корректировке ранжирования может также основываться на Navigational Measure (зависящий от запроса показатель, например, CTR) как текущего документа, так и другого документа (Claim 8, 9). Это служит механизмом безопасности, чтобы персонализация не перекрывала сильные сигналы релевантности запросу.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя предварительно обработанные данные для финальной корректировки выдачи.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна предварительно рассчитать и сохранить Bias Measures для документов. Document Attributes Engine анализирует данные о взаимодействиях и атрибутах пользователей офлайн и сохраняет результаты в Document Attributes and Bias Measures Database. Эти данные могут быть включены в основной индекс или связаны с ним.

QUNDERSTANDING – Понимание Запросов / Обработка пользователя
Система (User Attributes Engine) анализирует историю взаимодействий пользователя для определения его User Attributes. Эти данные хранятся в User Attributes Database и извлекаются при обработке запроса для понимания контекста пользователя.

RANKING – Ранжирование / RERANKING – Переранжирование
Основное применение патента происходит на финальных стадиях ранжирования или на этапе переранжирования.

1. Начальное ранжирование: Ranking Engine определяет начальный набор результатов и их scores.
2. Персонализация: Document Bias Module извлекает атрибуты пользователя.
3. Расчет предвзятости: Для документов-кандидатов модуль сопоставляет атрибуты пользователя с атрибутами документа и рассчитывает Overall Bias Measure.
4. Корректировка: Ранжирование корректируется (повышается или понижается) на основе Overall Bias Measure, потенциально с учетом Navigational Measures.

Входные данные:

• Запрос пользователя.
• Идентификатор пользователя (для извлечения User Attributes).
• Начальный набор результатов поиска.
• Document Attributes and Bias Measures Database (данные о предвзятости документов).
• Navigational Measures (данные о кликах по запросу).

Выходные данные:

• Переранжированный (персонализированный) набор результатов поиска.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на широкие или неоднозначные запросы, где стандартных сигналов релевантности недостаточно для определения наилучшего результата, и предпочтения пользователя могут служить сильным дифференциатором.
• Контентные факторы: Влияет на все типы контента, для которых можно определить атрибуты (темы, сущности) и собрать статистику взаимодействий.
• Конкретные ниши или тематики: Сильное влияние в тематиках, связанных с интересами, хобби, стилем жизни, где предпочтения пользователей сильно варьируются (например, рецепты, обзоры техники, путешествия).

Когда применяется

Алгоритм применяется при обработке поискового запроса, если выполнены следующие условия:

• Наличие данных о пользователе: Система смогла идентифицировать пользователя и извлечь его User Attributes (т.е. пользователь залогинен или идентифицирован иным способом, и у него есть история взаимодействий).
• Наличие данных о документах: Для документов в выдаче предварительно рассчитаны Bias Measures.
• Сопоставление атрибутов: Существует пересечение между атрибутами пользователя и атрибутами, связанными с документами в выдаче.
• Условия корректировки: Overall Bias Measure достаточно силен для изменения ранжирования. Корректировка может быть активирована, только если разница в Overall Bias Measure между двумя документами превышает порог, и/или если Navigational Measures (сигналы, зависящие от запроса) не противоречат изменению порядка.

Пошаговый алгоритм

Процесс состоит из трех основных частей: определение атрибутов пользователя, офлайн-расчет показателей предвзятости и ранжирование в реальном времени.

Процесс А: Определение Атрибутов Пользователя (User Attributes)

1. Сбор взаимодействий: Идентификация набора документов, с которыми взаимодействовал пользователь (из Indicated Interactions Database). Это могут быть клики в поиске, посещения сайтов и т.д.
2. Идентификация атрибутов документов: Для каждого документа из набора определяются его атрибуты (например, темы, сущности, кластеры сайтов, URL).
3. Ассоциация и взвешивание: Атрибуты документов ассоциируются с пользователем. Может быть рассчитан вес атрибута на основе частоты взаимодействий с документами, имеющими этот атрибут.
4. Сохранение: Атрибуты и их веса сохраняются в профиле пользователя (User Attributes Database).

Процесс Б: Расчет показателей предвзятости (Bias Measures) (Офлайн)

1. Идентификация Документа и Атрибута: Выбирается документ (D) и атрибут пользователя (A).
2. Определение Группы 1: Идентификация пользователей, связанных с атрибутом A.
3. Определение Группы 2: Идентификация более широкой группы пользователей (например, все пользователи).
4. Сбор взаимодействий: Извлечение данных о взаимодействиях Группы 1 и Группы 2 с документом D. Важно, что эти взаимодействия агрегируются по многим различным запросам.
5. Расчет показателей взаимодействия:
   1. Расчет частоты взаимодействия Группы 1 с D (нормализованной по общей активности Группы 1).
   2. Расчет частоты взаимодействия Группы 2 с D (нормализованной по общей активности Группы 2).
6. Расчет Bias Measure: Сравнение частоты взаимодействия Группы 1 и Группы 2. (Например, деление показателя Группы 1 на показатель Группы 2 для определения "лифта").
7. Фильтрация (Опционально): Сохранение только тех Bias Measures, которые демонстрируют значительную предвзятость (например, превышают порог или находятся за пределами стандартного отклонения).
8. Сохранение: Ассоциация Bias Measure для атрибута A с документом D в Document Attributes and Bias Measures Database.

Процесс В: Ранжирование (В реальном времени)

1. Получение запроса и атрибутов: Получение запроса от пользователя и извлечение его User Attributes.
2. Начальное ранжирование: Идентификация документов, релевантных запросу.
3. Сопоставление атрибутов: Для данного документа (D) определяется набор атрибутов пользователя, которые также связаны с D.
4. Извлечение Bias Measures: Извлечение соответствующих Bias Measures для сопоставленных атрибутов.
5. Расчет Overall Bias Measure: Агрегация отдельных Bias Measures (например, путем усреднения или взвешенного усреднения на основе весов атрибутов пользователя).
6. Определение ранжирования: Корректировка позиции документа D на основе Overall Bias Measure.
   1. Сравнение (Опционально): Сравнение Overall Bias Measure документа D с показателем другого документа (D2).
   2. Балансировка (Опционально): Учет Navigational Measures (зависящих от запроса) для D и D2 перед применением корректировки.
   3. Применение: Повышение или понижение документа в выдаче.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые): Indicated Interactions. Это основа всего патента. Используются данные о том, какие пользователи с какими документами взаимодействовали. Включает клики в поиске, а также взаимодействия вне поиска (посещения через браузер, действия в приложениях). Важно, что для расчета Bias Measure используются взаимодействия, произошедшие в ответ на множество разных запросов (query-independent).
• Контентные/Структурные факторы (Косвенно): Атрибуты документов (темы, сущности, кластеры сайтов), которые извлекаются из контента или структуры, используются для определения User Attributes.
• Пользовательские факторы: User Attributes, извлеченные из истории поведения или предоставленные пользователем (например, демография, местоположение).

Какие метрики используются и как они считаются

• Bias Measure (Показатель предвзятости): Рассчитывается для пары (Документ, Атрибут пользователя). Патент предлагает формулу, которая измеряет "лифт" интереса определенной группы к документу по сравнению с общим интересом.

  Пример формулы, описанной в патенте (Claim 12 и Description):