Как Google использует модель предвзятости представления (Presentation Bias), чтобы отделить клики по релевантности от кликов по позиции

Термины и определения

Presentation Bias (Предвзятость представления)

Факторы, влияющие на вероятность клика пользователя, которые не связаны напрямую с качеством или релевантностью документа. Включает позицию (Position Bias), привлекательность сниппета, выделение жирным шрифтом, наличие рекламы и т.д.

Prior Model (Априорная модель)

Модель (например, логистическая регрессия), которая представляет фоновую вероятность выбора результата пользователем при заданных значениях признаков (Presentation Features и Relevance Features). Часто строится независимо от конкретного запроса.

Implicit User Feedback (Неявная обратная связь пользователя)

Данные о взаимодействии пользователя с результатами поиска (клики, время пребывания на документе), используемые как сигнал для оценки релевантности.

Implicit User Feedback Model

Модель, которая агрегирует неявную обратную связь для оценки релевантности документа в контексте запроса (например, модель, рассчитывающая Click Fraction).

Click Fraction (Доля кликов)

Метрика для Implicit User Feedback Model. Рассчитывается как отношение взвешенных кликов на документ по запросу к общему числу взвешенных кликов по этому запросу.

User Selections Logs (Логи выбора пользователей)

Хранилище данных о взаимодействиях пользователей с SERP, включающее запросы, клики, время на документе, а также значения признаков для показанных результатов.

Presentation Features (Признаки представления)

Признаки, индикативные для Presentation Bias (например, позиция, длина сниппета, количество выделенных слов).

Relevance Features (Признаки релевантности)

Признаки, индикативные для качества или релевантности документа (например, базовый IR score, язык, страна).

Document Dwell Time / Staytime (Время пребывания на документе)

Время между кликом на результат и возвратом пользователя на страницу выдачи. Используется для взвешивания кликов (длинные клики обычно лучше коротких).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс создания и использования модели для снижения влияния предвзятости представления.

1. Система получает информацию о выборе результатов поиска по множеству запросов.
2. Эта информация включает признаки предвзятости представления (presentation bias features), включая ранг (позицию), и признаки релевантности (relevancy features).
3. Система обучает модель (Prior Model) на этой информации для предсказания CTR на основе этих признаков.
4. Модель предоставляется поисковой системе.
5. Поисковая система использует предсказания модели (предсказанный CTR), чтобы уменьшить влияние Presentation Bias при ранжировании. Это достигается путем определения оценки качества (quality score) и исключения независимых эффектов предвзятости представления из этой оценки с помощью предсказаний модели.

Claim 5 (Зависимый от 1): Детализирует обучение модели путем разделения на две модели.

1. Обучается первая модель, предсказывающая CTR на основе признаков предвзятости представления.
2. Обучается вторая модель, предсказывающая CTR на основе признаков релевантности.

Claim 6 (Зависимый от 5): Описывает использование двух моделей.

Поисковая система использует предсказания первой и второй моделей для корректировки оценок ранжирования (ranking scores) результатов поиска с целью снижения Presentation Bias. Это может включать расчет отношения между предсказаниями двух моделей (Claim 7).

Claim 8 (Зависимый от 1): Описывает механизм корректировки ранжирования.

Поисковая система использует сравнение предсказаний Prior Model (ожидаемый CTR) с данными из Implicit User Feedback Model (например, реальным Click Fraction) для корректировки оценок ранжирования.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя данные, собранные на этапе взаимодействия с пользователем, и влияя на финальное ранжирование.

INDEXING / Офлайн-процессы (Анализ данных)
Критически важный компонент. На этом этапе (или в рамках отдельных офлайн-процессов анализа логов) происходит построение Prior Model. Система анализирует User Selections Logs, извлекает Presentation Features и Relevance Features и обучает модель предсказывать CTR независимо от запроса.

RANKING / RERANKING – Ранжирование и Переранжирование
Основное применение патента происходит на финальных стадиях ранжирования (L3 или Reranking).

1. Получение сигналов: Система получает базовые IR-оценки и сигналы от Implicit User Feedback Model (например, реальный Click Fraction – аспект релевантности документа).
2. Предсказание Bias: Система оценивает текущие признаки для документа в SERP и использует Prior Model для получения предсказанного CTR (сигнал, соответствующий аспекту представления).
3. Комбинирование сигналов: Система комбинирует реальный сигнал и предсказанный сигнал предвзятости для формирования итогового сигнала релевантности (Relevance Signal), очищенного от Presentation Bias.
4. Переранжирование: Итоговый сигнал используется для корректировки ranking scores.

Входные данные:

• Логи пользовательских взаимодействий (Запросы, Клики, Временные метки).
• Значения Presentation Features (позиция, сниппеты, форматирование) и Relevance Features (базовые IR scores) для показанных результатов.
• Сигнал от Implicit User Feedback Model (реальный CTR/Click Fraction).

Выходные данные:

• Prior Model (результат офлайн-обучения).
• Скорректированный сигнал релевантности или Boost фактор, применяемый к ranking scores (онлайн).

На что влияет

• Все типы контента и запросов: Механизм универсален и применяется ко всем результатам поиска, где используется неявная обратная связь. Он влияет на интерпретацию CTR для любого документа.
• Результаты на первой странице: Наибольшее влияние оказывается на результаты в ТОП-10, где Position Bias наиболее выражен. Результат на позиции 1 имеет очень высокий ожидаемый CTR из-за предвзятости, поэтому ему труднее получить буст, чем результату на позиции 8.
• Визуально привлекательные результаты: Результаты с оптимизированными сниппетами, удачным форматированием или привлекательными заголовками также будут иметь более высокий ожидаемый CTR согласно Prior Model, что усложняет получение буста за счет поведенческих факторов.

Когда применяется

• Триггер активации: Алгоритм применяется всегда, когда для ранжирования используются данные Implicit User Feedback. Компенсация предвзятости является неотъемлемой частью интерпретации этих данных.
• Условия применения: Для применения необходимы две составляющие: наличие обученной Prior Model и наличие данных о реальных кликах.
• Обработка новых документов: Патент также описывает возможность использования отдельной модели (FIG. 4E) для оценки результатов, по которым нет исторических данных о кликах.

Пошаговый алгоритм

Процесс А: Построение Prior Model (Офлайн)

1. Сбор данных: Получение доступа к User Selections Logs, содержащим данные о показах и кликах по множеству запросов.
2. Извлечение признаков: Для каждого показанного результата извлечение множества признаков. Это включает Presentation Bias Features (позиция, форматирование, длина сниппета, наличие рекламы) и Relevance Features (IR score документа, IR score предыдущего/следующего документа, язык, страна).
3. Агрегация данных: Сбор статистики кликов (включая короткие, средние, длинные клики) по всем запросам для различных комбинаций значений извлеченных признаков.
4. Обучение модели: Определение независимой от запроса вероятности выбора (предсказанный CTR) при заданных признаках. Это может быть реализовано через линейную или логистическую регрессию. Результатом является Prior Model.
5. (Вариант) Обучение двух моделей: Обучение первой модели на полном наборе признаков и второй модели на подмножестве (например, только Relevance Features или только Presentation Features).

Процесс Б: Применение Prior Model (Онлайн, во время ранжирования)

1. Получение первого сигнала (Релевантность): Получение сигнала от Implicit User Feedback Model (например, реальный Click Fraction (a)) для документа в контексте запроса.
2. Получение второго сигнала (Представление): Оценка текущих признаков для документа. Использование Prior Model для предсказания ожидаемого CTR (p) на основе этих признаков.
3. Комбинирование сигналов: Объединение первого и второго сигналов для формирования итогового сигнала релевантности. Это реализуется через сравнение реального и предсказанного CTR. Например, расчет коэффициента повышения (Boost), зависящего от отношения a/p.
4. Корректировка ранжирования: Применение итогового сигнала для корректировки ranking score документа.
5. (Вариант) Обработка новых документов: Если для документа нет данных в Implicit User Feedback Model, система может использовать третью модель (обученную на редких результатах) для предсказания его релевантности.
6. Финальное ранжирование: Пересортировка результатов на основе скорректированных оценок.

Какие данные и как использует

Данные на входе

Патент детализирует широкий спектр факторов, используемых для построения Prior Model.

• Поведенческие факторы (Ключевые данные): Клики (user selections), время пребывания на документе (Dwell Time/Staytime) для классификации кликов (короткие, средние, длинные). Логи запросов.
• Контентные/Визуальные факторы (Presentation Features):
  • Длина заголовка, сниппета и URL.
  • Количество выделенных жирным терминов (Bold Terms) в заголовке и сниппете.
  • Позиция выделенных терминов.
  • Наличие привлекательных или отталкивающих терминов (в патенте используется пример Porn Terms).
• Структурные/Контекстные факторы SERP (Presentation Features):
  • Позиция (Rank) результата.
  • Страница выдачи.
  • Наличие и качество рекламы (Ads).
  • Наличие специальных результатов (Onebox).
  • Формат представления (например, отступ/Indentation, цвет фона).
• Факторы соседних результатов (Context/Relevance Features):
  • Качество (IR score) предыдущих и следующих результатов.
  • Признаки представления (длина сниппета, форматирование) предыдущих и следующих результатов.
• Факторы запроса (Context/Relevance Features): Длина запроса, тип запроса (например, навигационный/информационный), конкретные термины запроса.
• Пользовательские/Географические факторы (Context/Relevance Features): Язык интерфейса, страна пользователя.

Какие метрики используются и как они считаются

• Predicted Click Through Rate (pCTR или 'p'): Основная метрика, вычисляемая Prior Model. Это вероятность клика при заданном наборе признаков представления и контекста.
• Actual Click Through Rate (aCTR или 'a') / Click Fraction: Метрика из Implicit User Feedback Model, отражающая реальное поведение пользователей по конкретному запросу. Рассчитывается на основе взвешенных кликов.
• Boost Factor (Коэффициент повышения): Метрика, используемая для корректировки ранжирования, основанная на сравнении aCTR и pCTR. Патент приводит несколько примеров формул для расчета Boost:
  • $Boost = C * (a/p)$ (где C=константа).
  • Формулы на основе разницы $(a-p)$ с различными коэффициентами и ограничениями (min/max).
• Weighted Clicks (Взвешенные клики): Клики, взвешенные по времени пребывания на документе (Dwell Time). Длинные клики получают больший вес, чем короткие. Используются для расчета Click Fraction.

1. CTR должен превосходить ожидания: Ключевой вывод патента – высокий абсолютный CTR не гарантирует улучшения позиций. Для получения буста от поведенческих факторов реальный CTR документа должен быть выше, чем CTR, предсказанный Prior Model для его позиции и способа представления.
2. Активная компенсация позиционной предвзятости: Система активно компенсирует преимущество высоких позиций. Результат на позиции 1 имеет очень высокий ожидаемый CTR (pCTR). Чтобы доказать свою релевантность, он должен показать исключительно высокий реальный CTR (aCTR) с хорошим удержанием.
3. Относительность CTR и преимущество низких позиций: Результат на более низкой позиции (например, 7) имеет низкий pCTR. Ему требуется значительно меньший aCTR, чтобы превзойти ожидания и получить буст. Это позволяет качественным результатам подниматься с низких позиций.
4. Влияние визуального представления (Сниппеты): Presentation Bias включает визуальные аспекты (сниппет, заголовок, форматирование). Привлекательный сниппет повышает pCTR. Если документ не оправдывает эту привлекательность (например, имеет высокий показатель коротких кликов), система может его пессимизировать.
5. Контекст выдачи имеет значение: Prior Model учитывает контекст SERP, включая качество соседних результатов (их IR scores) и наличие отвлекающих элементов (реклама, Onebox). Присутствие сильных конкурентов или рекламы может изменить ожидаемый CTR для вашего результата.
6. Интерпретация кликов сложна: Патент подчеркивает сложность интерпретации кликов, включая взвешивание по времени пребывания (Dwell Time) и учет типа запроса (информационный vs навигационный) для более точной оценки удовлетворенности пользователя.

Best practices (это мы делаем)

• Оптимизация под удовлетворенность пользователя (User Satisfaction и Dwell Time): Фокусируйтесь на том, чтобы контент полностью отвечал на запрос пользователя и удерживал его внимание (длинные клики). Это гарантирует, что клики получат максимальный вес (Weighted Clicks) и реальный CTR (aCTR) будет интерпретирован как сигнал качества, превосходящий ожидания Prior Model (pCTR).
• Реалистичная оценка CTR по позициям: При анализе эффективности учитывайте ожидаемый CTR для каждой позиции. Сравнивайте ваш реальный CTR с бенчмарками. Если результат на позиции 5 имеет CTR как у бенчмарка для позиции 3, это сильный положительный сигнал для Google.
• Оптимизация сниппетов для релевантности, а не только кликабельности: Создавайте заголовки и описания, которые точно отражают содержание страницы. Привлекательные, но нерелевантные сниппеты могут увеличить pCTR и привести к коротким кликам, что в итоге приведет к пессимизации, так как система определит, что клики были обусловлены Presentation Bias, а не качеством контента.
• Анализ контекста SERP: Оценивайте, как выглядит ваша выдача. Наличие рекламы, спецэлементов (Onebox) и форматирование конкурентов влияет на ожидаемый CTR вашего результата. Необходимо выделиться на общем фоне релевантностью.

Worst practices (это делать не надо)

• Кликбейт и манипуляция сниппетами: Использование заголовков и сниппетов, которые привлекают клики, но не соответствуют содержанию страницы. Prior Model учтет привлекательность сниппета (повысив pCTR), а реальные данные покажут низкую удовлетворенность (короткие клики). Это приведет к выводу, что результат нерелевантен.
• Искусственная накрутка CTR: Попытки искусственно завысить CTR. Во-первых, Google имеет механизмы фильтрации спам-кликов (упомянутые в патенте как анализ естественности поведения). Во-вторых, даже если клики засчитаны, если они не демонстрируют удовлетворенности (короткий Dwell Time), они будут иметь низкий вес при расчете aCTR и не помогут превзойти pCTR.
• Игнорирование интента и типа запроса: Непонимание разницы между информационными и навигационными запросами. Патент упоминает, что ожидаемое время пребывания (Staytime) и паттерны кликов различаются для разных типов запросов, и это учитывается при взвешивании кликов.

Стратегическое значение

Этот патент подтверждает, что Google рассматривает SERP как экосистему, где взаимодействие пользователя с одним результатом зависит от контекста других. Стратегическое значение заключается в переходе от абсолютных метрик (CTR, Позиция) к относительным (CTR выше ожидаемого). Это фундаментальный механизм, позволяющий Google использовать машинное обучение для постоянного улучшения качества выдачи на основе поведения пользователей, минимизируя при этом риски манипуляций и естественные искажения, связанные с интерфейсом.

Практические примеры

Сценарий 1: Результат на низкой позиции демонстрирует высокую релевантность

1. Ситуация: Ваш качественный обзор товара находится на позиции 8.
2. Prior Model (pCTR): Из-за низкой позиции и стандартного сниппета модель предсказывает низкий ожидаемый CTR, например, 2%.
3. Реальность (aCTR): Пользователи, которые видят ваш результат, кликают на него с частотой 5% и проводят много времени на странице (длинные клики).
4. Результат: Система видит, что aCTR (5%) значительно выше pCTR (2%). Рассчитывается высокий Boost Factor. Страница поднимается в выдаче.

Сценарий 2: Результат на высокой позиции не оправдывает ожиданий

1. Ситуация: Ваша страница с кликбейтным заголовком находится на позиции 2.
2. Prior Model (pCTR): Из-за высокой позиции и привлекательного заголовка модель предсказывает высокий ожидаемый CTR, например, 18%.
3. Реальность (aCTR): Страница получает 17% кликов, но большинство пользователей быстро возвращаются в выдачу (короткие клики), что снижает вес этих кликов.
4. Результат: Система видит, что взвешенный aCTR ниже или равен pCTR. Boost Factor нейтрален или отрицателен. Страница теряет позиции, уступая место более релевантным результатам.