Как Google использует CTR и разницу в оценках релевантности для визуального выделения доминирующего результата в выдаче

Термины и определения

Click Through Rate (CTR) (Показатель кликабельности)

Историческая метрика, основанная на том, как часто пользователи кликали на данный документ в ответ на конкретный запрос. Может рассчитываться относительно других документов или относительно общего числа запросов.

Confident Result / Very Relevant (Уверенный / Очень релевантный результат)

Классификация, присваиваемая документу, когда система уверена, что он точно соответствует намерению пользователя. Определяется на основе доминирования в CTR и Relevance Score.

Decision Component (Компонент принятия решений)

Часть поисковой системы, которая анализирует различные параметры (позиция, CTR, Relevance Score, классификация контента) для определения того, является ли документ "Very Relevant" и следует ли его выделять.

Relevance Score (Оценка релевантности)

Числовое значение, присваиваемое документу компонентом ранжирования (Ranking Component), указывающее на степень его релевантности запросу.

Thumbnail (Миниатюра)

Уменьшенное графическое представление (рендеринг) веб-страницы, используемое в качестве Visual Cue.

Time to Satisfaction (Время до удовлетворения)

Метрика пользовательского опыта, измеряющая время, необходимое пользователю для нахождения нужной информации. Цель патента — сократить это время.

Visual Cue (Визуальная подсказка)

Элемент интерфейса, используемый для выделения Confident Results. Примеры включают миниатюры, логотипы, контрастные шрифты или фон.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько независимых пунктов, описывающих различные условия для активации визуального выделения. Ключевым элементом во всех пунктах является требование доминирования над всеми остальными результатами.

Claim 1 (Независимый пункт): Фокус исключительно на разнице в CTR.

1. Система получает запрос, идентифицирует и ранжирует документы, рассчитывает CTR для каждого.
2. Миниатюрное изображение (thumbnail representation) ассоциируется со ссылкой на конкретный документ, если его CTR выше, чем CTR всех остальных идентифицированных документов на пороговую величину.

Этот пункт защищает механизм выделения результата, основанный исключительно на его доминирующем показателе кликабельности по сравнению со всеми другими результатами по данному запросу.

Claim 10 (Независимый пункт): Фокус на комбинации разницы в Relevance Score И разницы в CTR.

1. Система получает запрос, идентифицирует ссылки на документы с Relevance Scores и создает ранжированный список.
2. Графическое изображение (graphic rendering) ассоциируется со ссылкой на конкретный документ, если обнаружено, что:
   • Relevance Score этого документа больше, чем оценки всех других документов в списке на пороговую величину, И
   • CTR этого документа больше, чем CTR всех других документов в списке на пороговую величину.

Это ядро изобретения, требующее одновременного доминирования как в алгоритмической релевантности, так и в поведении пользователей (CTR) для активации визуального выделения.

Claim 24 (Независимый пункт): Фокус на комбинации Relevance Score, CTR и фильтрации контента.

1. Система идентифицирует ссылки, создает ранжированный список и вычисляет CTR.
2. Решение об ассоциации графического изображения принимается на основе:
   • Является ли Relevance Score ссылки выше, чем у всех остальных на пороговую величину.
   • Является ли CTR ссылки выше, чем у всех остальных на пороговую величину.
   • Связана ли ссылка с порнографическим документом.

Этот пункт добавляет фильтр контента (аспект SafeSearch) к механизму, предполагая, что даже доминирующие результаты могут не выделяться, если они содержат взрослый контент.

Claim 30 (Независимый пункт): Описывает гибкие критерии выбора (компромиссы/tradeoffs).

1. Система получает запрос, идентифицирует и ранжирует ссылки.
2. Выбирается ссылка для графической индикации (graphic indication), если:
   • Ее CTR выше, чем у всех остальных ссылок на пороговую величину, И
   • Выполняется хотя бы одно из следующих условий: (a) ранг ссылки (позиция), (b) Relevance Score выше, чем у всех остальных на пороговую величину, ИЛИ (c) классификация как порнографический документ.

Этот пункт описывает возможность компромиссов. Доминирующий CTR является обязательным, но вторичное требование может быть удовлетворено позицией ИЛИ разницей в релевантности ИЛИ типом контента.

Где и как применяется

Изобретение применяется на финальных этапах обработки поискового запроса, используя данные о поведении пользователей для корректировки отображения результатов.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит классификация контента для идентификации порнографических документов. Также патент упоминает возможность предварительного рендеринга (pre-rendering) миниатюр для документов с высоким CTR, чтобы ускорить их отображение.

RANKING – Ранжирование
На этом этапе рассчитываются основные Relevance Scores для документов по отношению к запросу. Результаты сортируются.

RERANKING – Переранжирование / METASEARCH – Метапоиск и Смешивание
Основное применение патента. Decision Component функционирует здесь, после того как финальный набор результатов определен и отсортирован:

1. Анализ результатов ранжирования: Система анализирует выходные данные этапа RANKING.
2. Интеграция данных: Извлекаются исторические данные CTR и данные классификации контента для топовых документов.
3. Оценка уверенности: Сравниваются Relevance Scores и CTR между результатами, проверяется их соответствие порогам разницы.
4. Принятие решения и модификация SERP: Система решает, активировать ли Visual Cue для конкретного результата и модифицирует финальную выдачу перед отправкой пользователю.

Входные данные:

• Ранжированный список документов.
• Relevance Score для каждого документа.
• Исторические данные Click Through Rate для этих документов по данному запросу.
• Данные классификации контента (например, порнография).
• (Опционально) Данные о ссылках (анкоры).

Выходные данные:

• Финальная страница результатов поиска (SERP), в которой доминирующий результат может быть дополнен Visual Cues.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы с ясным и сконцентрированным интентом, где подавляющее большинство пользователей ищут один и тот же результат. Это характерно для навигационных запросов или информационных запросов с однозначным ответом.
• Типы контента: Применяется к стандартным веб-документам. Патент явно оговаривает возможность исключения или особой обработки порнографических документов.
• Представление выдачи (SERP Layout): Патент напрямую влияет на внешний вид SERP, добавляя визуальные элементы к определенным сниппетам, но не описывает изменение порядка ранжирования.

Когда применяется

Алгоритм применяется при выполнении строгих условий, связанных с доминированием результата.

• Триггеры активации: Когда Decision Component определяет, что результат является "very relevant" (высокая степень уверенности).
• Пороговые значения: Активация требует достижения специфических порогов. В зависимости от реализации (Claims), это может быть:
  1. Доминирующий CTR: CTR результата должен превышать CTR всех остальных результатов на пороговую величину.
  2. Значительная разница в Relevance Score: Relevance Score результата должен превышать оценки всех остальных результатов на пороговую величину.
  3. Позиция в рейтинге: Часто требуется, чтобы документ находился на первой позиции.
• Компромиссы (Tradeoffs): Патент описывает возможность компромиссов: если Relevance Score очень высок и позиция равна 1, система может принять умеренный CTR. Если Relevance Score низок, система может потребовать очень высокий CTR и позицию 1.

Пошаговый алгоритм

1. Получение запроса и Ранжирование: Система получает запрос, идентифицирует релевантные документы, рассчитывает Relevance Scores и сортирует результаты.
2. Сбор данных для анализа: Для топовых результатов извлекаются:
   • Позиция в ранжированном списке.
   • Relevance Score.
   • Исторический Click Through Rate (CTR).
   • Классификация контента (например, порнография).
3. Оценка уверенности (Decision Component): Система определяет, является ли какой-либо документ "very relevant". Для этого производится сравнение метрик с порогами:
   • Проверяется, превышает ли CTR результата CTR всех других результатов на пороговое значение (Threshold 1).
   • Проверяется, превышает ли Relevance Score результата оценки всех других результатов на пороговое значение (Threshold 2).
4. Принятие решения: Если результат удовлетворяет комбинации установленных критериев и порогов (например, Threshold 1 И Threshold 2, согласно Claim 10, или с учетом компромиссов), он помечается для выделения.
5. Фильтрация контента: Если результат помечен, но классифицирован как нежелательный (например, порнография), выделение может быть подавлено.
6. Ассоциация визуальной подсказки: Система связывает Visual Cue (например, извлекает предварительно сгенерированную миниатюру страницы) с помеченным результатом.
7. Возврат результатов: Финальная выдача (SERP) с интегрированными визуальными подсказками предоставляется пользователю.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Критические): Исторический Click Through Rate (CTR). Это данные о том, как часто пользователи выбирали конкретный документ в ответ на конкретный запрос. Это ключевой компонент для измерения уверенности системы.
• Системные факторы (Критические): Relevance Score, рассчитанный поисковой системой. Позиция (ранг) документа в отсортированном списке результатов.
• Ссылочные факторы (Упомянуты): В патенте (включая Claim 9) упоминается возможность использования дополнительного параметра: количества ссылок, указывающих на документ, в которых текст ссылки (anchor text) соответствует поисковому запросу.
• Контентные/Классификационные факторы: Данные, используемые для классификации контента, в частности, для идентификации порнографических документов с целью фильтрации.

Какие метрики используются и как они считаются

• Relevance Score: Оценка релевантности, полученная от основного алгоритма ранжирования.
• Click Through Rate (CTR): Рассчитывается на основе исторических данных. Патент предлагает несколько вариантов расчета:
  • Относительный CTR (сравнение популярности документа D относительно документа E):