Как Google перенаправляет пользователей на «идеальные» запросы (KHRQ), анализируя поведение и удовлетворенность

Термины и определения

Alternative Query (AQ) (Альтернативный запрос)

Индексированный запрос (IQ), выбранный системой на основе наивысшего Revision Score (RS) по отношению к исходному запросу.

Given Query (GQ) (Исходный запрос)

Запрос, введенный пользователем или полученный от другого ревизора запросов.

Indexed Queries (IQ) (Индексированные запросы)

Множество запросов, состоящее из KHRQ и NQ, хранящееся в индексе для использования системой пересмотра запросов.

Known Highly-Ranked Query (KHRQ) (Известный высокоранжированный запрос)

Запрос, идентифицированный как имеющий высокий Query Rank (QR). Это часто встречающиеся запросы, которые удовлетворяют пользователей.

Nearby Query (NQ) (Близлежащий запрос)

Запрос, который имеет статистически значимую вероятность (Probability of Revision, PR) быть переформулированным в KHRQ. Каждый NQ имеет указатель на один или несколько KHRQ.

Probability of Revision (PR) (Вероятность пересмотра для NQ)

Метрика, используемая офлайн для определения NQ. Измеряет вероятность того, что NQ будет пересмотрен в KHRQ, основываясь на схожести (например, поведенческой схожести в логах).

Query Frequency (QF) (Частота запроса)

Частота появления запроса за единицу времени (например, в час).

Query Rank (QR) (Ранг запроса)

Метрика качества запроса. Рассчитывается как функция от Query Frequency (QF) и User Satisfaction (US). Например, QR = QF * US.

Query Reviser (Ревизор запросов)

Компонент системы, реализующий определенную стратегию пересмотра запросов. Патент описывает Query Rank Reviser.

Revision Probability (RP) (Вероятность пересмотра для GQ)

Метрика, используемая в рантайме для оценки вероятности пересмотра исходного запроса (GQ) в индексированный запрос (IQ). Основана на схожести (семантической, синтаксической, поведенческой) между GQ и IQ.

Revision Score (RS) (Оценка пересмотра)

Итоговая оценка, используемая для выбора лучших альтернативных запросов. Рассчитывается как функция от Revision Probability (RP) и Query Rank (QR). Например, RS(IQ) = RP(GQ, IQ) * QR(IQ).

User Satisfaction (US) (Удовлетворенность пользователя)

Метрика, показывающая, насколько результаты запроса удовлетворяют пользователей. Может измеряться как обратная частота пересмотра (Inverse Revision Frequency, IRF) или как оценка качества на основе кликов (например, продолжительности кликов).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод предложения высокоранжированных запросов в ответ на первый запрос.

1. Индексированные запросы (IQ) ранжируются на основе Query Rank (QR), который рассчитывается по частоте (QF) и удовлетворенности (US).
2. IQ включают Highly-Ranked Queries (KHRQ) (выбранные на основе QR) и Nearby Queries (NQ) (запросы со статистически значимой вероятностью пересмотра в KHRQ).
3. Для исходного запроса (GQ) рассчитывается Revision Score (RS) для каждого IQ. RS — это функция от Revision Probability (RP) (основанной на семантической и/или синтаксической схожести между GQ и IQ) и Query Rank (QR) этого IQ.
4. Один из IQ выбирается как альтернативный запрос (AQ) на основе RS.
5. Определяется, является ли AQ высокоранжированным (KHRQ) или близлежащим (NQ).
6. Если AQ — это KHRQ, он предлагается как пересмотренный запрос.
7. Если AQ — это NQ, то предлагается тот KHRQ, в который NQ с высокой вероятностью пересматривается.

Ядро изобретения заключается в использовании метрики качества самого запроса (Query Rank), основанной на поведении пользователей, для генерации альтернативных запросов. Ключевым моментом является механизм, который предлагает KHRQ, даже если исходный запрос был ближе всего к NQ.

Claim 3 (Зависимый от 1): Уточняет функцию расчета Revision Score (RS) как произведение Revision Probability (RP) и Query Rank (QR).

Claim 5 (Зависимый от 4): Детализирует офлайн-процесс расчета Query Rank для KHRQ как функцию от QF и US.

Claims 6 и 7 (Зависимые от 5): Уточняют способы измерения User Satisfaction (US): либо через данные о поведении кликов (длина кликов на результаты поиска), либо через обратную частоту пересмотра (Inverse Revision Frequency).

Где и как применяется

Изобретение в основном применяется на этапе понимания запросов, но требует значительной предварительной обработки данных на этапе индексирования/анализа логов.

INDEXING (Анализ логов)
На этом этапе происходит основная офлайн-обработка. Система анализирует Log Files, содержащие данные о сессиях пользователей (запросы, клики, время). Происходит расчет Query Rank для всех запросов, идентификация KHRQ и NQ, а также расчет вероятностей пересмотра (PR) между NQ и KHRQ. Результаты сохраняются в индекс (Indexed Queries).

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента в рантайме. Revision Server получает исходный запрос (GQ) и использует Query Rank Reviser для генерации альтернатив. Происходит расчет Revision Probability (RP) и Revision Score (RS) с использованием подготовленного индекса. Система определяет, нужно ли предложить пользователю альтернативные запросы (KHRQ).

RANKING / METASEARCH
Предложенные альтернативные запросы (KHRQ) могут быть использованы для генерации дополнительных результатов. Патент описывает архитектуру, где Revision Server получает результаты для пересмотренных запросов от Search Engine и может представить их пользователю (например, на отдельной странице помощи или интегрированно в SERP).

Входные данные:

• Исходный запрос (GQ).
• Индекс запросов (IQ), содержащий KHRQ, NQ, их Query Ranks (QR) и связи (PR) между NQ и KHRQ.
• (Офлайн) Логи поисковых сессий (запросы, клики, временные метки).

Выходные данные:

• Набор предложенных пересмотренных запросов (которые всегда являются KHRQ).
• Меры уверенности (Confidence Measures) для каждого предложенного запроса (обычно основаны на Revision Score).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, которые пользователи часто формулируют неоптимально: запросы с орфографическими ошибками, слишком широкие, слишком узкие или использующие неточную терминологию. Система стремится привести их к «канонической» форме (KHRQ).
• Типы контента: Влияет на все типы контента, так как механизм работает на уровне формулировки запроса, до того как определяется тип контента для ранжирования.
• Языковые и географические ограничения: Механизм зависит от наличия достаточного объема данных в логах для конкретного языка и региона. В высокочастотных рынках он будет работать эффективнее.

Когда применяется

Алгоритм применяется при обработке входящего запроса.

• Условия работы: Система всегда пытается найти подходящие KHRQ для любого входящего запроса.
• Триггеры активации: Предложение альтернативного запроса пользователю активируется, если найден KHRQ с достаточно высоким Revision Score (RS). Патент также описывает, что решение о показе и расположении предложений может зависеть от меры уверенности (RS). Если уверенность низкая, предложения могут не показываться или показываться внизу страницы. При высокой уверенности — вверху.

Пошаговый алгоритм

Процесс А: Офлайн-обработка (Создание индекса KHRQ/NQ)

1. Сбор данных: Сбор логов поисковых сессий, включая цепочки запросов и данные о кликах.
2. Расчет User Satisfaction (US): Для каждого запроса рассчитывается US.
   Вариант 1 (IRF): US = 1 / (Количество пересмотров запроса / Общее количество появлений запроса).
   Вариант 2 (Click Quality): US рассчитывается на основе продолжительности кликов на результаты (например, доля «длинных кликов»).
3. Расчет Query Rank (QR): Для каждого запроса QR = QF * US.
4. Идентификация KHRQ: Выбираются запросы с наивысшим QR (например, Топ-5000 или выше порога).
5. Идентификация NQ: Для остальных запросов рассчитывается вероятность пересмотра (PR) в KHRQ на основе схожести (например, поведенческой схожести — как часто один запрос меняли на другой в логах). Запросы со статистически значимым PR становятся NQ.
6. Индексирование: KHRQ и NQ сохраняются в индекс (IQ). Для NQ сохраняются указатели на соответствующие KHRQ и значения PR.

Процесс Б: Рантайм-обработка (Генерация предложений)

1. Получение запроса: Система получает исходный запрос (GQ).
2. Расчет Revision Probability (RP): Рассчитывается RP между GQ и индексированными запросами (IQ) на основе синтаксической, семантической или поведенческой схожести.
   Важно: Для KHRQ расчет RP может включать как прямой путь (GQ -> KHRQ), так и непрямые пути через NQ (GQ -> NQ -> KHRQ). Формула: $RP(GQ, KHRQ) = RP(GQ, KHRQ) + \sum_{NQ} [RP(GQ, NQ) * PR(NQ, KHRQ)]$.
3. Расчет Revision Score (RS): Для каждого IQ рассчитывается RS(IQ) = RP(GQ, IQ) * QR(IQ).
4. Выбор альтернатив (AQ): Выбираются IQ с наивысшими RS (например, Топ-10).
5. Генерация предложений:
   • Если AQ является KHRQ, он становится кандидатом на предложение.
   • Если AQ является NQ, связанный с ним KHRQ становится кандидатом на предложение.
6. Предоставление результатов: Выбранные KHRQ с их мерами уверенности (RS) передаются в Revision Server для показа пользователю.

Какие данные и как использует

Данные на входе

Патент полностью полагается на поведенческие данные, собранные в логах поисковых сессий.

• Поведенческие факторы:
  • Цепочки запросов (Query Chains): Последовательности запросов, введенных пользователем в рамках одной сессии. Используются для определения частоты пересмотра (Revision Frequency) и поведенческой схожести (Behavioral Similarity).
  • Частота запросов (Query Frequency, QF): Как часто запрос вводится пользователями.
  • Данные о кликах (Click Data): Какие результаты были выбраны для запроса.
  • Продолжительность кликов (Click Duration / Dwell Time): Время между кликом на результат и последующим действием (например, следующим кликом). Используется для оценки User Satisfaction (US).

Какие метрики используются и как они считаются

• User Satisfaction (US): Рассчитывается одним из двух способов:
  • Inverse Revision Frequency (IRF): Чем реже запрос пересматривают, тем выше US.
  • Quality Score (на основе кликов): Оценка на основе продолжительности кликов. Патент упоминает S-образную кривую, где более длинные клики получают оценку, приближающуюся к 1. Пример формулы: