Как Google использует данные о кликах и пропусках для валидации и удаления неэффективных синонимов в поиске

Термины и определения

Substitution Rule (Правило подстановки)

Правило (например, A->B), указывающее, что термин B (Substitute Query Term) может быть использован для ревизии запросов, содержащих термин A (Original Query Term). Может зависеть от контекста.

Revised Query (Пересмотренный/Переписанный запрос)

Запрос, модифицированный системой с использованием правил подстановки.

Query Log Data (Данные журнала запросов)

Записи о пользовательских сессиях, включающие запросы, показанные результаты и взаимодействия пользователя (клики, пропуски).

Quality Metric (Метрика качества)

Оценка эффективности правила подстановки. Рассчитывается на основе взвешенного соотношения кликов и пропусков. В данном патенте высокая метрика указывает на низкое качество (высокую частоту неудач).

Context (Контекст)

Условия применения правила. Может быть общим (General Context) или специфическим (Specific Context), например, требующим наличия других слов в запросе.

Click (Клик)

Выбор пользователем результата, ресурс которого (i) содержит подставленный термин (B) и (ii) НЕ содержит исходный термин (A).

Skip (Пропуск)

Ситуация, когда пользователь пропускает результат (удовлетворяющий критериям Click) и выбирает результат, ранжируемый ниже.

Both Click / Both Skip (Двойной клик/пропуск)

Клик или пропуск результата, ресурс которого содержит как A, так и B. Имеет меньший вес из-за неоднозначности.

Crucial Click (Критический клик)

Сильный положительный сигнал. Клик по результату, ресурс которого (i) содержит B, (ii) НЕ содержит A и (iii) НЕ содержит никаких других подставленных терминов. Изолирует влияние правила A->B.

Crucial Skip (Критический пропуск)

Сильный отрицательный сигнал. Пропуск результата, удовлетворяющего критериям Crucial Click, при клике на нижестоящий результат.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод удаления правил подстановки.

1. Идентификация набора пересмотренных запросов (Revised Search Queries), сгенерированных с использованием определенного правила подстановки.
2. Доступ к Query Log Data для этих запросов, идентифицируя (i) показанные результаты и (ii) выбранный пользователем результат.
3. Определение Quality Metric для правила на основе этих данных.
4. Определение того, что Quality Metric не удовлетворяет пороговому значению (Threshold).
5. В ответ на это — удаление правила подстановки.

Claim 4 (Зависимый от 1): Уточняет важность контекста.

Процесс включает идентификацию контекста (Context), связанного с правилом. Контекст определяет другие термины, которые должны присутствовать в запросе для применения правила. Оценка и удаление происходят в рамках этого контекста.

Claim 7 (Зависимый от 1): Определяет формулу для Quality Metric и используемые данные.

Метрика основана на взвешенных подсчетах: click count, skip count, both click count, both skip count, crucial click count, crucial skip count. W1-W6 — весовые коэффициенты.

Формула расчета Quality Metric:

$\text{Quality Metric} = 1 - \frac{(\text{crucial click count} \cdot W1) + (\text{click count} \cdot W2) + (\text{both click count} \cdot W3)}{(\text{crucial click count} \cdot W1) + (\text{click count} \cdot W2) + (\text{crucial skip count} \cdot W4) + (\text{skip count} \cdot W5) + (\text{both click count} \cdot W3) + (\text{both skip count} \cdot W6)}$