Как Google использует клики и пропуски (Clicks/Skips) для определения важности порядка слов в запросе

Термины и определения

Click Count (Счетчик кликов)

Метрика для оценки Reordering Rule. Увеличивается, когда пользователь выбирает результат поиска, содержащий термины запроса в порядке, отличном от исходного.

Click Evaluation (Оценка по кликам)

Процесс оценки правила, основанный на анализе выбранных пользователем результатов, которые содержат переупорядоченные термины.

Query Context (Контекст запроса)

Условия, при которых применяется правило переупорядочивания. Например, наличие или отсутствие определенных терминов в запросе (как показано в примере с "Pants").

Query Log Data (Данные журнала запросов)

Анонимизированные данные о поисковых сессиях, включающие исходный запрос, показанные результаты, их ранжирование и действия пользователя (выбор результата).

Query Term Reordering Rule (Правило переупорядочивания терминов запроса)

Общий термин для правил, определяющих допустимость изменения порядка слов. Включает Query Term Revision Rule и Query Term Scoring Rule.

Query Term Revision Rule (Правило пересмотра запроса)

Тип правила, используемый для активного переписывания исходного запроса путем изменения порядка терминов перед выполнением поиска.

Query Term Scoring Rule (Правило оценки терминов запроса)

Тип правила, используемый на этапе ранжирования для определения веса (скоринга) документов, в которых термины встречаются в порядке, отличном от порядка в запросе.

Skip Count (Счетчик пропусков)

Метрика для оценки Reordering Rule. Увеличивается, когда результат, содержащий переупорядоченные термины, был ранжирован выше, чем результат, который в итоге выбрал пользователь (т.е. был пропущен).

Skip Evaluation (Оценка по пропускам)

Процесс оценки правила, основанный на анализе пропущенных пользователем результатов, которые содержат переупорядоченные термины.

Ключевые утверждения (Анализ Claims)

Патент содержит два основных независимых пункта, описывающих методы оценки по кликам (Claim 1) и по пропускам (Claim 10).

Claim 1 (Независимый пункт) – Click Evaluation:

1. Система получает доступ к Query Log Data, содержащим исходный запрос (с определенным порядком терминов), результаты и выбор пользователя.
2. Определяется, что выбранный пользователем результат содержит эти же термины, но в ином порядке.
3. В ответ на это, система корректирует (увеличивает) Click Count для соответствующего Query Term Reordering Rule.
4. На основе скорректированного Click Count принимается решение о дальнейшем использовании этого правила для пересмотра запросов.

Claim 10 (Независимый пункт) – Skip Evaluation:

1. Система получает доступ к Query Log Data, включающим ранжирование результатов.
2. Определяется, что результат, ранжированный выше, чем выбранный пользователем (т.е. пропущенный результат), содержит термины запроса в ином порядке.
3. В ответ на это, система корректирует (увеличивает) Skip Count для соответствующего Query Term Reordering Rule.
4. На основе скорректированных данных принимается решение о дальнейшем использовании этого правила.

Зависимые пункты (Claims 2-6, 11-15): Детализируют механизм расчета оценки (Score).

• (Claims 2, 11): Оценка правила рассчитывается на основе как Click Count, так и Skip Count.
• (Claims 5, 14): К кликам и пропускам применяются весовые коэффициенты (W1 и W2).
• (Claims 6, 15): Определяется формула для расчета взвешенной оценки:

$\frac{W1(\text{Click Count})}{W1(\text{Click Count}) + W2(\text{Skip Count})}$

Зависимые пункты (Claims 4, 13): Описывают применение оценки.

• Если оценка (Score) не достигает порогового значения (Threshold), правило удаляется из набора правил, используемых для генерации пересмотренных запросов.

Зависимые пункты (Claims 7-8, 16-17): Уточняют типы правил.

• Оцениваемое правило может быть как Query Term Revision Rule (Claim 7), так и Query Term Scoring Rule (Claim 8).

Где и как применяется

Патент описывает систему оценки, которая функционирует преимущественно офлайн, но результаты её работы напрямую влияют на этапы обработки запросов в реальном времени.

QUNDERSTANDING – Понимание Запросов
На этом этапе применяются валидированные Query Term Revision Rules. Компонент пересмотра запросов (например, Query Reviser Engine) использует эти правила для генерации альтернативных версий запроса с измененным порядком слов. Описанный в патенте механизм обеспечивает качество этого процесса, отфильтровывая неэффективные правила.

RANKING – Ранжирование
На этом этапе могут применяться валидированные Query Term Scoring Rules. При оценке релевантности документа система может присвоить высокий вес документу, даже если порядок слов в нем отличается от запроса, при условии, что соответствующее правило имеет высокую оценку (Score).

Офлайн-анализ и валидация (Основное применение)
Сам механизм оценки работает вне основного потока обработки запросов. Он периодически обрабатывает Query Log Data для обновления метрик и оценок Reordering Rules.

Входные данные:

• Query Log Data (исходные запросы, показанные результаты, ранжирование, данные о кликах пользователей).

Выходные данные:

• Обновленные метрики: Click Count, Skip Count и итоговый Score для правил.
• Решение об удалении или демотировании (снижении частоты использования) правил с низкой оценкой.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на многословные запросы, где порядок слов неоднозначен или некритичен. Примеры из патента включают запросы с размерами ("pants 30 34").
• Контекстная зависимость: Система оценивает правила в конкретных контекстах (Query Contexts). Правило может быть эффективным в одном контексте и неэффективным в другом (например, перестановка чисел может быть полезна для размеров одежды, но вредна для телефонных номеров, как показано в примере с "555-123-4567").

Когда применяется

• Временные рамки: Анализ логов проводится периодически (офлайн) на основе накопленных данных за определенный период.
• Триггеры активации: Анализ запускается для тех сессий в логах, где в результатах поиска присутствовали ресурсы, содержащие переупорядоченные термины запроса.
• Пороговые значения: Система использует порог (Threshold) для оценки качества правила. Если Score ниже порога (в патенте упоминаются примеры 0.6, 0.75, 0.9, 0.99), правило считается неэффективным.

Пошаговый алгоритм

Процесс анализа логов и оценки правил (Offline):

1. Сбор данных: Накопление Query Log Data из поисковых сессий.
2. Идентификация сессии: Выбор сессии для анализа, включающей исходный запрос, ранжированный список результатов и зафиксированный клик пользователя.
3. Анализ выбранного результата (Click Evaluation):
   1. Определение, содержит ли выбранный результат термины запроса в порядке, отличном от исходного.
   2. Если ДА: Идентификация соответствующего Reordering Rule и инкремент его Click Count.
4. Анализ пропущенных результатов (Skip Evaluation):
   1. Идентификация результатов, ранжированных выше, чем выбранный результат (пропущенные).
   2. Определение, содержат ли эти пропущенные результаты термины запроса в порядке, отличном от исходного.
   3. Если ДА: Идентификация соответствующего Reordering Rule и инкремент его Skip Count.
5. Агрегация метрик: Периодическое суммирование Click Count и Skip Count для каждого правила по всем проанализированным сессиям.
6. Расчет оценки (Scoring): Вычисление взвешенной оценки (Score) для правила по формуле с использованием весов W1 и W2 (см. Анализ Claims).
7. Применение результатов (Rule Management): Сравнение Score с пороговым значением (Threshold). Если Score ниже порога, правило удаляется или деактивируется.

Какие данные и как использует

Данные на входе

Патент полностью сфокусирован на использовании поведенческих факторов для оценки внутренних правил системы.

• Поведенческие факторы (Ключевые): Ядро изобретения. Используются Query Log Data, фиксирующие:
  • Выбор пользователя (Click).
  • Пропуски (Skip) — неявный сигнал, получаемый путем анализа ранжирования выбранного результата относительно невыбранных вышестоящих.
  • Ранжирование результатов на SERP.
• Контентные факторы: Содержимое результатов поиска или индексированных документов анализируется для определения наличия терминов запроса и порядка их следования.

Какие метрики используются и как они считаются

• Click Count: Счетчик положительных взаимодействий с переупорядоченными результатами.
• Skip Count: Счетчик отрицательных взаимодействий (пропусков) переупорядоченных результатов.
• Весовые коэффициенты (W1, W2): Эмпирически определяемые значения для взвешивания кликов и пропусков. В патенте упоминается, что веса могут быть разными.
• Score (Оценка правила): Основная метрика качества. Рассчитывается как взвешенное соотношение кликов к сумме кликов и пропусков по формуле: $\frac{W1(\text{Click Count})}{W1(\text{Click Count}) + W2(\text{Skip Count})}$.
• Threshold (Порог): Заданное значение, которое Score должен превысить, чтобы правило считалось качественным.
• Both Click: В описании патента (не в Claims) упоминается особый случай, когда выбранный документ содержит как исходный, так и измененный порядок слов. Таким кликам может присваиваться меньший вес.

1. Важность порядка слов определяется поведением пользователей: Google не полагается только на лингвистические модели для определения значимости порядка слов. Система активно использует реальные поведенческие данные (Clicks и Skips) для валидации или опровержения предположений о взаимозаменяемости терминов.
2. Автоматизированная самокоррекция системы: Патент описывает механизм обратной связи, позволяющий системе автоматически определять, когда изменение порядка слов полезно (преобладают клики), а когда вредно (преобладают пропуски), и соответственно корректировать набор активных Reordering Rules.
3. Контекстная зависимость правил: Эффективность правила оценивается не глобально, а в рамках конкретного контекста (Query Context). Правило, работающее в одном контексте, может быть отключено в другом, если данные показывают его неэффективность.
4. Два применения Reordering Rules: Валидированные правила могут использоваться как для активного переписывания запроса (Query Revision Rule), так и для корректировки весов при ранжировании документов с иным порядком слов (Query Scoring Rule).
5. Взвешенная оценка: Использование весовых коэффициентов (W1, W2) позволяет Google тонко настраивать процесс оценки, например, делая систему более чувствительной к негативному опыту (пропускам), чем к позитивному (кликам).

Best practices (это мы делаем)

• Использование естественного порядка слов и синонимичных конструкций: Используйте порядок слов, который является общепринятым и ожидаемым в вашей тематике. Если в нише допустимы вариации, используйте их естественно в контенте. Это повышает вероятность соответствия как исходному, так и пересмотренному запросу, который система сочтет полезным (High Click Count).
• Фокус на релевантности и CTR сниппета: Поскольку поведение пользователей напрямую валидирует правила интерпретации запросов, критически важно оптимизировать Title и Description для максимальной ясности и привлекательности. Ваш сниппет должен четко отвечать на интент, чтобы минимизировать вероятность пропуска (Skip).
• Анализ доминирующих паттернов в SERP: Изучайте выдачу. Если Google ранжирует результаты с разным порядком слов одинаково высоко, это указывает на то, что система применяет Reordering Rule с высокой оценкой. В этом случае можно не фокусироваться на точном порядке ключевых слов.

Worst practices (это делать не надо)

• Неестественный порядок слов (Keyword Stuffing): Попытки манипулировать текстом, используя неестественный порядок слов для точного соответствия запросу, если это снижает читабельность и релевантность. Если такой результат будет пропущен пользователями (высокий Skip Count), это сигнализирует о низкой релевантности такого подхода.
• Игнорирование порядка слов в критичных тематиках: В тематиках, где порядок слов определяет смысл (например, инструкции, сравнения "A vs B", направления перелетов), нельзя полагаться на то, что Google "поймет". Необходимо строго соблюдать правильный порядок, так как система, скорее всего, отключит правила переупорядочивания для этих контекстов на основе негативных сигналов.
• Создание страниц под пермутации (Keyword Permutation Spam): Создание множества страниц под все возможные перестановки ключевых слов. Google стремится понять смысл через валидированные правила, а не найти точное совпадение порядка.

Стратегическое значение

Патент подтверждает стратегию Google по использованию массовых поведенческих данных для обучения и валидации систем понимания естественного языка (NLU). Для SEO это означает, что техническое соответствие ключевым словам уступает место семантической релевантности, подтвержденной поведением пользователей. Долгосрочная стратегия должна фокусироваться на удовлетворении интента с использованием естественного языка, что приводит к высокому CTR и низкому показателю пропусков.

Практические примеры

Сценарий 1: Гибкий порядок слов (E-commerce, пример из патента)

1. Запрос: "pants 30 34" (штаны размер 30 34).
2. Действие Google: Система тестирует Reordering Rule и показывает также результаты для "pants 34 30" или "30 34 pants". Пользователи активно кликают на варианты с перестановкой.
3. Результат: Click Count высокий, Skip Count низкий. Правило "Swap Numbers in Context with 'Pants'" валидируется.
4. Действие SEO: Можно оптимизировать заголовок под любой из этих вариантов, выбирая наиболее конверсионный.

Сценарий 2: Критичный порядок слов (Пример из патента)

1. Запрос: "555-123-4567".
2. Действие Google: Система тестирует общее правило "Swap Numbers", показывая результаты для "123-555-4567". Пользователи пропускают эти результаты (Skip) и кликают на результаты с исходным порядком.
3. Результат: Skip Count высокий. Оценка правила падает. Система может создать новое правило "Preserve Numbers Separated By Dashes" или сузить контекст для правила "Swap Numbers", чтобы исключить телефонные номера.
4. Действие SEO: Для структурированных данных (номера, коды) необходимо строго соблюдать стандартный формат.