Как Google автоматически оценивает и удаляет неэффективные синонимы и правила расширения запросов

Термины и определения

Click Ratio (Коэффициент кликов)

Отношение Click Score к Match Count. Оценивает полезность правила в тех случаях, когда подставленный термин присутствует в результатах.

Click Score (Счетчик кликов)

Количество случаев, когда пользователь выбрал (кликнул) результат поиска на начальной странице SERP, ресурс которого содержит substitute term.

Confidence Score (Оценка уверенности)

Метрика, связанная с правилом подстановки, отражающая вероятность того, что подстановка улучшит качество поиска. Может быть снижена, если правило неэффективно.

Match Count (Счетчик совпадений)

Количество переписанных запросов, для которых хотя бы один из Топ-N результатов содержал substitute term. Вычисляется как (Query Count - No Match Score).

No Match Score (Счетчик отсутствия совпадений)

Количество переписанных запросов, для которых ни один из ресурсов, на которые ссылаются Топ-N результатов (или результаты на начальной странице SERP), не содержал substitute term.

No-Match Ratio (Коэффициент отсутствия совпадений)

Отношение No Match Score к Query Count. Высокое значение указывает на то, что подставленный термин редко встречается в релевантных документах.

Query Context (Контекст запроса)

Условия, при которых применяется правило подстановки. Правила могут быть общими (general context) или специфичными (specific context), например, зависеть от наличия других слов в запросе.

Query Count (Общий счетчик запросов)

Общее количество переписанных запросов, проанализированных для данного правила подстановки.

Revised Search Query (Переписанный поисковый запрос)

Исходный запрос, модифицированный путем добавления или замены термина на основе substitution rule.

Substitute Term (Подставленный термин)

Термин (например, синоним), который используется для расширения или изменения исходного запроса.

Substitution Rule (Правило подстановки)

Правило (например, A->B), указывающее, что термин B может быть использован вместо или вместе с термином A.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый механизм определения ключевых метрик для оценки правила подстановки.

1. Система определяет три метрики для правила подстановки (используемого для включения substitute term):
2. Определение No-match score: Подсчет количества переписанных запросов, которые привели к формированию начальной страницы SERP, где результаты ссылались на ресурсы, текст которых НЕ содержал substitute term.
3. Определение Click score: Подсчет количества переписанных запросов, которые привели к формированию начальной страницы SERP, где (I) один или несколько результатов содержали substitute term, И (II) пользователь выбрал (кликнул) один из этих результатов.
4. Определение Query count: Общее количество переписанных запросов, сгенерированных с использованием правила.
5. На основе этих трех метрик система определяет, следует ли удалить правило подстановки из модели переписывания запросов.

Claim 4 (Зависимый от 3): Детализирует комплексную логику удаления правила.

1. Определяется Match count (количество запросов, где было совпадение термина - Claim 3).
2. Определяется, что коэффициент отсутствия совпадений (No-match ratio) не удовлетворяет порогу (т.е. слишком много промахов).
3. Определяется, что коэффициент кликов (Click ratio: Click score / Match count) не удовлетворяет порогу (т.е. слишком мало кликов на совпадения).
4. Если ОБА условия выполнены (много промахов И мало кликов), правило удаляется.

Claim 5 (Зависимый от 3): Описывает условие сохранения правила (Исключение для редких, но полезных правил).

1. Определяется, что No-match ratio не удовлетворяет порогу (слишком много промахов).
2. Однако определяется, что Click ratio удовлетворяет порогу (высокий процент кликов на совпадения).
3. В этом случае правило сохраняется. Это означает, что даже если подстановка редко релевантна, она очень ценна в тех случаях, когда она релевантна.

Claim 6 (Зависимый от 3): Описывает логику модификации контекста правила.

1. Определяется, что No-match ratio не удовлетворяет порогу (в общем контексте).
2. Определяется, что Click ratio удовлетворяет порогу, но только в специфическом контексте (specific context).
3. В этом случае общее правило модифицируется, чтобы включать этот специфический контекст (т.е. правило сужается).

Claim 7 (Зависимый от 3): Описывает альтернативное действие.

Если оба коэффициента (No-match ratio и Click ratio) не удовлетворяют порогам, система может модифицировать (понизить) confidence score, связанный с подставленным термином, вместо полного удаления правила.

Где и как применяется

Изобретение является механизмом контроля качества (QA) и обратной связи для системы понимания запросов.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения. Процесс имеет две составляющие:

• Онлайн (Query Revision): Query Reviser Engine использует существующие Substitution Rules для переписывания запросов пользователя в реальном времени.
• Офлайн (Rule Evaluation): Substitution Engine периодически анализирует агрегированные данные из Query Log для оценки эффективности правил. По результатам оценки он обновляет коллекцию правил (удаляет, изменяет контекст или confidence score).

INDEXING – Индексирование
Для определения No Match Score система должна иметь доступ к содержимому проиндексированных ресурсов, чтобы проверить наличие substitute term.

RANKING / RERANKING (Сбор данных)
Система использует результаты ранжирования для определения Топ-N документов и собирает данные о поведении пользователей (клики) после отображения SERP.

Входные данные:

• Агрегированные данные из Query Log для конкретного правила (A->B): множество переписанных запросов, Топ-N результатов для каждого, данные о кликах.
• Контент ресурсов, на которые ссылаются Топ-N результаты.

Выходные данные:

• Обновленная коллекция Substitution Rules: удаление правила, снижение его confidence score, или ограничение его контекста.

На что влияет

• Специфические запросы: Влияет на запросы с неоднозначными терминами, синонимами или терминами, чье значение меняется со временем (семантический дрейф).
• Контент и Терминология: Влияет на то, какие термины Google считает взаимозаменяемыми. Если связь между терминами ослабевает в контенте авторитетных сайтов или в поведении пользователей, Google перестанет их связывать.

Когда применяется

• Частота применения: Анализ происходит в офлайн-режиме (batch processing), периодически или по мере накопления достаточного объема данных (Query Count) для статистически значимой оценки правила.
• Триггеры удаления: Активация удаления или модификации правила происходит при достижении определенных пороговых значений No-Match Ratio и Click Ratio.

Пошаговый алгоритм

Офлайн-процесс оценки правила подстановки (A->B)

1. Сбор данных: Получение набора переписанных запросов из Query Log, которые были модифицированы с использованием правила A->B.
2. Инициализация метрик: Установка No Match Score = 0, Click Score = 0. Query Count устанавливается равным количеству запросов в наборе.
3. Итеративный анализ запросов: Для каждого запроса в наборе:
   1. Идентификация Топ-N результатов: Выбор подмножества топовых результатов (например, результаты первой страницы SERP).
   2. Анализ контента ресурсов: Проверка ресурсов, на которые ссылаются Топ-N результаты, на предмет наличия подставленного термина B.
   3. Обновление No Match Score: Если термин B отсутствует во всех Топ-N ресурсах, No Match Score увеличивается.
   4. Обновление Click Score: Если термин B присутствует хотя бы в одном ресурсе, проверяется, выбрал ли пользователь результат, содержащий B. Если да, Click Score увеличивается.
4. Оценка по критерию No-Match: Вычисление No-Match Ratio = (No Match Score / Query Count). Проверка, превышает ли коэффициент пороговое значение (No-Match Threshold).
   • Если НЕТ (коэффициент низкий): Правило сохраняется. Процесс завершен.
   • Если ДА (коэффициент высокий): Переход к шагу 6.
5. Расчет Match Count: Вычисление Match Count = (Query Count - No Match Score).
6. Оценка по критерию Click Ratio: Вычисление Click Ratio = (Click Score / Match Count). Проверка, ниже ли коэффициент порогового значения (Click Threshold).
   • Если НЕТ (Click Ratio высокий): Правило сохраняется (полезно, хотя и редко срабатывает). Процесс завершен.
   • Если ДА (Click Ratio низкий): Правило признано неэффективным. Переход к шагу 8.
7. Анализ контекста (Опционально): Проверка, является ли Click Ratio высоким в специфических контекстах (specific contexts).
8. Корректирующее действие: На основе оценки выполняется действие:
   • Удаление правила (если неэффективно в целом).
   • Снижение Confidence Score правила.
   • Ограничение контекста правила (если оно эффективно только в specific context).

Какие данные и как использует

Данные на входе

• Контентные факторы: Полный текст ресурсов (веб-страниц), на которые ссылаются Топ-N результатов поиска. Система проверяет наличие буквального вхождения substitute term в этом тексте.
• Поведенческие факторы: Данные о кликах пользователей (Usage Data) из Query Log. Используются для расчета Click Score и валидации полезности подстановки.
• Системные данные: Query Logs (источник данных об использовании правил) и Collection of Substitution Rules (объект управления).

Какие метрики используются и как они считаются

Система использует четыре основных счетчика и два ключевых коэффициента:

• Счетчики: Query Count, No Match Score, Click Score, Match Count.
• No-Match Ratio: Коэффициент отсутствия совпадений. Оценивает, как часто термин отсутствует в выдаче.

  $\text{No-Match Ratio} = \frac{\text{No Match Score}}{\text{Query Count}}$

• Click Ratio: Коэффициент кликов. Оценивает вовлеченность пользователей в те результаты, где термин присутствует.

  $\text{Click Ratio} = \frac{\text{Click Score}}{\text{Match Count}}$

• Пороговые значения: Система использует предопределенные пороги (Thresholds) для оценки этих коэффициентов. В патенте приводятся примеры: 95% для No-Match Threshold и 50% для Click Threshold.

1. Эмпирическая валидация лингвистики: Google не полагается на теоретические связи между словами (синонимы). Любое правило подстановки должно быть подтверждено реальными данными: присутствием термина в релевантных документах И поведением пользователей.
2. Присутствие термина как основной критерий: Если система расширяет запрос термином, который отсутствует в Топ-N результатах (высокий No-Match Ratio), это считается сильным сигналом того, что правило подстановки неверно или бесполезно.
3. Клики как подтверждение полезности: Поведение пользователей (Click Ratio) является финальным арбитром качества. Если пользователи не кликают на результаты, содержащие подставленный термин, правило будет удалено, даже если термин присутствует в контенте.
4. Исключение для редких, но полезных правил: Патент защищает правила с высоким No-Match Ratio, если их Click Ratio также высок. Это означает, что правило может срабатывать редко, но когда срабатывает, оно значительно улучшает опыт пользователя.
5. Важность контекста: Система способна определить, что правило неэффективно в общем случае, но полезно в специфическом контексте (specific context), и соответствующим образом скорректировать его применение, а не удалять полностью.

Best practices (это мы делаем)

• Использование валидированного языка ниши: Сосредоточьтесь на использовании терминологии, которая широко распространена в авторитетных источниках вашей тематики (Топ-N). Google эмпирически подтверждает связи между словами на основе их присутствия в этом корпусе документов.
• Анализ терминологии в SERP: Изучайте, какие термины, синонимы и связанные понятия используются в сниппетах и контенте лидеров выдачи. Это язык, который Google уже валидировал как релевантный для данного интента (низкий No-Match Ratio).
• Оптимизация под удовлетворенность пользователя (CTR и Вовлеченность): Поскольку клики используются для валидации полезности терминов (Click Ratio), создание привлекательных сниппетов и контента, который точно соответствует ожиданиям пользователя, косвенно подтверждает для Google релевантность используемой вами терминологии.
• Четкое определение контекста: При работе с неоднозначными терминами убедитесь, что контекст страницы ясен. Это поможет системе правильно применять контекстно-зависимые правила подстановки (context-specific substitution rules), как описано в Claim 6.

Worst practices (это делать не надо)

• Надежда на "понимание" скрытых синонимов: Не стоит рассчитывать, что Google свяжет ваш контент с запросом через синоним, если этот синоним отсутствует на странице или редко используется в вашей нише. Патент показывает, что Google активно разрывает такие связи, если они не подтверждаются данными (высокий No-Match Ratio).
• Использование устаревшей или искусственной терминологии: Внедрение редкого жаргона или использование устаревших терминов рискованно. Если эти термины не присутствуют в общем корпусе релевантных документов, Google не будет считать их валидными подстановками.
• Искусственное внедрение синонимов (Synonym Stuffing): Добавление терминов, которые не имеют естественного отношения к контенту. Если это не улучшает пользовательский опыт и не привлекает клики, это не принесет пользы и может быть воспринято как спам.

Стратегическое значение

Патент подтверждает, что понимание языка Google основано на данных (data-driven) и постоянно самокорректируется. Система тестирует свои предположения о значении слов и корректирует их на основе контента веба и реакции пользователей. Для SEO это означает, что стратегия контента должна основываться на языке, который фактически используется и подтверждается в Топ-выдаче, а не на теоретических семантических связях или данных из словарей синонимов.

Практические примеры

Сценарий 1: Валидация общепринятого синонима

1. Правило: "Couch" -> "Sofa".
2. Анализ: Google проверяет Топ-10 результатов по запросам, включающим "Couch". В 98% случаев термин "Sofa" также присутствует в контенте. No-Match Ratio = 2% (ниже порога 95%).
3. Результат: Правило сохраняется, так как оно подтверждено контентом авторитетных сайтов.
4. SEO-действие: Использовать оба термина естественно в контенте о диванах.

Сценарий 2: Удаление неэффективного правила

1. Правило: "Cats" -> "Felines" (Кошачьи).
2. Анализ No-Match: По общим запросам о кошках ("Cats") термин "Felines" встречается только в 5% случаев в Топ-10. No-Match Ratio = 95% (достигает порога).
3. Анализ Click Ratio: В тех 5% случаев, когда "Felines" встречается, пользователи кликают на эти результаты только в 10% случаев (Click Ratio = 10%, ниже порога 50%).
4. Результат: Правило удаляется или его Confidence Score снижается, так как оно редко встречается и не интересует пользователей.
5. SEO-действие: Не оптимизировать общие страницы о кошках под термин "Felines".

Сценарий 3: Сохранение редкого, но полезного правила

1. Правило: "Программирование" -> "Кодинг".
2. Анализ No-Match: Предположим, в академической среде термин "Кодинг" встречается редко. No-Match Ratio = 96% (выше порога).
3. Анализ Click Ratio: Но в тех 4% случаев, когда он встречается (например, на сайтах онлайн-курсов), пользователи кликают в 80% случаев. Click Ratio = 80% (выше порога 50%).
4. Результат: Правило сохраняется, так как оно полезно, когда срабатывает (Claim 5).
5. SEO-действие: Сайты онлайн-курсов могут уверенно использовать термин "Кодинг".