Как Google автоматически валидирует синонимы и правила переписывания запросов, используя данные о кликах и позициях

Описание

Какую задачу решает

Патент решает задачу автоматической и объективной валидации правил переписывания запросов (Query Revision Rules), таких как подстановка синонимов, добавление кавычек или операторов исключения. Цель — определить, улучшает ли применение конкретного правила качество поисковой выдачи, без необходимости масштабной ручной оценки асессорами.

Что запатентовано

Запатентована система для автоматизированной оценки качества правил переписывания запросов. Система сравнивает агрегированную оценку качества SERP (Search Results Score) исходного запроса с оценкой SERP переписанного запроса. Ключевым элементом является метод расчета этой оценки, который учитывает как позицию результата (Rank), так и его «оценку популярности» (Popularity Score), основанную на поведении пользователей.

Как это работает

Система работает преимущественно в офлайн-режиме для тестирования правил:

• Получение данных: Система получает результаты поиска для исходного и переписанного запросов, включая их позиции и Popularity Scores.
• Расчет оценок SERP: Для каждой выдачи рассчитывается Search Results Score. Он является суммой Position Scores для каждого результата. Position Score обычно вычисляется как (Позиция в ранжировании) * (Popularity Score).
• Интерпретация оценки: В этой метрике чем ниже итоговый Search Results Score, тем лучше качество SERP (это означает, что популярные результаты находятся на более высоких позициях).
• Валидация правила: Система сравнивает оценки. Если оценка переписанного запроса лучше (ниже) или равна оценке исходного запроса, правило валидируется и сохраняется для использования в продакшене.

Актуальность для SEO

Высокая. Автоматизированная оценка изменений и машинное обучение на основе поведения пользователей являются фундаментом современных поисковых систем. Валидация синонимов и понимание интента запроса остаются критически важными задачами. Этот патент описывает конкретный механизм для крупномасштабного тестирования и валидации улучшений на этапе Понимания Запросов (Query Understanding).

Важность для SEO

Патент имеет высокое стратегическое значение (7/10). Он не описывает прямой фактор ранжирования, но раскрывает механизм, с помощью которого Google валидирует свою логику понимания запросов. Он подтверждает, что Popularity Scores (поведенческие данные, клики, удовлетворенность) используются как эталон качества (ground truth) для определения того, является ли семантическая интерпретация (например, синоним) корректной и полезной.

Детальный разбор

Термины и определения

Popularity Score (Оценка популярности)

Метрика, отражающая популярность конкретного результата в контексте конкретного запроса. Основана на данных о выборе пользователя (user selections), таких как клики, длительность клика, mouse rollover и т.д.

Position Score (Оценка позиции)

Промежуточная метрика для расчета качества SERP. Обычно рассчитывается как произведение позиции результата в ранжировании (Rank) на его Popularity Score.

Query Revision Rule (Правило переписывания запроса)

Логика для модификации исходного запроса. Включает правила синонимов (Synonym Rule), а также другие модификации (добавление кавычек, операторов исключения).

Rank / Ranking Position (Ранг / Позиция в ранжировании)

Порядковый номер результата в поисковой выдаче (1, 2, 3 и т.д.).

Search Results Score (Оценка результатов поиска / Агрегированная оценка SERP)

Агрегированная метрика качества всей поисковой выдачи. Является суммой Position Scores результатов в SERP. В контексте данного патента, чем ниже эта оценка, тем выше качество выдачи.

Synonym Engine (Система обработки синонимов)

Компонент поисковой системы, отвечающий за идентификацию, оценку и применение правил синонимов.

Query Logs (Журналы запросов)

База данных ранее выполненных запросов, используемая как источник для тестирования правил.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод автоматической оценки, валидации и применения правил переписывания запроса.

1. Определение первой оценки (first search results score) для результатов исходного запроса. Эта оценка базируется на (i) ранге каждого результата и (ii) Popularity Score каждого результата.
2. Переписывание запроса с использованием Query Revision Rule.
3. Определение второй оценки (second search results score) для результатов переписанного запроса, используя ту же методику.
4. Сравнение первой и второй оценок.
5. На основе сравнения (если качество улучшилось), сохранение Query Revision Rule в коллекции правил, которые будут использоваться для переписывания будущих запросов.
6. Использование сохраненного правила для переписывания нового запроса в будущем.

Ядро изобретения — это автоматизированный цикл обратной связи для валидации правил переписывания запросов. Он использует агрегированные метрики качества SERP, основанные на позициях и данных о популярности (поведении пользователей), для принятия решения о внедрении правила в продакшен.

Claims 6 и 7 (Зависимые): Детализируют расчет Search Results Score.

1. Определение Position Scores для результатов. Position Score определяется с использованием Popularity Score и ранга (Rank) результата.
2. Комбинирование (суммирование) Position Scores для получения итогового Search Results Score.

Эти пункты формализуют метрику качества SERP, используемую для оценки правил.

Где и как применяется

Изобретение описывает преимущественно офлайн-процесс валидации, который напрямую влияет на работу компонента Понимания Запросов в реальном времени.

INDEXING / Обработка Логов
На этом этапе должны рассчитываться и сохраняться Popularity Scores для пар запрос-документ на основе агрегированных данных о поведении пользователей. Эти данные служат эталоном качества.

QUNDERSTANDING – Понимание Запросов (Офлайн-валидация)
Основное применение патента. Synonym Engine или аналогичный компонент использует описанный механизм для тестирования кандидатов в правила переписывания. Это система контроля качества для этапа QUNDERSTANDING.

QUNDERSTANDING – Понимание Запросов (Реальное время)
Во время обработки запроса пользователя Query Reviser Engine применяет правила, которые были ранее валидированы с помощью этого механизма.

RANKING – Ранжирование
Механизм использует Search Engine на этапе офлайн-тестирования для генерации результатов и определения их позиций (Ranks) по исходному и переписанному запросам.

Входные данные:

• Кандидатное правило переписывания (Query Revision Rule).
• Тестовый исходный запрос (часто из Query Logs).
• Popularity Scores для пар запрос-документ.

Выходные данные:

• Решение о валидации правила (Good/Bad Revision).
• Сохранение валидированного правила в базе данных (например, Synonym Rules) для использования в продакшене.

На что влияет

• Специфические запросы: Наибольшее влияние на неоднозначные запросы или запросы с несколькими интентами. Поведение пользователей (Popularity Scores) помогает определить наиболее релевантную интерпретацию или синоним в конкретном контексте (Query Context).
• Языковые и географические ограничения: Поскольку Popularity Scores зависят от поведения пользователей в конкретном регионе и на конкретном языке, правило может быть валидировано для одного региона, но отклонено для другого.

Когда применяется

• Условия применения: Процесс применяется офлайн, в рамках тестирования и валидации новых или существующих правил переписывания запросов перед их развертыванием или для их обновления.
• Требования к данным: Требуется наличие достаточного объема данных для расчета надежных Popularity Scores.

Пошаговый алгоритм

Процесс оценки правила переписывания запроса:

1. Инициализация: Выбор исходного запроса (Q1) и правила переписывания (Rule).
2. Получение данных для Q1: Система получает набор результатов для Q1, включая Ranking Positions и Popularity Scores.
3. Расчет Search Results Score (Q1):
   1. Для каждого результата рассчитывается Position Score = (Ranking Position) * (Popularity Score). Результаты без Popularity Score могут игнорироваться.
   2. Система суммирует все Position Scores для получения агрегированной оценки SERP Q1.
4. Переписывание запроса: Генерация переписанного запроса (Q2) путем применения Rule к Q1.
5. Получение данных для Q2: Система получает набор результатов для Q2.
6. Расчет Search Results Score (Q2): Рассчитывается агрегированная оценка SERP Q2 аналогично шагу 3.
7. Корректировка (Опционально): Корректировка оценок для обеспечения справедливого сравнения, например, исключение результатов, у которых отсутствует Popularity Score в Q1 или Q2.
8. Сравнение оценок (Revision Score): Система рассчитывает разницу между оценками. Revision Score = Score(Q1) — Score(Q2).
9. Валидация правила: Система проверяет, удовлетворяет ли Revision Score пороговому значению (например, >= 0).
   • Если ДА (Score Q2 <= Score Q1): Правило улучшило или не ухудшило качество (популярные результаты поднялись выше). Правило валидируется (Good Revision).
   • Если НЕТ (Score Q2 > Score Q1): Правило ухудшило качество. Правило отклоняется (Bad Revision).
10. Сохранение результата: Валидированные правила сохраняются для использования в поисковой системе.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на двух типах данных для оценки качества:

• Поведенческие факторы (Критически важно): Popularity Scores. Это центральный элемент патента. Он основан на выборе пользователя (user selections), включая клики, длительность клика, mouse rollover. Это агрегированные данные о взаимодействии пользователей с результатами поиска для конкретного запроса.
• Системные данные (Ранжирование): Ranking Position (Ранг). Позиция, на которой результат был показан в тестируемой выдаче.

Какие метрики используются и как они считаются

Система использует специфическую методику расчета, в которой целью является минимизация итоговой оценки SERP.

• Position Score: Метрика для отдельного результата.
  Основная формула: Position Score = Ranking Position * Popularity Score.
  Патент также упоминает вариации, включающие трансформацию ранга (например, возведение в степень от 0 до 1) или трансформацию оценки популярности перед умножением.
• Search Results Score (SERP Score): Агрегированная метрика качества выдачи.
  Формула: Сумма всех Position Scores в выдаче.
  Интерпретация: Чем ниже эта оценка, тем лучше. Это достигается, когда результаты с высоким Popularity Score находятся на позициях с низким номером (т.е. высоко в топе).
• Revision Score: Метрика для оценки эффективности правила переписывания.
  Формула: Search Results Score (Original) — Search Results Score (Revised).
• Пороговые значения: Правило считается хорошим, если Revision Score удовлетворяет порогу (например, >= 0).

Выводы

1. Автоматизация оценки Query Understanding: Патент описывает инфраструктуру, позволяющую Google автоматически и в больших масштабах валидировать качество работы систем понимания запросов (синонимов, переписываний) без ручного труда.
2. Поведенческие данные как эталон качества (Ground Truth): Popularity Scores (данные о кликах и взаимодействии) используются как основной источник истины для определения релевантности. Интерпретация запроса считается верной, если она приводит к выдаче, которая лучше удовлетворяет пользователей.
3. Метрика качества SERP (Минимизация): Используется конкретная метрика Search Results Score (Сумма (Rank * Popularity)), которую система стремится минимизировать. Это подтверждает цель Google: наиболее популярные и полезные результаты должны быть как можно выше в выдаче.
4. Валидация семантики через поведение: Система определяет, является ли слово синонимом в данном контексте, не путем чисто лингвистического анализа, а путем проверки того, приводит ли его использование к более качественной выдаче с точки зрения поведения пользователей.
5. Универсальность механизма: Описанный метод оценки применим к любым правилам переписывания запросов (Query Revision Rules), а не только к синонимам.

Практика

Best practices (это мы делаем)

• Максимизация удовлетворенности пользователя (User Satisfaction) и CTR: Сосредоточьтесь на создании контента, который наилучшим образом отвечает на интент пользователя, и формируйте привлекательные сниппеты. Это приводит к высоким Popularity Scores. Если ваш контент является самым популярным ответом на запрос, вы помогаете Google валидировать свои семантические модели и обеспечиваете высокое ранжирование.
• Анализ семантических связей и интентов: Изучайте, какие запросы Google считает синонимичными в вашей нише. Создавайте контент, который релевантен как основному запросу, так и его близким вариантам. Если ваш контент хорошо отвечает на разные формулировки (и получает клики), это укрепит связь между запросами в системах Google.
• Фокус на Topical Authority: Построение авторитетности в теме увеличивает вероятность того, что ваш контент будет считаться популярным ответом на широкий спектр запросов в этой нише, включая синонимичные варианты, которые Google тестирует и валидирует.

Worst practices (это делать не надо)

• Ранжирование по нерелевантным синонимам: Попытки ранжироваться по терминам, которые технически являются синонимами, но не соответствуют интенту пользователя в данном контексте. Если пользователи не будут взаимодействовать с вашим результатом (низкий Popularity Score), Google определит, что данная интерпретация запроса некачественная.
• Игнорирование поведенческих сигналов: Создание контента, оптимизированного под ключевые слова, но не решающего задачу пользователя. Низкие показатели взаимодействия будут сигнализировать системе, что результаты некачественные.
• Семантический спам (Keyword Stuffing): Механическое использование всех возможных синонимов в тексте. Качество определяется не наличием слов, а тем, насколько хорошо страница удовлетворяет интент, что подтверждается Popularity Scores.

Стратегическое значение

Этот патент подтверждает критическую роль данных о поведении пользователей в обучении и валидации систем семантического понимания Google (QUNDERSTANDING). Он показывает, что Google не полагается только на лингвистические модели (NLP) для определения синонимов, но и валидирует их выводы через реальное взаимодействие пользователей с выдачей. Стратегия SEO должна быть направлена на максимальное удовлетворение интента, так как именно это формирует Popularity Scores, которые лежат в основе оценки качества поиска.

Практические примеры

Сценарий 1: Валидация синонима для продуктового запроса

1. Тестируемое правило: Является ли «бюджетный» хорошим синонимом для «недорогой».
2. Исходный запрос (Q1): «недорогой ноутбук». Search Results Score = 15.0.
3. Переписанный запрос (Q2): «(недорогой OR бюджетный) ноутбук».
4. Анализ: В выдаче Q2 авторитетная статья «Топ-10 бюджетных ноутбуков» (с высоким Popularity Score) перемещается с позиции 5 на позицию 1.
5. Результат: Search Results Score для Q2 = 12.0.
6. Вывод: Оценка улучшилась (12.0 < 15.0). Правило валидировано. Google будет использовать «бюджетный» как синоним для «недорогой» в этом контексте.

Сценарий 2: Оценка правила переписывания (Кавычки) (На основе FIG. 5 патента)

1. Задача: Система проверяет, улучшает ли добавление кавычек результаты для запроса «Term».
2. Исходный запрос (Q1): Term. Search Results Score = 2.3.
3. Переписанный запрос (Q2): «Term».
4. Результат: Популярные результаты поднялись выше. Search Results Score = 1.7.
5. Вывод: Оценка улучшилась (1.7 < 2.3). Правило (добавление кавычек для этого запроса) считается хорошим и сохраняется.

Вопросы и ответы