Как Google находит и предлагает более эффективные формулировки запросов через каноникализацию и оценку полезности

Термины и определения

Canonical Representation / Canonical Form (Каноническое представление / Каноническая форма)

Стандартизированная форма запроса, полученная после применения правил каноникализации. Используется для идентификации запросов с одинаковым интентом, несмотря на различия в формулировках.

Canonicalization Rules (Правила каноникализации)

Набор правил для нормализации запросов. В патенте упоминаются: стемминг (stemming), удаление стоп-слов (stopword removal), переупорядочивание слов (word reordering, например, по алфавиту), удаление дубликатов терминов.

Candidate Variants (Варианты-кандидаты)

Уникальные запросы, прошедшие проверку на схожесть с исходной подсказкой. В основном варианте реализации это запросы с идентичной канонической формой.

Given Query Suggestion (Исходная подсказка запроса)

Подсказка, сгенерированная стандартными методами (например, автодополнение), которая подвергается анализу для поиска улучшенных альтернатив.

Prefix (Префикс) / Substring (Подстрока)

Последовательность терминов в начале запроса (префикс) или в любом месте запроса (подстрока). Система ищет альтернативы, которые НЕ содержат исходную подсказку как префикс (и опционально, как подстроку).

Query Utility Score (Оценка полезности запроса)

Метрика, оценивающая качество результатов по запросу на основе прошлых реакций пользователей (user response). Отражает удовлетворенность пользователей (user satisfaction). Может включать частотность запроса, клики, время просмотра результатов.

Selected Variants (Выбранные варианты)

Финальный набор Candidate Variants, которые имеют высокий Query Utility Score (обычно выше, чем у исходной подсказки) и предлагаются как альтернатива.

Similarity Score (Оценка схожести)

Метрика, определяющая степень схожести между исходной подсказкой и уникальным запросом. Рассчитывается на основе сравнения канонических форм.

Unique Queries (Уникальные запросы)

Набор прошлых запросов из логов (Log Files), используемый для поиска альтернатив.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод выбора варианта для исходной подсказки запроса.

1. Определение канонических представлений (используя Canonicalization Rules) для исходной подсказки и уникальных запросов (которые не включают исходную подсказку как префикс).
2. Сравнение канонических представлений для получения оценок схожести (Similarity Scores).
3. Выбор кандидатов (Candidate Variants) на основе оценок схожести, удовлетворяющих порогу. Ключевое требование, указанное в Claim 1: выбор включает как минимум один уникальный запрос, чье каноническое представление идентично каноническому представлению исходной подсказки.
4. Выбор финальных вариантов (Selected Variants) из числа кандидатов с использованием Query Utility Scores.
5. Сохранение ассоциации между исходной подсказкой и выбранными вариантами.

Ядро изобретения — использование идентичности канонических форм как строгого критерия семантической эквивалентности и последующее использование оценок полезности для выбора наилучшей формулировки.

Claim 2 (Зависимый от 1): Уточняет критерий выбора финальных вариантов. Выбираются кандидаты, чьи Query Utility Scores выше, чем у исходной подсказки запроса. Это гарантирует, что предложенная альтернатива является улучшением.

Claim 3, 4, 5 (Зависимые): Детализируют процесс выбора. Кандидаты сортируются по их Query Utility Scores для создания рейтинга. Выбирается предопределенное количество (например, один, согласно Claim 5) лучших кандидатов.

Claim 8 (Зависимый от 1): Ужесточает требования к уникальным запросам. Они не должны включать исходную подсказку не только как префикс, но и как подстроку (substring). Это гарантирует предложение структурно отличающихся альтернатив.

Где и как применяется

Изобретение применяется на этапе понимания запросов и в системах генерации поисковых подсказок.

QUNDERSTANDING – Понимание Запросов
Большая часть работы происходит офлайн или в качестве фонового процесса. Система анализирует логи запросов (Log Files), применяет правила каноникализации ко всем уникальным запросам и рассчитывает Query Utility Scores. Это позволяет построить базу данных соответствий между различными формулировками запросов и определить наиболее эффективные формулировки для каждого интента.

Применение в реальном времени (Suggestion Engine):
Когда пользователь вводит запрос, стандартная система подсказок (Suggestion Engine) генерирует исходные подсказки. Затем Query Variant Engine использует предварительно рассчитанные данные для поиска и предложения Selected Variants.

• Входные данные: Исходная подсказка запроса (Given Query Suggestion), база уникальных запросов (Unique Queries) с их каноническими формами и Query Utility Scores.
• Выходные данные: Один или несколько Selected Variants (улучшенных альтернативных формулировок).

Технические особенности: Ключевой особенностью является строгий подход к определению схожести через идентичность канонических форм. Это позволяет находить структурно разные запросы, которые выражают одинаковый интент.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, которые имеют множество синтаксических вариаций, разный порядок слов или включают много стоп-слов (например, информационные запросы, запросы-вопросы).
• Пользовательский интерфейс: Влияет на блок автодополнения (Autocomplete), направляя пользователя к более эффективным формулировкам.

Когда применяется

Алгоритм применяется при выполнении следующих условий:

• Условие 1 (Структурное различие): Существуют прошлые уникальные запросы, которые не содержат исходную подсказку как префикс (и/или подстроку).
• Условие 2 (Идентичность интента): Каноническая форма этих уникальных запросов идентична канонической форме исходной подсказки.
• Условие 3 (Улучшение полезности): Query Utility Score уникального запроса выше, чем у исходной подсказки.
• Временные рамки: Расчет происходит офлайн. Применение — в момент генерации поисковых подсказок в реальном времени.

Пошаговый алгоритм

Процесс выбора улучшенных вариантов запроса (Офлайн):

1. Получение и фильтрация данных: Система получает исходную подсказку запроса. Извлекается набор уникальных прошлых запросов, которые не содержат исходную подсказку как префикс.
2. Каноникализация: Исходная подсказка и все отобранные уникальные запросы преобразуются в свои канонические представления. Это включает удаление стоп-слов, стемминг, сортировку терминов по алфавиту и удаление дубликатов.
3. Расчет схожести и отбор кандидатов: Система сравнивает канонические представления. Уникальные запросы, чьи канонические формы точно совпадают с формой исходной подсказки (или превышают высокий порог схожести), отбираются как Candidate Variants.
4. Оценка полезности: Система извлекает предварительно рассчитанные Query Utility Scores для исходной подсказки и всех кандидатов.
5. Фильтрация по полезности: Отбрасываются кандидаты, чей Query Utility Score не превышает оценку исходной подсказки.
6. Ранжирование и выбор: Оставшиеся кандидаты ранжируются по Query Utility Score. Выбирается предопределенное количество (например, один) лучших кандидатов в качестве Selected Variants.
7. Сохранение ассоциации: Система сохраняет связь между исходной подсказкой и выбранными вариантами для последующего использования.

Какие данные и как использует

Данные на входе

Патент фокусируется на анализе запросов и поведенческих данных.

• Поведенческие факторы (Ключевые):
  • Логи запросов (Log Files): Источник уникальных прошлых запросов.
  • Данные о сессиях пользователей: Используются для расчета Query Utility Score. В патенте упоминаются данные о том, какие результаты были выбраны пользователями после поиска и как долго каждый результат просматривался.
• Лингвистические данные: Текст самих запросов, который обрабатывается с использованием правил каноникализации.

Какие метрики используются и как они считаются

• Query Utility Score (Оценка полезности запроса): Ключевая метрика для выбора лучшей формулировки. Рассчитывается на основе агрегированных данных о поведении пользователей для оценки их удовлетворенности результатами поиска по данному запросу.
• Similarity Score (Оценка схожести): Метрика для определения идентичности интента. Рассчитывается путем сравнения канонических форм.
  • Методы анализа текста (Нормализация): Запросы нормализуются с использованием стемминга, удаления стоп-слов, сортировки терминов.
  • Пороговое значение: В основном варианте реализации используется требование идентичности канонических форм (бинарная оценка: 1 или 0).

1. Интент определяется канонической формой: Патент демонстрирует, как Google определяет семантическую идентичность запросов. Если два структурно разных запроса приводятся к одной и той же канонической форме (после нормализации), они считаются выражающими один и тот же интент.
2. Приоритет полезности над синтаксисом и популярностью: Если существует несколько способов выразить один и тот же интент, Google предпочтет ту формулировку, которая исторически приводила к большей удовлетворенности пользователей (выше Query Utility Score), а не обязательно самую популярную или синтаксически простую.
3. Отход от простого автодополнения: Система активно ищет перефразирования, а не просто завершения запроса. Обязательное условие — альтернатива не должна содержать исходную подсказку как префикс.
4. Важность поведенческих сигналов на уровне запроса: Query Utility Score является критически важной метрикой. Google оценивает не только качество страниц, но и качество самих формулировок запросов с точки зрения их способности удовлетворить пользователя.
5. Консолидация интента: Система стремится консолидировать трафик вокруг наиболее эффективных формулировок для каждого интента.

Best practices (это мы делаем)

• Фокус на каноническом интенте в Keyword Research: Необходимо группировать запросы по их предполагаемой канонической форме, а не только по синтаксической близости. Понимайте, какие слова являются ключевыми для интента, а какие — стоп-словами или модификаторами, которые удаляются при нормализации.
• Оптимизация под наиболее эффективные формулировки (High Utility): Анализируйте, какие формулировки запросов в вашей нише показывают лучшие поведенческие метрики (например, через анализ CTR в GSC или внутреннюю аналитику) и генерируют наибольший трафик. Используйте эти высокоэффективные формулировки в качестве основных целей оптимизации, так как Google будет направлять пользователей именно к ним.
• Глубокий анализ Autocomplete: Внимательно изучайте предложения Autocomplete, особенно те, которые перефразируют введенный текст. Они показывают, какие варианты Google считает оптимальными (с высоким Utility Score).
• Оптимизация удовлетворенности пользователей (User Satisfaction): Поскольку выбор лучшей формулировки основан на Query Utility Score, критически важно обеспечивать высокое качество контента. Удовлетворенность пользователей повышает вероятность того, что запросы, ведущие на ваш сайт, получат высокий Utility Score.

Worst practices (это делать не надо)

• Фокус на неестественных или низкокачественных (Low Utility) формулировках: Попытки оптимизации под синтаксически специфичные запросы, которые приводят к плохим поведенческим сигналам, неэффективны. Google может активно перенаправлять пользователей с этих формулировок на более качественные альтернативы.
• Создание отдельных страниц под каждую синтаксическую вариацию: Если несколько запросов имеют идентичную каноническую форму (например, отличаются только порядком слов или стоп-словами), они должны обрабатываться одной целевой страницей. Создание множества страниц является каннибализацией интента.

Стратегическое значение

Патент подтверждает стратегию Google по переходу от буквального сопоставления ключевых слов к глубокому пониманию интента и приоритезации пользовательского опыта. Он показывает механизм, с помощью которого Google консолидирует интент вокруг наиболее удачных формулировок. Для долгосрочной SEO-стратегии это означает, что необходимо строить семантическое ядро вокруг кластеров интентов (канонических форм) и оптимизировать под варианты запросов, демонстрирующие наивысшую полезность.

Практические примеры

Сценарий 1: Консолидация интента для рецептов

1. Исходные запросы пользователей: "best pizza dough recipe" (лучший рецепт теста для пиццы) и "recipe for pizza dough" (рецепт для теста пиццы).
2. Анализ системой (Каноникализация):
   • Система удаляет стоп-слова ("best", "for") и сортирует термины.
   • Оба запроса приводятся к канонической форме: [dough pizza recipe].
3. Оценка полезности: Система анализирует логи и определяет, что формулировка "pizza dough recipe" имеет самый высокий Query Utility Score.
4. Результат: Когда пользователь начнет вводить "best pizza dough...", система может предложить "pizza dough recipe" как более эффективную альтернативу.
5. SEO-действие: Оптимизировать основную страницу рецепта под интент [dough pizza recipe], используя предпочтительную формулировку "pizza dough recipe" в заголовках.

Сценарий 2: Обработка естественного языка

1. Пользователь вводит: "what the dollar" (что доллар).
2. Стандартная подсказка: Может быть неэффективной.
3. Анализ системой: Система находит альтернативный запрос "what is the dollar worth" (чего стоит доллар).
   • Канонические формы могут совпадать (например, [dollar worth]).
   • "what is the dollar worth" имеет более высокий Query Utility Score.
4. Результат: Система предлагает "what is the dollar worth" в Autocomplete, даже если префикс не совпадает.