Как Google переписывает частичные запросы для улучшения подсказок Autocomplete, если стандартных вариантов недостаточно

Термины и определения

Partial Search Query (Частичный поисковый запрос)

Неполный запрос, введенный пользователем в строку поиска.

Complete Search Query (Полный поисковый запрос)

Завершенный запрос, который ранее отправлялся пользователями. Хранится в Historical Complete Queries Database и используется как кандидат для подсказки.

Rewritten Partial Search Query (Переписанный частичный поисковый запрос)

Модифицированная версия исходного частичного запроса, созданная путем удаления терминов или замены их синонимами.

Required Query Term (Обязательный термин запроса)

Термин, который система считает критически важным. Определяется на основе высокого IDF, принадлежности к сущностям (имена, бренды, локации), распознанным n-граммам или если термин является неполным (Incomplete Term).

Optional Query Term (Опциональный термин запроса)

Термин, который не является обязательным и не является стоп-словом. Кандидат на удаление или замену при переписывании.

Stop Word Query Term (Стоп-слово)

Слово с низкой семантической нагрузкой, определяемое по предопределенному списку.

Incomplete Term (Неполный термин)

Термин, который пользователь еще не закончил вводить (определяется по положению курсора). Всегда считается обязательным.

Similarity Score (Оценка схожести)

Метрика, определяющая, насколько полный запрос похож на исходный частичный запрос. Включает Term Drop Factor и Edit Distance Factor.

Popularity Metric (Метрика популярности)

Историческая частота отправки полного запроса пользователями.

Term Drop Factor (Фактор удаления терминов)

Часть Similarity Score, которая штрафует за удаленные термины и использование синонимов. Учитывает тип удаленного слова и уверенность в синониме (Synonym Confidence Score).

Edit Distance Factor (Фактор редакционного расстояния)

Часть Similarity Score, которая штрафует за операции на уровне слов (вставка, транспозиция, создание пробелов), необходимые для преобразования частичного запроса в полный.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод предоставления подсказок с использованием переписывания.

1. Система получает частичный запрос.
2. Выполняется поиск первого набора совпадающих полных запросов.
3. Проверяется условие: удовлетворяет ли первый набор предопределенным критериям.
4. Если НЕТ (критерии не выполнены):
   1. Выполняется переписывание частичного запроса.
   2. Условие переписывания: хотя бы один переписанный запрос должен (A) включать синоним термина из исходного запроса ИЛИ (B) включать меньше не-стоп-слов, чем исходный запрос.
   3. Переписывание ограничено максимальным количеством удаленных терминов.
   4. Выполняется поиск второго набора полных запросов, совпадающих с переписанными версиями.
   5. Подмножество второго набора отправляется клиенту.

Ядром изобретения является условная активация механизма переписывания запроса (используя синонимы или удаление слов) только тогда, когда стандартные подсказки недостаточны.

Claim 2 (Зависимый от 1): Детализирует классификацию терминов.

Перед переписыванием система идентифицирует термины как обязательные (required), опциональные (optional) и/или стоп-слова (stop words).

Claim 3 (Зависимый от 2): Определяет критерии для обязательных терминов.

Термин считается обязательным, если он: имеет показатель Inverse Document Frequency (IDF), удовлетворяющий критериям (т.е. достаточно специфичный); является именем человека, названием продукта/бренда или местоположением (сущность); ИЛИ является частью n-граммы, которая совпадает с записью в предопределенной таблице.

Claim 6 (Зависимый от 2): Уточняет статус неполного термина.

Если частичный запрос включает Incomplete term, этот термин автоматически считается обязательным.

Claim 11 (Зависимый от 1): Описывает ранжирование второго набора подсказок.

Каждая подсказка оценивается на основе Similarity Score и Popularity Metric.

Где и как применяется

Изобретение применяется исключительно в рамках системы автозаполнения (Autocomplete/Google Suggest), которая является частью этапа понимания запросов.

QUNDERSTANDING – Понимание Запросов

Система (Prediction Server) работает в реальном времени, когда пользователь вводит запрос.

• Обработка частичного запроса: Принимает ввод пользователя и ищет совпадения в Historical Complete Queries Database.
• Переписывание запроса: Если стандартных подсказок недостаточно, активируется механизм переписывания. Это включает классификацию терминов (Required/Optional/Stop Word) и генерацию альтернативных версий.
• Ранжирование подсказок: Ранжирует найденные полные запросы на основе схожести и популярности.

INDEXING – Индексирование и извлечение признаков

Косвенное взаимодействие. На этом этапе предварительно вычисляются данные, необходимые для работы системы:

• Расчет IDF для терминов.
• Составление списков синонимов и расчет Synonym Confidence Score.
• Составление таблиц n-грамм и списков сущностей.
• Обработка логов запросов (Query Log) для расчета Popularity Metric.

Входные данные:

• Частичный поисковый запрос от клиента.
• Данные о положении курсора.
• База данных исторических запросов.
• Вспомогательные данные (IDF, синонимы, стоп-слова, n-граммы).

Выходные данные:

• Отранжированный набор полных поисковых запросов (подсказки).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на длиннохвостые (long-tail), сложные или редкие запросы, для которых мало исторических данных о точном префиксном совпадении.
• Запросы с ошибками или нестандартными формулировками: Система может помочь, предложив более популярные или корректные варианты через механизм синонимов или удаления слов.

Когда применяется

Алгоритм переписывания применяется условно.

• Триггер активации: Когда первый набор совпадающих полных запросов (найденных по исходному частичному запросу) не удовлетворяет предопределенным критериям (fails to satisfy predefined criteria).
• Пороговые значения: Критерии могут включать:
  • Количество подсказок меньше порогового значения N.
  • Суммарная или средняя оценка качества/популярности Топ-N подсказок ниже порогового значения Y.
• Временные рамки: Применяется в реальном времени при вводе каждого символа в строку поиска.

Пошаговый алгоритм

Процесс обработки частичного запроса в Autocomplete

1. Получение ввода: Система получает частичный поисковый запрос.
2. Первичный поиск: Поиск в базе данных исторических запросов для идентификации первого набора полных запросов.
3. Оценка первого набора: Определение, удовлетворяет ли первый набор предопределенным критериям (количество и качество/популярность).
4. Принятие решения о переписывании:
   • Если ДА: Отправить первый набор пользователю. Процесс завершен.
   • Если НЕТ: Инициировать процесс переписывания.
5. Классификация терминов: Идентификация типов терминов в частичном запросе:
   • Определение неполного термина (Incomplete Term) по позиции курсора (помечается как обязательный).
   • Идентификация обязательных терминов (Required) с использованием IDF, списков сущностей, таблиц n-грамм.
   • Идентификация стоп-слов (Stop Words).
   • Оставшиеся термины помечаются как опциональные (Optional).
6. Генерация переписанных запросов: Создание набора переписанных частичных запросов путем:
   • Замены терминов на синонимы.
   • Удаления опциональных терминов или стоп-слов.
7. Применение ограничений: Обеспечение того, что количество удаленных терминов (или удаленных не-стоп-слов) не превышает предопределенное значение (например, 1 или 2).
8. Вторичный поиск: Поиск в базе данных для идентификации второго набора полных запросов, совпадающих с переписанными запросами.
9. Ранжирование (второй набор): Расчет оценки для каждой подсказки на основе:
   • Popularity Metric (частота).
   • Similarity Score, включающей:
     • Term Drop Factor (штрафы за удаленные слова и синонимы).
     • Edit Distance Factor (штрафы за редакционные правки).
10. Выбор и отправка: Выбор подмножества лучших подсказок из второго набора и отправка их клиенту.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные для классификации терминов и ранжирования подсказок.

• Контентные факторы (Анализ терминов): Текст частичного запроса анализируется для определения его состава.
• Временные/Поведенческие факторы (Популярность): Используется Query Log и Historical Complete Queries Database для определения исторической частоты (Popularity Metric) полных запросов.
• Пользовательские факторы (Ввод): Введенный текст и положение курсора (для определения Incomplete Term).
• Лингвистические данные:
  • Списки стоп-слов.
  • База данных синонимов и оценки уверенности (Synonym Confidence Score).
  • Таблицы n-грамм и списки сущностей (имена людей, бренды, локации).
• Системные данные (Индекс):
  • Inverse Document Frequency (IDF) для терминов.

Какие метрики используются и как они считаются

1. Классификация терминов:
   • Required Term: Определяется, если IDF > порога, ИЛИ термин является сущностью/n-граммой, ИЛИ термин является Incomplete.
   • Stop Word: Определяется по наличию в списке.
   • Optional Term: Если не Required и не Stop Word.
2. Ранжирование подсказок (Scoring): Оценка обычно является функцией (например, произведением) от Similarity Score и Popularity Metric.
3. Similarity Score: Функция от Term Drop Factor и Edit Distance Factor.

   Term Drop Factor рассчитывается на основе:

   • Штрафа за удаленные не-стоп-слова (более высокий штраф).
   • Штрафа за удаленные стоп-слова (более низкий штраф).
   • Synonym Confidence Score для каждого использованного синонима.

   Edit Distance Factor рассчитывается на основе количества операций на уровне слов (с возможными весами):

   • Вставка (Insert).
   • Транспозиция (Transpose).
   • Создание пробела (Open Gap).

   Патент отмечает, что при расчете факторов схожести части полного запроса, следующие после последнего совпадающего термина из частичного запроса, игнорируются (не штрафуются).

1. Autocomplete – это не только префиксы: Google активно переписывает ввод пользователя для генерации подсказок, если стандартных префиксных совпадений недостаточно. Подсказки могут не содержать всех введенных слов или могут содержать синонимы.
2. Иерархия важности терминов: Система классифицирует слова в запросе на обязательные, опциональные и стоп-слова. Понимание того, какие слова Google считает обязательными (редкие слова по IDF, сущности, устоявшиеся фразы), критично для анализа семантики.
3. Неполный термин всегда обязателен: Слово, которое пользователь вводит в данный момент (Incomplete Term), всегда сохраняется в переписанных запросах.
4. Ограниченное переписывание: Система ограничивает агрессивность переписывания, устанавливая лимит на количество удаляемых слов (например, 1 или 2), чтобы сохранить релевантность.
5. Сложное ранжирование подсказок: Ранжирование подсказок – это баланс между популярностью (Popularity) и схожестью (Similarity). Схожесть учитывает сложные штрафы за удаление слов (с разными весами) и редакционное расстояние.
6. Направление пользователя к популярным запросам: Механизм переписывания направляет пользователей от редких или неоптимальных формулировок к более популярным и проверенным запросам, которые есть в Historical Database.

Best practices (это мы делаем)

• Анализ подсказок для понимания интента и синонимов: Активно изучайте Autocomplete, вводя разные комбинации запросов. Обращайте внимание на то, какие слова Google заменяет синонимами (считает взаимозаменяемыми), а какие удаляет (считает опциональными). Это дает прямое понимание интерпретации запроса системой.
• Оптимизация под популярные формулировки: Поскольку система ранжирует подсказки с учетом Popularity Metric и стремится направить пользователя к исторически частым запросам, ключевая стратегия – выявлять эти популярные формулировки и оптимизировать контент под них.
• Укрепление связи с Сущностями и N-граммами: Работайте над тем, чтобы ключевые фразы вашего сайта (бренды, продукты, имена) распознавались как Required Query Terms. Это гарантирует, что они не будут удалены при переписывании запросов пользователей, ищущих ваш ресурс.
• Исследование длиннохвостых запросов через Autocomplete: При исследовании long-tail запросов проверяйте, не пытается ли Google "сократить" или переписать эти запросы в более общие через подсказки. Если да, необходимо учитывать обе версии запроса в контент-стратегии.

Worst practices (это делать не надо)

• Игнорирование Autocomplete при сборе семантики: Опираться только на инструменты анализа ключевых слов без проверки подсказок в реальном времени. Патент показывает, что Autocomplete активно формирует спрос, переписывая запросы, а не только пассивно отражает его.
• Фокус на неестественных или редких формулировках: Создание контента под очень специфические, редкие формулировки может быть неэффективным, если Autocomplete будет активно переписывать эти запросы в более популярные варианты.
• Использование стоп-слов или опциональных терминов для дифференциации: Не стоит полагаться на стоп-слова или опциональные термины как на ключевой элемент уникальности запроса. Система легко удалит их при генерации подсказок, если это поможет найти более качественные варианты.

Стратегическое значение

Патент подтверждает, что Google Autocomplete является интеллектуальной системой, а не простым поиском по префиксам. Стратегическое значение для SEO заключается в понимании, что поведение пользователя активно формируется еще до отправки запроса. Система стремится максимизировать вероятность успешного поиска, направляя пользователя к запросам, которые уже доказали свою эффективность (популярность). Это подчеркивает важность оптимизации под реальные интенты и необходимость глубокого понимания механизмов классификации терминов и синонимизации.

Практические примеры

Сценарий: Анализ синонимов и важности терминов в нише электроники

1. Задача: Определить, считает ли Google термины "OLED" и "QLED" синонимами или разными сущностями, и какие слова в запросе являются опциональными.
2. Действие: Ввести в строку поиска длинный и редкий частичный запрос: сравнение телевизоров samsung oled и qled 2025 ц
3. Наблюдение (Гипотетический пример на основе патента):
   1. Система не находит достаточно популярных запросов с этим префиксом. Активируется переписывание.
   2. Классификация: "samsung", "oled", "qled", "2025" (Required/Entity), "ц" (Incomplete/Required), "сравнение", "телевизоров" (Optional), "и" (Stop Word).
   3. Переписанные варианты:
      • samsung oled qled 2025 цена (удалены "сравнение", "телевизоров", "и").
      • разница samsung oled qled 2025 цена (синоним "разница" вместо "сравнение").
4. Вывод для SEO: Google сохранил "OLED" и "QLED" как обязательные термины, не заменив их друг другом, что подтверждает их статус как разных сущностей. Термины "сравнение" и "телевизоров" были легко удалены (Optional). Необходимо фокусироваться на контенте, отвечающем на интент сравнения цен и характеристик конкретных моделей.