Как Google использует анализ окончаний запросов (суффиксов) для улучшения работы Автокомплита, игнорируя начало запроса

Термины и определения

Partial Query (Частичный запрос)

Запрос, вводимый пользователем до момента его отправки в поисковую систему. Может содержать незавершенный последний термин (Incomplete Term).

Prefix (Префикс)

Последовательность одного или нескольких терминов в начале запроса.

Suffix (Суффикс)

Последовательность одного или нескольких терминов в конце запроса. Префикс предшествует суффиксу.

Unique Query (Уникальный запрос)

Запрос из логов прошлых поисковых сессий (Log Files), используемый как источник данных для генерации подсказок.

Suffix Similarity Score (Оценка схожести суффиксов)

Метрика, определяющая степень сходства между суффиксом частичного запроса и суффиксом уникального запроса. Может рассчитываться на основе количества общих терминов или сравнения канонических форм.

Candidate Queries (Запросы-кандидаты)

Уникальные запросы, отобранные на основе высоких Suffix Similarity Scores, чьи префиксы не содержат префикс частичного запроса.

Unique Suffixes (Уникальные суффиксы)

Сгруппированные и нормализованные суффиксы из списка Candidate Queries.

Query Popularity Score (Оценка популярности запроса)

Метрика, указывающая на частоту использования уникального запроса в логах.

Completion Score (Оценка завершения)

Итоговая метрика для Unique Suffixes, представляющая вероятность того, что данный суффикс является подходящим завершением для частичного запроса. Рассчитывается как агрегация Query Popularity Scores соответствующих Candidate Queries.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации подсказок.

1. Определяются префикс и суффикс частичного запроса.
2. Рассчитываются Suffix Similarity Scores для уникальных запросов (из логов). Ключевое условие: рассматриваются только те запросы, чьи префиксы не включают префикс частичного запроса как подстроку.
3. На основе этих оценок отбираются Candidate Queries.
4. Рассчитываются Completion Scores для Unique Suffixes среди отобранных кандидатов.
5. На основе Completion Scores выбираются термины из уникальных суффиксов в качестве предлагаемых подсказок.

Ядро изобретения — это целенаправленный поиск подсказок среди запросов, которые не начинаются так же, как текущий запрос, но имеют схожее окончание. Это отличает данный метод от стандартного автозаполнения на основе префиксов.

Claim 6 (Зависимый): Детализирует процесс выбора Candidate Queries, описывая механизм с пороговыми значениями и фолбэком (резервным вариантом).

1. Идентифицируется первый набор кандидатов, чьи суффиксы имеют как минимум три общих термина с суффиксом частичного запроса.
2. Идентифицируется второй набор кандидатов, чьи суффиксы имеют как минимум два общих термина.
3. Если первый набор (3 совпадения) не пуст, он используется для генерации подсказок. Если он пуст, используется второй набор (2 совпадения).

Этот механизм позволяет системе сначала искать наиболее точные совпадения по суффиксу, но при их отсутствии снижать требования к точности, чтобы все равно предложить подсказки.

Claim 7 (Зависимый): Определяет способ расчета Completion Scores.

1. Для Candidate Queries рассчитываются Query Popularity Scores, отражающие их частоту в логах прошлых запросов.
2. Completion Scores для Unique Suffixes рассчитываются с использованием этих оценок популярности.

Это означает, что предпочтение отдается тем вариантам завершения, которые основаны на более популярных запросах в прошлом.

Где и как применяется

Изобретение применяется на этапе взаимодействия пользователя с поисковой строкой, до выполнения основного поиска.

QUNDERSTANDING – Понимание Запросов (Этап формирования запроса / Autocomplete)

Это основная область применения патента, конкретно в компонентах Autocompletion Engine и Query Completion Engine.

• Взаимодействие: Система работает в реальном времени, когда пользователь вводит partial query. Она взаимодействует с хранилищем логов запросов (Log Files) для поиска кандидатов.
• Процесс: Система использует описанный алгоритм анализа суффиксов для генерации альтернативных вариантов завершения, когда стандартные методы (основанные на совпадении префиксов) могут не давать хороших результатов (например, из-за редкости префикса).

Входные данные:

• Частичный запрос (Partial Query) пользователя.
• База данных прошлых уникальных запросов (Log Files) с их оценками популярности (Query Popularity Scores).

Выходные данные:

• Список предлагаемых вариантов завершения запроса (Suggested Query Completions), отсортированный по Completion Score.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на длинные (long-tail) или сложные запросы, где начало запроса может быть уникальным, редким или содержать ошибки, но окончание соответствует распространенному шаблону (например, запрос о редком объекте с типичным намерением: "[редкое название лекарства] побочные эффекты").
• Пользовательский опыт: Ускоряет ввод запросов и помогает пользователям формулировать свои потребности, особенно в темах, с которыми они плохо знакомы.

Когда применяется

• Условия работы: Алгоритм работает в реальном времени по мере ввода пользователем частичного запроса.
• Триггеры активации: Он может работать параллельно со стандартными механизмами префиксного совпадения или активироваться, когда стандартные методы не дают хороших результатов. Ключевое условие активации этого конкретного алгоритма — поиск кандидатов, чей префикс не совпадает с текущим.
• Пороговые значения: Используются пороги для определения схожести суффиксов (минимум 2 или 3 общих термина, как описано в Claim 6).

Пошаговый алгоритм

Процесс генерации подсказок на основе анализа суффиксов:

1. Получение и разделение: Система получает частичный запрос. Определяются его префикс и суффикс. (Например, суффикс может быть определен как последние N слов).
2. Фильтрация уникальных запросов: Система обращается к логам и ищет уникальные прошлые запросы, чей префикс не содержит префикс частичного запроса как подстроку.
3. Расчет схожести суффиксов: Для отфильтрованных запросов рассчитываются Suffix Similarity Scores. Это может включать канонизацию суффиксов (стемминг, удаление стоп-слов, синонимы) перед сравнением.
4. Выбор кандидатов (Иерархический подход с фолбэком):
   1. Система пытается найти первый набор Candidate Queries, чьи суффиксы имеют минимум 3 общих термина с суффиксом частичного запроса.
   2. Если первый набор найден, он используется далее.
   3. Если первый набор пуст, система ищет второй набор Candidate Queries с минимум 2 общими терминами.
5. Группировка суффиксов: Суффиксы отобранных Candidate Queries нормализуются и группируются для формирования списка Unique Suffixes.
6. Расчет оценок завершения: Для каждого Unique Suffix рассчитывается Completion Score. Это делается путем агрегации Query Popularity Scores всех Candidate Queries, которые содержат этот уникальный суффикс.
7. Ранжирование и выбор: Unique Suffixes ранжируются по Completion Score. Один или несколько лучших суффиксов выбираются в качестве подсказок. Может применяться порог уверенности (например, упоминается z-test), чтобы убедиться, что лучший результат значительно превосходит остальные.
8. Предоставление подсказок: Выбранные термины отправляются пользователю для отображения в интерфейсе Автокомплита.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке запросов и не использует стандартные факторы ранжирования контента.

• Поведенческие факторы: Критически важные данные. Система использует логи прошлых запросов (Log Files) для идентификации Unique Queries и определения их частоты (Query Popularity Score).
• Пользовательские данные (Ввод): Частичный запрос (Partial Query), вводимый пользователем в реальном времени.

Информация о контентных, технических, ссылочных, временных или географических факторах ранжирования в патенте отсутствует.

Какие метрики используются и как они считаются

• Suffix Similarity Score: Метрика схожести окончаний запросов. Рассчитывается путем сравнения терминов в суффиксах. Учитывает количество общих терминов (2 или 3) и их порядок. Использует NLP-техники (канонизация, стемминг, удаление стоп-слов) для нормализации перед сравнением.
• Query Popularity Score (PS): Частота уникального запроса в логах.
• Completion Score (CS): Оценка вероятности завершения. Рассчитывается для каждого Unique Suffix (S). В примере, приведенном в патенте, используется формула нормализации в вероятность: CS(S) — это сумма PS всех запросов-кандидатов, содержащих суффикс S, деленная на сумму PS всех запросов-кандидатов. $CS(S) = \frac{\sum_{Q \in Candidates(S)} PS(Q)}{\sum_{Q \in AllCandidates} PS(Q)}$
• Пороговые значения схожести: Минимальное количество общих терминов в суффиксах (2 или 3 термина).

1. Autocomplete не ограничивается префиксным совпадением: Google использует сложные механизмы для генерации подсказок. Данный патент описывает конкретный метод, основанный на анализе суффиксов, который дополняет стандартное автозаполнение.
2. Обработка редких и неоднозначных префиксов: Основная цель этого механизма — предоставить полезные подсказки, когда начало запроса (префикс) является редким или необычным. Система может эффективно игнорировать префикс и фокусироваться на намерении, выраженном в суффиксе.
3. Активное исключение совпадений по префиксу: Ключевой особенностью является то, что система ищет только те прошлые запросы, чьи префиксы не совпадают с текущим. Это направлено на поиск альтернативных, но релевантных по окончанию вариантов.
4. Популярность как решающий фактор: При наличии нескольких подходящих вариантов завершения выбор делается на основе Query Popularity Score (частоты использования в прошлом). Чем популярнее шаблон запроса, тем выше вероятность его появления в подсказках.
5. Иерархическое совпадение суффиксов (Фолбэк): Система предпочитает более длинные совпадения суффиксов (например, 3 термина), но имеет резервный механизм для использования более коротких совпадений (например, 2 термина), если длинных недостаточно. Это обеспечивает баланс между точностью и охватом.

Best practices (это мы делаем)

Хотя патент не влияет на ранжирование, он критически важен для исследования ключевых слов и Autocomplete Optimization (ACO).

• Анализ популярных суффиксов в нише (ACO): SEO-специалистам следует изучать, как пользователи обычно заканчивают свои запросы. Определите общие суффиксы, связанные с намерением (например, "...цена", "...отзывы", "...инструкция", "...своими руками"). Понимание этих шаблонов критично для понимания интента.
• Исследование ключевых слов на основе шаблонов: Используйте знание популярных суффиксов для расширения семантического ядра. Если суффикс (интент) популярен, убедитесь, что у вас есть контент, охватывающий различные темы (префиксы) в сочетании с этим суффиксом.
• Оптимизация под естественные формулировки запросов: Создавайте контент, который соответствует популярным шаблонам запросов, выявленным через анализ Autocomplete. Это увеличивает вероятность того, что ваш контент будет релевантен запросам, которые пользователи в конечном итоге отправят, сформировав их с помощью подсказок.

Worst practices (это делать не надо)

• Игнорирование Long-Tail запросов и их структуры: Сосредоточение только на высокочастотных "головных" терминах (префиксах) и игнорирование модификаторов (суффиксов) приведет к потере видимости по естественным запросам.
• Предположение о простоте Autocomplete: Нельзя считать, что Autocomplete работает только по принципу "запрос должен начинаться с...". Понимание суффиксного анализа позволяет глубже понять логику подсказок.
• Манипуляции с Автокомплитом: Попытки искусственно накрутить Query Popularity Score для попадания в подсказки не являются надежной стратегией и могут быть расценены как спам.

Стратегическое значение

Патент подтверждает важность понимания естественных языковых шаблонов и поведения пользователей при поиске. Он влияет на ландшафт трафика, формируя то, какие именно запросы пользователи отправляют в поисковую систему. Система Автокомплита стремится направить пользователя к наиболее часто используемым формулировкам, и стратегически важно оптимизировать контент именно под эти популярные интенты и формулировки.

Практические примеры

Сценарий: Подсказка для редкого объекта с общим интентом

1. Вводимый запрос (Partial Query): Пользователь ищет информацию о редкой модели принтера и вводит: "принтер Xerxes 9910Z как заправить к"
2. Проблема: Префикс "принтер Xerxes 9910Z" встречается очень редко. Стандартный автокомплит может не найти популярных запросов, начинающихся с этих слов.
3. Применение патента: Система анализирует суффикс: "как заправить к". Она ищет популярные запросы с другими префиксами, но схожими суффиксами.
4. Поиск кандидатов:
   • "принтер HP Laserjet как заправить картридж" (Высокая популярность)
   • "принтер Canon Pixma как заправить краску" (Средняя популярность)
5. Расчет Completion Score: Суффикс "как заправить картридж" имеет значительно более высокую совокупную популярность.
6. Результат (Подсказка): Система предлагает завершение "картридж". Итоговая подсказка: "принтер Xerxes 9910Z как заправить картридж".

Пример из патента:

• Пользователь вводит: large houses for sale in scotland with l
• Система анализирует суффикс: sale in scotland with l
• Система находит прошлые запросы с похожим суффиксом, но другим префиксом, например: property for sale in scotland with land (Префикс "property for" отличается от "large houses for").
• Система определяет, что land является самым популярным завершением для этого суффикса.
• Пользователю предлагается подсказка: large houses for sale in scotland with land.