Как Google использует вероятностные модели для ранжирования подсказок в Автокомплите (Autosuggest)

Описание

Какую задачу решает

Патент решает проблему неоптимального ранжирования поисковых подсказок (Autosuggest/Autocomplete). Традиционные методы часто присваивают подсказкам фиксированные оценки в зависимости от их источника (например, личная история пользователя всегда ранжируется выше глобальной истории) и группируют их по этим источникам. Это может приводить к тому, что менее вероятные, но находящиеся в приоритетном источнике подсказки показываются выше более релевантных.

Что запатентовано

Запатентована система ранжирования поисковых подсказок, основанная на вероятностной модели. Цель — определить вероятность того, что конкретная подсказка является намерением пользователя, независимо от источника этой подсказки. Система объединяет сигналы из личной истории пользователя и глобальной истории поиска, чтобы сформировать единый ранжированный список.

Как это работает

Система использует вероятностный подход (упоминается Байесовская сеть) для расчета оценки Probability Ranking Value для каждой подсказки на основе введенного пользователем префикса. Ключевые механизмы:

• Определение интента: Рассчитывается вероятность того, что пользователь вводит запрос (Query) или адрес (URL/Address).
• Определение поведения: Рассчитывается вероятность того, является ли ввод повторным (Repeat) или новым (Novel) для данного пользователя.
• Комбинирование источников: Используются формулы для взвешивания данных из Local User History (для повторных вводов) и Global Users History (для новых вводов).
• Ранжирование: Подсказки из всех источников сортируются по их итоговой вероятностной оценке, а не по источнику происхождения.

Актуальность для SEO

Высокая. Автокомплит является критически важным элементом пользовательского интерфейса поиска. Описанные принципы — использование вероятностных моделей, глубокая персонализация, учет свежести (Time Decay) и смешивание сигналов для предсказания намерений пользователя — остаются основой современных систем рекомендаций и понимания запросов.

Важность для SEO

Патент имеет умеренное значение для SEO (5/10). Он не описывает алгоритмы ранжирования веб-документов. Однако он критически важен для понимания того, как Google моделирует поведение пользователей и формирует поисковый спрос через Autosuggest. Понимание этих механизмов позволяет анализировать тренды, управлять видимостью бренда в подсказках и оценивать влияние персонализации на начальном этапе поиска.

Детальный разбор

Термины и определения

Address (Адрес, URL)

Один из типов поискового намерения. Вероятность того, что пользователь вводит веб-адрес (например, www.site.com).

Global Users History (Глобальная история пользователей)

Агрегированные данные о поисковых запросах и посещенных URL всех пользователей. Используется как источник для подсказок, особенно для новых (Novel) запросов пользователя.

Local User History (Локальная история пользователя)

История поисковых запросов и посещенных URL конкретного пользователя. Используется как основной источник для персонализированных (Repeat) подсказок.

Novel Query/URL (Новый запрос/URL)

Запрос или URL, который пользователь ранее не вводил или вводил редко.

Prefix (Префикс, Search Input)

Неполный ввод пользователя в поисковую строку (например, «fa»).

Probability Ranking Value (Вероятностная оценка ранжирования)

Числовая оценка, присваиваемая каждой подсказке, отражающая вероятность того, что эта подсказка является целью пользователя. Используется для финального ранжирования.

Query (Запрос)

Один из типов поискового намерения. Вероятность того, что пользователь вводит поисковый термин или фразу (например, «the weather»).

Repeat Query/URL (Повторный запрос/URL)

Запрос или URL, который пользователь уже вводил ранее.

Suggestion Sources (Источники подсказок)

Различные базы данных, из которых берутся кандидаты для подсказок (например, Local User History, Global Users History).

Time Decay (Затухание по времени)

Механизм снижения веса исторических данных с течением времени. Недавние запросы имеют больший вес, чем старые.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования поисковых подсказок.

1. Система получает поисковый ввод (Search Input).
2. Идентифицируются подсказки, соответствующие вводу, из нескольких источников (Suggestion Sources).
3. Ключевое утверждение: Каждая подсказка имеет ассоциированную Probability Ranking Value. Эта оценка основана на вероятности того, что ввод предназначен для Запроса (Query) ИЛИ вероятности того, что ввод предназначен для Адреса (Address).
4. Система предоставляет для отображения подсказки, упорядоченные согласно этой Probability Ranking Value.

Claim 3 (Зависимый от 1): Уточняет расчет оценки.

Probability Ranking Value дополнительно основывается на вероятности того, что поисковый ввод ЯВЛЯЕТСЯ адресом или ЯВЛЯЕТСЯ запросом. (Это уточняет, что система активно вычисляет тип интента).

Claim 4 (Зависимый от 3): Описывает факторы, влияющие на определение типа интента.

Вероятность того, что ввод является адресом, увеличивается, если ввод содержит доменное имя. Вероятность того, что ввод является запросом, увеличивается, если ввод содержит пробел.

Claim 6 (Зависимый от 3): Вводит концепцию поведения пользователя.

Probability Ranking Value дополнительно основывается на вероятности того, что ввод предназначен для повторного адреса/запроса (Repeated) или нового адреса/запроса (Novel).

Claim 8 (Зависимый от 1): Вводит фактор свежести.

Probability Ranking Value подвергается временному затуханию (Time Decayed) в зависимости от того, как недавно эта подсказка использовалась.

Claim 11 (Зависимый от 1): Описывает расчет на основе частотности.

Probability Ranking Value основывается на первом значении (сколько раз эта подсказка была предоставлена пользователю за период времени), деленном на второе значение (сколько раз другие подсказки, содержащие этот же префикс, были отправлены пользователем за тот же период).

Где и как применяется

Изобретение применяется на этапе взаимодействия пользователя с поисковой строкой (Autocomplete/Autosuggest).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит сбор и обработка данных, необходимых для работы системы. Агрегируются и индексируются логи поисковых запросов и посещений URL для формирования Global Users History. Также обрабатывается и сохраняется (локально или на сервере) Local User History.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Система работает в реальном времени по мере ввода пользователем символов (Prefix). Она выполняет предиктивный анализ для предсказания полного намерения пользователя (запроса или URL).

Входные данные:

• Введенный пользователем префикс (Search Input).
• Local User History (история конкретного пользователя).
• Global Users History (агрегированная история всех пользователей).
• Предварительно заданные или вычисленные базовые вероятности (например, общая вероятность того, что пользователь ищет URL).

Выходные данные:

• Ранжированный список поисковых подсказок (Queries и URLs).
• Probability Ranking Value для каждой подсказки.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на навигационные запросы (бренды, названия сайтов) и популярные информационные запросы, где существует большой объем исторических данных.
• Персонализация: Сильно влияет на выдачу подсказок для пользователей с богатой историей поиска, так как модель учитывает вероятность повторных запросов.

Когда применяется

• Триггеры активации: Алгоритм активируется немедленно при получении любого ввода (Prefix) в поисковое поле.
• Временные рамки: Работает в реальном времени при каждом нажатии клавиши. Исторические данные анализируются за определенный период (например, последние N дней).

Пошаговый алгоритм

Процесс ранжирования подсказок для префикса:

1. Получение ввода: Система получает префикс, введенный пользователем.
2. Идентификация кандидатов: Система ищет подходящие подсказки (Queries и URLs) в различных источниках: Local User History и Global Users History.
3. Расчет базовых вероятностей (Определение Интента и Поведения):
   1. Определяется P(Query) и P(URL) – вероятность того, что пользователь ищет запрос или URL. Эта вероятность может зависеть от самого префикса (например, наличие пробела или домена).
   2. Определяется P(Repeat) и P(Novel) – вероятность того, что это повторный или новый поиск для пользователя. Может основываться на личной статистике пользователя.
4. Расчет частотностей: Для каждого кандидата извлекаются частотности (Counts) его использования в прошлом (за N дней) как локально (этим пользователем), так и глобально (всеми пользователями).
5. Применение Time Decay: Частотности корректируются с учетом свежести. Недавние события получают больший вес.
6. Вычисление вероятности подсказки: Для каждого кандидата рассчитывается вероятность по формулам, комбинирующим базовые вероятности и скорректированные частотности.

   Пример формулы для запроса (упрощенно):
   P(Подсказка|Префикс) = P(Query) * [ P(Repeat) * P(Подсказка из Локальной Истории) + P(Novel) * P(Подсказка из Глобальной Истории) ]

7. Масштабирование и Бакетизация (Scaling and Bucketing): Рассчитанные вероятности (например, 0.188) масштабируются в заданный диапазон оценок (например, 600-1400). Оценки могут быть округлены или сгруппированы (бакетизированы) для упрощения финального ранжирования.
8. Ранжирование и Отображение: Все кандидаты (и Queries, и URLs) из всех источников объединяются и сортируются по итоговой Probability Ranking Value. Топ-N отображается пользователю.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные. Используется Local User History (частота и свежесть прошлых запросов и посещенных URL пользователя) и Global Users History (агрегированные данные о популярности запросов и URL). Также учитывается способ отправки прошлого запроса (например, ввод вручную, клик по подсказке, перезагрузка страницы).
• Технические факторы: Анализ самого введенного префикса. Наличие пробелов, доменных имен (например, «.com»), префиксов типа «www.» влияет на вероятность P(Query) или P(URL).
• Пользовательские факторы: Устройство, с которого был отправлен запрос (например, смартфон, планшет, десктоп), может использоваться для взвешивания исторических данных.

Какие метрики используются и как они считаются

Система использует набор вероятностных метрик:

• P(a) / P(f) – Вероятность Интента (Query/URL): Вероятность того, что пользователь хочет отправить запрос (a) или URL (f). Может быть глобальной константой, персонализированной (отношение запросов к URL в истории пользователя) или зависеть от префикса.
• P(b) / P(g) – Вероятность Поведения (Repeat Query/URL): Вероятность того, что ввод является повторным запросом (b) или URL (g). Может быть персонализированной (отношение повторных запросов к общему числу запросов пользователя за N дней).
• P(c) / P(h) – Персонализированная вероятность подсказки: Вероятность конкретной подсказки (x/y) при вводе префикса, основанная на истории пользователя. Рассчитывается как: (Количество отправок подсказки x пользователем при вводе префикса) / (Общее количество отправок любых запросов пользователем при вводе префикса).
• P(d) / P(i) – Глобальная вероятность подсказки: Аналогично P(c)/P(h), но на основе Global Users History (данные всех пользователей).
• Probability Ranking Value: Итоговая оценка, рассчитываемая путем комбинации вышеуказанных метрик с помощью описанных в патенте формул.
• Time Decay Factor: Множитель, применяемый к частотностям для учета свежести (например, использование параметра полураспада).

Выводы

1. Вероятностное ранжирование вместо фиксированных правил: Google отошел от жесткого приоритета источников (например, «личная история всегда выше глобальной») в пользу вероятностной модели. Подсказка ранжируется высоко, если система считает ее наиболее вероятным намерением пользователя, независимо от того, откуда она получена.
2. Глубокая интеграция персонализации и глобальной популярности: Система использует сложную формулу для балансировки между тем, что пользователь искал ранее (Repeat, Local User History), и тем, что популярно глобально (Novel, Global Users History).
3. Определение типа интента на лету: Система в реальном времени классифицирует намерение пользователя как поиск информации (Query) или навигацию (URL/Address), используя как статистику, так и характеристики самого префикса (наличие пробелов, доменов).
4. Важность свежести (Recency): Механизм Time Decay явно указывает на то, что недавняя история поиска (как личная, так и глобальная) имеет больший вес при формировании подсказок, чем старая история.
5. Учет контекста взаимодействия: Патент упоминает, что вес исторического события может зависеть от того, как оно произошло (ввод вручную, клик по ссылке, перезагрузка) и на каком устройстве.

Практика

Best practices (это мы делаем)

• Стимулирование поискового спроса на брендовые запросы: Для повышения видимости в Autosuggest необходимо работать над увеличением общего объема поиска по желаемым запросам (например, [бренд + ключевое слово]). Чем выше глобальная частотность запроса (Global Users History), тем выше его Probability Ranking Value для новых пользователей.
• Мониторинг подсказок в разных режимах: Анализируйте Autosuggest как в режиме инкогнито (для оценки глобальной популярности), так и в персонализированном режиме (для понимания влияния Local User History). Это помогает понять, как пользователи приходят к вашему контенту.
• Построение Topical Authority и повторного вовлечения: Создавайте контент, который стимулирует пользователей возвращаться и повторно искать информацию по вашей теме или бренду. Повторные запросы (Repeat Queries) укрепляют позиции в персонализированных подсказках благодаря высокому весу в Local User History.
• Управление репутацией (SERM): Отслеживайте негативные подсказки, связанные с брендом. Понимание того, что они формируются на основе глобальной популярности и свежести (Time Decay), помогает выстраивать стратегию по их вытеснению путем стимулирования позитивных и актуальных запросов.

Worst practices (это делать не надо)

• Искусственная накрутка подсказок (Black Hat): Хотя патент не описывает механизмы защиты от спама, попытки манипулировать Global Users History через ботов или задания на буксах рискованны. Вероятностные модели, основанные на огромных объемах данных и учитывающие множество контекстных сигналов (например, способ ввода, устройство), обычно устойчивы к низкокачественным манипуляциям.
• Игнорирование навигационных подсказок (URL Suggestions): Не стоит забывать, что система пытается определить намерение ввода URL. Если пользователи часто вводят адрес вашего сайта в поисковую строку, система будет отдавать приоритет URL Suggestions.

Стратегическое значение

Патент подтверждает, что Autosuggest — это не просто список популярных запросов, а сложная система предсказания намерений, глубоко интегрированная с механизмами персонализации. Для SEO это означает, что формирование спроса начинается до того, как пользователь сформулировал запрос. Влияние на Autosuggest является долгосрочной стратегией, требующей реального роста популярности бренда и связанных с ним запросов, а также высокой степени вовлеченности пользователей.

Практические примеры

Сценарий: Оптимизация подсказок для нового продукта

1. Задача: Обеспечить появление названия нового продукта «ProductX» в подсказках по запросу бренда «BrandName».
2. Анализ механизма: Система должна увидеть достаточную частотность запроса [BrandName ProductX] в Global Users History, чтобы начать показывать его новым пользователям (Novel Query). Для существующих клиентов важна Local User History.
3. Действия:
   1. Запустить медийную кампанию (PR, реклама), которая явно стимулирует пользователей искать [BrandName ProductX].
   2. На сайте бренда разместить заметные ссылки или баннеры, ведущие на страницу продукта, с анкорами, близкими к желаемому запросу.
   3. Стимулировать существующих клиентов искать информацию о новинке через email-рассылки.
4. Ожидаемый результат: По мере роста глобальной частотности и свежести (Time Decay) запроса, его Probability Ranking Value увеличится, и он начнет появляться в Autosuggest сначала у вовлеченных пользователей, а затем и глобально.

Вопросы и ответы