Как Google объединяет персональную историю поиска и популярные запросы для формирования подсказок (Autocomplete)

Термины и определения

First Collection (Первая коллекция)

Коллекция поисковых запросов, которые ранее были отправлены исключительно данным конкретным пользователем. Персональная история поиска. Может храниться локально на клиенте или на сервере.

Second Collection (Вторая коллекция)

Коллекция поисковых запросов, отправленных сообществом пользователей. Агрегированные данные о популярных запросах. Включает запросы, отправленные другими пользователями, и по крайней мере один запрос, который не был ранее отправлен данным конкретным пользователем.

Partial Query (Частичный запрос)

Ввод пользователя в поле поиска до завершения ввода.

First/Second Query Suggestions (Первые/Вторые подсказки запросов)

Кандидаты для завершения частичного запроса, полученные из соответствующей коллекции (Первой или Второй).

Selectable Suggestions (Выбираемые подсказки)

Финальный ранжированный список подсказок, отображаемый пользователю для выбора (Autocomplete).

Client-side Query Prediction Module (Клиентский модуль предсказания запросов)

Компонент (например, скрипт JavaScript), работающий на устройстве пользователя. Отслеживает ввод, получает подсказки и управляет их отображением.

Server-side Query Prediction Module (Серверный модуль предсказания запросов)

Сервис на сервере, который обрабатывает частичные запросы и предоставляет подсказки.

Search Query Logging Module (Модуль логирования поисковых запросов)

Компонент на сервере, отвечающий за сбор, хранение и анонимизацию поисковых запросов и связанных с ними метаданных (частота, время).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации подсказок.

1. Система получает ввод пользователя в поле поиска.
2. Выбираются first query suggestions (персональные подсказки) и second query suggestions (общие подсказки, введенные другими и не введенные данным пользователем).
3. Определяется оценка (score) для каждой подсказки. Критически важно определение скоринга для персональных подсказок. Он основан на одном или нескольких факторах:
   • Количество раз, когда подсказка была отправлена пользователем.
   • Частота отправки за определенный период времени пользователем.
   • Время последней отправки пользователем (новизна).
   • Умножение количества раз на частоту отправки.
4. Персональные и общие подсказки ранжируются в соответствии с их оценками.
5. Идентифицируются выбираемые подсказки на основе ранжирования.
6. Подсказки предоставляются для отображения. При этом персональные подсказки рендерятся с визуальными особенностями (visual features distinct), отличными от общих подсказок.

Claim 3 (Зависимый от 1): Уточняет скоринг для общих подсказок (second query suggestions).

Оценка для общих подсказок может определяться на основе тех же критериев (количество, частота, новизна), но применительно к агрегированным данным сообщества пользователей.

Claim 5 (Независимый пункт): Описывает альтернативный вариант метода с фокусом на гарантированном смешивании.

Процесс аналогичен Claim 1, но после ранжирования явно указывается шаг: выбор по крайней мере одной персональной подсказки и по крайней мере одной общей подсказки на основе ранжирования. Это гарантирует разнообразие источников в финальном списке.

Где и как применяется

Изобретение применяется на самом раннем этапе взаимодействия пользователя с поиском.

QUNDERSTANDING – Понимание Запросов
Это основная область применения, конкретно в подсистеме Autocomplete. Система в реальном времени интерпретирует частичный ввод и помогает сформировать финальный запрос, используя исторические данные.

Взаимодействие компонентов:

Система взаимодействует с клиентским устройством и серверным сервисом подсказок. Патент описывает две основные архитектуры реализации:

1. Клиент-центричная (Client-Centric): First Collection (персональная история) хранится локально на клиенте. Клиентский модуль получает локальные подсказки, параллельно запрашивает общие подсказки с сервера. Объединение, скоринг и ранжирование происходят на клиенте. Это обеспечивает повышенную конфиденциальность.
2. Сервер-центричная (Server-Centric): И First Collection, и Second Collection хранятся на сервере. Клиент отправляет частичный запрос и идентификатор пользователя (cookie или логин). Сервер выполняет все операции и возвращает клиенту готовый список.

Входные данные:

• Частичный запрос пользователя.
• Доступ к First Collection (локально или через идентификатор пользователя).
• Доступ к Second Collection.

Выходные данные:

• Ранжированный список Selectable Suggestions с маркерами для визуального выделения персональных подсказок.

На что влияет

• Формулировка запроса: Основное влияние. Система направляет пользователя к выбору определенных формулировок, основываясь на его прошлом поведении или поведении сообщества.
• Специфические запросы: Наибольшее влияние оказывается на навигационные и повторные запросы, так как механизм ускоряет доступ к ранее найденной информации.
• Типы контента и ниши: Влияет на все типы контента и ниши, так как механизм универсален для ввода запросов.

Когда применяется

• Триггеры активации: Ввод символа или слова (токена) в поле поиска. Запросы могут генерироваться асинхронно (например, с помощью Ajax).
• Частота применения: После ввода каждого токена. В некоторых реализациях может быть реализована задержка (debounce) перед отправкой запроса на подсказки, чтобы не перегружать сеть.

Пошаговый алгоритм

Описание процесса на основе сервер-центричной реализации:

1. Получение ввода: Клиентское устройство получает частичный запрос от пользователя и отправляет его на сервер.
2. Получение персональных подсказок: Сервер извлекает кандидатов из First Collection, соответствующих частичному запросу и данному пользователю.
3. Получение общих подсказок: Сервер извлекает кандидатов из Second Collection.
4. Скоринг кандидатов: Система рассчитывает оценки (scores) для каждого кандидата.
   • Для персональных: используются метрики частоты, новизны и общего количества использований этим пользователем.
   • Для общих: используются аналогичные метрики на основе агрегированных данных.
5. Объединение и ранжирование: Кандидаты из обоих источников объединяются и сортируются на основе рассчитанных оценок.
6. Выбор лучших подсказок: Выбирается Топ-N подсказок. В некоторых реализациях гарантируется выбор хотя бы одной подсказки из каждого источника.
7. Отправка и отображение: Ранжированный список отправляется клиенту. Клиент отображает список, визуально выделяя персональные подсказки от общих (например, разным цветом или иконкой).

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на исторических данных о запросах.

• Поведенческие факторы:
  • История запросов конкретного пользователя (First Collection).
  • Агрегированная история запросов сообщества пользователей (Second Collection).
  • Метаданные, связанные с запросами: количество отправок, частота отправок за период, время последней отправки.
• Пользовательские факторы:
  • Идентификатор пользователя (cookie, логин аккаунта) для связи запросов с конкретным пользователем. Упоминается, что данные могут быть анонимизированы (например, через хеширование) для защиты конфиденциальности.

Какие метрики используются и как они считаются

Система использует конкретные метрики для расчета оценок подсказок. Эти метрики явно определены в патенте (Claims 1, 3, 5), особенно для персональных подсказок:

• Number of times (Количество раз): Общее количество раз, когда данный запрос был отправлен.
• Frequency of submission (Частота отправки): Частота отправки запроса в течение определенного периода времени до получения текущего ввода.
• Time of the most recent submission (Время последней отправки): Насколько недавно запрос был отправлен (новизна).

Формулы и алгоритмы расчета:

• Оценка может быть равна любой из этих метрик по отдельности.
• Патент также предлагает комбинированные модели. Явно упоминается пример расчета оценки:
  Оценка = (Общее количество раз) $\times$ (Частота отправки за период).

1. Приоритет персонализации в Autocomplete: Google активно использует личную историю поиска пользователя (First Collection) для формирования подсказок, рассматривая ее как ключевой компонент наравне с общими трендами (Second Collection).
2. Четкие критерии ранжирования подсказок: Ранжирование основано на конкретных поведенческих метриках: новизна (recency), частота (frequency) и общее количество использований (volume). Чем чаще и недавнее пользователь что-то искал, тем выше вероятность увидеть это в подсказках.
3. Смешивание и гарантированное присутствие: Система разработана для смешивания персональных и популярных запросов. В одном из вариантов реализации система стремится включить в финальный список хотя бы по одному представителю из каждой коллекции для обеспечения разнообразия.
4. Визуальное разделение источников: Патент требует, чтобы персональные подсказки визуально отличались от общих. Это объясняет наличие различных стилей (цвет текста или иконки) в интерфейсе Google Autocomplete для обозначения запросов из истории.
5. Архитектурная гибкость и конфиденциальность: Система может работать как при хранении истории на сервере, так и локально на клиенте. Клиентская реализация обеспечивает большую конфиденциальность, так как обработка персональной истории происходит без ее передачи на сервер.

Best practices (это мы делаем)

• Стимулирование повторных визитов и лояльности (Retention): Патент подтверждает важность удержания пользователей. Если пользователь ранее искал ваш бренд или продукт, система с высокой вероятностью подскажет этот запрос снова благодаря высокому скорингу в First Collection (на основе частоты и новизны). Стратегии, направленные на формирование привычки у пользователя, улучшают видимость в персональных подсказках.
• Оптимизация под Autocomplete (Влияние на Second Collection): Для попадания в общие подсказки необходимо формировать устойчивый спрос в масштабе сообщества. Это достигается через PR, брендинг и создание контента, который генерирует популярные и устойчивые формулировки запросов.
• Методология анализа подсказок: При исследовании общих подсказок (Second Collection) для сбора семантики необходимо использовать режим "Инкогнито" или чистый профиль браузера. Это позволяет исключить влияние вашей личной истории (First Collection) и получить объективные данные о популярных запросах.
• Анализ формулировок и трендов: Регулярно изучать подсказки по ключевым тематикам. Поскольку частота за период и новизна являются факторами ранжирования подсказок, Autocomplete является отличным инструментом для выявления актуальных трендов и популярных формулировок.

Worst practices (это делать не надо)

• Оценка спроса на основе персонализированных подсказок: Делать выводы о популярности запросов, основываясь на подсказках в своем рабочем браузере. Эти данные искажены личной историей и не отражают общий спрос.
• Агрессивные манипуляции с подсказками: Попытки искусственно накрутить популярность запроса для его попадания в Second Collection. Такие действия противоречат правилам Google и могут привести к фильтрации запроса из Autocomplete.

Стратегическое значение

Патент демонстрирует, что персонализация начинается не с ранжирования выдачи, а с момента ввода первой буквы запроса. Для SEO-стратегии это означает, что путь пользователя сильно зависит от его предыдущего опыта взаимодействия с брендом. Стратегия должна учитывать не только привлечение нового трафика (через популярность в Second Collection), но и удержание существующего (используя преимущества приоритета в First Collection). Построение сильного бренда становится стратегическим преимуществом даже на уровне интерфейса поисковой системы.

Практические примеры

Сценарий 1: Приоритет персональной подсказки (Иллюстрация работы First Collection)

1. Контекст: Пользователь А часто ищет информацию о языке программирования "Python". Пользователь Б часто ищет информацию о змеях (питонах).
2. Ввод: Оба пользователя вводят частичный запрос "py".
3. Обработка: Система анализирует First Collection каждого пользователя. У пользователя А запрос "python programming" имеет высокие показатели частоты и новизны. У пользователя Б — "python snake".
4. Результат: Пользователь А увидит на первом месте подсказку "python programming". Пользователь Б увидит "python snake".
5. Визуализация: Обе подсказки будут визуально выделены (например, фиолетовым цветом или иконкой часов), чтобы показать, что они взяты из истории поиска, как того требует патент.

Сценарий 2: Использование подсказок для SEO-анализа (Методология)

1. Задача: SEO-специалисту нужно собрать популярные запросы по теме "курсы по Python".
2. Действие: Специалист открывает браузер в режиме "Инкогнито".
3. Причина: Это необходимо, чтобы исключить влияние его First Collection и получить доступ к подсказкам, сформированным на основе Second Collection (общие тренды).
4. Результат: Получен чистый набор популярных подсказок, отражающий реальный спрос аудитории, необходимый для формирования семантического ядра.