Как Google формирует и ранжирует подсказки в Autocomplete на основе исторических данных о запросах пользователей

Термины и определения

Authorized Historical Queries List (Список разрешенных исторических запросов)

Список ранее отправленных запросов, которые прошли фильтрацию (например, по конфиденциальности, частоте, уместности) и могут быть использованы для генерации подсказок.

Chunking (Чанкинг)

Метод оптимизации хранения данных для длинных запросов. Частичный запрос делится на Префикс (Prefix) и Суффикс (Suffix). Это позволяет использовать одну таблицу для нескольких вариантов завершения, сокращая объем данных.

Fingerprint (Отпечаток)

Хеш-значение (например, 64-битное число), рассчитанное для частичного или полного запроса. Используется для быстрого поиска и сопоставления запросов в структурах данных.

Fingerprint-to-Table Map (Карта соответствия отпечатков таблицам)

Структура данных, которая связывает Fingerprint частичного запроса (или его префикса) с соответствующей Query Completion Table. Позволяет быстро найти нужный набор подсказок.

Historical Query Log (Журнал исторических запросов)

База данных, содержащая логи ранее отправленных поисковых запросов от сообщества пользователей за определенный период времени. Является источником данных для системы.

Ordered Set Builder (Построитель упорядоченных наборов)

Компонент системы, который обрабатывает Authorized Historical Queries List и генерирует Fingerprint-to-Table Maps и Query Completion Tables в офлайн-режиме.

Partial Query (Частичный запрос)

Часть запроса (несколько символов или слов), введенная пользователем до завершения ввода. Отправляется на сервер для получения предсказаний.

Query Completion Table (Таблица завершения запросов)

Таблица, содержащая упорядоченный список полных запросов (или их отпечатков), которые релевантны определенному частичному запросу. Запросы упорядочены по критерию ранжирования (например, Frequency).

Ranking Criteria / Ranking Score (Критерии / Оценка ранжирования)

Правила и метрики, используемые для упорядочивания предсказанных запросов. В патенте упоминаются частота отправки (Frequency), свежесть (дата/время последней отправки), персонализация.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методе генерации и предоставления упорядоченных подсказок на основе исторических данных сообщества, преимущественно с использованием предварительных вычислений.

Claim 1, 2 (Независимые и зависимые): Описывают основной процесс и инфраструктуру.

1. Система получает частичный запрос (Partial Query) от пользователя до того, как он завершил ввод.
2. Система получает набор полных запросов, ранее отправленных сообществом пользователей, упорядоченных по критерию ранжирования.
3. Система отправляет этот упорядоченный набор пользователю.
4. Ключевое условие: получение набора (шаг 2) происходит путем доступа к одному из множества предварительно сгенерированных упорядоченных подмножеств исторических запросов. Эти подмножества создаются заранее путем:
   • Идентификации исторических запросов и связанной с ними частоты (Frequency).
   • Генерации упорядоченных подмножеств, где порядок основан на этой частоте.

Система заранее рассчитывает подсказки и их порядок на основе популярности и использует частичный запрос как ключ для быстрого доступа к нужному предварительно рассчитанному набору.

Claim 3 (Независимый): Альтернативное описание предварительной генерации с фокусом на структуре.

1. До получения частичного запроса система идентифицирует множество наборов. Каждый набор связан с "единицей запроса" (query unit, т.е. частичным запросом) и содержит исторические запросы с соответствующими значениями ранжирования (ranking value).
2. Система упорядочивает запросы в этих наборах в соответствии с этими значениями.
3. Получение упорядоченного набора (в ответ на частичный запрос) включает идентификацию соответствующего набора из этого множества.

Claim 5 (Независимый): Описывает процесс получения упорядоченного набора.

1. Получение частичного запроса до завершения ввода.
2. Получение упорядоченного набора полных запросов от сообщества. Этот шаг включает:
   • Идентификацию множества ранее отправленных исторических запросов, релевантных частичному запросу.
   • Упорядочивание подмножества этих запросов по критерию ранжирования.
   • Идентификацию набора из этого упорядоченного подмножества.
3. Отправка набора пользователю.

Этот пункт описывает логический процесс (идентификация, упорядочивание, выборка), который может происходить как офлайн (как в Claim 1), так и потенциально в реальном времени.

Где и как применяется

Изобретение затрагивает этапы, связанные с обработкой логов пользовательского поведения и взаимодействием с пользователем в реальном времени.

INDEXING / QUNDERSTANDING (Офлайн-обработка)
На этом этапе происходит основная подготовительная работа. Система анализирует данные, полученные из Historical Query Log (что можно рассматривать как результат "сканирования" пользовательского поведения). Происходит индексация и извлечение признаков из этих логов:

• Сбор и фильтрация исторических запросов.
• Подсчет частоты (Frequency) и сбор мета-информации.
• Построение Query Completion Tables и Fingerprint-to-Table Maps с помощью Ordered Set Builder.

QUNDERSTANDING – Понимание Запросов (Онлайн-обработка)
Это основной этап применения патента в реальном времени. Система интерпретирует ввод пользователя для предоставления подсказок.

• Получение Partial Query от клиента.
• Препроцессинг частичного запроса (опционально: исправление опечаток с помощью Spell Module).
• Вычисление Fingerprint.
• Поиск соответствующей Query Completion Table через Fingerprint-to-Table Map.
• Возврат упорядоченного набора предсказанных запросов.

Входные данные:

• Офлайн: Historical Query Log (запросы, частота, метаданные, IP-адреса, уникальные идентификаторы пользователей).
• Онлайн: Partial Query, информация о пользователе/контексте (язык, местоположение, тип устройства - для выбора подходящей карты отпечатков).

Выходные данные:

• Офлайн: Fingerprint-to-Table Maps, Query Completion Tables.
• Онлайн: Упорядоченный набор предсказанных полных запросов (подсказок).

На что влияет

• Специфические запросы: Влияет на все типы запросов (информационные, навигационные, транзакционные), для которых существует достаточно исторических данных для генерации подсказок. Особенно сильно влияет на запросы с высокой частотой и формирование long-tail запросов.
• Типы контента и форматы: Патент фокусируется исключительно на текстовых строках запросов (Queries) и URL.
• Языковые и географические ограничения: Система спроектирована с учетом этих факторов. Патент описывает возможность создания отдельных Fingerprint-to-Table Maps для разных языков или географических регионов, что позволяет предоставлять локализованные подсказки.

Когда применяется

• Триггеры активации: Активируется при вводе пользователем данных в поле поиска. Частичный ввод идентифицируется по различным сигналам: ввод определенного количества символов, ввод разделителя (пробела) или пауза при вводе.
• Условия работы: Работает, когда для введенного частичного запроса существуют предварительно рассчитанные подсказки в Query Completion Tables, прошедшие фильтрацию.
• Фильтры (Исключения): Запросы не попадают в подсказки, если они не прошли privacy filter (слишком мало уникальных пользователей), appropriateness filter (неуместный контент) или anti-spoofing filter (попытки накрутки).

Пошаговый алгоритм

Процесс А: Офлайн-генерация структур данных (Ordered Set Builder)

1. Сбор данных: Получение данных из Historical Query Log.
2. Фильтрация: Применение фильтров (конфиденциальность, частота, анти-спам, уместность) для создания Authorized Historical Queries List.
3. Итеративная обработка: Для каждого разрешенного запроса:
   1. Идентификация частичных запросов: Определение всех возможных префиксов (например, для "hotmail" это "h", "ho", "hot" и т.д.).
   2. Создание/Обновление таблиц: Для каждого префикса находится соответствующая Query Completion Table. Полный запрос добавляется в эту таблицу с его ранговым значением (Frequency).
4. Упорядочивание: Query Completion Tables сортируются по ранговому значению. Таблицы обрезаются до Топ-N лучших подсказок.
5. Оптимизация (Chunking): Для уменьшения количества таблиц может использоваться чанкинг. Длинные запросы делятся на Префикс и Суффикс, и создаются укрупненные таблицы.
6. Построение карт: Генерация Fingerprint-to-Table Maps, которые связывают отпечатки частичных запросов (или их префиксов) с соответствующими Query Completion Tables.

Процесс Б: Обработка запроса в реальном времени (Prediction Server)

1. Получение ввода: Сервер получает Partial Query от клиента.
2. Препроцессинг (Опционально): Корректировка орфографии.
3. Выбор карты: Определение подходящей Fingerprint-to-Table Map на основе контекста (язык, местоположение пользователя).
4. Обработка длины (Chunking Logic): Определение длины запроса (L). Если L меньше размера чанка (C), обрабатывается весь запрос. Если L >= C, запрос делится на Префикс и Суффикс.
5. Вычисление отпечатка: Применение хеш-функции к частичному запросу (или его Префиксу) для получения Fingerprint.
6. Поиск таблицы: Использование Fingerprint для поиска соответствующей Query Completion Table в выбранной карте.
7. Фильтрация (При L >= C): Если используется чанкинг, система просматривает таблицу и отбирает записи, чей Суффикс соответствует Суффиксу частичного запроса пользователя.
8. Извлечение подсказок: Получение Топ-N упорядоченных предсказанных запросов из таблицы (или отфильтрованного списка).
9. Передача результатов: Отправка набора подсказок клиенту.

Какие данные и как использует

Данные на входе

Патент сосредоточен на использовании данных о поведении пользователей и системных данных для генерации подсказок.

• Поведенческие факторы (Ключевые):
  • Historical Query Log: Логи ранее отправленных запросов. Это основной источник данных.
  • Частота отправки (Frequency): Количество раз, когда запрос был отправлен сообществом пользователей.
  • Уникальные идентификаторы пользователей (если разрешено): Используются для фильтрации конфиденциальности (убедиться, что запрос был отправлен более чем N уникальными пользователями) и для персонализации.
• Временные факторы:
  • Дата и время отправки запроса: Используются для определения свежести запроса и могут влиять на ранжирование подсказок.
• Пользовательские и Географические факторы:
  • IP-адрес/Местоположение: Используется для выбора соответствующей локализованной Fingerprint-to-Table Map и для анти-спуфинг фильтров.
  • Язык: Используется для выбора языковой модели подсказок.
  • Информация профиля пользователя (User Profile): Может использоваться для персонализации или ре-ранжирования подсказок.
  • Характеристики сообщества (Community Characteristics): Данные о группе, к которой принадлежит пользователь.

Какие метрики используются и как они считаются

• Frequency (Частота): Основная метрика ранжирования. Подсчитывается количество отправок конкретного запроса в Historical Query Log за определенный период.
• Ranking Score (Оценка ранжирования): Числовое значение, используемое для упорядочивания подсказок в Query Completion Table. Может быть равно Frequency или рассчитываться на основе комбинации факторов (например, частота + свежесть). Патент приводит пример, где недавние запросы (за последние 24 часа) получают больший вес (например, 2), чем более старые (вес 1).
• Fingerprint (Отпечаток): Рассчитывается путем применения хеш-функции к строке запроса.
• Пороги фильтрации:
  • Минимальная частота: Запросы с частотой ниже порога могут быть исключены.
  • Порог конфиденциальности (N): Минимальное количество уникальных пользователей, которые должны были отправить запрос, чтобы он попал в Authorized Historical Queries List.

1. Популярность как основа ранжирования подсказок: Основным фактором, определяющим, какие подсказки будут показаны и в каком порядке, является их популярность (Frequency) среди сообщества пользователей. Система стремится предсказать наиболее вероятный запрос.
2. Предварительные вычисления для скорости: Система полагается на офлайн-обработку больших объемов данных (Historical Query Log) для создания предварительно рассчитанных и упорядоченных наборов подсказок (Query Completion Tables). Это позволяет системе Autocomplete работать с минимальной задержкой в реальном времени.
3. Эффективность доступа и хранения: Использование хеширования (Fingerprints) и карт соответствия (Fingerprint-to-Table Maps) является ключевым для быстрого поиска. Механизм Chunking используется для оптимизации хранения данных по длинным запросам.
4. Фильтрация и качество данных: Патент подчеркивает важность фильтрации исходных данных для обеспечения конфиденциальности (требование нескольких уникальных пользователей для запроса), уместности контента и защиты от манипуляций (anti-spoofing).
5. Контекстуализация и персонализация: Система предусматривает возможность адаптации подсказок под контекст пользователя. Это достигается путем создания отдельных наборов данных для разных языков/регионов, а также путем потенциального ре-ранжирования подсказок на основе профиля пользователя (User Profile).
6. Влияние на формирование спроса: Показывая наиболее популярные запросы первыми, система не просто отражает спрос, но и формирует его, направляя пользователей к устоявшимся формулировкам.

Best practices (это мы делаем)

• Исследование ключевых слов через Autocomplete: Активно используйте данные Autocomplete как прямой источник информации о том, что и как ищут пользователи в реальном времени. Патент подтверждает, что эти данные основаны на реальных исторических запросах и ранжируются по популярности (Frequency).
• Приоритезация запросов из подсказок: При сборе семантического ядра отдавайте приоритет формулировкам, которые появляются в подсказках. Это запросы с подтвержденным спросом и частотой.
• Анализ интента и трендов: Анализируйте подсказки для понимания доминирующих интентов и смежных тем. Поскольку система учитывает свежесть (Recency) при ранжировании, Autocomplete помогает быстро выявлять возникающие тренды.
• Локализованное исследование спроса: Используйте настройки местоположения и языка при анализе подсказок. Патент указывает, что система генерирует разные наборы данных (Fingerprint-to-Table Maps) для разных контекстов, поэтому подсказки будут отличаться в зависимости от региона.
• ORM/SERM (Управление репутацией): Регулярно отслеживайте подсказки, связанные с брендовыми запросами. Если появляются негативные подсказки, это указывает на устойчивый интерес пользователей к этой теме (преодолен порог частоты и приватности), что требует внимания и проработки негатива в выдаче.

Worst practices (это делать не надо)

• Попытки манипулировать подсказками (Накрутка/Спуфинг): Патент явно упоминает использование фильтров (anti-spoofing filters) для предотвращения манипуляций путем генерации большого количества искусственных запросов. Попытки "накрутить" подсказки, скорее всего, будут отфильтрованы.
• Игнорирование подсказок при SEO-оптимизации: Создание контента под запросы, которых нет в Autocomplete (особенно ВЧ и СЧ), рискованно, так как система подсказок будет направлять пользователей к другим, более популярным формулировкам.
• Оптимизация только под один вариант запроса: Игнорирование синонимичных или близких по смыслу формулировок, которые также присутствуют в подсказках, ведет к потере потенциального трафика.

Стратегическое значение

Патент подтверждает, что Autocomplete является дата-driven системой, основанной на анализе поведения миллионов пользователей. Для SEO-стратегии это означает, что данные из подсказок являются одним из самых надежных источников информации о реальном спросе. Система Autocomplete действует как "фильтр популярности" для поисковых запросов. Стратегически важно интегрировать анализ подсказок во все этапы работы с семантикой — от первичного исследования до оптимизации контента и отслеживания трендов.

Практические примеры

Сценарий: Исследование спроса для нового продукта (Электросамокаты)

1. Задача: Определить ключевые направления спроса для оптимизации категорий интернет-магазина.
2. Действие: Анализ подсказок Autocomplete для базового запроса "электросамокат".
3. Анализ (на основе патента): Система показывает подсказки, ранжированные по частоте (Frequency). Например:
   1. электросамокат купить
   2. электросамокат xiaomi
   3. электросамокат kugoo
   4. электросамокат взрослый
4. Вывод и Применение: Наибольший спрос сосредоточен на покупке (1), конкретных брендах (2, 3) и типе пользователя (4). Необходимо убедиться, что эти направления имеют приоритет в структуре сайта и оптимизации. Запрос "электросамокат взрослый" указывает на важность сегментации по возрасту.

Сценарий: ORM и отработка негатива

1. Задача: Мониторинг репутации бренда "Банк XYZ".
2. Действие: Проверка подсказок по запросу "Банк XYZ".
3. Наблюдение: В подсказках появляется вариант "Банк XYZ обман".
4. Анализ (на основе патента): Появление этой подсказки означает, что она преодолела порог фильтрации по частоте и количеству уникальных пользователей. Существует устойчивый и частый интерес к этой теме.
5. Реакция: Необходимо срочно проанализировать поисковую выдачу по запросу "Банк XYZ обман" и реализовать стратегию по вытеснению негатива позитивным или нейтральным контентом. Игнорировать эту подсказку нельзя, так как Autocomplete будет продолжать предлагать ее пользователям.