Как Google группирует свежие варианты запросов для быстрого выявления трендов в Автозаполнении (Autocomplete)

Термины и определения

Canonical Representation (Каноническое представление)

Стандартизированная форма запроса, полученная после применения правил каноникализации. Используется для группировки различных вариантов запроса, имеющих одинаковый интент. Например, запросы "snow in london" и "is there snow in london" могут иметь каноническое представление "london snow".

Canonicalization Rules (Правила каноникализации)

Набор правил для преобразования запроса в стандартную форму. Может включать стемминг (stemming), удаление стоп-слов, упорядочивание терминов (например, по алфавиту), удаление пунктуации, перевод в нижний регистр.

Current Time Interval (Текущий временной интервал)

Период времени, за который анализируются запросы для выявления свежих трендов. Обычно это короткий интервал (например, 24-48 часов или менее), в течение которого сложно оценить популярность запросов по отдельности.

Fresh Query (Свежий запрос)

Запрос, отправленный пользователями в течение Current Time Interval.

Group Popularity Score (Оценка популярности группы)

Метрика, отражающая совокупную популярность всех свежих запросов, объединенных в одну группу (имеющих одинаковое Canonical Representation). Рассчитывается на основе частоты отправки этих запросов в течение Current Time Interval.

Individual Popularity Score (Индивидуальная оценка популярности)

Метрика популярности отдельного свежего запроса, основанная на частоте его отправки в течение Current Time Interval.

Suggestion Engine (Система генерации подсказок)

Компонент, который в ответ на ввод пользователя (частичный или полный запрос) выбирает и предоставляет поисковые подсказки.

Threshold Popularity Score (Пороговая оценка популярности)

Минимальное значение Group Popularity Score, необходимое для того, чтобы запросы из группы были разрешены для использования в качестве подсказок.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки запросов.

1. Идентификация множества fresh queries, отправленных в течение current time interval.
2. Преобразование этих запросов в соответствующие canonical representations с использованием canonicalization rules.
3. Выбор группы свежих запросов, основанный на том, что они имеют совпадающие (matching) канонические представления.
4. Расчет group popularity score для этой группы, основанный на количестве отправок одного или нескольких запросов из группы в течение интервала.
5. Определение того, удовлетворяет ли group popularity score пороговому значению (threshold popularity score).
6. В случае положительного ответа, сохранение данных, идентифицирующих свежие запросы в этой группе как разрешенные (permitted) для использования при определении query suggestion.

Ядро изобретения — это метод агрегации популярности семантически близких, но текстуально различных свежих запросов через механизм каноникализации. Это позволяет системе преодолеть проблему нехватки данных по отдельным вариантам и быстро идентифицировать общий тренд на уровне группы.

Claim 4 (Зависимый): Детализирует расчет Group Popularity Score.

1. Расчет individual popularity scores для каждого свежего запроса в группе на основе частоты его отправки.
2. Использование этих индивидуальных оценок для расчета оценки группы.

Claim 5 (Зависимый от 4): Уточняет, что расчет оценки группы может быть суммой индивидуальных оценок.

Claim 6 и 7 (Зависимые от 4): Предлагают альтернативный вариант расчета оценки группы: использование индивидуальных оценок только для предопределенного числа наиболее популярных запросов в группе (например, только Топ-1, как указано в Claim 7).

Claims 9 и 10 (Зависимые): Уточняют, что Canonicalization Rules могут включать стемминг терминов (Claim 9) и упорядочивание канонических форм терминов в соответствии с предопределенным порядком, например, алфавитным (Claim 10).

Где и как применяется

Изобретение применяется в системах обработки запросов и генерации поисковых подсказок.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Система (Fresh Query Engine) выполняет периодический офлайн (или near real-time) анализ логов запросов для идентификации новых трендов и интентов. Процессы каноникализации, группировки и оценки популярности направлены на понимание того, что ищут пользователи прямо сейчас, и как они это формулируют.

Взаимодействие с компонентами:

• Records (Логи запросов): Источник данных о свежих запросах и их частотности.
• Fresh Query Engine: Выполняет анализ, каноникализацию и оценку.
• Suggestion Engine: Использует выходные данные (список разрешенных свежих запросов) для генерации подсказок в реальном времени в ответ на ввод пользователя.

Входные данные:

• Логи запросов (Records), отправленных пользователями.
• Определение Current Time Interval.
• Набор Canonicalization Rules.

Выходные данные:

• Данные (например, список запросов), идентифицирующие свежие запросы, которые разрешено использовать в качестве Query Suggestions.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, связанные с актуальными событиями, новостями (breaking news), вирусным контентом и новыми трендами (QDF). Меньшее влияние на "вечнозеленые" (evergreen) темы.
• Конкретные ниши или тематики: Влияет на динамичные ниши: Новости, Спорт, Развлечения, Технологии (запуски продуктов).

Когда применяется

• Частота применения: Алгоритм выполняется периодически (periodically) для анализа самой последней порции собранных запросов. Интервал может быть коротким (например, 24-48 часов или менее).
• Условия работы и Триггеры: Анализ запускается для обработки данных, накопленных с момента последнего анализа. Активация для конкретной группы происходит, когда её Group Popularity Score превышает Threshold Popularity Score.

Пошаговый алгоритм

Процесс выбора свежих запросов для использования в качестве поисковых подсказок:

1. Идентификация свежих запросов: Система идентифицирует fresh queries, которые были отправлены в течение current time interval. Также подсчитывается частота каждого запроса (Individual Popularity Score).
2. Каноникализация запросов: Идентифицированные запросы преобразуются в их canonical representations с использованием canonicalization rules (стемминг, удаление стоп-слов, упорядочивание терминов).
3. Группировка запросов: Система идентифицирует группы свежих запросов, где запросы в группе имеют совпадающие канонические представления. Запросы без совпадений могут быть отклонены.
4. Расчет популярности группы: Для каждой группы рассчитывается group popularity score. Это может быть сумма индивидуальных оценок популярности всех запросов в группе или функция от оценок наиболее популярных запросов в группе.
5. Проверка порога популярности: Система проверяет, удовлетворяет ли group popularity score пороговому значению (threshold popularity score).
6. Сохранение разрешенных запросов: Если порог удовлетворен, данные, идентифицирующие свежие запросы в этой группе, сохраняются как разрешенные (permitted) для использования при определении query suggestion.
7. Итерация: Процесс повторяется для всех групп.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Основные данные — это логи запросов (Records). Используется частота отправки (submission frequency) каждого запроса пользователями.
• Временные факторы: Критически важный фактор — Current Time Interval. Анализируются только запросы, попадающие в этот недавний интервал.

Какие метрики используются и как они считаются

• Individual Popularity Score: Рассчитывается на основе количества отправок конкретного запроса в течение Current Time Interval.
• Group Popularity Score: Агрегированная метрика. Может рассчитываться как:
  • Сумма Individual Popularity Scores всех запросов в группе.
  • Сумма логарифмов индивидуальных оценок.
  • Функция от Individual Popularity Scores предопределенного числа наиболее популярных запросов в группе (например, только самого популярного).
• Threshold Popularity Score: Пороговое значение для валидации группы. Может быть фиксированным или определяться на основе статистической информации (уровень достоверности).
• Методы анализа текста (Каноникализация):
  • Стемминг (Stemming): Приведение слов к их корневой форме.
  • Удаление стоп-слов: Исключение общих слов (артикли, предлоги, союзы).
  • Упорядочивание (Ordering): Расположение канонических форм терминов в предопределенном порядке (например, алфавитном).
• Нормализация и Масштабирование (при смешивании): При интеграции свежих запросов в общий список подсказок (вместе с исторически популярными запросами) их оценки популярности могут масштабироваться. Это делается для компенсации разницы в длительности временных интервалов сбора данных (например, 1 день для свежих против 60 дней для исторических). Оценка свежего запроса может быть умножена на соотношение длительности интервалов, чтобы сделать оценки сопоставимыми.

1. Агрегация интента, а не формулировки: Google стремится понять зарождающийся интент, независимо от того, как пользователи его формулируют. Механизм группировки позволяет объединить "сигналы" от разных вариантов запроса.
2. Каноникализация как ключ к семантике свежих запросов: Система использует достаточно агрессивные методы каноникализации (включая изменение порядка слов, стемминг и удаление стоп-слов) для выявления семантической идентичности запросов. Это важно для понимания того, какие запросы Google считает взаимозаменяемыми при анализе трендов.
3. Скорость важнее исторической статистики для трендов: Патент описывает механизм, позволяющий быстро выводить новые темы в Query Suggestions, не дожидаясь накопления значительной истории по конкретной формулировке.
4. Совокупная популярность группы: Запрос, который сам по себе не является популярным (низкий Individual Popularity Score), может попасть в Автозаполнение, если он принадлежит к группе, которая в совокупности преодолела порог популярности (высокий Group Popularity Score).
5. Нормализация по времени: Google учитывает разницу во временных интервалах при сравнении популярности свежих и исторических запросов, используя масштабирование оценок. Это позволяет свежим трендам конкурировать с устоявшимися запросами в Автозаполнении.

Best practices (это мы делаем)

• Мониторинг Автозаполнения для выявления трендов: Регулярно отслеживайте изменения в Query Suggestions по вашим основным тематикам. Появление новых подсказок сигнализирует о том, что определенная группа свежих запросов преодолела Threshold Popularity Score. Это индикатор зарождающегося спроса.
• Фокус на каноническом интенте при работе с трендами (News SEO): При создании контента под актуальное событие концентрируйтесь на основных сущностях и фактах (каноническом интенте), а не на конкретной формулировке новостного заголовка. Поскольку Google группирует варианты (игнорируя порядок слов и стоп-слова), важно быть релевантным ядру темы.
• Анализ вариантов запросов в Google Trends: Используйте Google Trends для анализа того, какие формулировки использует аудитория при поиске свежей информации. Патент подтверждает, что Google видит связь между этими вариантами. Учитывайте все релевантные формулировки в контент-стратегии.
• Быстрое создание качественного контента (Speed Factor): Поскольку система быстро выявляет тренды, скорость реакции SEO-команды и редакции критична. Необходимо оперативно создавать контент, отвечающий на новый интент, чтобы занять позиции в формирующейся выдаче.

Worst practices (это делать не надо)

• Игнорирование новых подсказок: Рассматривать новые подсказки в Автозаполнении как временный шум — это упущенная возможность. Они являются валидированными системой индикаторами нового спроса.
• Оптимизация только под одну формулировку тренда: Фокусироваться только на самом частотном варианте свежего запроса не оптимально. Необходимо учитывать семантическое ядро (каноническую форму), чтобы быть релевантным для всей группы запросов.
• Использование только исторических данных Keyword Research: Полагаться исключительно на инструменты, показывающие историческую частотность, неэффективно для работы с трендами. Google использует механизмы для выявления популярности за гораздо более короткие интервалы (часы/дни).

Стратегическое значение

Патент подчеркивает стратегическую важность Real-Time SEO и адаптивности контент-стратегии. Он демонстрирует механизм, с помощью которого Google идентифицирует и валидирует зарождающийся спрос. Для SEO-специалистов это подтверждает необходимость интеграции инструментов мониторинга трендов и Автозаполнения в ежедневные процессы. Понимание принципов каноникализации, описанных в патенте, помогает лучше понять, как Google интерпретирует семантическую близость запросов на ранних этапах.

Практические примеры

Сценарий: Быстрое реагирование на внезапное событие (Breaking News)

1. Событие: Происходит незапланированное событие, например, "Сбой в работе Сервиса X".
2. Поведение пользователей (Fresh Queries): Пользователи начинают искать информацию, используя разные формулировки: "Сервис X не работает", "почему упал Сервис X", "Сервис X статус сбоя". Каждая по отдельности имеет низкую частотность.
3. Работа системы Google: Fresh Query Engine анализирует запросы за последний час (Current Time Interval).
4. Каноникализация и Группировка: Система применяет Canonicalization Rules. Все вышеуказанные запросы могут быть приведены к схожей канонической форме (например, "[Сервис X] сбой"). Они объединяются в одну группу.
5. Оценка: Система суммирует частотность всех вариантов. Group Popularity Score быстро превышает Threshold Popularity Score.
6. Результат в Автозаполнении: Когда новые пользователи начинают вводить "Сервис X н...", система предлагает "Сервис X не работает" в качестве подсказки.
7. Действия SEO-специалиста: Специалист мониторит Автозаполнение и Google Trends, видит появление нового тренда и оперативно создает/обновляет страницу статуса или новость о сбое, оптимизированную под этот выявленный интент.