Как Google генерирует "Свежие связанные запросы" на основе анализа трендов и новостного контента

Термины и определения

Candidate Query (Кандидатный запрос)

Fresh Query, который прошел валидацию по наличию News Results и поведенческим метрикам. Из этих запросов формируется финальный список предложений.

Corpus-based data (Данные на основе корпуса документов)

Данные, используемые для валидации свежих запросов путем анализа состава выдачи. Основной показатель — количество News Results.

Criterion (Критерий свежести)

Условие для идентификации трендового запроса: скорость изменения частоты (rate of change), отклонение от ожидаемой частоты (deviation from expected frequency) или достижение порогового числа вхождений.

Fresh Query (Свежий запрос)

Запрос, идентифицированный как недавно ставший популярным на основе анализа Search Logs за Recent Time Period.

Nearness (Близость)

Метрика семантической схожести между запросами, основанная на взвешенном по терминам расстоянии редактирования (term-weighted edit distance). Учитывает синонимы и стоп-слова.

News Results (Новостные результаты)

Широкое определение контента: новостные статьи, новые посты в блогах (включая микроблоги, мини-блоги, сайты закладок), новые изображения, видео и новые веб-страницы.

Refinement (Уточнение запроса)

Запрос B является уточнением запроса A, если значительное число пользователей вводят запрос B после запроса A в рамках одной сессии.

Relevance data (Данные о релевантности)

Данные, отражающие поведение пользователей по отношению к результатам поиска. Включают Click-Through Rate (CTR) и количество кликов.

Session-based data (Данные на основе сессий)

Данные о поведении пользователей, используемые для валидации качества. Включают CTR, количество кликов и данные об уточнениях запросов (Refinement).

Superstring (Суперстрока)

Запрос, который содержит все термины другого запроса плюс один или несколько дополнительных терминов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации свежих связанных предложений.

1. Система выбирает множество предыдущих запросов (prior queries) из недавнего периода времени (recent time period), которые удовлетворяют критерию (criterion).
2. Критерий Свежести: Определяется как скорость изменения частоты, отклонение от ожидаемой частоты или пороговое количество вхождений.
3. Система выбирает из них Кандидатов (candidate queries).
4. Критерий Валидации: Выбор основан на определении того, что результаты поиска по запросу включают пороговое количество новостных результатов (threshold number of news results).
5. В ответ на запрос пользователя система выбирает из Кандидатов те, которые соответствуют (match) запросу пользователя.
6. Система предоставляет выбранные запросы как related search suggestions.

Ядро изобретения — это двухэтапная фильтрация: сначала идентификация статистического тренда в логах, а затем обязательная валидация этого тренда через наличие актуального новостного контента в выдаче.

Claim 2 (Зависимый от 1): Детализирует ранжирование предложений.

Ранжирование сопоставленных запросов основывается на проценте новостных результатов в выдаче по этому запросу и данных о релевантности (relevance data), указывающих на взаимодействие пользователя с результатами.

Claim 5 (Зависимый от 2): Уточняет relevance data.

Данные о релевантности включают CTR результатов поиска и/или количество кликов по результатам.

Claim 6 (Зависимый от 1): Определяет критерии соответствия (match).

Соответствием считается кандидат, который является суперстрокой (superstring), уточнением (refinement) или близок (near) к запросу пользователя.

Где и как применяется

Изобретение применяется на нескольких этапах поисковой архитектуры, сочетая офлайн-анализ и обработку в реальном времени.

INDEXING – Индексирование и извлечение признаков
Система зависит от быстрого индексирования и способности классифицировать контент как News Results (новости, блоги, микроблоги). Эти данные необходимы для валидации кандидатов (Corpus-based data).

QUNDERSTANDING – Понимание Запросов (Офлайн-процессы)
Основная часть работы по подготовке данных. Система (Fresh Query Component) выполняет:

• Анализ Search Logs и Result Selection Logs.
• Идентификацию трендов (расчет частот, отклонений).
• Валидацию трендов с использованием Corpus-based data и Session-based data (CTR).
• Генерацию пула Candidate Queries.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование (Онлайн-процессы)
При обработке запроса пользователя:

• Система (Matching Component) сопоставляет запрос с пулом Candidate Queries.
• Система (Ranking Component) ранжирует подходящие кандидаты.
• Результаты встраиваются в SERP как блок "Related Searches".

Входные данные:

• Логи поиска из разных вертикалей (Web, News, Blog, Image, Video, Trend Logs).
• Логи кликов и сессий (для расчета CTR и Refinements).
• Индекс (для определения доли News results).
• Запрос пользователя.

Выходные данные:

• Ранжированный список свежих связанных запросов.

На что влияет

• Специфические запросы: Запросы, для которых актуальна свежесть (QDF — Query Deserves Freshness), связанные с новостями, событиями, трендами, запусками продуктов. Также влияет на общие запросы, по которым появился новостной инфоповод.
• Конкретные типы контента: Контент, классифицируемый как News Results: новостные статьи, свежие видео, посты в блогах и микроблогах.
• Конкретные ниши или тематики: Медиа, спорт, развлечения, политика, технологии и другие динамичные ниши.

Когда применяется

Алгоритм применяется при выполнении строгих условий:

• Триггеры свежести (Офлайн): Запрос должен показать резкое увеличение частоты или значительное отклонение от прогнозируемой модели трафика. В патенте упоминаются примеры порогов: отклонение в 3 раза выше стандартного или более 25000 показов с полуночи.
• Условия валидации (Офлайн):
  • Корпусные: Запрос должен возвращать достаточное количество News results (например, 50% результатов являются новостными).
  • Поведенческие: Запрос должен иметь хорошие метрики вовлеченности (например, CTR выше порога 30%).
• Условия показа (Онлайн): Для текущего запроса пользователя должны существовать подходящие (совпадающие) Candidate Queries в базе.

Пошаговый алгоритм

Процесс А: Офлайн-генерация Кандидатов

1. Сбор данных (Scanning): Система сканирует Search Logs (Новости, Веб, Блоги и т.д.) за недавний период времени.
2. Идентификация "Свежих запросов" (Fresh Queries Identification): Выявляются запросы, удовлетворяющие критериям свежести (рост частоты или отклонение от нормы).
3. Фильтрация и Валидация (Query Filtering): Идентифицированные Fresh Queries проверяются для генерации Candidate Queries:
   • Проверка по корпусу (Corpus-based data): Проверяется, содержит ли выдача по запросу пороговое количество News Results. Если нет, запрос отбрасывается.
   • Проверка по поведению (Session-based data): Анализируется CTR результатов и количество кликов. Если показатели ниже порогов, запрос отбрасывается.
   • Санитарная проверка (Sanity Checks): Отбрасываются запросы, похожие на спам (например, отправленные с малого числа IP-адресов).
4. Сохранение Кандидатов: Запросы, прошедшие валидацию, сохраняются.

Процесс Б: Онлайн-обработка запроса пользователя

1. Получение запроса: Система получает запрос от пользователя.
2. Сопоставление (Matching): Система ищет в базе Candidate Queries те запросы, которые совпадают с запросом пользователя (уточнение, суперстрока или близость).
3. Ранжирование (Ranking): Совпавшие кандидаты ранжируются на основе комбинации факторов:
   • Количество и CTR новостных результатов в выдаче.
   • Степень свежести (сила тренда).
   • Качество результатов (по кликовым данным).
   • Персонализация (на основе истории поиска пользователя).
4. Пост-фильтрация: Могут быть удалены кандидаты, чья выдача слишком похожа на выдачу исходного запроса (например, если менее 50% результатов отличаются).
5. Предоставление результатов: Ранжированный список предоставляется для отображения.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые):
  • Search Logs: Частота запросов, временные метки, IP-адреса/cookies. Критичны для выявления трендов и фильтрации спама.
  • Session-based data: CTR, количество кликов, время пребывания (dwell time). Используются для валидации качества свежих запросов.
  • Паттерны уточнения запросов (Refinement). Используются для определения связи между запросами.
• Временные факторы: Временные метки в логах используются для определения Recent time period и расчета скорости изменения частоты запросов.
• Контентные/Корпусные факторы: Классификация результатов поиска как News results (новости, блоги, микроблоги, видео, изображения). Используется для валидации актуальности тренда (Corpus-based data).
• Пользовательские факторы: История поиска пользователя может использоваться для персонализации ранжирования предложений (User Profile).

Какие метрики используются и как они считаются

• Метрики свежести (Freshness Metrics):
  • Rate of change in query frequency: Скорость роста объема запросов.
  • Deviation from expected frequency: Отклонение фактической частоты от прогнозируемой статистической модели.
  • Threshold number of occurrences: Абсолютное количество запросов за период.
• Метрики валидации (Validation Metrics):
  • Доля или количество News results в Топ-N выдачи (например, порог 50%).
  • CTR результатов по запросу (например, порог 30%).
  • Общее количество кликов.
• Метрики сопоставления (Matching Metrics):
  • Refinement Count/Fraction: Количество или доля пользователей, использующих запрос как уточнение.
  • Term-weighted edit distance: Метрика для расчета Nearness.

1. Автоматическое обнаружение трендов (QDF): Google активно использует статистический анализ объема поисковых запросов для автоматического выявления трендов и событий. Отклонение от ожидаемой частоты является ключевым сигналом свежести.
2. Обязательная валидация трендов через новостной контент: Наличие News Results в выдаче критически важно для подтверждения того, что всплеск интереса связан с реальным событием. Это подчеркивает тесную связь между Веб-поиском и индексами свежего контента (Новости, Блоги, Микроблоги).
3. Поведенческие сигналы как фильтр качества: CTR и клики используются как обязательный фильтр качества. Трендовые запросы с низким вовлечением пользователей отбрасываются.
4. Многофакторное ранжирование предложений: Ранжирование связанных запросов учитывает не только силу тренда, но и количество новостного контента, поведенческие метрики и персонализацию.
5. Защита от манипуляций: Система включает механизмы (sanity checks) для фильтрации клик-спама и искусственных трендов, например, путем анализа количества уникальных IP-адресов.

Best practices (это мы делаем)

• Мониторинг трендов и быстрая реакция (Newsjacking): Необходимо отслеживать зарождающиеся тренды (Google Trends, социальные сети) и оперативно создавать контент. Скорость критична, так как система анализирует данные за recent time period (часы/дни).
• Оптимизация под новостные вертикали (Google News/Blogs): Так как наличие News Results является обязательным условием валидации тренда, критически важно, чтобы контент быстро попадал в новостные индексы и классифицировался как актуальный.
• Оптимизация сниппетов для высокого CTR: CTR используется для валидации качества и ранжирования свежих запросов. Необходимо создавать максимально привлекательные и релевантные сниппеты (Title, Description) для трендового контента, чтобы подтвердить его ценность для системы.
• Использование актуальных форматов контента: Патент широко определяет News Results, включая блоги, микроблоги, видео и изображения. Использование этих форматов для освещения трендовых тем повышает шансы на идентификацию контента как новостного.

Worst practices (это делать не надо)

• Медленная реакция на тренды: Создание контента по уже уходящим трендам неэффективно. Если пик поискового интереса прошел, система перестанет идентифицировать запрос как "свежий".
• Создание поверхностного или кликбейтного контента: Низкое качество контента приведет к плохим поведенческим метрикам. Низкий CTR или плохое вовлечение приведут к тому, что система не валидирует связанный запрос как качественный.
• Попытки искусственно манипулировать частотой запросов (Click Spam): Попытки накрутить поисковый спрос могут быть отфильтрованы. Патент упоминает механизмы защиты, например, анализ количества уникальных IP-адресов, с которых поступает запрос.

Стратегическое значение

Патент подтверждает стратегию Google на обеспечение максимальной актуальности выдачи (QDF). Он демонстрирует, как Google соединяет понимание трендов с качеством контента для улучшения навигации пользователя. Для SEO это означает, что стратегии, основанные на трендах, требуют комплексного подхода: скорость публикации, оптимизация под новостные индексы и генерация реального интереса пользователей (поисковый спрос и клики). Это подчеркивает важность синергии между SEO, PR и SMM.

Практические примеры

Сценарий: Реакция на внезапное событие (Спортивный матч)

1. Событие: В ходе важного футбольного матча происходит неожиданное событие (например, спорный гол).
2. Реакция пользователей: В логах поиска резко возрастает частота запросов "Название команды спорный гол". Система идентифицирует это как Fresh Query из-за отклонения от нормы.
3. Действия SEO/Медиа: Спортивные новостные сайты и блоги мгновенно публикуют статьи и видео об инциденте.
4. Валидация Google: Система проверяет выдачу по запросу "Название команды спорный гол". Она видит, что выдача состоит преимущественно из News results и пользователи активно кликают на них (высокий CTR). Запрос проходит фильтрацию и становится Candidate Query.
5. Результат: Пользователь, который ищет общую информацию о матче (например, "результаты матча Название Команды"), увидит в блоке Related Searches свежую подсказку "Название команды спорный гол", ведущую на актуальный контент.