Как Google генерирует свежие связанные поисковые подсказки на основе трендов и актуальных событий в реальном времени

Описание

Какую задачу решает

Патент решает задачу предоставления пользователям своевременных и актуальных подсказок связанных запросов (Related Search Suggestions), которые отражают текущие события и тренды (концепция Query Deserves Freshness — QDF). Традиционные методы могут устаревать и не учитывать резкие изменения в интересах пользователей. Цель — улучшить пользовательский опыт, помогая находить информацию о последних событиях, связанных с их исходным запросом (например, предложить «north korea earthquake» в ответ на запрос «North Korea» во время землетрясения).

Что запатентовано

Запатентована система для динамической генерации «свежих» поисковых подсказок. Система периодически или непрерывно анализирует различные источники данных (поисковые логи Web, News, Video, Image, Blog, а также внешние источники, такие как микроблоги) для выявления запросов, демонстрирующих признаки резкого роста популярности (Fresh Queries) за недавний период времени. Эти запросы затем проходят строгую фильтрацию на основе пользовательского поведения (например, CTR) и наличия новостного контента (News Results) в выдаче, прежде чем быть предложенными пользователю.

Как это работает

Система работает в несколько этапов, сочетая фоновую обработку и работу в реальном времени:

• Выявление свежести (Фон): Анализируются логи запросов для идентификации Fresh Queries. Критерии включают скорость изменения частоты запросов, отклонение от ожидаемой частоты или достижение порогового объема.
• Фильтрация кандидатов (Фон): Свежие запросы фильтруются для отбора Candidate Refinement Queries. Фильтры проверяют качество (высокий CTR, количество кликов), актуальность (наличие News Results в выдаче) и отсеивают спам (анализ IP-адресов).
• Сопоставление (Реал-тайм): В ответ на запрос пользователя система находит подходящие кандидатские запросы (например, являющиеся уточнением, суперстрокой или семантически близким запросом).
• Ранжирование и Показ (Реал-тайм): Кандидаты ранжируются на основе свежести, качества результатов, источника данных и профиля пользователя (персонализация), после чего отображаются как актуальные подсказки.

Актуальность для SEO

Высокая. Предоставление актуальной информации и реагирование на тренды (QDF) является ключевым аспектом современного поиска. Описанные механизмы напрямую связаны с тем, как Google интегрирует данные в реальном времени (включая данные из микроблогов и real-time сервисов, упомянутых в патенте) в поисковые подсказки и блоки «Связанные запросы».

Важность для SEO

Патент имеет высокое значение (7.5/10) для SEO, особенно для новостных сайтов и стратегий, ориентированных на тренды (Newsjacking). Он не описывает основной алгоритм ранжирования, но раскрывает механизмы идентификации и валидации «свежих запросов». Понимание этого позволяет SEO-специалистам оптимизировать контент так, чтобы соответствовать трендовым запросам, которые Google активно продвигает через дополнительные блоки выдачи, и подчеркивает роль CTR в валидации качества.

Детальный разбор

Термины и определения

Candidate Refinement Queries (Кандидатские уточняющие запросы)

Набор Fresh Queries, которые прошли фильтрацию по критериям качества и актуальности. Из этого набора выбираются финальные подсказки.

Corpus-based data (Данные на основе корпуса документов)

Данные, характеризующие результаты поиска по запросу. Используются для фильтрации, например, путем определения количества новостных результатов (News Results) в выдаче.

Fresh Queries (Свежие запросы)

Запросы, идентифицированные как актуальные или трендовые на основе анализа поисковых логов за Recent time period. Характеризуются всплеском активности.

Near Query (Близкий запрос)

Запрос, который семантически близок к другому запросу, определяемый на основе взвешенного расстояния редактирования терминов (term-weighted edit distance). Используется на этапе сопоставления.

News Results (Новостные результаты)

Результаты поиска, классифицированные как актуальный контент. Включают новостные статьи, новые посты в блогах (включая микроблоги и сайты закладок), новые изображения, видео и недавно созданные веб-страницы.

Recent time period (Недавний период времени)

Временное окно для анализа свежести запросов. Может варьироваться от нескольких минут до часов, дней или недели.

Session-based data (Данные на основе сессий)

Данные о поведении пользователей. Включают Click-Through Rate (CTR) результатов, общее количество кликов (search result selections) и данные о том, как пользователи уточняют (refine) свои запросы в рамках одной сессии.

Superstring (Суперстрока)

Запрос B является суперстрокой запроса A, если B содержит все термины A плюс дополнительные термины.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации свежих связанных подсказок.

1. Периодический анализ и идентификация свежих запросов: Система анализирует источники данных (например, логи) для выявления prior queries, классифицируемых как Fresh Queries.
2. Критерии свежести: Запрос должен быть отправлен определенное количество раз за recent time period и удовлетворять одному из критериев: (i) скорость изменения частоты запроса (rate of change in query frequency), (ii) отклонение от ожидаемой частоты запроса (deviation from an expected query frequency), или (iii) пороговое число вхождений запроса (threshold number of occurrences).
3. Фильтрация свежих запросов: Fresh Queries фильтруются для определения Candidate Refinement Queries. (Методы фильтрации детализированы в зависимых пунктах).
4. Получение запроса и сопоставление: В ответ на запрос пользователя система выбирает из кандидатов те, которые соответствуют запросу.
5. Ранжирование выбранных запросов: Выбранные запросы ранжируются на основе одного или нескольких факторов: (i) источник данных запроса (data source), (ii) качество результатов, связанных с запросом (quality of results), или (iii) профиль пользователя (profile of the user).
6. Предоставление подсказок: Ранжированные запросы предоставляются как связанные поисковые подсказки.

Claim 2, 3, 4 (Зависимые от 1): Детализируют методы фильтрации на основе поведения пользователей (Session-based data).

• Фильтрация проверяет, превышает ли совокупное количество кликов по результатам (aggregate number of search result selections) порог (Claim 2).
• Или удовлетворяет ли совокупный CTR для кликов по результатам порогу (Claim 3).
• Или достигнуто ли пороговое число пользователей, которые уточняют (refine) какой-либо запрос до этого свежего запроса (Claim 4).

Claim 5 (Зависимый от 1): Описывает антиспам фильтр.

Фильтрация включает проверку количества IP-адресов, связанных с запросом. Если запрос исходит от слишком малого числа IP-адресов (меньше порога), он может быть отфильтрован как потенциальный спам (click spam).

Claim 13 (Зависимый от Claim 9): Вводит фильтрацию на основе контента (Corpus-based data). (Claim 9 является независимым пунктом, схожим с Claim 1).

Фильтрация включает определение того, содержит ли выдача по запросу пороговое количество новостных результатов (threshold number of news results).

Где и как применяется

Изобретение затрагивает этапы анализа данных, понимания запросов и финального формирования выдачи.

QUNDERSTANDING – Понимание Запросов (Офлайн / Near Real-Time)
Основная часть работы происходит на этом этапе:

• Анализ логов и трендов: Система (Scanning Component) постоянно или периодически анализирует поисковые логи (Web, News, Blog, Image, Video) и логи трендов для выявления всплесков активности.
• Идентификация свежести: Применяются статистические модели для выявления Fresh Queries.
• Фильтрация качества: Система (Query Filter Component) использует Session-based data (CTR, клики) и Corpus-based data (наличие новостей) для валидации запросов и формирования пула Candidate Refinement Queries.

RANKING / METASEARCH / RERANKING (Реал-тайм)
На этих этапах происходит применение подготовленных данных:

• Сопоставление: Система (Matching Component) получает запрос пользователя и сопоставляет его с пулом кандидатов.
• Ранжирование подсказок: Система (Ranking Component) ранжирует подходящие подсказки, используя критерии качества, свежести, источника и персонализации.
• Формирование SERP: Свежие связанные подсказки интегрируются в финальную страницу результатов поиска.

Входные данные:

• Логи поисковых запросов из различных вертикалей (Search Logs).
• Логи трендов (Trend Logs) и внешние источники (микроблоги, real-time сервисы).
• Данные о поведении пользователей (Result Selection Logs: клики, CTR, Dwell time).
• Индекс документов (для анализа наличия News Results).
• Запрос пользователя и его профиль (для персонализации).

Выходные данные:

• Отранжированный список свежих связанных поисковых подсказок.

На что влияет

• Специфические запросы: Наибольшее влияние на запросы, связанные с актуальными событиями (QDF-запросы). Это могут быть общие запросы (имена, бренды, локации), к которым в данный момент приковано внимание новостей.
• Конкретные ниши или тематики: Сильное влияние в быстро меняющихся нишах: новости, спорт, развлечения, технологии, политика.
• Типы контента: Влияет на видимость контента, который классифицируется как News Results (статьи, блоги, видео, микроблоги).

Когда применяется

• Триггеры активации (Офлайн): Система активируется, когда обнаруживает запрос, у которого наблюдается статистически значимый всплеск популярности за Recent time period. Примеры из описания патента: рост частоты в 10 раз за 2 часа; превышение прогноза в 3 раза от стандартного отклонения; более 25 000 показов с полуночи.
• Условия применения (Офлайн): Трендовый запрос проходит фильтры: достаточное количество News Results в выдаче (например, >50% или K в Топ-N) и удовлетворительные поведенческие метрики (например, CTR > 30%). Также он не должен быть классифицирован как спам.
• Применение (Реал-тайм): Механизм сопоставления активируется при получении запроса пользователя, если для него существуют релевантные Candidate Refinement Queries.
• Временные рамки: Recent time period гибок и может составлять минуты, часы, дни или неделю.

Пошаговый алгоритм

Процесс разделен на две части: предварительная обработка (генерация кандидатов) и обработка запроса пользователя.

Процесс А: Генерация Кандидатов (Офлайн / Периодически)

1. Сбор данных и Идентификация Трендов: Scanning Component анализирует логи из разных источников. Идентифицируются запросы, удовлетворяющие критериям свежести (высокая частота, быстрый рост или отклонение от нормы). Они становятся Fresh Queries.
2. Фильтрация по Поведению (Session-based): Для каждого Fresh Query анализируются Session-based data. Проверяются пороги по CTR, общему количеству кликов и количеству пользователей, использовавших этот запрос как уточнение.
3. Фильтрация по Контенту (Corpus-based): Анализируются результаты поиска по Fresh Query. Проверяется, содержится ли в них достаточное количество News Results.
4. Антиспам-проверка (Sanity checks): Проверяется, не является ли запрос спамом (например, исходит ли он от достаточного количества уникальных IP-адресов для исключения click spam).
5. Формирование Пула Кандидатов: Запросы, прошедшие все фильтры, сохраняются как Candidate Refinement Queries.

Процесс Б: Обработка Запроса Пользователя (Реал-тайм)

1. Получение запроса: Система получает запрос от пользователя.
2. Сопоставление (Matching): Matching Component ищет совпадения между запросом пользователя и пулом Кандидатов. Совпадением может быть суперстрока (superstring), уточнение (refinement) или семантически близкий запрос (near query на основе term-weighted edit distance).
3. Ранжирование Предложений: Ranking Component ранжирует совпавшие кандидаты. Используются факторы: количество новостных результатов, CTR результатов, источник запроса, степень свежести (недавний объем), общее качество результатов и персонализация (User Profile).
4. Пост-фильтрация (Опционально): Могут быть удалены подсказки, чьи результаты поиска слишком похожи (например, если менее 50% результатов отличаются, как указано в описании) на результаты исходного запроса, для обеспечения разнообразия.
5. Предоставление Подсказок: Отранжированный список отображается пользователю.

Какие данные и как использует

Данные на входе

Система в значительной степени опирается на поведенческие и временные данные.

• Поведенческие факторы (Критически важно):
  • Журналы запросов (Search Logs): Используются для определения частоты, трендов и источников (IP-адреса) из разных вертикалей (Web, News, Image, Video, Blog).
  • Данные сессий (Session-based data): Используются для анализа уточнений запросов (query refinement).
  • Клики и CTR (Result Selection Logs): Используются для фильтрации кандидатов и оценки качества результатов. Упоминается также Dwell time (время на сайте).
• Временные факторы: Временные метки запросов используются для определения Recent time period и расчета метрик свежести.
• Контентные факторы (Corpus-based): Система анализирует состав выдачи по кандидатному запросу, чтобы определить наличие News Results.
• Пользовательские факторы: IP-адреса используются для антиспам фильтрации (click spam). История поиска пользователя (User Profile) используется для персонализации ранжирования.
• Внешние данные: Упоминаются микроблоги (например, Twitter), мини-блоги, сайты закладок (например, Digg) и сервисы реального времени как источники для выявления fresh queries.

Какие метрики используются и как они считаются

• Метрики Свежести (Freshness Metrics):
  • Rate of change in query frequency: Скорость роста популярности запроса за период.
  • Deviation from an expected query frequency: Сравнение текущей частоты с предсказанной моделью (например, превышение в 3 раза стандартного отклонения, упомянутое в описании).
  • Threshold number of occurrences: Абсолютное количество запросов за период.
• Метрики Качества и Фильтрации:
  • Aggregate CTR: Средний CTR результатов поиска. Используется для фильтрации (например, порог 30%, упомянутый в описании).
  • Aggregate Clicks: Общее количество кликов по результатам.
  • Number of News Results: Количество свежих документов в выдаче. Сравнивается с порогом (например, >50% или K в Топ-N).
  • Refinement Count: Количество пользователей, которые уточнили другой запрос до текущего кандидата.
• Метрики Спама:
  • IP Diversity: Количество уникальных IP-адресов, отправивших запрос.

Выводы

1. Real-Time SEO и QDF: Патент описывает конкретный механизм реализации принципа Query Deserves Freshness (QDF) в блоке связанных запросов. Google активно ищет и продвигает запросы, связанные с текущими трендами, используя статистический анализ логов из множества источников (включая внешние, такие как микроблоги).
2. Валидация трендов через поведение и контент: Недостаточно просто роста частоты запроса. Google использует строгую валидацию: (i) Поведенческие сигналы (CTR, клики, уточнения) должны подтверждать качество результатов; (ii) В выдаче должно присутствовать достаточное количество News Results, подтверждающих актуальность темы.
3. Широкое определение свежего контента: News Results включают не только традиционные новости, но и блоги, микроблоги, видео и новые веб-страницы. Система анализирует логи из разных вертикалей поиска.
4. Защита от манипуляций: Встроены механизмы защиты от накрутки популярности (click spam), например, путем анализа разнообразия IP-адресов, отправляющих запрос (Sanity checks).
5. Сложное ранжирование подсказок с персонализацией: Ранжирование предложений учитывает не только степень свежести, но и качество результатов, источник запроса и персонализацию (User Profile).
6. Обеспечение разнообразия выдачи: Система может применять пост-фильтрацию, чтобы не предлагать подсказки, результаты которых слишком похожи на результаты исходного запроса (например, если различий менее 50%).

Практика

Best practices (это мы делаем)

• Мониторинг трендов в реальном времени и Newsjacking: Активно отслеживайте возникающие тренды в вашей нише (Google Trends, соцсети, микроблоги). Быстрое создание качественного контента по этим темам увеличивает шансы на то, что связанные запросы будут идентифицированы как Fresh Queries и показаны в подсказках.
• Оптимизация скорости индексации и публикации: Скорость критична. Необходимо максимально быстро публиковать контент и обеспечивать его индексацию (Indexing API, News Sitemaps), чтобы он был классифицирован как News Result во время пика тренда.
• Фокус на поведенческих факторах (CTR и Вовлеченность): Поскольку CTR и клики используются для валидации трендовых запросов (в патенте упоминается порог 30%), необходимо создавать привлекательные сниппеты (Title, Description) и контент, который удерживает пользователя. Хорошие поведенческие сигналы необходимы для прохождения фильтров качества.
• Использование разных форматов контента: Создавайте не только статьи, но и видео, изображения, посты в блогах по трендовым темам. Патент указывает, что анализируются логи разных вертикалей (Image, Video, Blog, News).
• Стимулирование естественного спроса: Продвигайте новый контент через социальные сети и рассылки, чтобы стимулировать начальный поисковый спрос и генерировать положительные поведенческие сигналы в логах Google.

Worst practices (это делать не надо)

• Искусственная накрутка трендов и кликов: Попытки манипулировать частотой запросов или CTR с помощью ботов будут отфильтрованы антиспам-механизмами (проверка разнообразия IP-адресов, Claim 5).
• Кликбейт и поверхностный контент по трендам: Создание низкокачественного контента приведет к плохим поведенческим сигналам (низкий CTR, короткие сессии). Такие запросы будут исключены из Candidate Refinement Queries на этапе фильтрации качества.
• Медленная реакция на события: Публикация контента с задержкой не позволит Google идентифицировать его как News Result во время пика тренда, что снижает шансы на получение видимости через этот механизм.

Стратегическое значение

Патент подтверждает стратегическую важность интеграции данных в реальном времени и поведенческих сигналов для оценки актуальности контента. Для SEO это означает, что стратегии, ориентированные на Real-Time Marketing и Newsjacking, имеют прочную алгоритмическую основу. Успех в трендовом SEO зависит от комбинации скорости реакции, авторитетности источника и способности генерировать положительный отклик аудитории (высокий CTR и вовлеченность).

Практические примеры

Сценарий: Внезапный анонс нового продукта (например, Apple)

1. Событие: Apple анонсирует новый продукт, например, «Apple Vision Pro 2».
2. Реакция пользователей: Происходит резкий всплеск запросов: «Apple Vision Pro 2 дата выхода», «Apple Vision Pro 2 цена».
3. Идентификация свежести (Google): Система Google обнаруживает, что частота этих запросов значительно превышает прогнозируемую модель (deviation from an expected query frequency). Они помечаются как Fresh Queries.
4. Действия SEO/Редакции: Авторитетный технологический сайт максимально быстро публикует детальный материал об анонсе, оптимизированный под эти запросы, и обеспечивает его быструю индексацию.
5. Валидация (Google): Статья сайта попадает в Топ и классифицируется как News Result. Пользователи активно кликают на нее (высокий CTR). Запросы проходят валидацию качества на основе Session-based data и Corpus-based data.
6. Результат: Пользователь вводит общий запрос «Apple Vision Pro». В блоке «Связанные запросы» система предлагает Fresh Queries: «Apple Vision Pro 2 дата выхода» и «Apple Vision Pro 2 цена», направляя трафик на актуальный контент.

Вопросы и ответы