Как Google кластеризует, фильтрует и ранжирует популярные запросы для сервисов типа Google Trends

Термины и определения

Category Popularity Score (Оценка популярности категории)

Метрика, отражающая общую популярность тематической категории (например, «Развлечения» популярнее, чем «Общество»). Используется для корректировки ранга кластера запросов.

Click-through duration (Продолжительность клика)

Время, которое пользователь проводит на целевой странице после клика. Длительное время (Long Click) сигнализирует об интересе и удовлетворенности пользователя.

Click-through rate (CTR)

Показатель кликабельности результатов поиска. Высокий CTR указывает на релевантность и привлекательность результатов.

Click-through reversion rate (Показатель возвратов)

Частота, с которой пользователи быстро возвращаются на страницу выдачи после клика (Short Click/Pogo-sticking). Высокий показатель сигнализирует о неудовлетворенности результатами.

Cluster Performance Score (Оценка производительности кластера)

Агрегированная метрика качества результатов поиска для кластера. Основана на Query Performance Scores или показателях репрезентативного запроса.

Cluster Popularity Score (Оценка популярности кластера)

Агрегированная метрика популярности всех запросов, входящих в кластер. Отражает общий интерес к теме.

Freshness indicator (Индикатор свежести)

Сигнал, указывающий на актуальность темы. Например, если много результатов приходит из часто обновляемого индекса (новостного индекса).

K-medoids algorithm (Алгоритм K-медоидов)

Алгоритм кластеризации, используемый для группировки запросов. Он минимизирует расстояние (метрику несхожести) между запросами в кластере и центром кластера (медоидом).

PageRank (PR)

В контексте патента используется как индикатор качества и авторитетности результатов. Слишком низкий PR указывает на низкое качество; слишком высокий PR может указывать на авторитетный, но не «трендовый» источник.

Query Performance Score (Оценка производительности запроса)

Метрика, оценивающая качество результатов поиска для данного запроса. Основана на PageRank, CTR, Click-through duration и Click-through reversion rate.

Representative Query (Репрезентативный запрос)

Один запрос, выбранный для представления всего кластера похожих запросов в финальном списке.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования запросов.

1. Система выбирает множество поисковых запросов.
2. Запросы группируются в кластеры. Группировка включает назначение запросов, определение центра кластера (cluster center) и оптимизацию структуры кластеров для минимизации агрегированной метрики несхожести между запросами и их центрами (описание алгоритма типа K-medoids).
3. Для каждого кластера выбирается Representative Query.
4. Каждый кластер ассоциируется с репрезентативной категорией.
5. Каждому кластеру присваивается ранг. Ранжирование основано на Cluster Popularity Score И Category Popularity Score.
6. Репрезентативные запросы представляются в порядке ранга их кластеров.

Claim 3 (Зависимый от 2): Уточняет выбор репрезентативного запроса.

Выбор основан на Query Popularity Score (Claim 2), но также и на Query Performance Score. Эта оценка рассчитывается на основе одного или нескольких показателей результатов поиска: PageRank, CTR, Click-through duration или Click-through reversion rate.

Claim 6 (Зависимый от 1): Уточняет механизм ранжирования кластеров.

Ранг кластера дополнительно корректируется на основе Cluster Performance Score. Эта оценка также рассчитывается на основе PageRank, CTR, Click-through duration или Click-through reversion rate результатов репрезентативного запроса.

Claims 9, 10, 11 (Зависимые от 1): Уточняют метрику несхожести для кластеризации.

Метрика несхожести (dissimilarity measure), используемая для оптимизации кластеров (Шаг 2), может быть основана на сравнении: (9) результирующих документов, (10) результирующих URL-адресов (result URLs) или (11) поисковых терминов запросов.

Где и как применяется

Описанная система (Query Ranking System) функционирует не в рамках основного конвейера ранжирования веб-страниц, а как отдельный аналитический процесс для генерации списков популярных запросов (например, для Google Trends).

INDEXING – Индексирование и извлечение признаков
Система использует данные из индекса (документы, URL) и связанные с ними метрики (например, PageRank, принадлежность к новостному индексу) для кластеризации, категоризации и оценки производительности.

QUNDERSTANDING – Понимание Запросов (Аналитический слой / Анализ Логов)
Весь процесс происходит на этом аналитическом уровне. Система анализирует агрегированные данные из Query Log (для популярности) и Click Log (для производительности: CTR, длительность кликов) для понимания трендов.

RANKING (Query Cluster Ranking)
Это не стандартный этап RANKING, а специфический процесс ранжирования самих кластеров запросов на основе популярности, производительности и категории.

• Входные данные: Списки запросов, данные об объеме запросов (Query Log), данные о кликах (Click Log), результаты поиска (URL, сниппеты), метрики документов (PageRank).
• Выходные данные: Отсортированный список репрезентативных запросов с устраненной избыточностью (Top Rising/Volume Queries).

На что влияет

• Специфические запросы: Влияет на отображение трендовых тем. Система стремится выявить «свежие» и интересные темы. В патенте явно упоминается фильтрация запросов, которые ведут на «чрезмерно авторитетные источники» (например, запрос «Wikipedia»), так как они не считаются трендовыми.
• Типы контента: Предпочтение отдается запросам, ведущим на свежий контент. Упоминается использование индикатора «свежести» (freshness indicator), например, если много результатов приходит из часто обновляемого индекса (например, новостного).

Когда применяется

• Условия работы: Применяется при генерации списков Top Rising Queries или Top Volume Queries.
• Триггеры активации: Запросы должны превысить определенный порог объема или скорости роста объема поиска.
• Частота применения: Периодически (ежедневно, еженедельно) или в режиме, близком к реальному времени, для обновления данных о трендах.

Пошаговый алгоритм

Этап 1: Подготовка и Кластеризация

1. Отбор запросов: Выбор множества поисковых запросов на основе их объема или скорости роста.
2. Кластеризация запросов: Группировка отобранных запросов (например, с помощью K-medoids).
   1. Определение метрики несхожести (на основе пересечения result URLs, документов или схожести терминов).
   2. Итеративная оптимизация кластеров и центров кластеров для минимизации агрегированной метрики несхожести.

Этап 2: Выбор Репрезентативного Запроса и Фильтрация

Для каждого кластера:

1. Предварительный выбор: Выбирается запрос с наивысшим Query Popularity Score.
2. Расчет производительности: Расчет Query Performance Score для выбранного запроса на основе PageRank, CTR, Click-through duration и Click-through reversion rate его результатов.
3. Фильтрация по качеству: Проверка на соответствие порогам. Запрос отклоняется, если его результаты слишком низкого качества (например, низкий CTR) ИЛИ если они слишком авторитетны (например, сверхвысокий PageRank).
4. Итерация: Если запрос отклонен, проверяется следующий по популярности запрос в кластере до нахождения подходящего Representative Query.

Этап 3: Категоризация и Ранжирование

1. Категоризация кластеров: Присвоение репрезентативной категории кластеру (на основе категорий входящих в него запросов).
2. Ранжирование кластеров:
   1. Расчет Cluster Popularity Score (агрегация популярности всех запросов кластера).
   2. Расчет Cluster Performance Score.
   3. Получение Category Popularity Score.
   4. Присвоение финального ранга на основе комбинации этих трех оценок.
3. Представление результатов: Вывод списка репрезентативных запросов в порядке ранга их кластеров. Может применяться ограничение на количество запросов в одной категории для разнообразия.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые):
  • Query Logs: Объем запросов и скорость их роста (для Popularity Score).
  • Click Logs: CTR, Click-through duration (длинные клики) и Click-through reversion rate (возвраты). Эти данные формируют основу Performance Score.
• Ссылочные факторы:
  • PageRank результатов поиска: Используется для оценки качества и авторитетности (для Performance Score).
• Технические/Контентные факторы:
  • Result URLs: URL-адреса результатов поиска используются как основа для кластеризации запросов.
  • Термины запросов, заголовки, сниппеты результатов: Могут использоваться для кластеризации и категоризации.
• Временные факторы:
  • Freshness indicator: Свежесть результатов (например, из новостного индекса) используется для повышения Performance Score.

Какие метрики используются и как они считаются

• Query/Cluster Popularity Score: Рассчитывается на основе данных об объеме запросов из Query Logs. Для кластера это агрегированное значение.
• Query/Cluster Performance Score: Комбинированная оценка качества результатов. Учитывает:
  • PageRank (с порогом как снизу — фильтр качества, так и сверху — фильтр авторитетности).
  • CTR (чем выше, тем лучше).
  • Click-through duration (чем дольше, тем лучше).
  • Click-through reversion rate (чем ниже, тем лучше).
  • Freshness indicator (чем свежее, тем лучше).
• Category Popularity Score: Может быть основана на общем объеме трафика, связанного с категорией.
• Метрика несхожести (Dissimilarity Metric): Используется в алгоритме кластеризации для измерения расстояния между запросами.

1. Кластеризация по результатам, а не только по ключевым словам: Ключевой вывод — Google кластеризует запросы, которые текстуально различны, но ведут к схожему набору URL (result URLs). Система определяет тематическую связь на основе того, какой контент удовлетворяет эти запросы.
2. Поведенческие метрики как фильтр качества: Патент явно подтверждает использование CTR, Click-through duration (длинные клики) и Click-through reversion rate (возвраты) для оценки качества результатов поиска. Запросы с плохими поведенческими метриками фильтруются.
3. Концепция «Чрезмерной Авторитетности» для трендов: Важный аспект — фильтрация результатов со сверхвысоким PageRank. При поиске трендов система предпочитает свежий и актуальный контент, а не устоявшиеся авторитетные источники (например, главную страницу крупного сайта), которые могут быть менее релевантны текущему тренду.
4. Популярность темы (кластера) важнее популярности отдельного запроса: Ранжирование основано на Cluster Popularity Score (агрегированный объем), что позволяет выявлять тренды, даже если ни один отдельный запрос не доминирует.
5. Важность категоризации и разнообразия: Система корректирует ранжирование на основе популярности категории (Category Popularity Score) и может ограничивать количество запросов от одной категории для обеспечения разнообразия списка.

Best practices (это мы делаем)

Хотя патент не относится к основному ранжированию, он дает стратегические инсайты.

• Ориентация на удовлетворенность пользователя (User Satisfaction): Необходимо оптимизировать сниппеты для повышения релевантного CTR и создавать контент, который удерживает пользователя (увеличивает Click-through duration) и предотвращает быстрый возврат в выдачу (снижает Click-through reversion rate). Патент подтверждает важность этих сигналов для оценки качества.
• Построение Topical Authority через кластеризацию: Понимая, что Google кластеризует запросы по общим URL, следует создавать страницы, которые являются целевым назначением для целого кластера связанных интентов, а не только для одного ключевого слова. Анализируйте пересечение SERP для выявления кластеров.
• Использование Google Trends для определения Representative Query: Сервисы типа Google Trends (вероятно, использующие эту технологию) показывают, какой именно запрос Google считает репрезентативным для трендовой темы. При создании контента под тренд следует ориентироваться на эту формулировку и связанный с ней кластер.
• Оптимизация под свежие тренды (QDF): Для трендового контента важна свежесть и вовлеченность. Патент предполагает, что такой контент предпочтительнее старых авторитетных страниц при оценке трендов (фильтр по высокому PR, буст за Freshness).

Worst practices (это делать не надо)

• Игнорирование поведенческих факторов (Clickbait): Создание контента, который генерирует клики, но не удовлетворяет интент (высокий Click-through reversion rate), негативно скажется на оценке качества (Performance Score).
• Фокус только на объеме запросов без учета качества выдачи: Попытка оптимизации под высокочастотные запросы, если результаты по ним некачественные, неэффективна. Система фильтрует такие запросы при анализе трендов.
• Оптимизация под каждую вариацию запроса: Создание отдельных страниц под незначительные вариации запроса неэффективно, так как система кластеризует их в одну тему.

Стратегическое значение

Патент демонстрирует сложный подход Google к анализу данных, подчеркивая стратегическую важность анализа поведения пользователей после клика (Post-Click Behavior) как меры качества. Он подтверждает фундаментальный сдвиг от анализа отдельных ключевых слов к пониманию тем (кластеров) и интентов. Для SEO это означает, что долгосрочная стратегия должна фокусироваться на создании контента, который не только привлекает клик, но и полностью удовлетворяет потребность пользователя.

Практические примеры

Сценарий: Оптимизация контента под кластер запросов

1. Анализ: SEO-специалист исследует тему. Он видит два запроса: Запрос А ("лучшие кроссовки для бега") и Запрос Б ("топ беговых кроссовок").
2. Проверка кластеризации (на основе патента): Специалист сравнивает SERP по обоим запросам. Если 8 из 10 топовых URL пересекаются, это подтверждает, что Google рассматривает их как один кластер (метод кластеризации по result URLs).
3. Действие: Вместо создания двух отдельных статей создается одна комплексная страница, нацеленная на оба запроса и связанные с ними интенты.
4. Оптимизация производительности: Контент структурируется для максимальной вовлеченности (длительные клики), чтобы обеспечить высокий Performance Score.
5. Ожидаемый результат: Страница эффективно ранжируется по обоим запросам и всему кластеру, так как она лучше соответствует агрегированному интенту темы.