Как Google анализирует сессии пользователей и кластеризует концепции для генерации блока "Связанные запросы" (Related Searches)

Термины и определения

Source Query (Исходный запрос)

Первый запрос, введенный пользователем в поисковой сессии.

Refinement Query (Уточняющий запрос)

Последующий запрос, введенный тем же пользователем после исходного запроса в течение определенного времени.

Association Counter (Счетчик ассоциаций)

Метрика, отслеживающая, сколько раз конкретный Refinement Query следовал за конкретным Source Query.

Term Vector (Вектор терминов)

Математическое представление документа или запроса в многомерном пространстве, где каждое измерение соответствует отдельному термину, а значение измерения — весу этого термина (например, на основе TF-IDF).

Composite Term Vector (Композитный вектор терминов)

Вектор, представляющий концепцию Refinement Query. Генерируется путем суммирования Term Vectors топовых документов, найденных по этому запросу (взвешенных по релевантности документа).

Centroid (Центроид)

Взвешенный центр кластера Term Vectors. Используется для определения наиболее репрезентативного запроса в кластере.

Compactness (Компактность кластера)

Мера того, насколько семантически близки друг к другу запросы внутри кластера. Может определяться как стандартное отклонение расстояния векторов запросов от Centroid.

Representative Refinement Query (Репрезентативный запрос уточнения)

Один запрос, выбранный из кластера для представления всей группы пользователю.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации предложений по уточнению запроса.

1. Система получает первый и второй (отличающийся) запросы и идентифицирует второй как уточнение первого на основе предопределенных критериев.
2. Собирается множество предложений по уточнению для первого запроса.
3. Подсчитывается количество раз (частота), когда каждое предложение ранее было идентифицировано как уточнение первого запроса.
4. Предложения сохраняются и кластеризуются.
5. Из конкретного кластера выбирается потенциальное предложение. Выбор основан на идентификации того предложения, частота которого выше, чем у других предложений в этом кластере.
6. Выбранное предложение передается клиенту в ответ на будущий запрос, соответствующий первому.

Claim 2 и 3 (Зависимые): Уточняют критерии идентификации уточнения. Идентификация основывается на том, получен ли второй запрос в течение предопределенного периода времени (например, 2 минуты) после первого.

Claim 8 (Зависимый): Детализирует процесс характеризации и кластеризации.

1. Выполняются поиски для каждого предложения по уточнению для идентификации документов.
2. В документах идентифицируются термины и им присваиваются веса.
3. Генерируются term vectors для документов.
4. Кластеризация основывается на этих term vectors.

Claim 14 (Зависимый от 12): Описывает альтернативный метод выбора представителя кластера (в отличие от метода максимальной частоты в Claim 1).

1. Генерируется centroid для каждого кластера.
2. Оценивается каждое предложение в кластере на основе расстояния его term vector от centroid.
3. Выбирается предложение с наивысшей оценкой (т.е. наиболее близкое к центру).

Где и как применяется

Изобретение в основном функционирует на этапе понимания запросов, используя данные из индекса и логов поведения пользователей.

INDEXING – Индексирование и извлечение признаков
На этом этапе индексируются документы и рассчитываются веса терминов (например, IDF), которые необходимы для генерации Term Vectors в процессе характеризации.

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Система выполняет сложный процесс анализа данных для понимания взаимосвязей между запросами.

1. Сбор данных (Онлайн): Система непрерывно анализирует Query Logs и данные сессий для выявления пар Source Query -> Refinement Query.
2. Обработка данных (Офлайн): Процессы характеризации (генерация Composite Term Vectors), кластеризации и выбора репрезентативных запросов выполняются преимущественно офлайн. Результаты сохраняются в базе данных уточнений.

METASEARCH – Метапоиск и Смешивание
В реальном времени, когда пользователь вводит запрос, система обращается к заранее подготовленной базе данных уточнений. Отобранные предложения отображаются на странице результатов поиска (например, в блоке "Related Searches").

Входные данные:

• Исторические логи поисковых запросов и данные сессий.
• Индекс документов (для выполнения поисков и анализа контента/ссылающихся запросов).
• (Опционально) Данные о пользователе (язык) и стране/регионе.

Выходные данные:

• База данных ассоциаций между исходными запросами и отранжированным списком кластеризованных предложений по уточнению.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на двусмысленные (ambiguous) запросы (например, "jaguar") и широкие (broad) запросы (например, "bikes"), где пользователям часто требуется сузить тему или выбрать направление поиска.
• Языковые и географические ограничения: Система может генерировать специфические уточнения для разных регионов и языков, если эти данные учитываются при сборе ассоциаций (Claim 4).

Когда применяется

• Триггеры активации (Сбор данных): Ассоциация между двумя запросами фиксируется, если второй запрос введен в течение предопределенного периода времени (predetermined time period) после первого (например, 2 минуты).
• Условия применения (Обработка): Алгоритм применяется к запросам, для которых накоплено достаточное количество данных о переформулировках. Патент упоминает возможность удаления редких уточнений ("tail") и использование Топ-N уточнений (например, 50-100).

Пошаговый алгоритм

Алгоритм состоит из нескольких ключевых этапов.

Этап 1: Сбор данных об уточнениях (Refinement Data Collection)

1. Получение запросов: Система получает и логирует Source Query (Q1), а затем Refinement Query (Q2) от того же пользователя.
2. Проверка критериев: Проверяется, был ли Q2 введен в течение заданного времени после Q1.
3. Обновление Ассоциации: Если критерии выполнены, создается или обновляется ассоциация (Q1 -> Q2). Association Counter для этой пары увеличивается. Опционально учитываются язык и регион.

Этап 2: Характеризация Уточнений (Characterization)

1. Выполнение поиска: Для каждого собранного Q2 выполняется поиск и извлекается Топ-N результатов (документов).
2. Генерация векторов документов: Для каждого документа генерируется Term Vector. Патент предлагает два метода (FIG. 6 и FIG. 7):
   • Метод А (Анализ контента): Вектор основан на терминах внутри документа с использованием весов (например, TF-IDF).
   • Метод Б (Анализ ссылающихся запросов): Вектор основан на терминах из других запросов, которые ссылаются на этот документ.
3. Нормализация: Term Vectors нормализуются (например, L2 norm).
4. Генерация Композитного Вектора: Генерируется Composite Term Vector для Q2 путем суммирования векторов документов. Векторы документов масштабируются в зависимости от их релевантности (relevancy score) или позиции в выдаче.
5. Очистка: Из композитного вектора удаляются термины с низким весом.

Этап 3: Кластеризация (Clustering)

1. Расчет расстояний: Вычисляются расстояния (например, Евклидово расстояние) между Composite Term Vectors всех уточнений для Q1.
2. Формирование кластеров: Применяется алгоритм кластеризации (например, иерархическая агломеративная кластеризация) для группировки семантически схожих уточнений.

Этап 4: Выбор Репрезентативных Запросов (Selection)

1. Вычисление Центроида: Для каждого кластера может быть вычислен Centroid (взвешенный центр векторов).
2. Выбор представителя: Для каждого кластера выбирается один Representative Refinement Query. Патент предлагает варианты:
   • Метод А (Частота): Выбирается запрос с максимальным Association Counter внутри кластера (Claim 1).
   • Метод Б (Центральность): Рассчитывается оценка, например: (Association Counter) / (Расстояние от Centroid). Выбирается запрос с наивысшей оценкой (Claim 14).

Этап 5: Ранжирование Кластеров (Ranking)

1. Расчет Компактности: Может быть рассчитана Compactness кластера (например, стандартное отклонение от центроида).
2. Расчет Оценки Кластера (Cluster Score): Рассчитывается финальная оценка. Варианты:
   • Метод А (Суммарная частота): Оценка = сумма Association Counters всех запросов в кластере.
   • Метод Б (Частота и Компактность): Оценка = (Сумма Association Counters) / Compactness. Это повышает ранг семантически четких кластеров.
3. Финальный выбор: Кластеры ранжируются по оценке. Топ-K репрезентативных запросов выбираются для показа.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые): Логи запросов (Query Logs) и данные сессий. Система анализирует последовательность запросов и время между ними для выявления переходов от Source Query к Refinement Query.
• Контентные факторы: Текст документов из индекса. Используется для генерации Term Vectors (Метод характеризации А).
• Ссылочные/Запросные факторы: Данные о том, какие запросы ведут на конкретные документы. Используется для генерации Term Vectors (Метод характеризации Б).
• Пользовательские и Географические факторы: Язык пользователя (user profile) и страна/регион (country/region variables) могут использоваться для сегментации данных.

Какие метрики используются и как они считаются

• Association Counter (Count): Частота, с которой пара запросов (Q1 -> Q2) встречалась в логах в течение заданного времени (например, 2 минуты).
• Веса терминов (Term Weights): Используются для создания векторов. Упоминается TF-IDF. Формула веса: $w(tf) \cdot idf$.
• Relevancy Score: Оценка релевантности документа или его позиция в выдаче. Используется для взвешивания вклада документа в Composite Term Vector.
• Расстояние между векторами: Мера схожести между запросами (например, Евклидово расстояние). Используется для кластеризации и расчета расстояния до Centroid.
• Compactness (Компактность): Стандартное отклонение расстояния векторов запросов в кластере от Centroid.
• Оценка Репрезентативного Запроса: Может рассчитываться как $\frac{\text{Count}}{\text{Distance from Centroid}}$.
• Cluster Score (Оценка кластера): Может рассчитываться как $\frac{\text{Sum of Counts}}{\text{Compactness}}$.

1. Анализ сессий как основа для понимания интента: Патент подтверждает, что Google активно использует последовательность действий пользователя в рамках одной сессии для понимания его намерений и взаимосвязей между запросами. Уточнения генерируются на основе реального поведения.
2. Сходство SERP = Семантическое сходство запросов: Ключевой механизм — определение близости запросов через анализ Топ-N результатов поиска (Composite Term Vectors). Если два разных запроса возвращают похожие документы, система считает их семантически близкими и объединяет в один кластер.
3. Два метода определения семантики запроса: Система может определять семантику, анализируя контент ранжирующихся документов (Метод А) ИЛИ анализируя другие запросы, которые ведут на эти документы (Метод Б). Это подчеркивает многогранность подхода Google к пониманию контента и запросов.
4. Цель — концептуальное разнообразие и четкость: Процесс кластеризации направлен на выявление различных направлений поиска. Система предпочитает семантически "плотные" кластеры (используя метрику Compactness), что гарантирует четкость предложений.
5. Выбор оптимального ярлыка (Labeling): Система использует сложные методы (например, близость к Centroid) для выбора наилучшей формулировки для кластера. Это может привести к тому, что менее частотная, но более точная формулировка будет выбрана в качестве предложения.

Best practices (это мы делаем)

• Анализ "Related Searches" как карты интентов: Активно используйте блок "Related Searches". Согласно патенту, эти предложения являются репрезентативными запросами из концептуальных кластеров, основанных на реальном поведении пользователей. Это прямое указание на то, как Google сегментирует интент.
• Оптимизация под сессии и User Journey: Анализируйте, как пользователи перемещаются по вашей теме. Создавайте контент, который отвечает на исходный запрос и предвосхищает вероятные уточнения (Refinement Queries). Это соответствует оптимизации под всю сессию.
• Построение Topical Authority через покрытие кластеров: Структурируйте контент так, чтобы он отражал ключевые кластеры интентов в вашей нише. Если Google выделяет несколько различных направлений уточнения для вашего основного запроса, авторитетный сайт должен покрывать их все.
• Мониторинг сходства SERP: Используйте инструменты для анализа пересечения выдачи по разным запросам. Если вы видите высокое сходство SERP, это сигнал, что Composite Term Vectors запросов близки, и их можно таргетировать одной страницей.
• Усиление семантической плотности (Связь с Методом А): Создавайте контент, насыщенный релевантными терминами, чтобы генерировать сильные Term Vectors, соответствующие целевому кластеру.
• Стремление стать ответом на множество запросов (Связь с Методом Б): Создавайте комплексные страницы (Pillar Pages), которые ранжируются по широкому пулу связанных запросов. Это повышает их значимость при характеризации запросов на основе ссылающихся запросов.

Worst practices (это делать не надо)

• Изолированная оптимизация под один запрос: Фокусировка на одном ключевом слове без учета связанных запросов и общего интента кластера. Система анализирует связи, поэтому игнорирование контекста сессии неэффективно.
• Создание отдельных страниц под близкие синонимы: Если вариации запроса имеют высокую степень сходства SERP (близкие векторы), они принадлежат одному кластеру. Создание отдельных страниц может привести к каннибализации.
• Игнорирование поведенческих сигналов: Если пользователи часто покидают ваш сайт и переформулируют запрос (pogo-sticking), это генерирует данные (Refinement Data), которые могут указывать системе на нерелевантность вашего контента.

Стратегическое значение

Этот патент подчеркивает стратегическую важность перехода от оптимизации под ключевые слова к оптимизации под темы и интенты (Topic Clustering). Он демонстрирует, что Google обладает сложной системой для картирования пространства запросов, основанной как на поведении пользователей, так и на анализе контента через призму SERP. Долгосрочная SEO-стратегия должна фокусироваться на создании авторитетности в рамках целых тематических кластеров, выявленных Google.

Практические примеры

Сценарий: Оптимизация сайта о велосипедах

1. Анализ исходного запроса: SEO-специалист анализирует запрос "bikes" (велосипеды).
2. Изучение уточнений (Related Searches): Он видит подсказки: "motorbikes", "mountain bikes", "bmx bikes".
3. Интерпретация (на основе патента): Специалист понимает, что это репрезентативные запросы из разных концептуальных кластеров. "Motorbikes" (мотоциклы) семантически далек от остальных, так как его Composite Term Vector сильно отличается (другие результаты поиска).
4. Анализ кластеров велосипедов: Специалист проверяет сходство SERP для "mountain bikes" и "bmx bikes". Он видит, что результаты разные, что подтверждает наличие отдельных кластеров.
5. Действия: Создаются отдельные разделы (хабы) для "Mountain Bikes" и "BMX Bikes". Контент в каждом хабе оптимизируется так, чтобы быть максимально релевантным для Centroid своего кластера, покрывая все подтемы внутри него.
6. Ожидаемый результат: Сайт лучше соответствует ожиданиям пользователей на разных этапах поиска и укрепляет свою релевантность по этим тематическим направлениям.