Как Google группирует похожие запросы и поисковые подсказки, определяя интент пользователя через анализ сессий и кликов

Термины и определения

Absorbing State (Поглощающее состояние)

Состояние в Марковской цепи, из которого невозможно выйти. В данном патенте узлы документов (и узел off-topic) являются поглощающими.

Co-occurring Queries (Q(r)) (Совместно встречающиеся запросы)

Набор запросов, которые встречаются в той же сессии, что и данный запрос (r).

Document Escape Probability (ε) (Вероятность перехода к документу)

Параметр модели, определяющий вероятность того, что пользователь перейдет из состояния запроса в состояние документа (кликнет на результат), а не введет новый запрос (1-ε).

Document Set (D(r)) (Набор документов)

Набор документов, которые были показаны в ответ на запрос (r) и получили клики пользователей.

Graph (G(q)) (Граф)

Структура данных, моделирующая поведение пользователя. Включает узлы для исходного запроса (q), его уточнений (R(q)) и кликнутых документов (D(r)).

Markov Model (Марковская модель / Цепь Маркова)

Стохастическая модель, описывающая последовательность событий, в которой вероятность каждого события зависит только от состояния, достигнутого в предыдущем событии. Используется для интерпретации графа G(q).

Off-topic node (f) (Узел смены темы)

Поглощающее состояние, добавленное в модель для учета дрейфа интента пользователя (когда пользователь переключается на тему, не связанную с исходным запросом).

Query Refinement (R(q)) (Уточнение запроса)

Запрос (r), который следует за исходным запросом (q) в рамках одной пользовательской сессии.

Transition Probability Matrix (P) (Матрица вероятностей перехода)

Матрица, определяющая вероятности перехода между состояниями (узлами) в Марковской модели.

Transient State (Переходное состояние)

Состояние в Марковской цепи, из которого возможен выход. В данном патенте узлы запросов являются переходными.

Visit Probability Vector (Вектор вероятности посещения)

Вектор, рассчитываемый для каждого уточнения запроса. Показывает вероятность достижения каждого из поглощающих состояний (документов) при старте из данного уточнения. Используется для кластеризации.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько ключевых независимых пунктов, описывающих основной и расширенный методы кластеризации.

Claim 1 (Независимый пункт): Описывает базовый метод кластеризации уточнений запроса.

1. Идентификация уточнений запроса (R(q)) и их наборов документов (D(r)).
2. Построение графа G с узлами для запроса, уточнений и документов. Ребра соединяют запрос с уточнениями, уточнения с документами и уточнения с совместно встречающимися запросами.
3. Построение матрицы вероятностей перехода (P) для графа G. Вероятности рассчитываются на основе частоты кликов (для ребер запрос-документ) и частоты совместной встречаемости в сессиях (для ребер запрос-запрос), с использованием параметра $\epsilon$ (вероятность перехода к документу).
4. Расчет вектора вероятности посещения (Visit Probability Vector) для каждого уточнения на основе матрицы P.
5. Кластеризация уточнений путем разделения векторов вероятности посещения на подмножества.
6. Получение поисковых подсказок на основе этих кластеров.

Ядро изобретения — это использование комбинированной модели (сессии + клики) в виде Марковской цепи для определения схожести интентов через вероятности достижения одних и тех же документов.

Claim 2 (Независимый пункт): Описывает расширенный метод, включающий учет дрейфа интента.

1. Процесс аналогичен Claim 1, но структура графа G модифицируется.
2. В граф добавляется узел смены темы (off-topic node f).
3. Добавляются ребра от каждого уточнения запроса к узлу f.
4. Матрица вероятностей перехода P рассчитывается с учетом вероятности перехода в состояние f. Эта вероятность зависит от того, как часто после данного уточнения пользователи вводят запросы, не являющиеся уточнениями исходного запроса (т.е. уходят от темы).
5. Далее следуют расчет векторов вероятности посещения и кластеризация.

Этот пункт защищает механизм учета смены темы, что позволяет более точно моделировать поведение пользователя и избегать ошибочного объединения запросов из-за транзитивных связей при дрейфе интента.

Где и как применяется

Изобретение применяется на нескольких этапах поисковой архитектуры, преимущественно в офлайн-обработке данных и на финальных этапах формирования выдачи.

QUNDERSTANDING – Понимание Запросов (Офлайн-процессы)
Основная работа алгоритма происходит здесь. Система анализирует логи запросов (search query log) и данные о кликах для построения графа G(q), расчета матрицы P и выполнения кластеризации. Результатом является заранее подготовленная база данных кластеризованных уточнений запросов для множества исходных запросов.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование (Онлайн-процессы)
Когда пользователь вводит запрос, система обращается к заранее рассчитанным данным. Кластеры используются для отбора (selection) и размещения (placement) поисковых подсказок на странице результатов. Цель — обеспечить разнообразие (diversity) подсказок, выбирая представителей из разных кластеров интентов.

Входные данные:

• Логи поисковых запросов (разделенные на сессии).
• Данные о кликах (какие документы были выбраны для каких запросов).
• Исходный запрос (q).
• Параметры модели (например, $\epsilon$, количество кластеров k).

Выходные данные:

• Набор кластеров уточнений запроса (refinement clusters).
• Поисковые подсказки (Search Suggestions), представленные пользователю на SERP.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на широкие или неоднозначные запросы (например, "mars", "jaguar"), где существует множество различных интентов. Для узкоспециализированных запросов влияние меньше.
• Организация SERP: Влияет на блок "Связанные запросы" (Related Searches) или поисковые подсказки (Search Suggestions). Патент упоминает, что кластеризация может улучшить размещение подсказок (например, группировка по колонкам для разных интентов).

Когда применяется

Алгоритм применяется, когда необходимо сгенерировать набор разнообразных и релевантных поисковых подсказок для данного запроса. Расчеты производятся периодически в офлайн-режиме для обновления базы кластеров. Отображение результатов происходит при каждом запросе пользователя, для которого существуют заранее рассчитанные кластеры и достаточно данных в логах.

Пошаговый алгоритм

Процесс кластеризации уточнений запроса (на основе Algorithm 1 в патенте).

1. Инициализация и сбор данных:
   • Определить набор уточнений R(q) для исходного запроса q (запросы, следующие за q в сессиях).
   • Определить набор кликнутых документов D(r) для каждого уточнения r.
   • Определить совместно встречающиеся запросы Q(r).
2. Построение графа G(q):
   • Создать узлы для q, всех r из R(q) и всех d из D(r).
   • Создать ребра: (q, r), (r, d) и (r_i, r_j), если r_j входит в Q(ri).
   • (Опционально) Добавить узел смены темы (f) и ребра (r, f).
3. Инициализация матрицы вероятностей перехода (P): Рассчитать вероятности для каждого ребра на основе частот кликов (n_d) и сессий (n_s), используя параметр $\epsilon$. (См. формулы в разделе 4.2).
4. Расчет предельных распределений (Pⁿ): Вычислить многошаговые вероятности перехода путем возведения матрицы P в степень n (Pⁿ). Это моделирует случайное блуждание (random walk) и определяет вероятность достижения поглощающих состояний (документов). Параметр n (количество шагов) выбирается для достижения сходимости (обычно достаточно n=3-7).
5. Извлечение векторов вероятности посещения (L): Для каждого уточнения r_i извлечь из Pⁿ строку, соответствующую вероятностям достижения каждого документа d. Это формирует Visit Probability Vector для r_i.
6. Кластеризация векторов (R): Применить алгоритм кластеризации (например, complete-link clustering) к набору векторов L, используя меру схожести (например, cosine similarity). Цель — сгруппировать уточнения, которые ведут к схожим наборам документов.
7. Генерация подсказок: Выбрать представителей из полученных кластеров для отображения в качестве поисковых подсказок, обеспечивая разнообразие интентов.

Какие данные и как использует

Данные на входе

Патент опирается исключительно на поведенческие данные, извлеченные из логов поисковой системы.

• Поведенческие факторы:
  • Логи запросов (Search Query Logs): Используются для идентификации сессий и последовательности запросов. Это позволяет определить уточнения запросов (Query Refinements) и совместно встречающиеся запросы (Co-occurring Queries).
  • Данные о кликах (Click-through data): Используются для определения набора документов (Document Set) для каждого запроса и частоты кликов по конкретным документам (n_d).

Патент не упоминает использование контентных, ссылочных, технических или иных факторов ранжирования.

Какие метрики используются и как они считаются

Система вычисляет вероятности в рамках Марковской модели.

Метрики:

• n_d(d|r_i): Количество кликов, полученных документом d в ответ на запрос r_i.
• n_s(r_i, r_j): Количество сессий, в которых совместно встречаются запросы r_i и r_j.
• $\epsilon$ (Document Escape Probability): Заданный параметр (в патенте упоминаются значения 0.5-0.7 как эффективные), определяющий баланс между кликами на документы и вводом новых запросов.

Расчеты (Transition Probability Matrix P):

1. Вероятность перехода от запроса к документу (P[r_i, d]): Пропорциональна доле кликов на документ d среди всех кликов для запроса r_i, умноженной на $\epsilon$.
   $P[r_i, d] = \epsilon \times \frac{n_d(d|r_i)}{\sum_{d_k \in D(r_i)} n_d(d_k|r_i)}$
2. Вероятность перехода от запроса к запросу (P[r_i, r_j]): Пропорциональна доле сессий с r_i и r_j среди всех сессий, содержащих r_i, умноженной на (1-$\epsilon$). (Формула зависит от того, используется ли базовая модель или модель с учетом смены темы).
   Базовая модель (Claim 1):
   $P[r_i, r_j] = (1-\epsilon) \times \frac{n_s(r_i, r_j)}{\sum_{r_k \in R(q) \cap Q(r_i)} n_s(r_i, r_k)}$
3. Вероятность смены темы (P[r_i, f]) (Claim 2): Рассчитывается как доля переходов из r_i к запросам, не входящим в R(q) (т.е. не связанным с исходной темой), умноженная на (1-$\epsilon$).
4. Поглощающие состояния: Для всех документов d, P[d, d] = 1.

1. Комбинированный подход к определению интента: Патент подчеркивает, что для определения схожести интентов недостаточно анализировать только клики или только сессии по отдельности. Ключевая инновация — объединение этих данных в единую графовую модель (Марковскую цепь).
2. Интент определяется через достижимый контент: Основная гипотеза патента состоит в том, что два запроса отражают один и тот же интент, если они в конечном итоге приводят пользователя к одному и тому же набору документов. Это измеряется через Visit Probability Vectors.
3. Моделирование поведения пользователя через случайное блуждание: Использование Марковской модели с поглощающими состояниями (документами) позволяет смоделировать путь пользователя и определить, какой контент наиболее характерен для конкретного уточнения запроса.
4. Важность разнообразия (Diversity): Цель алгоритма — не просто найти самые популярные подсказки, а кластеризовать их для обеспечения разнообразия представленных интентов, что улучшает пользовательский опыт.
5. Учет дрейфа интента (Intent Drift): Введение off-topic node показывает, что Google осознает проблему смены темы внутри одной сессии и активно моделирует это поведение, чтобы избежать неверной кластеризации транзитивно связанных, но тематически разных запросов.
6. Зависимость от поведенческих данных: Модель полностью построена на анализе логов запросов и кликов, что подчеркивает критическую важность поведенческих факторов для понимания семантики и взаимосвязей между запросами в глазах Google.

Best practices (это мы делаем)

• Построение Topical Authority через покрытие интентов: Создавайте контент, который покрывает все кластеры интентов, выявленные Google вокруг основной темы. Анализируйте блоки "Related Searches" – они часто отражают эти кластеры. Если ваш сайт авторитетен по всем аспектам темы, он с большей вероятностью будет соответствовать различным путям пользователя.
• Оптимизация под сессии, а не отдельные запросы: Думайте о том, как пользователь исследует тему. Какие запросы он может вводить до и после посещения вашей страницы? Убедитесь, что ваш сайт предоставляет исчерпывающую информацию или четкие пути для дальнейшего исследования темы, чтобы поддерживать тематическую сессию.
• Улучшение CTR и удовлетворенности кликов: Поскольку клики (Document Set) являются поглощающими состояниями и определяют схожесть запросов, критически важно, чтобы пользователи кликали на ваш сайт и были удовлетворены контентом (завершали поиск). Это укрепляет связь между запросом и вашим документом в графе.
• Анализ пересечения контента: Изучайте, какие сайты ранжируются по запросам из одного кластера интентов. Если разные запросы (например, "venus" и "jupiter") приводят к схожему типу контента (например, статьи о планетах), это подтверждает их принадлежность к одному кластеру, и вам нужно оптимизировать свой контент под этот общий интент.

Worst practices (это делать не надо)

• Фокус только на одном аспекте широкой темы: Если вы оптимизируете сайт под широкую тему (например, "Jaguar"), но игнорируете основные кластеры интентов, вы ограничиваете свою релевантность в глазах системы, которая стремится к разнообразию.
• Игнорирование пути пользователя и дрейфа интента: Создание тупиковых страниц, которые не поддерживают дальнейшее исследование темы, может негативно сказаться на восприятии сайта как релевантного в рамках целевой сессии.
• Создание поверхностного контента (Thin Content): Контент, который заставляет пользователей возвращаться в Google и уточнять запрос, генерирует поведенческие данные, указывающие на то, что ваш контент не удовлетворяет ни одному из кластеров интентов и не является "поглощающим состоянием".

Стратегическое значение

Этот патент подтверждает стратегический переход Google от анализа отдельных ключевых слов к пониманию поведения пользователей и их намерений. Он демонстрирует, как Google строит карту тем и интентов, основываясь на том, как реальные пользователи ищут информацию и какой контент они потребляют. Для SEO это означает, что построение авторитетности в теме (Topical Authority) требует не просто наличия статей по ключевым словам, а понимания того, как эти ключевые слова связаны в сознании пользователя и в поведенческих паттернах поиска.

Практические примеры

Сценарий: Оптимизация сайта по теме "Mars"

1. Анализ интентов: SEO-специалист анализирует поисковые подсказки и связанные запросы для "Mars" и видит группы: (1) "Mars planet", "Water on Mars", "Mars Rover"; (2) "Mars God of War", "Mars Roman Mythology"; (3) "Mars Bar", "Mars Chocolate".
2. Понимание механизма: Специалист понимает, что эти группы сформированы, потому что пользователи, ищущие (1), редко ищут (3) в той же сессии, и кликают на совершенно разные документы.
3. Действия (для сайта о космосе):
   • Убедиться, что на сайте есть высококачественный контент, отвечающий на все запросы кластера (1).
   • Организовать контент так, чтобы пользователь мог легко перемещаться между статьями о Марсе, воде на Марсе и марсоходах (поддерживая сессию и удовлетворяя интент).
   • Не пытаться агрессивно оптимизировать статьи о планете под запросы типа "Mars Chocolate", так как они принадлежат к другому кластеру интентов.
4. Ожидаемый результат: Сайт становится авторитетным источником для кластера интентов (1). Пользователи, интересующиеся космосом, чаще кликают на этот сайт и завершают на нем поиск, укрепляя его позиции в графе для этого интента.