Как Google кластеризует похожие страницы, анализируя, куда пользователи переходят дальше (Co-visitation)

Термины и определения

Candidate Document (Кандидатный документ)

Исходный документ, для которого анализируются последующие пользовательские переходы.

Cluster (Кластер)

Группа документов, идентифицированных системой как тематически схожие на основе анализа навигационных данных.

Correlation Information (Корреляционная информация)

Данные, генерируемые системой, которые указывают на схожесть между двумя кандидатными документами.

Direct Navigation (Прямая навигация)

Переход от первого документа ко второму без промежуточных документов.

Document Vector (Вектор документа)

Структура данных (например, связанный список, массив), представляющая документ. Она содержит список других документов, которые были выбраны после просмотра исходного документа, а также веса (частоту) этих выборов.

Indirect Navigation (Непрямая навигация)

Переход от первого документа к последующему документу с одним или несколькими промежуточными документами в рамках одной сессии.

Navigation Information (Навигационная информация)

Зарегистрированные данные (логи), описывающие прошлое поведение пользователей. Идентифицируют документы, которые были выбраны после того, как были представлены другие документы, а также количество таких выборов.

Session (Сессия)

Определенный период взаимодействия пользователя. Может определяться временными рамками, количеством кликов или контекстом (например, от ввода запроса до ввода следующего запроса).

Similarity Score (Оценка схожести)

Числовая метрика, определяющая степень схожести между двумя векторами документов. Может рассчитываться с использованием cosine similarity или других методов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод кластеризации.

1. Система получает первую навигационную информацию (first navigation information) для первого документа. Эта информация идентифицирует первый набор документов, выбранных после первого документа, и количество (quantity) этих выборов.
2. Система получает вторую навигационную информацию для второго документа.
3. Генерируются первая и вторая структуры данных (data structures), ассоциирующие документы с их навигационной информацией.
4. Система сравнивает первый набор документов со вторым, используя эти структуры данных.
5. Генерируется similarity score, основанный на сравнении и на информации о количестве выборов (весах).
6. На основе similarity score определяется, что первый документ похож на второй.
7. Генерируется кластер (cluster), включающий идентификационную информацию первого и второго документов.

Claim 7 (Зависимый от 1): Уточняет, что структуры данных являются векторами (first vector и second vector), и сравнение включает определение схожести этих векторов.

Claim 8 (Зависимый от 7): Уточняет, что определение схожести векторов включает определение косинусного сходства (cosine similarity) между первым и вторым векторами.

Claim 14 (Независимый пункт): Описывает систему, реализующую метод, схожий с Claim 1, но с акцентом на то, что similarity score базируется на количестве раз, когда каждый документ в наборах был выбран (т.е. на весах в векторах).

Где и как применяется

Изобретение в основном применяется в офлайн-процессах обработки данных для генерации кластеров, которые затем используются онлайн-системами ранжирования.

CRAWLING & Data Acquisition / INDEXING & Feature Extraction (Офлайн-процессы)
На этих этапах происходит сбор и обработка Navigation Information. Система анализирует логи пользовательского поведения (clickstream data), обрабатывает их, генерирует Document Vectors для большого количества документов и вычисляет Similarity Scores между парами документов. Результаты (Correlation Information и Clusters) сохраняются в репозитории (Cluster Repository). Это масштабный процесс анализа данных.

RANKING / METASEARCH & Blending (Онлайн-процессы)
Сгенерированные кластеры используются поисковой системой (Search Engine Server) во время обработки запросов. Это может применяться для:

• Группировки результатов поиска по темам (например, разделение результатов по запросу «Lotus» на кластеры «автомобили» и «цветы»).
• Улучшения релевантности, используя принадлежность документа к определенному кластеру как сигнал.
• Диверсификации выдачи, обеспечивая представление результатов из разных кластеров.

Входные данные:

• Логи пользовательской навигации (Navigation Information).
• Идентификаторы документов (Document IDs).

Выходные данные:

• Correlation Information, указывающая на схожесть пар документов.
• Clusters — группы схожих документов.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на широкие или неоднозначные запросы, где требуется кластеризация результатов для уточнения интента пользователя.
• Конкретные типы контента: В патенте упоминается, что концепции могут применяться к наборам документов, в частности к изображениям (например, индексируемым поисковой системой изображений). Метод эффективен для контента, где визуальная или тематическая схожесть не всегда очевидна из текста (например, товары, мультимедиа).

Когда применяется

• Триггеры активации: Процесс анализа активируется для пар документов, по которым накоплено достаточное количество Navigation Information.
• Условия и пороги: Кластеризация происходит только тогда, когда Similarity Score между векторами двух документов превышает заданный порог.
• Временные рамки: Сбор данных происходит непрерывно, а обработка и генерация кластеров выполняются периодически в офлайн-режиме.

Пошаговый алгоритм

Процесс анализа и кластеризации документов:

1. Получение навигационной информации: Система получает Navigation Information из репозитория логов. Эти данные включают информацию о том, какие документы были выбраны после просмотра других документов, и частоту этих выборов.
2. Идентификация сессий: Система анализирует данные в контексте пользовательских сессий (Sessions). Учитываются только те переходы, которые произошли в рамках одной сессии (например, в течение определенного времени после просмотра исходного документа или до ввода нового запроса).
3. Генерация вектора для первого документа: Для первого кандидатного документа (Документ 1) идентифицируются все документы, выбранные после него. Создается Document Vector, где каждый элемент — это последующий документ и его вес (количество выборов).
4. Генерация вектора для второго документа: Аналогичный процесс выполняется для второго кандидатного документа (Документ 2).
5. Расчет оценки схожести (Similarity Score): Система сравнивает два сгенерированных вектора. Это может включать расчет cosine similarity, анализ пропорции общих документов в векторах или комбинацию методов. Веса (частота выборов) играют ключевую роль в расчете.
6. Корректировка оценки схожести (Опционально): Similarity Score может быть скорректирован (увеличен), если зафиксирована прямая корреляция — то есть, если Документ 1 присутствует в векторе Документа 2 и/или наоборот. Это указывает на то, что пользователи напрямую переходили между этими двумя документами.
7. Сравнение с порогом: Итоговый Similarity Score сравнивается с предустановленным порогом.
8. Генерация кластера: Если оценка превышает порог, система генерирует Correlation Information, указывающую на схожесть Документа 1 и Документа 2, и они добавляются в общий кластер (Cluster). Эта информация сохраняется в Cluster Repository.

Какие данные и как использует

Данные на входе

Патент полностью сосредоточен на использовании поведенческих данных.

• Поведенческие факторы:
  • Navigation Information: Данные о последовательности выбора документов пользователями (clickstream data).
  • Sessions: Данные о границах пользовательских взаимодействий, используемые для фильтрации навигационной информации.
  • Количество выборов (Quantity of selections): Частота, с которой пользователи переходили от одного документа к другому.

Другие типы факторов (контентные, ссылочные, технические) в этом патенте не упоминаются как входные данные для этого конкретного механизма кластеризации.

Какие метрики используются и как они считаются

• Веса в векторе (Weights): Используется количество выборов (quantity of times) последующего документа. Это определяет важность конкретного перехода в общем навигационном паттерне документа.
• Vector Similarity Score: Основная вычисляемая метрика. Патент предлагает несколько методов расчета:
  • Cosine Similarity: Стандартный метод для определения схожести между двумя векторами в многомерном пространстве, учитывающий веса элементов.
  • Пропорция общих документов: Соотношение документов, которые являются общими для обоих векторов, к общему количеству документов в векторах.
  • Пропорция общих выборов: Соотношение суммы весов общих документов к общей сумме весов всех документов в векторах.
• Комбинированная оценка: Система может генерировать несколько оценок схожести (например, одну по косинусному сходству, другую по пропорции) и комбинировать их, возможно, с применением взвешивания.
• Пороговые значения (Thresholds): Предустановленное значение, с которым сравнивается Similarity Score для принятия решения о кластеризации. Пороги могут отличаться в зависимости от того, используются ли кластеры для создания подкластеров внутри уже существующих кластеров.

1. Схожесть определяется общими результатами (Shared Outcomes): Ключевая идея патента в том, что два документа считаются похожими, если они приводят пользователей к одинаковым последующим действиям или ресурсам. Если пользователи после прочтения Страницы А и Страницы Б часто переходят на Страницу В, то А и Б тематически связаны.
2. Поведение пользователей как основа кластеризации: Этот механизм позволяет Google строить тематические кластеры, полагаясь исключительно на Navigation Information, независимо от анализа ключевых слов, контента или ссылочного профиля документов.
3. Важность сессий (Context Matters): Анализ переходов часто ограничивается рамками одной Session. Это гарантирует, что учитываются только контекстуально связанные переходы, а не случайные навигационные действия пользователя.
4. Взвешенная важность переходов: Система учитывает не только факт перехода на последующий документ, но и его частоту (вес). Переходы, которые совершаются чаще, оказывают большее влияние на расчет Similarity Score.
5. Co-visitation как сигнал релевантности: Патент демонстрирует, как данные о совместном посещении (co-visitation) используются для понимания структуры информации и взаимосвязей между документами в вебе.

Best practices (это мы делаем)

• Оптимизация пути пользователя (User Journey Optimization): Проектируйте контент и внутреннюю перелинковку так, чтобы они логично направляли пользователя к следующему шагу в решении его задачи. Ваша страница должна удовлетворять первичный интент и эффективно фасилитировать следующий.
• Анализ навигационных паттернов авторитетов: Изучайте, куда пользователи переходят после посещения топовых страниц конкурентов или авторитетных ресурсов в вашей нише. Если они постоянно переходят к определенному типу ресурса (например, к странице сравнения цен или руководству по установке), ваша страница должна также вести к аналогичным ресурсам (внутренним или внешним), чтобы соответствовать установленному навигационному паттерну темы.
• Создание сильных тематических хабов: Развивайте хабовые страницы, которые служат отправной точкой для изучения темы. Если ваш хаб и хаб конкурента успешно направляют пользователей на один и тот же набор качественных вспомогательных страниц (spokes), это усилит восприятие обоих хабов как релевантных данной теме.
• Улучшение вовлеченности и глубины сессии: Работайте над снижением показателя отказов и увеличением глубины просмотра. Страницы, которые вовлекают пользователя и мотивируют его к дальнейшим переходам на релевантный контент, генерируют сильные Document Vectors.

Worst practices (это делать не надо)

• Создание тупиковых страниц (Dead-end Pages): Страницы, которые не предлагают пользователю релевантных следующих шагов (и, как следствие, имеют высокий показатель отказов), не смогут генерировать значимые навигационные данные и будут слабее кластеризоваться.
• Вводящая в заблуждение перелинковка и исходящие ссылки: Направление пользователей на нерелевантные последующие страницы (например, для монетизации или искусственного увеличения глубины просмотра) приведет к созданию Document Vectors, которые не коррелируют с векторами других качественных страниц по теме.
• Игнорирование следующего шага пользователя: Фокус исключительно на привлечении трафика по ключевому слову без учета того, что пользователь хочет делать дальше. Например, информационная статья, которая не ведет к практическому руководству или связанным продуктам, когда это логично ожидать.

Стратегическое значение

Патент подтверждает, что Google активно использует данные о поведении пользователей (co-visitation data) для понимания тематической релевантности и взаимосвязей между документами. Для SEO-специалистов это означает, что стратегия должна фокусироваться не только на том, как пользователь попадает на страницу (ключевые слова, ссылки), но и на том, что он делает после этого. Успешность страницы зависит от ее способности быть полезным шагом в общем путешествии пользователя по теме.

Практические примеры

Сценарий: Кластеризация страниц обзоров разных форматов

1. Ситуация: Есть две страницы, обозревающие одну и ту же модель кофемашины. Страница А — это подробный текстовый обзор. Страница Б — это видео-обзор на другой площадке. Текстовое содержание страниц сильно различается.
2. Поведение пользователей: Система анализирует Navigation Information.
   • Пользователи после Страницы А часто переходят на: Страницу покупки этой модели на Amazon (Вес 50), Руководство по очистке этой модели (Вес 20).
   • Пользователи после Страницы Б часто переходят на: Ту же страницу покупки на Amazon (Вес 45), То же руководство по очистке (Вес 15).
3. Анализ: Система генерирует векторы для Страницы А и Страницы Б. При сравнении векторов рассчитывается высокий Similarity Score (например, из-за высокого cosine similarity), так как последующие переходы и их относительные веса очень похожи.
4. Результат: Несмотря на разный формат контента и различие в тексте, Google кластеризует Страницу А и Страницу Б как очень похожие документы, посвященные обзору этой конкретной модели кофемашины.