Как Google использует совместное посещение сайтов в рамках одной сессии (Co-visitation) для классификации ресурсов по темам

Термины и определения

Candidate Resources (Ресурсы-кандидаты)

Ресурсы, которые были обнаружены в пользовательских сессиях рядом с известными ресурсами и потенциально относятся к той же теме, но еще не классифицированы.

External Classifier (Внешний классификатор)

Вспомогательные системы классификации, используемые в одном из вариантов алгоритма для начальной оценки кандидатов. Могут анализировать текст, изображения, ссылки, HTML-теги, шрифты, цвета, заголовки и URL.

Known Resources (Известные ресурсы)

Набор ресурсов (seed set), которые уже идентифицированы (вручную или автоматически) как принадлежащие к определенной теме. Используются как эталон для поиска новых ресурсов.

Prediction Score (Оценка прогнозирования)

Метрика в итеративном методе. Присваивается Known Resource и рассчитывается как среднее значение Relevance Scores связанных с ним кандидатов. Показывает, насколько хорошо данный ресурс "прогнозирует" тему своих соседей по сессии.

Average Prediction Score (Средняя оценка прогнозирования)

Финальная метрика для Candidate Resource в итеративном методе. Рассчитывается как среднее значение Prediction Scores всех известных ресурсов, с которыми он встречался в сессиях.

Relevance Score / Topic Relevance Score (Оценка релевантности)

Метрика, указывающая степень релевантности ресурса определенной теме. Может увеличиваться при каждом совместном появлении в сессии или рассчитываться внешними классификаторами.

Search Session (Поисковая сессия)

Тип пользовательской сессии, включающий данные о запросах, полученных результатах и взаимодействии с ними.

Toolbar Session (Тулбар-сессия)

Тип пользовательской сессии, данные для которой собираются через плагин (тулбар) в браузере. Включает историю посещенных ресурсов, даже если они были открыты не через поиск.

User Session (Пользовательская сессия)

Группа данных о взаимодействии пользователя с ресурсами, сгруппированная по времени (например, 5 минут) или по активности (пока пользователь не прекратит активность на определенное время).

Ключевые утверждения (Анализ Claims)

Анализ основан на Claim 1, который является независимым и описывает конкретную реализацию метода классификации на основе поведения в рамках сессии с использованием разных запросов.

Claim 1 (Независимый пункт): Описывает метод использования совместных кликов в рамках одной сессии, но по разным запросам, для классификации ресурсов.

1. Система идентифицирует выбор (клик) первого результата поиска (Первый ресурс) в нескольких сессиях. Этот результат был получен в ответ на Первый запрос (Q1).
2. Определяется, что Первый ресурс уже ассоциирован с определенной Темой (Topic).
3. На основании этого, сами сессии также ассоциируются с этой Темой.
4. В рамках этих же сессий система определяет, что пользователь также выбирал (кликал) Вторые результаты поиска (Вторые ресурсы).
5. Система увеличивает Topic Relevance Score для этих Вторых ресурсов.
6. Ключевое условие: Второй результат был получен в ответ на Второй запрос (Q2), который отличается от Первого запроса (Q1).
7. Идентифицируются Вторые ресурсы, чей Topic Relevance Score превышает пороговое значение, и они ассоциируются с Темой.

Ядро изобретения (согласно Claim 1) — это выявление тематической связи через поведение пользователя, решающего задачу с помощью нескольких разных запросов. Если пользователь кликает на авторитетный сайт по Теме А из Запроса 1, а затем в той же сессии кликает на Сайт Б из Запроса 2, это является сильным сигналом, что Сайт Б также относится к Теме А, даже если Запросы 1 и 2 текстово различаются. Это механизм связи на уровне задачи пользователя.

Где и как применяется

Изобретение в основном применяется в офлайн-процессах обработки данных для улучшения классификации контента.

CRAWLING – Сканирование и Сбор данных (Data Acquisition)
Система требует сбора и хранения больших объемов данных о поведении пользователей (Logs), включая поисковые логи и данные с браузерных тулбаров. Эти данные структурируются в User Sessions.

INDEXING – Индексирование и извлечение признаков
Основной этап применения. Session Processing Module анализирует собранные логи для выявления связей между ресурсами. Результатом является присвоение ресурсам тематической классификации (ассоциации с Topic) и расчет метрик (Relevance Score). Эти данные сохраняются и прикрепляются к документам в индексе как признаки (features).

QUNDERSTANDING – Понимание Запросов
Патент также описывает вычисление весов тем (Topic Weights) для терминов запроса. Если запрос постоянно приводит к результатам из набора Known Resources, термины этого запроса ассоциируются с темой.

RANKING / RERANKING (Косвенно)
Результаты классификации могут использоваться на этапах ранжирования как сигнал релевантности или на этапе переранжирования для фильтрации выдачи (например, SafeSearch).

Входные данные:

• Логи пользовательских сессий (запросы, результаты, клики, таймстемпы).
• Начальный набор Known Resources (Seed Set) для разных тем.
• (Опционально) Выходные данные External Classifiers.

Выходные данные:

• Расширенный набор Known Resources.
• Relevance Scores для ресурсов по отношению к темам.
• Тематическая классификация ресурсов.

На что влияет

• Тематическая классификация сайтов: Основное влияние — это способность системы автоматически определять и кластеризировать сайты по темам на основе поведения пользователей.
• Конкретные ниши или тематики: Особенно полезно для идентификации и фильтрации чувствительных тематик. В патенте прямо упоминается использование метода для идентификации "adult-oriented" контента и общих тем, например, "Спорт". Также важно для определения авторитетности в YMYL-тематиках.
• Новые сайты: Позволяет быстро определить тематику нового сайта, наблюдая за тем, как он интегрируется в сессии пользователей, посещающих уже известные сайты.

Когда применяется

• При каких условиях работает алгоритм: Алгоритм работает в офлайн-режиме (batch processing) при анализе накопленных логов.
• Триггеры активации (для анализа сессии): Активируется, когда в рамках одной пользовательской сессии происходит доступ к Known Resource. Это делает всю сессию релевантной для анализа по этой теме.
• Условия для повышения оценки (Claim 1): Ресурс-кандидат был выбран в той же сессии, что и Known Resource, и был найден по запросу, отличающемуся от запроса, по которому был найден Known Resource.

Пошаговый алгоритм

Патент описывает два основных варианта алгоритма: простой (на основе подсчета совместной встречаемости) и сложный итеративный (с использованием классификаторов).

Вариант А: Простой метод (на основе совместной встречаемости, Claim 1)

1. Сбор и обработка логов: Обработка данных из Logs и разделение их на User Sessions.
2. Обнаружение известного ресурса: Определение, был ли в рамках сессии получен доступ к ресурсу из набора Known Resources для Темы X.
3. Выбор кандидатов: Если да, то другие ресурсы, к которым был доступ в этой сессии, добавляются в список Candidate Resources для Темы X. (В Claim 1 добавляется условие, что ресурсы должны быть найдены по разным запросам).
4. Увеличение оценки: Для каждого добавленного кандидата увеличивается его Relevance Score к Теме X на предопределенную величину (например, +0.1).
5. Агрегация и Проверка порога: Оценки агрегируются по всем сессиям. Проверяется, превышает ли Relevance Score кандидата установленный порог.
6. Классификация: Если порог превышен, ресурс переносится в Known Resources для Темы X.

Вариант Б: Итеративный метод (Label Propagation)

Этот метод комбинирует поведенческие связи и анализ контента.

1. Идентификация связей: Определение пар (Known Resource K, Candidate Resource C), которые совместно встречались в сессиях.
2. Начальная оценка кандидатов: Для каждого Candidate Resource C генерируется начальный Relevance Score (RS) с помощью External Classifiers (анализ текста, изображений и т.д.).
3. Расчет Prediction Score (для K): Для каждого Known Resource K рассчитывается Prediction Score (PS). Это среднее значение RS всех кандидатов C, которые встречались вместе с K. $PS(K) = Average(RS(C_i))$.
4. Расчет Average Prediction Score (для C): Для каждого Candidate Resource C рассчитывается Average Prediction Score (APS). Это среднее значение PS всех известных ресурсов K, которые встречались вместе с C. $APS(C) = Average(PS(K_j))$.
5. Проверка порога и Классификация: Если APS кандидата C удовлетворяет пороговому значению (например, 0.6), он ассоциируется с темой.

Какие данные и как использует

Данные на входе

Система в первую очередь полагается на поведенческие данные.

• Поведенческие факторы:
  • Логи сессий (User Sessions): Ключевые данные. Включают последовательность действий пользователя.
  • Запросы (Queries): Тексты запросов, введенных пользователем в рамках сессии.
  • Клики/Доступ (Accessed/Selected): Данные о том, какие ресурсы были выбраны из результатов поиска или просмотрены (через тулбар).
  • Временные метки: Используются для определения границ сессии.
• Системные данные:
  • Known Resources (Seed Sets): Предварительно классифицированные наборы ресурсов по темам.
• Контентные/Структурные/Мультимедиа факторы: В итеративном методе (Вариант Б) используются External Classifiers, которые анализируют контент кандидатов: текст, изображения, ссылки, HTML-теги, шрифты, цвета, заголовки, URL.

Какие метрики используются и как они считаются

• Relevance Score: Оценка релевантности ресурса теме. В простом методе увеличивается инкрементально при совместной встречаемости. В сложном методе генерируется External Classifiers.
• Prediction Score: Метрика для Known Resource (см. формулу в Алгоритме Б).
• Average Prediction Score: Финальная метрика для Candidate Resource (см. формулу в Алгоритме Б).
• Topic Weight (для терминов запроса): Метрика, показывающая, насколько часто определенный термин запроса приводит к результатам из Known Resources.
• Пороговые значения (Thresholds): Используются для принятия решения о переводе кандидата в статус известного ресурса.

1. Автоматическая классификация через поведение (Co-visitation): Google активно использует поведенческие сигналы (совместные клики и просмотры) для автоматической классификации тематики сайтов. Это позволяет системе понять, о чем сайт, даже если контентные сигналы неоднозначны.
2. Сессия как тематический контекст: User Session является ключевой единицей анализа. Присутствие в сессии Known Resource задает тематический контекст для всех остальных взаимодействий в этой сессии.
3. Значимость кросс-запросного поведения (Claim 1): Особенно сильным сигналом является ситуация, когда пользователь взаимодействует с ресурсами по разным запросам в рамках одной сессии. Это связывает ресурсы на уровне задачи пользователя, а не только на уровне ключевых слов.
4. Итеративные методы и Label Propagation: Патент описывает сложный механизм (Вариант Б), который использует комбинацию внешних классификаторов (анализ контента) и анализа связей (поведение) для повышения точности, что напоминает алгоритмы распространения меток (Label Propagation).
5. Аудитория определяет тематику: Тематика сайта определяется не только его контентом, но и тем, кто его посещает и какие другие авторитетные сайты эти пользователи посещают в рамках той же сессии.

Best practices (это мы делаем)

• Построение Topical Authority и охват семантики: Создавайте контент, который полностью покрывает тему и отвечает на смежные вопросы пользователя в рамках его задачи. Это увеличивает вероятность того, что ваш сайт станет частью тематических сессий, где присутствуют другие авторитетные Known Resources.
• Фокус на привлечении и удержании целевой аудитории: Привлекайте пользователей, которые активно интересуются вашей темой и также посещают эталонные сайты в этой нише. Это формирует правильные поведенческие паттерны (co-visitation), которые свяжут ваш сайт с нужной темой.
• Оптимизация под задачи пользователя (Task Completion): Фокусируйтесь на том, чтобы помочь пользователю решить его задачу целиком. Понимание пути пользователя (User Journey) помогает вписать сайт в тематические сессии и укрепляет его классификацию.
• Поддержание четкого тематического фокуса: Убедитесь, что контент и структура сайта четко соответствуют заявленной тематике. Это поможет как External Classifiers (в Варианте Б), так и поведенческим алгоритмам правильно классифицировать сайт.

Worst practices (это делать не надо)

• Смешивание несвязанных тем: Создание сайта, охватывающего много разных тем, может привести к размытию классификации. Если ресурс является кандидатом для нескольких разных тем, он может быть исключен из всех (как указано в патенте для разрешения конфликтов).
• Привлечение нецелевого трафика и Кликбейт: Привлечение пользователей, не заинтересованных в вашей основной теме, создает шумные поведенческие паттерны. Это может "размывать" тематический профиль сайта в данных User Sessions и затруднять классификацию.
• Игнорирование "плохого соседства" в UGC: Размещение пользовательского контента (UGC), который радикально отличается от основной темы сайта, может привести к нежелательной классификации всего сайта, так как External Classifiers могут сработать на UGC, а поведенческие сигналы распространят эту классификацию.

Стратегическое значение

Патент подтверждает, что Google интерпретирует тематику и назначение сайта не только через контент и ссылки, но и через то, как реальные пользователи его используют в контексте своих сессий. Стратегически важно сместить фокус с оптимизации под ключевые слова на оптимизацию под тематические сессии и задачи пользователя (User Journey). Построение авторитетного ресурса, который естественно вписывается в поисковый путь пользователя наряду с другими качественными сайтами по теме, является ключом к правильной тематической классификации.

Практические примеры

Сценарий: Классификация нового блога о походах (Hiking)

1. Исходные данные: Google знает, что сайт REI.com является Known Resource по теме "Hiking/Outdoors". Новый сайт NewHiker.com является Candidate Resource.
2. Пользовательская сессия:
   • Пользователь ищет "лучшие треккинговые ботинки" (Q1).
   • Кликает на REI.com (R1). Сессия маркируется как "Hiking".
   • Возвращается в поиск и ищет "маршруты походов в Йосемити" (Q2, отличается от Q1).
   • Кликает на NewHiker.com (R2).
3. Действие системы: Session Processing Module фиксирует совместный выбор R1 и R2 в рамках сессии "Hiking" по разным запросам (условие Claim 1 выполнено).
4. Результат: Topic Relevance Score для NewHiker.com по теме "Hiking" увеличивается. После накопления достаточного количества таких сессий, NewHiker.com будет классифицирован как ресурс по теме "Hiking".