Как Google использует Матрицу Переходов (Markov Chains) для связи запросов, документов, времени и сессий, чтобы улучшить релевантность, прогнозировать QDF и бороться со спамом

Термины и определения

Search Entity (Поисковая сущность)

Элемент поискового опыта, являющийся узлом в графе. Примеры: запросы (queries), документы (documents), домены (domains), сессии (sessions), рекламные объявления (advertisements), время (time), анкоры (anchors).

Transition Probability (Вероятность перехода)

Оценка силы связи между двумя сущностями в модели цепи Маркова.

First Order Transition Probability (Вероятность перехода первого порядка)

Прямая вероятность перехода, рассчитанная непосредственно из исходных данных (например, логов поиска).

Higher Order Transition Probability (Вероятность перехода высшего порядка)

Косвенная вероятность перехода через промежуточные узлы (например, Q1→D→Q2). Вычисляется путем умножения матрицы переходов.

Search Entity Transition Matrix (Матрица переходов)

Матрица, хранящая вероятности переходов между всеми парами поисковых сущностей.

Quality of Result (QoR) Statistic (Статистика качества результата)

Метрика, оценивающая, насколько релевантным пользователи сочли документ в ответ на запрос. Рассчитывается на основе Click Data (например, взвешенная сумма long clicks).

Markov Chain Model (Модель цепи Маркова)

Математическая модель, используемая для описания системы, где сущности – это состояния, а вероятности перехода определяют модель.

Temporal Boosting (Темпоральное повышение/QDF)

Механизм модификации ранжирования для запросов, испытывающих или прогнозируемо испытающих рост популярности, с целью предпочтения более свежих документов.

Temporally Related Queries (Темпорально связанные запросы)

Запросы, которые имеют тенденцию демонстрировать всплеск популярности примерно в одно и то же время.

Spam Session (Спам-сессия)

Сессия, в которой запросы и клики могут не отражать подлинных предпочтений пользователя (например, накрутка).

Ключевые утверждения (Анализ Claims)

Хотя описание патента широко, ключевые независимые пункты формулы изобретения фокусируются на конкретных применениях: Темпоральное Ранжирование (QDF) и Обнаружение Спама.

Claim 1 (Независимый пункт): Описывает метод Темпорального Ранжирования (QDF) на основе связей Запрос-Время-Запрос.

1. Система определяет, связан ли второй запрос (Q2) темпорально с первым запросом (Q1). Это делается на основе рассчитанных time-based query-to-query transition probabilities.
2. Расчет включает вероятности: (Q1 → Время года) и (Время года → Q2).
3. Вероятность (Q1 → Время года) оценивает силу связи и определяется так:
   1. Определяется, был ли у Q1 значительный всплеск популярности (significant increase in popularity) в это время года в прошлом.
   2. Если ДА, вероятность рассчитывается как функция от того, сколько раз у Q1 наблюдался этот всплеск.
4. Система модифицирует данные оценки (scoring data) для документов, релевантных Q2, чтобы предпочесть более новые документы (newer documents).

Система использует исторические данные для прогнозирования будущих трендов. Если два запроса часто достигали пика вместе, и один начинает расти сейчас, система активирует QDF для второго.

Claim 3 и 5 (Зависимые от 1): Уточняют механизм модификации оценки для QDF.

Для предпочтения новых документов система дисконтирует (понижает вес) исторических сигналов: anchor score (оценки на основе анкоров) (Claim 3) и historical quality of result score (оценки на основе прошлых кликов) (Claim 5).

Claim 7 (Независимый пункт): Описывает метод обнаружения спам-сессий через связи Сессия-Документ-Сессия.

1. Получаются данные, идентифицирующие первую сессию (S1) как спам.
2. Вычисляется оценка спама (spam score) для второй сессии (S2). Расчет использует вероятности перехода: (S1 → Документы) и (Документы → S2).
3. S2 идентифицируется как спам на основе полученной оценки.

Спам-сигнал распространяется по графу поведения пользователей. Сессии, пересекающиеся по просмотренным документам со спам-сессиями, могут быть также помечены.

Claim 12 (Независимый пункт): Описывает метод обнаружения спам-запросов через связи Сессия-Запрос.

1. Получаются данные, идентифицирующие сессию (S1) как спам.
2. Вычисляется spam score для запроса (Q1), используя вероятность перехода (S1 → Q1).
3. Q1 идентифицируется как спам на основе полученной оценки.

Где и как применяется

Изобретение является инфраструктурным и затрагивает несколько ключевых этапов поиска.

INDEXING – Индексирование и извлечение признаков (Офлайн-процессы)
Основная работа по построению модели происходит здесь. Система анализирует Search History Data (логи) и структуру веба (анкоры, домены) в офлайн-режиме для расчета вероятностей перехода первого порядка и генерации Transition Matrix. Также здесь рассчитываются базовые метрики, такие как QoR statistics.

QUNDERSTANDING – Понимание Запросов
Матрица используется для выявления связей между запросами – как семантических (через общие документы), так и темпоральных (через общее время пиков популярности).

RANKING – Ранжирование
Рассчитанные взаимосвязи могут использоваться для улучшения оценки релевантности. Например, система может использовать сигналы (анкоры, текст) от связанных документов для оценки текущего документа (Signal Propagation), что особенно полезно для документов с недостатком данных.

RERANKING – Переранжирование
Несколько ключевых применений активируются на этом этапе:

• Temporal Boosting (QDF): При обнаружении тренда система модифицирует веса факторов ранжирования, дисконтируя исторические сигналы и повышая свежие.
• Spam Detection: Данные из сессий или запросов, помеченных как спам с помощью матрицы, дисконтируются при расчете финальных оценок.
• Result Augmentation: Система может дополнять выдачу документами, которые имеют высокую вероятность перехода от топовых результатов.

На что влияет

• Трендовые и новостные запросы (QDF): Механизм Temporal Boosting напрямую влияет на ранжирование свежего контента, делая исторические сигналы менее значимыми в моменты пиковой актуальности.
• Запросы "длинного хвоста" и новые документы: Позволяет улучшить их ранжирование за счет использования сигналов от связанных, более популярных сущностей (Signal Propagation).
• Тематические кластеры и домены: Позволяет оценивать связанные документы и классифицировать домены по темам на основе ассоциированных запросов (Domain Classification).

Когда применяется

• Расчет матрицы: Происходит периодически в офлайн-режиме.
• Применение в ранжировании: Происходит в реальном времени при обработке запроса.
• Триггеры активации (QDF): Активируется при обнаружении значительного роста популярности (significant increase in popularity) для запроса или темпорально связанного с ним запроса.
• Триггеры активации (Spam): Активируется при наличии исходного сигнала о Spam Session для распространения спам-оценки.

Пошаговый алгоритм

Процесс А: Построение Матрицы Переходов (Офлайн)

1. Сбор и обработка данных: Агрегация Search History Data и структурных данных (анкоры, домены).
2. Расчет базовых метрик: Вычисление Quality of Result (QoR) statistics на основе Click Data. Определение пиков популярности запросов во времени.
3. Расчет вероятностей первого порядка: Применение специфических функций переноса для разных пар сущностей. Например, для Q→D используется QoR; для Q→T используются данные о пиках популярности.
4. Построение матрицы: Формирование исходной Transition Matrix.
5. Расчет вероятностей высших порядков: Итеративное перемножение матрицы для выявления косвенных связей (например, Q1→D→Q2 или Q1→T→Q2).
6. Постобработка матрицы: Применение методов для снижения шума и управления кластеризацией: Clipping (удаление низких вероятностей), Row Normalization (нормализация строк) и возведение в степень.

Процесс Б: Применение Temporal Boosting (QDF) (На основе Claim 1)

1. Мониторинг популярности: Отслеживание частоты запросов в реальном времени.
2. Обнаружение тренда: Идентификация значительного роста популярности для Запроса 1 (Q1).
3. Поиск связанных запросов: Использование предварительно рассчитанной Transition Matrix для поиска Запроса 2 (Q2), который темпорально связан с Q1 (высокая вероятность Q1→T→Q2).
4. Модификация скоринга для Q2: Активация режима предпочтения свежести для Q2.
5. Дисконтирование исторических сигналов: Понижение веса anchor scores и historical quality of result scores при ранжировании документов для Q2.
6. Финальное ранжирование: Формирование выдачи по Q2 с учетом модифицированных оценок.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые): Search History Data (логи), Click Data (клики), типы кликов (long/short click), время просмотра (dwell time), данные о сессиях. Это основа для расчета большинства вероятностей перехода.
• Временные факторы: Время отправки запросов, используемое для анализа пиков популярности и расчета Q→T и T→Q.
• Ссылочные факторы: Анкоры между документами (используются для расчета D→D). Anchor scores также используются как сигнал, который может быть дисконтирован при QDF.
• Структурные факторы: Связь Документ-Домен (используется для D→Domain и Domain→D).
• Коммерческие факторы: Доход от рекламы (revenue), используемый для расчета Q→Ad и Ad→Q.

Какие метрики используются и как они считаются

• Quality of Result (QoR) statistic: Оценка релевантности документа запросу. Рассчитывается из Click Data (например, как взвешенная сумма кликов, где вес зависит от времени просмотра).
• Transition Probability (Вероятность перехода $P_{tran}$): Основная метрика системы. Рассчитывается с помощью специфических функций переноса. Общий принцип – нормализация.
• Пример формулы P(D→Q) (Документ→Запрос): $P_{tran}(D, Q) = \frac{qor(D, Q)}{\sum_{\text{Все запросы}} qor(D, \text{Запрос})}$
• Пример формулы P(Q→T) (Запрос→Время) (Claim 7): $P_{tran}(Q, T) = \frac{peak(Q, T)}{\sum_{\text{Все время}} peak(Q, \text{Время})}$ (где peak = 1, если был всплеск популярности).
• Spam Score: Оценка вероятности спама, рассчитанная путем распространения спам-сигнала через матрицу переходов.
• Методы обработки данных: Используются Smoothing (сглаживание), Clipping (отсечение низких вероятностей), Row Normalization и возведение в степень для борьбы с шумом и управления кластеризацией.

1. Поведение пользователя как основа связей: Патент демонстрирует фундаментальный подход к моделированию связей между всеми поисковыми сущностями, где основным источником данных являются логи поведения пользователей (клики, сессии, время). QoR statistics является ключевой метрикой для оценки этих связей.
2. Выявление косвенных связей (Higher Order Probabilities): Ключевая особенность — использование цепей Маркова для выявления косвенных связей. Это позволяет понять, как связаны запросы или документы, которые напрямую не взаимодействовали, но связаны через промежуточные сущности (например, через общие документы или общее время пиковой популярности).
3. Предиктивная актуальность (QDF): Патент детально описывает механизм Temporal Boosting. Google может прогнозировать будущие тренды, обнаружив рост популярности одного запроса и найдя связанные с ним по времени другие запросы.
4. Агрессивное дисконтирование исторических сигналов для QDF: Для продвижения свежего контента система намеренно понижает вес исторических сигналов, таких как anchor score и historical QoR score. Это критически важно для ранжирования в трендовых тематиках.
5. Перенос сигналов (Signal Propagation): Система может улучшать ранжирование документов с недостатком данных ("длинный хвост"), перенося сигналы (анкоры, текст, QoR) от связанных с ними авторитетных документов через поведенческий граф.
6. Механизм борьбы с поведенческим спамом: Система может идентифицировать Spam Sessions и распространять этот спам-сигнал на связанные сессии и запросы, дисконтируя сигналы ранжирования из этих источников.

Best practices (это мы делаем)

• Оптимизация под удовлетворенность пользователя (Intent Satisfaction): Необходимо максимизировать сигналы удовлетворенности (например, long clicks) для повышения Quality of Result (QoR) statistic. Это напрямую усиливает связь Запрос→Документ в матрице и является фундаментом для всех поведенческих связей.
• Построение тематического авторитета через сессии: Создавайте кластеры контента, которые поддерживают длинные сессии и отвечают на последовательные запросы пользователя в рамках одной темы. Это усиливает косвенные связи между вашими документами (D→S→D) и связанными запросами (Q→S→Q) в Transition Matrix.
• Прогнозирование и использование QDF: Мониторьте не только прямые, но и смежные или сезонно связанные запросы в нише. Быстрое создание свежего контента под прогнозируемые тренды позволит воспользоваться Temporal Boosting, так как исторические сигналы (ссылки) будут дисконтированы в этот момент.
• Кластеризация контента для классификации домена: Система классифицирует домен на основе запросов, связанных с его документами (Domain→D→Q). Четкая тематическая структура и высокое QoR по всему кластеру помогают правильной классификации домена.

Worst practices (это делать не надо)

• Накрутка поведенческих факторов: Создание искусственных сессий (Spam Sessions) для манипуляции QoR крайне рискованно. Патент описывает механизм распространения спам-сигнала от одной сессии к связанным сессиям и запросам с последующим дисконтированием данных.
• Игнорирование свежести для трендовых запросов: Попытки ранжировать устаревший контент по запросам, для которых активирован Temporal Boosting, неэффективны. Система намеренно дисконтирует anchor scores и исторические клики в пользу свежести.
• Создание изолированного контента (Piecemeal Content): Публикация статей, которые не связаны тематически и не поддерживают продолжение сессии пользователя, ослабляет связи в матрице, мешает классификации домена и не позволяет эффективно передавать сигналы ранжирования.

Стратегическое значение

Этот патент подчеркивает стратегический переход от анализа отдельных страниц и изолированных факторов к анализу поведения пользователей и взаимосвязей между сущностями в глобальном масштабе. Данные о поведении являются связующим звеном, объединяющим контент, ссылки, время и авторитет. Долгосрочная SEO-стратегия должна фокусироваться на удовлетворении интента пользователя на протяжении всего его пути (Customer Journey), а не только на оптимизации отдельных лендингов.

Практические примеры

Сценарий 1: Использование QDF (Temporal Boosting)

1. Историческая связь: Google знает, что запросы [Оскар] и [День Святого Валентина] темпорально связаны (Q→T→Q), так как оба имеют пики в феврале.
2. Триггер: В начале февраля запрос [День Святого Валентина] начинает расти в популярности.
3. Действие системы: Google прогнозирует скорый рост запроса [Оскар] и активирует для него Temporal Boosting.
4. Модификация ранжирования: Исторические сигналы (ссылки на статьи прошлых лет об Оскаре) дисконтируются.
5. Результат для SEO: Новостные сайты, которые оперативно публикуют свежие новости о номинантах текущего года, получают преимущество над старыми авторитетными статьями, даже если у них меньше ссылок.

Сценарий 2: Перенос сигналов (Signal Propagation)

1. Ситуация: Опубликована новая страница (Doc B) по НЧ запросу, у неё мало ссылок. Есть авторитетная страница (Doc A) на том же сайте.
2. Связь в матрице: Анализ логов показывает, что пользователи часто взаимодействуют с Doc A и Doc B в рамках схожих поисковых задач (например, в одной сессии или по схожим запросам). Система устанавливает высокую Transition Probability между Doc A и Doc B.
3. Действие системы: Система переносит сигналы ранжирования (например, анкорный текст, QoR) от Doc A к Doc B, взвешивая их по силе связи.
4. Результат для SEO: Doc B получает более высокую позицию в выдаче, чем если бы он оценивался только по собственным сигналам.