Как Google использует крупномасштабное машинное обучение и данные о поведении пользователей для предсказания кликов и ранжирования результатов

Термины и определения

Condition (Условие)

Конъюнкция (логическое И) признаков (features) и, возможно, их дополнений (отрицаний). Пример: «слово 'дерево' есть в запросе И домен документа 'trees.com'».

Features (Признаки)

Характеристики, извлекаемые из Instance (u, q, d). Могут включать данные о пользователе (страна, язык), запросе (слова, длина), документе (слова в тексте, URL, заголовке, входящих ссылках), а также контекстные данные (время суток, предыдущие запросы пользователя).

Instance (Экземпляр данных)

Базовая единица данных для обучения. Представляет собой тройку (u, q, d), где u — информация о пользователе, q — данные запроса, d — информация о документе, показанном в ответ на запрос. Также включает метку — был ли документ выбран пользователем.

Old Score (Старая оценка)

Оценка ранжирования, присвоенная документу d для запроса q существующей (предыдущей) поисковой системой. Используется как один из компонентов для расчета Prior Probability.

Prior Probability of Selection (Априорная вероятность выбора)

Базовая вероятность того, что документ будет выбран, рассчитываемая до учета специфических признаков (features) документа или запроса. Основана на общих факторах: позиции документа в выдаче, его Old Score и количестве выбранных документов выше него в той же сессии.

Posterior Probability of Selection (Апостериорная вероятность выбора)

Итоговая предсказанная вероятность выбора документа после применения модели ранжирования. Рассчитывается путем комбинации Prior Probability и весов применимых правил (Rules). Используется как итоговый Ranking Score.

Ranking Model (Модель ранжирования)

Набор правил (Rules) и Prior Probability, используемый для предсказания вероятности выбора документа.

Rule (Правило)

Состоит из условия (Condition, C) и веса (Weight, w). Если условие выполняется для данного Instance, вес правила применяется при расчете Posterior Probability.

Training Data (Обучающие данные)

Набор Instances, используемый для генерации модели и оптимизации весов правил.

Log Likelihood (Логарифмическое правдоподобие)

Метрика качества модели, используемая при обучении. Цель обучения — максимизировать эту метрику на обучающих данных (Log P(D|M)).

Cost(C) (Стоимость условия)

Штраф, используемый при обучении, чтобы предотвратить переобучение на слишком сложных или редких условиях. Правило добавляется, если улучшение Log Likelihood превышает Cost(C).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования.

1. Создание модели ранжирования, предсказывающей вероятность выбора документа. Это включает:
   • Хранение информации о прошлых поисках.
   • Определение Prior Probability of selection на основе этой информации.
   • Генерацию модели на основе Prior Probability.
2. Обучение модели на наборе данных, включающем «десятки миллионов экземпляров» (tens of millions of instances).
3. Идентификация документов по запросу.
4. Оценка (scoring) документов с использованием обученной модели.
5. Формирование результатов поиска.

Ядро изобретения — создание и обучение крупномасштабной ML-модели для ранжирования, которая явно использует Prior Probability как базовый компонент.

Claim 2 (Зависимый от 1): Уточняет, на чем основана информация о прошлых поисках (и, следовательно, Prior Probability): позиция документа в выдаче, присвоенная ему оценка (score) или количество выбранных документов выше него.

Claim 4 (Зависимый): Детализирует процесс обучения модели.

1. Выбор условия-кандидата (candidate condition).
2. Оценка веса для него.
3. Формирование нового правила.
4. Сравнение правдоподобия (likelihood) обучающих данных при использовании модели с новым правилом и без него.
5. Выборочное добавление нового правила в модель по результатам сравнения.

Это стандартный итеративный процесс обучения аддитивной модели (например, логистической регрессии или градиентного бустинга).

Claim 11 (Зависимый от 1): Детализирует процесс оценки (scoring) документа.

1. Формирование Instance (u, q, d) для запроса и документа.
2. Извлечение признаков (features).
3. Идентификация применимых правил в модели.
4. Комбинирование весов этих правил с Prior Probability of selection для генерации итоговой оценки.

Claim 23 (Независимый пункт): Метод ранжирования, фокусирующийся на априорной вероятности.

1. Получение запроса и идентификация документов.
2. Определение Prior Probabilities для каждого документа. Уточняется, что эта вероятность основана на данных о позиции документа, его предыдущей оценке (prior score) или количестве кликов выше.
3. Определение итоговой оценки на основе Prior Probability.
4. Генерация результатов поиска.

Где и как применяется

Это изобретение описывает механизм для основного процесса ранжирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе извлекаются и сохраняются статические признаки (features) документов (слова, ссылки, URL), которые позже будут использоваться моделью.

RANKING – Ранжирование
Основное место применения. Описанная система машинного обучения используется для оценки документов-кандидатов. Это может происходить на этапах L2 (Lightweight Ranking) или L3 (Deep Ranking), где требуется точная оценка релевантности.

1. Система получает набор кандидатов.
2. Для каждого кандидата и текущего запроса/пользователя формируется Instance (u, q, d).
3. Извлекаются все необходимые признаки (статические из индекса и динамические из контекста запроса).
4. Применяется Ranking Model: рассчитывается Prior Probability и применяются правила для расчета Posterior Probability.
5. Posterior Probability используется как Ranking Score или как часть его.

(Вне стандартных этапов) Обучение модели:
Система использует логи поведения пользователей (information retrieval data), собранные после показа результатов поиска. Эти данные обрабатываются офлайн (или в near real-time) в распределенной вычислительной среде для обучения и обновления Ranking Model.

Входные данные:

• Набор документов-кандидатов.
• Текущий запрос (q) и информация о пользователе (u).
• Признаки (Features) для каждой тройки (u, q, d).
• Текущая Ranking Model (набор правил и весов).

Выходные данные:

• Оценка (Score / Posterior Probability) для каждого документа-кандидата.

На что влияет

Патент описывает универсальный механизм ранжирования, поэтому он влияет на:

• Все типы контента и запросов: Модель обучается на всех данных поиска и применяется ко всем запросам для определения релевантности. Различные правила внутри модели могут активироваться для разных типов запросов или тематик, если система выявит, что определенные признаки более важны в этих сегментах.
• Баланс факторов ранжирования: Система автоматически определяет вес различных факторов (ссылочных, контентных, поведенческих) на основе их корреляции с выбором пользователя.

Когда применяется

• Временные рамки: Применяется в реальном времени при обработке каждого поискового запроса для ранжирования результатов.
• Обучение: Процесс обучения происходит постоянно или периодически по мере накопления новых данных о поведении пользователей для обновления модели.

Пошаговый алгоритм

Процесс А: Генерация модели ранжирования (Обучение)

1. Подготовка данных: Сбор Training Data (миллионы Instances (u, q, d) с метками о выборе). Извлечение признаков (Features) для каждого Instance.
2. Расчет априорной вероятности: Определение функции Prior Probability: $P(select | position, old score, number of selections above)$.
3. Инициализация модели: Начало с пустой модели, включающей только Prior Probability.
4. Выбор кандидата: Выбор условия-кандидата (Candidate Condition, C) — набора признаков.
5. Оценка веса: Расчет оптимального веса (w) для условия C, который максимизирует логарифмическое правдоподобие (log likelihood) обучающих данных при добавлении правила (C, w) в модель.
6. Валидация правила: Сравнение правдоподобия модели с новым правилом и без него.
7. Принятие решения: Если правдоподобие значительно увеличилось (возможно, с учетом штрафа за сложность условия — Cost(C)), правило добавляется в модель. В противном случае правило отбрасывается.
8. Итерация: Повторение шагов 4-7 до достижения условий остановки (например, определенное количество итераций или пока все кандидаты не будут рассмотрены).

Процесс Б: Ранжирование документов (Применение модели)

1. Получение запроса: Система получает поисковый запрос от пользователя.
2. Идентификация документов: Определяется набор документов, релевантных запросу.
3. Оценка документов (Scoring): Для каждого документа:
   • Формируется Instance (u, q, d) и извлекаются его признаки.
   • Рассчитывается Prior Probability для данного Instance.
   • Определяются правила в модели, условия которых выполняются.
   • Рассчитывается Posterior Probability путем комбинирования Prior Probability и весов применимых правил (согласно формуле логистической регрессии).
4. Сортировка: Документы сортируются на основе рассчитанных оценок (Posterior Probability).
5. Генерация выдачи: Формируются результаты поиска на основе отсортированных документов.

Какие данные и как использует

Данные на входе

Патент описывает систему, способную использовать огромное количество разнообразных признаков (Features). Примеры, явно упомянутые в тексте:

Пользовательские факторы (u):

• Страна пользователя.
• Язык страны пользователя.
• IP-адрес, информация из cookie (упомянуты в общем описании information retrieval data).
• История пользователя: предыдущие три запроса пользователя; количество раз, когда пользователь ранее получал доступ к документу d.

Факторы запроса (q):

• Точная строка запроса.
• Слова в запросе.
• Количество слов в запросе.
• Язык запроса.

Контентные и структурные факторы документа (d):

• Слова в документе.
• Слова в заголовке (Title) документа.

Технические факторы (d):

• Слова в URL документа.
• Домен верхнего уровня в URL.
• Префиксы URL.

Ссылочные факторы (d):

• Слова в ссылках (анкорах), указывающих на документ d.

Факторы релевантности (q и d):

• Количество раз, когда слово в запросе q совпадает со словом в документе d.

Временные факторы:

• Время суток, когда пользователь отправил запрос.

Поведенческие факторы (SERP Context):

• Слова в заголовках документов, показанных выше и ниже документа d для запроса q.
• Позиция документа d в результатах поиска.
• Количество документов выше d, которые были выбраны пользователем для запроса q.
• Метка выбора: был ли документ d выбран пользователем u для запроса q (используется как целевая переменная при обучении).

Системные факторы:

• Old Score: оценка, присвоенная документу предыдущей системой ранжирования.

Какие метрики используются и как они считаются

• Алгоритмы машинного обучения: Описание и формула указывают на использование Аддитивной Логистической Регрессии (Additive Logistic Regression).
• Prior Probability of Selection: Рассчитывается как функция от позиции, Old Score и количества кликов выше. $P(select | position, old score, selections above)$.
• Posterior Probability of Selection: Рассчитывается путем комбинирования Prior Probability с суммой весов всех применимых правил. Формула для расчета отношения шансов (Log-Odds):
  $Log(Odds_{posterior}) = -Sum_i (w_i * I(C_i)) + Log(Odds_{prior})$.
  Где $w_i$ — вес правила i, $I(C_i)$ — индикатор (1 если условие выполнено, 0 если нет). (Примечание: в патенте используется отношение P(false)/P(true), отсюда знак минус перед суммой).

1. Переход к машинно-обучаемому ранжированию (MLR): Патент описывает фундаментальную архитектуру для автоматического создания функции ранжирования на основе данных, вместо ручного подбора весов. Это позволяет учитывать гораздо большее количество сигналов и сложные взаимосвязи между ними.
2. Поведение пользователей как основа ранжирования: Модель явно обучается предсказывать вероятность выбора (клика) пользователем. Это означает, что агрегированные данные о поведении пользователей напрямую используются для обучения основного алгоритма ранжирования. Факторы ранжирования — это признаки, которые модель определила как коррелирующие с выбором пользователя.
3. Важность Prior Probability (Априорной вероятности): Система устанавливает базовый уровень ожидания клика, основанный на позиции (Position Bias), предыдущей оценке (Old Score) и контексте сессии (клики выше). Признаки (Features) используются для корректировки этой базовой вероятности. Модель учится тому, что отличает данный документ от среднего документа на этой позиции.
4. Масштаб и сложность: Подчеркивается необходимость работы с огромными объемами данных («десятки миллионов instances», миллионы features) и использование распределенных вычислений. Это указывает на то, что система полагается на статистически значимые закономерности в агрегированных данных.
5. Использование существующих оценок (Old Score): Новая модель не заменяет старую полностью, а скорее улучшает её, используя Old Score как один из входов для Prior Probability. Это обеспечивает преемственность и стабильность ранжирования при внедрении MLR.

Best practices (это мы делаем)

• Оптимизация под намерение и удовлетворенность пользователя: Поскольку модель обучается на кликах, критически важно создавать контент, который не просто содержит ключевые слова, но и удовлетворяет интент пользователя, побуждая его выбрать ваш результат и взаимодействовать с ним. Необходимо стремиться к тому, чтобы реальный CTR соответствовал или превышал предсказанную моделью вероятность выбора (Posterior Probability).
• Улучшение сниппетов (Title, Description): Эти элементы напрямую влияют на вероятность выбора. Оптимизация сниппетов для повышения кликабельности является прямой рекомендацией, следующей из логики работы модели, предсказывающей клики.
• Комплексная работа над всеми группами факторов: Патент перечисляет множество типов признаков (контент, ссылки, URL, пользовательская история). Это подтверждает необходимость комплексного подхода к SEO, так как модель ищет корреляции во всех доступных данных. Изоляция отдельных факторов неэффективна.
• Анализ поведенческих метрик: Мониторинг и улучшение поведенческих показателей на сайте (время на сайте, глубина просмотра, решение задачи пользователя). Хотя патент фокусируется на выборе (клике) в SERP, общая цель — предсказание успеха пользователя, что тесно связано с качеством взаимодействия на сайте.
• Построение авторитетности и E-E-A-T: Сигналы авторитетности (например, качественные ссылки, упомянутые как features) будут получать высокий вес в модели, если они статистически коррелируют с более частым выбором пользователями.

Worst practices (это делать не надо)

• Искусственная накрутка CTR (Кликфрод): Попытки манипулировать данными, на которых обучается модель, рискованны. Хотя система работает с агрегированными данными, Google имеет сложные системы для фильтрации аномального поведения и кликфрода, которые могут привести к санкциям или игнорированию манипулятивных сигналов.
• Фокус только на ключевых словах (Keyword Stuffing): Создание контента, оптимизированного под ключевые слова, но не удовлетворяющего пользователя. Если такой контент получает показы, но не получает клики, модель научится ассоциировать признаки этого контента с низкой вероятностью выбора.
• Использование кликбейтных заголовков, не соответствующих содержанию: Это может привести к краткосрочному увеличению кликов, но последующему быстрому возврату в выдачу (пого-стикинг). Хотя данный патент явно не описывает анализ поведения после клика, современные системы (развивающие эти идеи) учитывают удовлетворенность после клика.

Стратегическое значение

Этот патент является одним из foundational-документов, подтверждающих стратегию Google по использованию ИИ и данных о поведении пользователей в ядре ранжирования. Для SEO это означает, что релевантность определяется не только семантическим соответствием контента запросу, но и тем, насколько успешно документ решает задачу пользователя в сравнении с конкурентами. Долгосрочная стратегия должна фокусироваться на создании лучшего пользовательского опыта и повышении реальной ценности контента, так как именно эти параметры (через прокси-метрики кликов и взаимодействий) обучают алгоритмы ранжирования.

Практические примеры

Сценарий: Обучение модели на основе нового тренда в сниппетах

1. Ситуация: В нише e-commerce сайты начинают добавлять эмодзи и информацию о скидках в Title.
2. Сбор данных: Google собирает миллионы Instances. В них появляются новые признаки (Features): «наличие эмодзи в Title», «наличие % скидки в Title».
3. Обучение: Система машинного обучения анализирует эти Instances. Она замечает, что при прочих равных (одинаковая Prior Probability), документы с этими новыми признаками получают больше кликов.
4. Генерация правил: Система создает новые правила (Rules). Например: Условие C1 = («эмодзи в Title» И «запрос коммерческий»), Вес W1 = +0.5.
5. Применение: Когда пользователь вводит коммерческий запрос, модель применяет это правило. Документы с эмодзи в Title получают бустинг к своему Posterior Probability и ранжируются выше.
6. Результат для SEO: Специалисты, которые следят за трендами в оформлении сниппетов и тестируют их влияние на CTR, получают преимущество в ранжировании.