Как Google обучает модели прогнозирования (например, CTR), одновременно оптимизируя точность абсолютных значений и правильность ранжирования

Описание

Какую задачу решает

Патент решает фундаментальную проблему машинного обучения в поисковых и рекламных системах: модели, оптимизированные только для регрессии (точность абсолютных прогнозов, например, точного процента CTR), могут плохо справляться с ранжированием (определение относительного порядка). И наоборот, модели ранжирования могут правильно упорядочивать элементы, но давать неточные абсолютные прогнозы. Изобретение позволяет создать единую модель прогнозирования результатов (Outcome Estimation Model), эффективную по обоим критериям.

Что запатентовано

Запатентована система и метод обучения моделей прогнозирования результатов (например, eCTL — estimated click-through likelihood) с использованием гибридного подхода. Система итеративно чередует обучение на основе регрессии (используя отдельные записи данных) и обучение ранжированию (используя пары записей данных). Это гарантирует, что итоговая модель оптимизирована одновременно по метрикам ошибок регрессии (regression error measures) и метрикам ошибок ранжирования (ranking error measures).

Как это работает

Процесс обучения модели выглядит следующим образом:

• Инициализация: Веса признаков (Feature weights) модели инициализируются.
• Итеративный выбор: На каждом шаге обучения система полуслучайным образом выбирает тип данных: либо отдельную запись (Data Record), либо пару записей (Record Pair).
• Обновление весов (Регрессия): Если выбрана отдельная запись, веса модели обновляются с целью минимизации ошибки между прогнозируемым и фактическим результатом (например, используя Squared Loss).
• Обновление весов (Ранжирование): Если выбрана пара записей (например, один кликнутый и один некликнутый элемент), веса обновляются с целью минимизации ошибок в их относительном порядке (например, используя Logistic Loss).
• Взвешивание кликов: При обучении система может использовать механизм Click Weighting (описанный в патенте), придавая больший вес первому клику пользователя в сессии по сравнению с последующими.
• Завершение: Обучение продолжается до выполнения условия остановки.

Актуальность для SEO

Высокая. Точное прогнозирование поведения пользователей (CTR, вовлеченность) остается центральной задачей как для рекламных, так и для органических поисковых систем. Описанные методы (стохастический градиентный спуск, гибридные функции потерь, взвешивание сигналов) являются стандартной практикой в современном машинном обучении для построения надежных прогностических моделей.

Важность для SEO

Патент имеет существенное значение (6.5/10) для понимания того, как Google строит модели для оценки вовлеченности. Хотя примеры сфокусированы на рекламе (eCTL), методология применима к органическому поиску. Патент подчеркивает важность относительных метрик (система оптимизирована, чтобы определить, лучше ваш CTR или хуже, чем у конкурентов) и описывает концепцию взвешивания кликов (Click Weighting), подчеркивая критичность первого взаимодействия пользователя.

Детальный разбор

Термины и определения

Aggregate Loss (Агрегированная потеря)

Общая функция потерь, комбинирующая потери регрессии и ранжирования. Используется для оптимизации баланса между двумя типами обучения.

Click Weighting (Взвешивание кликов)

Механизм, описанный в патенте, при котором клики пользователя взвешиваются в зависимости от их порядка в сессии. Первый клик получает больший вес, чем последующие.

Data Record (Запись данных)

Единичный набор данных, содержащий значения признаков (Feature values) и фактический результат (Reference Outcome). Используется для обучения регрессии.

eCTL (estimated Click-Through Likelihood)

Оценочная вероятность клика. Значение, прогнозирующее вероятность того, что пользователь выберет элемент контента.

Feature Weights (Веса признаков)

Значения в модели, представляющие относительную важность каждого признака для прогнозирования результата.

Loss Measure (Мера потерь)

Значение, представляющее стоимость ошибки прогнозирования. Примеры: Squared Loss (для регрессии) и Logistic Loss (для ранжирования).

Outcome Estimation Model (Модель оценки результатов)

Прогностическая модель, используемая для расчета ожидаемых результатов (например, eCTL) на основе входных признаков.

Ranking Training (Обучение ранжированию)

Метод обучения, направленный на оптимизацию способности модели правильно упорядочивать элементы относительно друг друга. Использует Record Pairs.

Record Pair (Пара записей)

Пара записей данных, часто с разными результатами (например, клик и не-клик). Используется для обучения ранжированию.

Regression Training (Обучение регрессии)

Метод обучения, направленный на оптимизацию точности прогнозирования абсолютных значений результата. Использует отдельные Data Records.

Stochastic Gradient Step (Стохастический градиентный шаг)

Итеративный метод оптимизации (часть SGD), используемый для обновления весов модели во время обучения.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обучения и использования модели.

1. Обучение модели с использованием как мер ошибок регрессии (на отдельных записях), так и мер ошибок ранжирования (на парах записей).
2. Процесс обучения включает итеративный выбор обучающих данных: либо Data Record (с первой вероятностью), либо Record Pair (со второй вероятностью), и обновление весов до выполнения условия остановки.
3. Использование обученной модели: получение запроса, вычисление прогнозируемого результата (Predicted outcome), вычисление Selection Scores и выбор контента.

Claim 4 (Зависимый от 3): Детализирует, как определяется порог (вероятность) для выбора между обучением на записи или на паре.

Система тестирует различные пороговые значения и выбирает то, которое приводит к наименьшей мере потерь (Loss Measure). Это оптимизирует баланс между регрессией и ранжированием.

Claim 8 (Зависимый от 7): Детализирует процесс обновления весов при обучении ранжированию (на паре записей).

1. Вычисляются парные значения признаков (pair feature values) как математическая разница между значениями признаков двух записей в паре.
2. Вычисляется парный результат (pair outcome) как разница между фактическими результатами.
3. Веса корректируются с использованием стохастического градиентного шага (stochastic gradient step) на основе этих данных.

Claim 9 (Зависимый от 1): Уточняет применение изобретения в контексте рекламы.

Прогнозируемый результат — это вероятность клика (click-through likelihood). Selection score вычисляется как функция вероятности клика и ставки (bid).

Где и как применяется

Этот патент описывает инфраструктуру машинного обучения, которая затрагивает два ключевых этапа.

INDEXING – Индексирование и извлечение признаков (Фаза анализа данных и обучения)
Основная часть работы происходит офлайн. Система (Modeling Apparatus) анализирует исторические данные о производительности контента (клики, показы) для обучения Outcome Estimation Model.

• Входные данные: Исторические записи (Data Records), включающие Feature values и Reference Outcomes (фактический результат, например, клик).
• Процесс: Гибридное обучение (регрессия + ранжирование). При этом может использоваться Click Weighting для корректировки значимости сигналов.
• Выходные данные: Обученная модель (вектор весов).

RANKING – Ранжирование / RERANKING – Переранжирование
Обученная модель применяется на этом этапе в реальном времени для оценки кандидатов.

• Входные данные: Запрос, набор контента-кандидатов и их текущие Feature values.
• Процесс: Модель используется для вычисления Predicted outcome (например, eCTL) для каждого кандидата.
• Выходные данные: eCTL для каждого кандидата, который затем используется для расчета Selection Score и финального ранжирования.

На что влияет

• Рекламные системы (Явно указано): Патент напрямую описывает использование модели для расчета eCTL в рекламных аукционах.
• Органический поиск (Высокая вероятность): Технология обучения надежных моделей прогнозирования вовлеченности является фундаментальной. Алгоритмы органического ранжирования, использующие поведенческие факторы (прогнозируемый CTR, удовлетворенность), вероятно, используют модели, обученные схожим образом.
• Системы рекомендаций: Применимо к выбору видео, новостей, товаров или любого контента, где важна вероятность выбора пользователем.

Когда применяется

• Обучение модели: Происходит периодически или непрерывно в офлайн-режиме по мере поступления новых данных о производительности контента.
• Использование модели: В реальном времени при каждом запросе, требующем оценки и ранжирования контента на основе прогнозируемой вовлеченности.

Пошаговый алгоритм

Процесс обучения гибридной модели

1. Инициализация: Установить начальные веса признаков (Feature weights).
2. Определение баланса: Определить оптимальный порог (α), задающий вероятность выбора между обучением регрессии и ранжированию (путем минимизации Aggregate Loss).
3. Начало итерации обучения.
4. Выбор типа обучения: Сгенерировать полуслучайное значение и сравнить его с порогом (α) для выбора метода:
   • Вариант А: Regression Training.
   • Вариант Б: Ranking Training.
5. Выбор и обработка данных:
   • (Вариант А): Выбрать одну запись данных (Data Record).
   • (Вариант Б): Выбрать пару записей (Record Pair), часто с разными исходами. Вычислить разницу в признаках и результатах.
6. Применение взвешивания (Click Weighting): При обработке данных о кликах, скорректировать вес клика в зависимости от его порядка в сессии (например, первый клик имеет вес 1.0, второй 0.5).
7. Обновление весов: Скорректировать Feature weights модели с помощью стохастического градиентного шага (Stochastic Gradient Step). Шаг рассчитывается на основе функции потерь, соответствующей выбранному типу обучения (например, Squared Loss для А, Logistic Loss для Б).
8. Проверка условия остановки: Определить, выполнено ли условие остановки (например, количество итераций). Если нет, вернуться к шагу 3. Если да, завершить обучение.

Какие данные и как использует

Данные на входе

Система использует исторические данные для обучения модели.

• Поведенческие факторы: Критически важные данные.
  • Reference Outcomes: Фактические результаты взаимодействия (клик/отсутствие клика).
  • Порядок кликов (Click Order): В описании патента указано, что данные могут индексироваться по порядку кликов пользователя в сессии (1-й, 2-й, 3-й клик).
• Контентные и Контекстные факторы (Feature Values): Значения признаков, описывающие элемент контента и контекст показа. Примеры включают:
  • Характеристики контента (цвет, размер, анимация).
  • Критерии таргетинга (ключевые слова).
  • Меры сходства (например, между контентом и запросом).
  • Позиция показа.

Какие метрики используются и как они считаются

• eCTL (estimated Click-Through Likelihood): Основной прогнозируемый результат работы модели.
• Функции потерь (Loss Measures): Используются для оценки ошибки и обновления весов.
  • Squared Loss (Квадратичная потеря): Используется в регрессии. (y_r — y_e)^2.
  • Logistic Loss (Логистическая потеря): Упоминается для использования в ранжировании.
• Aggregate Loss (Агрегированная потеря): Комбинация потерь регрессии и ранжирования. Используется для нахождения оптимального баланса (α) между двумя типами обучения. Aggregate Loss = αL(w, D) + (1-α)L(w, P) + λ||w||₂².
• Stochastic Gradient Step: Математический механизм обновления весов модели для минимизации функции потерь.
• Click Weighting (Взвешивание кликов): Механизм корректировки веса сигнала клика. В описании патента приведен пример: первый клик имеет вес 1.0, второй 0.5, третий 0.25. Это снижает влияние последующих кликов на обучение модели по сравнению с первым кликом.

Выводы

1. Гибридное обучение для надежных прогнозов: Google не полагается только на точность абсолютных значений (регрессия) или только на правильность порядка (ранжирование) при обучении моделей прогнозирования поведения (eCTL). Используется гибридный подход, гарантирующий надежность модели по обоим критериям.
2. Критичность поведенческих метрик: Патент демонстрирует сложную инфраструктуру для точного прогнозирования вовлеченности, подтверждая стратегическую важность поведенческих сигналов (таких как CTR) в системах Google.
3. Ранжирование — это относительное соревнование: Компонент Ranking Training подчеркивает, что производительность контента оценивается относительно других кандидатов. Для SEO это означает, что важен не абсолютный CTR, а CTR относительно конкурентов в конкретной выдаче.
4. Приоритет первого клика (Click Weighting): Механизм взвешивания кликов, где первый клик имеет больший вес, чем последующие, имеет прямое значение для SEO. Это указывает на то, что удовлетворение интента пользователя при первом взаимодействии является наиболее важным сигналом релевантности.

Практика

Best practices (это мы делаем)

• Оптимизация относительной вовлеченности: Сфокусируйтесь на улучшении CTR относительно прямых конкурентов в SERP. Анализируйте выдачу, чтобы понять, почему конкуренты могут получать более высокий eCTL (прогнозируемый CTR), и оптимизируйте сниппеты (Title, Description) для повышения релевантности и привлекательности.
• Приоритет немедленного удовлетворения интента: Учитывая механизм Click Weighting (приоритет первого клика), критически важно, чтобы страница немедленно отвечала на запрос пользователя. Это снижает вероятность возврата к выдаче (pogo-sticking) и максимизирует вес положительного сигнала от первого клика.
• Комплексная оптимизация признаков: Понимайте, что eCTL рассчитывается на основе множества признаков (Feature values). Работайте над всеми аспектами, которые могут повлиять на восприятие пользователем: релевантность контента, скорость загрузки, удобство использования.

Worst practices (это делать не надо)

• Игнорирование контекста и конкуренции: Оптимизация CTR в вакууме неэффективна. Модель обучается на ранжировании (Ranking Training), поэтому если ваш CTR ниже, чем у конкурентов по данному запросу, позиции могут снижаться.
• Кликбейт и манипуляции с CTR: Использование кликбейтных заголовков, которые приводят к высокому CTR, но низкой удовлетворенности. Поскольку первый клик имеет наибольший вес (Click Weighting), быстрый возврат после этого клика является сильным негативным сигналом, указывающим на низкое качество взаимодействия.
• Фокус только на текстовой релевантности без учета поведения: Создание контента, который формально релевантен запросу, но не генерирует вовлеченность. Сложная инфраструктура прогнозирования eCTL указывает на то, что поведенческие факторы играют значительную роль.

Стратегическое значение

Патент подтверждает, что Google обладает сложным инструментарием для прогнозирования и использования поведения пользователей в ранжировании. Для SEO-стратегии это означает необходимость перехода от анализа статических факторов к пониманию динамических и относительных метрик производительности. Модели Google оптимизированы для выявления контента, который не просто хорош, а лучше других доступных вариантов. Акцент на Click Weighting также подтверждает важность UX и качества первого взаимодействия.

Практические примеры

Сценарий: Применение инсайта о Click Weighting и Pogo-sticking

1. Ситуация: Информационная страница имеет высокий CTR, но пользователи часто возвращаются в выдачу и кликают на другие результаты.
2. Анализ (на основе патента): Пользователь совершает первый клик (вес 1.0) на нашу страницу. Не найдя ответа, он возвращается и совершает второй клик (вес 0.5) на страницу конкурента, где находит ответ.
3. Интерпретация Google: Система интерпретирует это как неудачу первого результата. Высокий вес первого клика усиливает негативный сигнал от быстрого возврата.
4. Действия: Переработать контент страницы, вынести ключевую информацию в начало (формат Quick Answer), улучшить UX, чтобы пользователь мог немедленно удовлетворить свой интент.
5. Результат: Пользователи перестают возвращаться в выдачу после первого клика. Система получает сильный положительный сигнал (успешный первый клик с весом 1.0), что способствует улучшению ранжирования.

Вопросы и ответы