Как Google использует Reinforcement Learning для оптимизации долгосрочной вовлеченности пользователя и подавления кликбейта

Описание

Какую задачу решает

Патент решает проблему оптимизации выбора контента (результатов поиска, рекомендаций, рекламы), которая традиционно фокусируется на краткосрочных метриках (например, максимизации немедленного CTR). Такая оптимизация может способствовать продвижению кликбейта или контента, который привлекает клик, но разочаровывает пользователя, что в конечном итоге снижает его лояльность и частоту использования системы. Изобретение направлено на максимизацию long-term user engagement (долгосрочной вовлеченности пользователя).

Что запатентовано

Запатентована система выбора контента, использующая модель машинного обучения, обученную с подкреплением (Reinforcement Learning, RL). Эта модель (long-term engagement machine learning model) прогнозирует не вероятность клика на текущий элемент, а Engagement Score — ожидаемую сумму будущих взаимодействий пользователя с системой (скорректированную по времени), если этот элемент будет показан. Система стремится выбирать контент, который максимизирует долгосрочную ценность пользователя для платформы.

Как это работает

Система оценивает потенциальный элемент контента в текущем контексте (включая историю пользователя). Ключевой механизм — сравнение двух сценариев с помощью модели RL:

• Сценарий 1: Рассчитывается Engagement Score — прогноз будущей вовлеченности, если элемент показать.
• Сценарий 2: Рассчитывается Null Engagement Score — прогноз будущей вовлеченности, если элемент не показывать (используя null content item или действие «воздержаться от показа»).

Разница между этими оценками определяет влияние показа на долгосрочную вовлеченность. Если показ элемента приводит к значительному снижению ожидаемой будущей активности по сравнению с его отсутствием, система может принять решение не показывать этот элемент.

Актуальность для SEO

Высокая. Оптимизация пользовательского опыта, удовлетворенности (Satisfaction) и борьба с низкокачественным контентом (например, через Helpful Content System) являются приоритетами Google. Использование передовых методов ML, таких как Reinforcement Learning (изобретатели связаны с DeepMind/Google), для моделирования долгосрочного поведения пользователей крайне актуально и отражает современные тенденции в развитии поисковых и рекомендательных систем.

Важность для SEO

Патент имеет критическое значение для SEO (90/100). Он описывает механизм, который напрямую наказывает стратегии, ориентированные на привлечение кликов любой ценой (кликбейт, обманчивые заголовки). Система отдает предпочтение контенту, который полностью удовлетворяет интент и обеспечивает положительный пользовательский опыт после клика (Post-Click Satisfaction). Это подчеркивает, что анализ поведенческих факторов включает оценку долгосрочного влияния контента на лояльность пользователя к Google.

Детальный разбор

Термины и определения

Context (Контекст)

Данные, характеризующие текущее состояние среды, в которой может быть представлен контент. Включает характеристики самого контента, время, позицию показа, а также историю недавних взаимодействий и запросов пользователя.

Engagement Score (Оценка вовлеченности)

Выходные данные модели RL. Представляет собой прогноз будущей вовлеченности пользователя. Конкретно определяется как прогнозируемая, скорректированная по времени сумма вознаграждений (predicted, time-adjusted sum of rewards) или общее количество будущих выборов контента.

Long-term engagement machine learning model (Модель машинного обучения долгосрочной вовлеченности)

Модель (например, нейронная сеть, LSTM, RNN), обученная с помощью Reinforcement Learning для прогнозирования Engagement Score. Также упоминается как Prediction Subsystem.

Null Content Item (Нулевой элемент контента)

Данные-заполнители, которые подаются на вход модели, чтобы симулировать сценарий, при котором контент не показывается в текущем контексте (действие «воздержаться от показа»).

Null Engagement Score (Нулевая оценка вовлеченности)

Прогноз будущей вовлеченности пользователя, если в текущем контексте контент не будет показан.

Presentation Environment (Среда представления)

Интерфейс, в котором представляется контент. Примеры: страница результатов поиска (SERP), лента рекомендаций, страница просмотра видео.

Reinforcement Learning (RL, Обучение с подкреплением)

Метод машинного обучения, при котором модель учится принимать решения путем взаимодействия со средой и получения вознаграждений (reward). Цель — максимизировать суммарное вознаграждение в долгосрочной перспективе.

Reward (Вознаграждение)

Немедленная обратная связь. Например, 1, если пользователь выбрал (кликнул) элемент контента, и 0, если нет.

Temporal Difference (TD) Learning (Обучение на временных разностях)

Метод в RL, используемый для обучения модели. Основан на разнице между текущей оценкой ценности состояния и обновленной оценкой (полученное вознаграждение плюс ценность следующего состояния).

Ключевые утверждения (Анализ Claims)

Патент является продолжением (continuation) более ранней заявки. В представленном документе Claim 1 отменен.

Claim 2 (Независимый пункт): Описывает основной процесс принятия решения.

1. Система получает данные, характеризующие первый элемент контента и первый контекст.
2. Эти данные подаются на вход long-term engagement machine learning model.
3. Модель генерирует first engagement score. Эта оценка представляет собой прогнозируемую, скорректированную по времени сумму вознаграждений (time-adjusted sum of rewards), которые будут получены в будущих временных окнах, при условии, что первый элемент контента представлен в текущем окне.
4. На основе как минимум этой оценки система определяет, представлять ли элемент контента пользователю.

Claim 3 (Зависимый от 2): Детализирует механизм сравнения.

1. Система генерирует оценку second engagement score (аналог Null Engagement Score). Эта оценка представляет прогноз будущих вознаграждений, если первый элемент контента НЕ представлен в текущем окне.
2. Решение о показе принимается на основе сравнения first engagement score и second engagement score.

Claim 4 (Зависимый от 3): Уточняет, как модель обрабатывает разные сценарии (действия).

1. Для получения первой оценки на вход модели подаются данные, указывающие на действие «показать элемент».
2. Для получения второй оценки на вход модели подаются данные, указывающие на действие «воздержаться от показа элемента» (refrain from presenting).

Claim 5 (Зависимый от 3): Определяет строгое правило принятия решения.

Система решает представить элемент контента ТОЛЬКО тогда, когда first engagement score больше, чем second engagement score. Это означает, что показ элемента должен улучшать (или как минимум не ухудшать) ожидаемую долгосрочную вовлеченность по сравнению с его отсутствием.

Claim 7 (Зависимый от 2): Подтверждает, что модель обучена с использованием Reinforcement Learning.

Где и как применяется

Изобретение применяется на финальных этапах формирования выдачи для пользователя, функционируя как система фильтрации (Gating) или переранжирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе рассчитываются статические характеристики контента, которые затем используются как входные данные для модели RL. К ним относятся quality of the content item (качество элемента) и quality of the resource linked to (качество связанного ресурса).

RANKING – Ранжирование
Основные системы ранжирования генерируют список кандидатов и рассчитывают краткосрочные метрики, такие как прогнозируемая вероятность клика (predicted likelihood that the user will select), которые также используются как входные данные для модели RL.

RERANKING – Переранжирование / METASEARCH – Метапоиск и Смешивание
Это основная область применения патента. Prediction Subsystem (модель RL) оценивает каждого кандидата в текущем контексте пользователя.

1. Оценка кандидатов: Система использует модель RL для расчета Engagement Scores для сценариев показа и непоказа.
2. Принятие решения: Система сравнивает оценки. Элементы контента, которые прогнозируемо снижают долгосрочную вовлеченность, могут быть исключены из выдачи (фильтрация) или значительно понижены.

Входные данные:

• Данные о контенте (Качество элемента, качество ресурса, pClick, навигационный скор).
• Данные о контексте (Время/дата, позиция представления).
• Данные о пользователе (История показанных элементов, статус их выбора, недавние запросы).

Выходные данные:

• Решение о показе элемента контента (Да/Нет) или скорректированный набор результатов.

На что влияет

• Среда представления: Применяется в поисковой выдаче (SERP) для органических результатов и рекламы, а также в рекомендательных системах (видео, изображения, новости, Discover).
• Типы контента: Наибольшее влияние на контент с высокой краткосрочной привлекательностью, но низкой удовлетворенностью после взаимодействия (кликбейт, тонкий контент, вводящие в заблуждение заголовки).
• Ниши и тематики: Актуально для всех ниш, особенно там, где высок риск разочарования пользователя (новости, развлечения, YMYL).

Когда применяется

• Условия применения: Алгоритм применяется в момент принятия решения о включении элемента контента в Presentation Environment.
• Механизм принятия решения: Решение зависит от сравнения прогнозируемой долгосрочной вовлеченности при показе элемента и без него. Если показ элемента снижает долгосрочную вовлеченность (согласно Claim 5), элемент не показывается.
• Альтернативный механизм (из описания): В описании патента также упоминается возможность использования порога (Threshold T). Элемент не показывается, если негативное влияние превышает этот порог. Порог может рассчитываться с учетом баланса краткосрочной выгоды (STV) и долгосрочных потерь: T=(k-STV)/AV, где AV — средняя ценность будущего взаимодействия.

Пошаговый алгоритм

Процесс А: Принятие решения в реальном времени (Online)

1. Получение данных: Система получает данные, характеризующие текущий контекст и элемент контента (кандидат на показ).
2. Формирование Входа 1 (Показ элемента): Создается входной вектор, включающий контекст, характеристики кандидата и действие «показать».
3. Расчет Current Engagement Score: Вход 1 обрабатывается моделью RL для получения прогноза будущей вовлеченности, если элемент будет показан.
4. Формирование Входа 2 (Отсутствие элемента): Создается входной вектор, включающий контекст и действие «не показывать» (или используя Null Content Item).
5. Расчет Null Engagement Score: Вход 2 обрабатывается моделью RL для получения прогноза будущей вовлеченности, если элемент не будет показан.
6. Принятие решения: Система сравнивает оценки.
   • Если Current Engagement Score > Null Engagement Score (или разница не превышает допустимый порог снижения T): Показать элемент.
   • Иначе: Отказаться от показа элемента (фильтрация).

Процесс Б: Обучение модели (Offline Training via Reinforcement Learning)

1. Сбор данных (Tuple): Система получает кортеж данных о взаимодействии: (Контекст 1, Элемент 1, Статус выбора Элемента 1 [Reward R], Контекст 2). Контекст 2 следует сразу за Контекстом 1.
2. Расчет оценок: Модель обрабатывает Контекст 1 для получения Оценки 1 (V(st)) и Контекст 2 для получения Оценки 2 (V(st+1)).
3. Расчет ошибки: Вычисляется ошибка прогнозирования с использованием Temporal Difference learning error: E = V(st) — (R + γV(st+1)), где γ — коэффициент дисконтирования времени (time discount factor).
4. Обновление модели: Параметры модели корректируются (например, методом градиентного спуска с обратным распространением ошибки) для минимизации этой ошибки.

Какие данные и как использует

Данные на входе

Модель RL использует разнообразные данные для характеристики контекста и элемента контента:

• Контентные и Качественные факторы:
  • Score that represents the quality of the content item (Оценка качества элемента).
  • Если элемент содержит ссылку: Score that represents a quality of the resource linked to (Оценка качества связанного ресурса).
• Поведенческие и Прогнозные факторы:
  • Predicted likelihood that the user will select the content item (Прогнозируемая вероятность выбора, pClick/CTR).
  • История пользователя: Характеристики ранее показанных элементов и данные о том, были ли они выбраны пользователем.
• Технические и Контекстуальные факторы:
  • Presentation position (Позиция представления элемента).
  • Текущее время и дата.
• Факторы, связанные с запросом (если применимо):
  • Текст текущего и недавних поисковых запросов пользователя.
  • Navigational score (Оценка вероятности того, что элемент является навигационным ответом на запрос).

Какие метрики используются и как они считаются

• Engagement Score (V(s)): Основная метрика, прогнозируемая моделью. Представляет собой ожидаемую суммарную будущую вовлеченность, скорректированную по времени (time-adjusted sum of rewards).
• Reward (R): Немедленное вознаграждение за действие. Например, 1 если пользователь выбрал контент, 0 если нет.
• Time discount factor (γ): Коэффициент дисконтирования, используемый в RL, чтобы придавать меньший вес будущим вознаграждениям по сравнению с немедленными.
• Temporal Difference Learning Error (E): Сигнал ошибки, используемый для обучения модели RL. Рассчитывается по формуле: E = V(st) — (R + γV(st+1)).
• Алгоритмы машинного обучения: Используется Reinforcement Learning. Сама модель может быть реализована как нейронная сеть, рекуррентная нейронная сеть (RNN) или LSTM, что позволяет обрабатывать последовательности взаимодействий.

Выводы

1. Приоритет долгосрочной ценности над краткосрочной выгодой: Патент демонстрирует фундаментальный сдвиг от оптимизации немедленного CTR к оптимизации долгосрочной лояльности пользователя (Lifetime Value). Google готов пожертвовать показом кликабельного контента сейчас, если это сохранит активность пользователя в будущем.
2. Наказание за негативный опыт и кликбейт: Система явно предназначена для выявления и подавления контента, который разочаровывает пользователя после клика (низкая Post-Click Satisfaction). Такой контент снижает Engagement Score, так как приводит к уменьшению будущих взаимодействий.
3. Сравнение с альтернативой (Null Score) как механизм фильтрации (Gating): Решение о показе принимается в сравнении со сценарием, когда контент не показывается. Элемент должен доказать свою ценность для долгосрочной вовлеченности, чтобы быть показанным.
4. История пользователя как критический контекст: Модель RL учитывает недавние действия пользователя (показанный контент, клики, запросы) как часть текущего состояния (Context). Это позволяет моделировать сложное поведение, удовлетворенность или усталость пользователя в рамках сессии.
5. Качество контента и ресурса как входные сигналы: Предварительно рассчитанные оценки качества (Quality Score) являются важными входными данными для модели RL, что подтверждает важность сигналов качества (E-E-A-T, Helpful Content) для прогнозирования удовлетворенности пользователя.

Практика

Best practices (это мы делаем)

• Оптимизация под удовлетворенность (Post-Click Satisfaction), а не только под клики: Необходимо гарантировать, что контент полностью соответствует обещаниям, данным в заголовке и сниппете. Удовлетворенный пользователь с большей вероятностью продолжит взаимодействие с системой, что повышает Engagement Score вашего контента.
• Анализ пост-клик поведения: Тщательно отслеживайте метрики, указывающие на разочарование пользователя (например, pogo-sticking — быстрый возврат в выдачу). Устранение причин негативного опыта критично для соответствия требованиям этого алгоритма.
• Повышение качества контента и сайта (E-E-A-T): Поскольку Quality Score элемента и связанного ресурса являются входными данными для модели RL, работа над E-E-A-T и создание полезного контента (Helpful Content) напрямую влияет на вероятность показа.
• Создание положительного пользовательского опыта (UX/CWV): Обеспечьте быструю загрузку, чистый дизайн и отсутствие агрессивной рекламы или навязчивых всплывающих окон. Плохой UX может привести к фрустрации пользователя и снижению долгосрочной вовлеченности, что будет зафиксировано моделью RL.

Worst practices (это делать не надо)

• Использование кликбейта: Заголовки, которые привлекают клик, но не соответствуют содержанию, являются основной целью этого патента. Они могут давать высокий немедленный Reward (клик), но сильно снижают долгосрочный Engagement Score и приводят к фильтрации контента.
• Введение пользователя в заблуждение: Использование обманчивых сниппетов или мета-тегов для привлечения нецелевого трафика приведет к разочарованию пользователя и пессимизации контента этой системой.
• Создание тонкого или бесполезного контента (MFA-сайты): Страницы, не дающие исчерпывающего ответа на запрос или созданные только для показа рекламы, будут негативно влиять на будущую активность пользователя.
• Агрессивная монетизация, мешающая потреблению контента: Перегрузка страниц рекламой и другими раздражающими элементами снижает удовлетворенность и долгосрочную вовлеченность.

Стратегическое значение

Этот патент подтверждает стратегический вектор Google на измерение и оптимизацию реальной удовлетворенности пользователей. Он предоставляет техническую базу для алгоритмов типа Helpful Content System. Долгосрочная SEO-стратегия должна быть сфокусирована на создании контента и пользовательского опыта, которые не просто привлекают трафик, но и полностью решают задачу пользователя. Модель Reinforcement Learning позволяет Google алгоритмически оценивать это влияние в динамике на основе поведения пользователя.

Практические примеры

Сценарий: Подавление кликбейтной статьи в результатах поиска

1. Запрос: «Сенсационное открытие в лечении диабета» (YMYL).
2. Кандидат 1 (Кликбейт): Статья с заголовком «Врачи скрывали это! Простое средство излечит диабет за ночь». Имеет высокий прогнозируемый CTR (pClick), но низкий Quality Score ресурса.
3. Кандидат 2 (Авторитетный источник): Статья из медицинского журнала с заголовком «Предварительные результаты исследования нового препарата X». Имеет средний pClick, но высокий Quality Score.
4. Анализ моделью RL:
   • Модель прогнозирует, что пользователи, кликнувшие на Кандидата 1, будут разочарованы (Post-Click Dissatisfaction) и их будущая активность в поиске снизится (Низкий Current Engagement Score).
   • Модель прогнозирует, что пользователи, кликнувшие на Кандидата 2, получат достоверную информацию и их лояльность сохранится (Высокий Current Engagement Score).
5. Принятие решения: Система определяет, что Current Engagement Score Кандидата 1 ниже, чем его Null Engagement Score (т.е. лучше его не показывать вообще) или значительно ниже, чем у Кандидата 2.
6. Результат: Кандидат 1 подавляется (фильтруется или сильно понижается), а Кандидат 2 получает более высокую позицию, несмотря на более низкий краткосрочный pClick.

Вопросы и ответы