Как Google использует обучение с подкреплением (Reinforcement Learning) для оптимизации ранжирования и переписывания запросов на основе успешности поисковых сессий

Термины и определения

Action Parameters (Параметры действий)

Выходные данные Policy. Определяют, как именно поисковая система должна обработать запрос. Могут включать веса для различных сигналов ранжирования, инструкции по переписыванию запроса или модификации индекса.

Cessation Event (Событие завершения сессии)

Событие, указывающее на окончание поисковой сессии. Может быть положительным (пользователь нашел контент, например, длительный клик) или отрицательным (пользователь прекратил поиск, не найдя нужного).

Policy (Стратегия, Политика)

Ядро модели Reinforcement Learning. Определяет, какие действия (Action Parameters) следует предпринять в ответ на данное состояние (State). Часто реализуется в виде нейронной сети, веса которой обучаются итеративно.

Reinforcement Learning (RL) (Обучение с подкреплением)

Тип машинного обучения, при котором система учится действовать в среде для максимизации некоторого совокупного вознаграждения (Reward).

Reward (Вознаграждение)

Сигнал обратной связи, используемый для обновления Policy. Рассчитывается на основе исхода поисковой сессии. Цель системы – максимизировать Reward, что соответствует быстрым и успешным сессиям.

Search Actions (Поисковые действия)

Действия, выполняемые поисковой системой, которыми управляют Action Parameters. Включают идентификацию релевантных документов (Retrieval) и их ранжирование (Ranking).

Search Session (Поисковая сессия)

Последовательность поисковых запросов и взаимодействий пользователя, начинающаяся с исходного запроса и заканчивающаяся событием завершения (Cessation Event).

State (Состояние)

Представление текущей ситуации в поисковой сессии. Основывается на текущем запросе (например, через Word2vec эмбеддинги) и может включать контекст (время, устройство, местоположение).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной цикл работы системы Reinforcement Learning для оптимизации поиска.

1. Система получает серию запросов в рамках Search Session.
2. Для запроса определяется соответствующее State.
3. Текущая Policy используется для генерации Action Parameters.
4. Поисковая система выполняет Search Actions на основе этих параметров и предоставляет результаты.
5. Система обнаруживает Cessation Event. Конкретизируется, что это может быть основано на том, что контент результата отображался в течение порогового времени (длительный клик/Dwell Time).
6. Определяется Reward. Он основан на (i) факте наступления Cessation Event и (ii) количестве раз, когда пользователь выбирал другие результаты и просматривал их менее порогового времени (pogo-sticking/quick-backs).
7. На основе Reward генерируется модифицированная Policy.
8. Впоследствии, при получении нового запроса, система использует эту модифицированную Policy для генерации новых действий.

Claim 2 (Зависимый): Уточняет, что Action Parameters могут включать параметры ранжирования, диктующие, как результаты должны быть упорядочены.

Claim 3 (Зависимый): Уточняет, что Action Parameters могут включать параметры поиска (retrieval parameters), диктующие, как идентифицировать релевантные файлы.

Claims 4 и 5 (Зависимые): Уточняют механизм поиска. Параметры могут диктовать модификацию поискового запроса (переписывание). Поиск осуществляется по модифицированному запросу, что позволяет находить файлы, индексированные по добавленным терминам, даже если их не было в исходном запросе.

Claim 6 (Зависимый): Уточняет, что Reward также зависит от количества состояний (длительности) сессии.

Claim 8 (Независимый пункт): Описывает механизм адаптации индекса на основе анализа сессии (связанный с RL, но описанный отдельно).

1. Получен Запрос 1 (с Термином А). Показаны Результаты 1.
2. Получен Запрос 2 (с Термином Б, без Термина А). Показаны Результаты 2 (включая Файл Х).
3. Пользователь выбирает Файл Х.
4. Система модифицирует Policy Value, связанное с Термином А. Эта модификация включает обновление записи индекса для Файла Х путем добавления Термина А (который ранее не был ассоциирован с Файлом Х).
5. Результат: повышается вероятность того, что будущий запрос с Термином А вернет Файл Х.

Где и как применяется

Изобретение представляет собой мета-систему, которая управляет стандартными компонентами поиска, используя данные о поведении пользователей для их оптимизации.

QUNDERSTANDING – Понимание Запросов

• Система RL определяет State на основе запроса и контекста.
• Action Parameters могут диктовать переписывание запроса (Query Rewriting) (Claims 4, 5). Система учится, какие модификации запроса приводят к более быстрому успеху.

RANKING – Ранжирование

• Основное применение. Action Parameters могут динамически определять, какие сигналы ранжирования использовать и какие веса им присвоить для данного State (Claim 2). Система учится оптимальной конфигурации ранжирования для разных типов запросов.

INDEXING – Индексирование (Адаптация)

• Система может модифицировать индекс на основе анализа поисковых сессий (Claim 8). Если пользователь начал с Термина А, а нашел документ по Термину Б, система может добавить Термин А в индекс для этого документа.

RERANKING – Переранжирование

• Процесс оценки успешности сессии (Cessation Event, Reward) и последующее обучение модели (Policy Update) происходит после формирования выдачи и получения реакции пользователя.

Входные данные:

• Поисковый запрос.
• Контекстные данные (время, устройство, локация).
• Данные о взаимодействии пользователя (клики, время просмотра контента, возвраты на выдачу).

Выходные данные:

• Action Parameters (веса ранжирования, инструкции по переписыванию запроса).
• Обновленная модель Policy.
• (Опционально) Модифицированные записи в индексе.

На что влияет

• Специфические запросы: Наибольшее влияние на сложные, многоэтапные или неоднозначные запросы, где стандартного ранжирования недостаточно для быстрого удовлетворения интента.
• Типы контента: Патент упоминает поиск различных файлов (документы, веб-страницы, изображения, видео). Механизм универсален.
• Персонализация: В патенте упоминается, что Policy может быть персонализирована для пользователя или группы пользователей, что ведет к адаптации поиска под конкретные паттерны поведения.

Когда применяется

• Условия работы: Алгоритм работает непрерывно. Для каждого поискового запроса система определяет State и применяет текущую Policy для генерации Action Parameters.
• Обучение: Обновление Policy происходит после завершения поисковой сессии (при наступлении Cessation Event).

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени (Inference)

1. Получение запроса: Система получает поисковый запрос от пользователя, начиная новую или продолжая текущую Search Session.
2. Определение состояния: State Engine определяет текущее State на основе запроса (например, используя эмбеддинги терминов) и контекста.
3. Генерация параметров действий: Policy Engine обрабатывает State, используя текущую обученную Policy (например, нейронную сеть), и генерирует Action Parameters.
4. Выполнение поисковых действий: Поисковая система выполняет Search Actions:
   • (Опционально) Переписывание запроса: Если Action Parameters диктуют, запрос модифицируется.
   • Поиск (Retrieval): Идентифицируются релевантные документы (возможно, по модифицированному запросу).
   • Ранжирование (Ranking): Документы ранжируются с использованием сигналов и весов, определенных в Action Parameters.
5. Предоставление результатов: Результаты поиска отображаются пользователю.

Процесс Б: Мониторинг и Обучение (Learning)

1. Мониторинг взаимодействий: Система отслеживает действия пользователя (клики, время просмотра контента, pogo-sticking, новые запросы).
2. Обнаружение завершения сессии: Определяется, произошло ли Cessation Event.
   • Если НЕТ: Возврат к Процессу А (шаг 1) при получении нового запроса.
   • Если ДА (Положительное): Обнаружен длительный клик (контент просматривался дольше порога).
   • Если ДА (Отрицательное): Сессия прекращена без положительного события.
3. Расчет вознаграждения: Определяется Reward. Вознаграждение тем выше, чем быстрее достигнуто положительное событие и чем меньше было отрицательных сигналов (pogo-sticking) в ходе сессии.
4. Обновление стратегии: Policy обновляется (например, через backpropagation в нейронной сети) на основе полученного Reward. Цель – скорректировать будущие Action Parameters для аналогичных States.

Процесс В: Адаптация индекса (Опционально, по Claim 8)

1. Анализ сессии: После успешного завершения сессии анализируется последовательность запросов (Запрос 1 -> Запрос N) и выбранный документ.
2. Сравнение терминов: Сравниваются термины из ранних запросов (например, Запрос 1) с терминами из финального запроса (Запрос N).
3. Модификация индекса: Если документ был найден по Запросу N, но релевантен Запросу 1, термины из Запроса 1 могут быть добавлены в индекс для этого документа или их вес увеличен.

Какие данные и как использует

Данные на входе

• Контентные факторы: Содержимое запросов (термины). Используются для определения State, часто через преобразование в эмбеддинги (например, Word2vec).
• Поведенческие факторы: Критически важны для расчета Reward.
  • Клики на результаты поиска.
  • Время просмотра контента (Dwell Time): Используется для определения Cessation Event (длительный клик).
  • Pogo-sticking / Quick-backs: Явно упоминается в Claim 1 как фактор, влияющий на Reward (выбор результата и просмотр менее порогового времени).
  • Последовательность запросов в рамках сессии.
• Пользовательские и Географические факторы (Контекст): Могут использоваться для определения State: время дня, день недели, тип устройства, географический регион.

Какие метрики используются и как они считаются

• State Representation (Представление состояния): Метрика, агрегирующая данные запроса и контекста, часто в виде вектора (эмбеддинга).
• Reward Function (Функция вознаграждения): Ключевая метрика для обучения. Она стремится максимизировать успешность сессии и минимизировать ее продолжительность/усилия.
  • Успешность: Определяется наступлением положительного Cessation Event.
  • Продолжительность/Усилия: Измеряется количеством запросов в сессии, общим временем сессии, количеством pogo-sticking событий.
• Action Parameters (Параметры действий): Числовые значения, определяющие конфигурацию поиска. Например, веса для конкретных Ranking Signals.
• Пороговые значения:
  • Порог времени просмотра контента для идентификации положительного Cessation Event (длительный клик).
  • Порог времени для идентификации pogo-sticking (короткий клик).
• Алгоритмы машинного обучения:
  • Reinforcement Learning (упоминается Q-learning или другие model-free техники).
  • Нейронные сети (используются для реализации Policy).

1. Фокус на эффективности и удовлетворении (Time-to-Success): Основная цель системы – не просто показать релевантные результаты, а сделать так, чтобы пользователь нашел искомое максимально быстро и с минимальными усилиями. Это является функцией вознаграждения (Reward Function) для RL-модели.
2. Динамическая адаптация ранжирования: Патент описывает механизм, позволяющий Google отходить от статичного набора весов факторов ранжирования. Policy учится определять оптимальные веса (Action Parameters) для каждого конкретного состояния (State), то есть для разных типов запросов и контекстов.
3. Поведенческие факторы как обучающие сигналы: Поведенческие данные (Dwell Time, Pogo-sticking) используются не просто как факторы ранжирования, а как прямые сигналы обратной связи (Reward) для обучения RL-модели, которая управляет ранжированием. Pogo-sticking явно используется для пенализации (снижения Reward).
4. Обучение пониманию интента через сессии: Система анализирует всю поисковую сессию. Если пользователь начал с запроса А, но нашел ответ только после ввода запроса Б, система учится связывать А и Б.
5. Многоуровневая оптимизация (Ranking, Retrieval, Indexing): Оптимизация достигается не только через ранжирование. Система может предпринимать действия по переписыванию запроса (Query Rewriting) для улучшения Retrieval (Claims 4, 5) и даже модифицировать индекс, добавляя термины к документам на основе анализа сессий (Claim 8).
6. Персонализация стратегии поиска: Policy может обучаться индивидуально для пользователей или групп, что позволяет адаптировать механизмы поиска под их специфические паттерны поведения и потребности.

Best practices (это мы делаем)

• Обеспечение полного удовлетворения интента (Search Satisfaction): Контент должен полностью решать задачу пользователя, чтобы стимулировать длительный клик (положительный Cessation Event) и предотвращать возврат на выдачу (pogo-sticking). Это напрямую максимизирует Reward для вашей страницы в этой модели.
• Анализ и оптимизация поисковых путей (Search Journeys): Изучайте, как пользователи приходят к вашему контенту. Если они часто начинают с более общих или неточных запросов, убедитесь, что ваш контент семантически связан с этими начальными интентами. Это увеличит вероятность того, что система RL свяжет эти запросы с вашим контентом (через Query Rewriting или Index Adaptation).
• Построение Topical Authority и широкое семантическое покрытие: Создавайте кластеры контента, которые покрывают все этапы пути пользователя и связанные подтемы. Это помогает "поймать" пользователя на разных этапах сессии и увеличивает вероятность того, что система идентифицирует ваш сайт как решение для широкого спектра связанных States.
• Оптимизация сниппетов для управления ожиданиями: Сниппеты должны точно отражать содержание страницы. Это снижает вероятность pogo-sticking, который является сильным негативным сигналом для расчета Reward (Claim 1).

Worst practices (это делать не надо)

• Кликбейт и введение в заблуждение: Использование заголовков или сниппетов, которые привлекают клик, но не соответствуют контенту страницы. Это гарантированно приводит к pogo-sticking, что напрямую пенализируется функцией вознаграждения RL-модели.
• Оптимизация под узкий запрос без учета интента: Создание контента, формально релевантного запросу, но не решающего задачу пользователя. Это приведет к продолжению поисковой сессии, и система научится не показывать ваш контент высоко, чтобы сократить общее время сессии.
• Игнорирование контекста пользователя: Не учитывать, что пользователи с разных устройств или в разное время могут иметь разные ожидания от одного и того же запроса (разные States). Система RL учитывает этот контекст при оптимизации.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google на машинном обучении, управляемом поведенческими данными. Ранжирование становится все более динамичным и контекстуальным. Система не ищет "лучший документ" в вакууме, а ищет "стратегию показа результатов, которая быстрее всего приведет к успеху". Для SEO это означает, что фокус смещается от традиционных факторов к доказательству того, что ваш контент является конечной точкой поисковой сессии. Способность удовлетворить интент быстро и полно становится главным активом.

Практические примеры

Сценарий 1: Адаптация ранжирования (Ranking Adaptation)

1. Ситуация: Пользователь ищет "лучшие кроссовки для бега по асфальту". Контекст: мобильное устройство, вечер.
2. Действие системы (RL): Система определяет State. Текущая Policy, основываясь на предыдущем опыте для этого State, генерирует Action Parameters, которые повышают вес факторов, связанных со свежестью обзоров и удобством чтения на мобильных, и снижают вес агрессивной рекламы.
3. Результат: В топ попадают свежие, авторитетные обзоры. Пользователь кликает на результат и долго его изучает (Cessation Event).
4. Обучение: Система получает высокий Reward и укрепляет связь между этим State и примененной конфигурацией ранжирования.

Сценарий 2: Адаптация индекса (Index Adaptation - Claim 8)

1. Ситуация: Пользователь ищет рецепт, вводя Запрос 1: "острый куриный суп". Результаты не устраивают.
2. Продолжение сессии: Пользователь вводит Запрос 2: "Том Ям рецепт".
3. Результат: Пользователь находит нужный рецепт (Документ Х) и кликает на него (Cessation Event).
4. Действие системы: Система анализирует сессию. Она видит, что Запрос 1 был началом пути, а Документ Х (найденный по Запросу 2) стал решением.
5. Обучение (Index Adaptation): Система модифицирует индекс, добавляя термины "острый", "куриный", "суп" к Документу Х или увеличивая их вес. В следующий раз по запросу "острый куриный суп" рецепт Том Ям будет показан выше.