Как Яндекс использует переформулировки запросов в сессии для генерации негативных примеров обучения ранжирования

Описание

Какую задачу решает

Патент решает фундаментальную проблему в обучении алгоритмов ранжирования (Machine Learning Algorithm, MLA): сложность автоматической генерации качественных негативных обучающих примеров (Negative Training Examples). Позитивные примеры легко получить из кликов, но сложно определить, какие документы точно нерелевантны, не прибегая к ручной разметке. Патент предлагает метод использования неявной обратной связи пользователя (Implicit Feedback), а именно переформулировки запроса, как надежного источника для генерации высококачественных («сложных») негативных примеров.

Что запатентовано

Запатентован метод генерации обучающей выборки (Training Set) для MLA, сфокусированный на создании негативных примеров. Суть изобретения заключается в анализе последовательных запросов (Первый и Второй) в рамках одной поисковой сессии. Если пользователь перешел от одного запроса к другому, система генерирует негативный пример, связывая Второй (уточненный) запрос с определенным результатом из выдачи (SERP) Первого запроса.

Как это работает

Система анализирует логи поиска (Search Log Database). Она идентифицирует сессию, где пользователь ввел Первый запрос, увидел Первый SERP, а затем ввел Второй запрос. Этот переход интерпретируется как неудовлетворенность Первым SERP. Система генерирует негативный пример: (Второй Запрос + Результат из Первого SERP). В патенте описаны строгие условия фильтрации: например, запросы могут проверяться на близость по теме (Overlap), а время взаимодействия (Dwell time) с результатом из Первого SERP должно быть коротким (например, менее 30 секунд).

Актуальность для SEO

Высокая. Автоматическая генерация качественных обучающих данных из поведенческих логов является центральной задачей в современных системах информационного поиска. Этот метод позволяет масштабировать и повышать точность ранжирующих моделей без увеличения затрат на ручную разметку.

Важность для SEO

Влияние на SEO умеренное (6/10), но стратегически важное. Это инфраструктурный патент, описывающий метод обучения алгоритма, а не сам алгоритм ранжирования. Прямого влияния на выдачу нет, но косвенное значительно. Этот метод позволяет MLA (например, CatBoost или YATI) становиться точнее в различении документов, которые лишь поверхностно релевантны, и тех, которые действительно удовлетворяют интент. Это повышает требования к качеству взаимодействия и точности попадания контента в интент.

Детальный разбор

Термины и определения

Dwell Time (Время пребывания)

Время, которое пользователь проводит на странице результата поиска перед возвратом на SERP. Используется как ключевая метрика удовлетворенности и фильтр в данном патенте.

First Query / Second Query (Первый / Второй запрос)

Последовательность различных запросов, отправленных одним пользователем в рамках одной поисковой сессии. Второй отправлен после Первого.

Machine Learning Algorithm (MLA) (Алгоритм машинного обучения)

Модель ранжирования (например, CatBoost или нейросеть), которая обучается на данных для предсказания релевантности документа запросу.

Negative Training Examples (Негативные обучающие примеры)

Данные для обучения MLA, показывающие, что является нерелевантным. Пары (Запрос, Документ), где документ не отвечает на запрос.

Overlap (Пересечение)

Наличие общих поисковых терминов между Первым и Вторым запросами. Указывает на то, что Второй запрос является уточнением (Refinement) Первого.

Pre-determined Search Result (Предопределенный результат поиска)

Результат из Первого SERP, выбранный системой по определенным правилам (например, по позиции) для использования в качестве негативного примера для Второго запроса.

Search Session (Поисковая сессия)

Последовательность запросов, объединенных временной близостью или общим интентом. В описании патента упоминается пример определения сессии по времени (7 минут).

User Interaction Parameter (Параметр взаимодействия пользователя)

Метрики поведения пользователя на SERP. Включают Dwell time, Click event (факт клика), Hovering time (время наведения курсора).

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методологии генерации негативных обучающих примеров из логов пользовательского поведения.

Claim 1 (Независимый пункт): Описывает основной механизм.

1. Из базы логов извлекается последовательность: Первый запрос/SERP и Второй запрос/SERP (отличный от первого), отправленные одним устройством.
2. Проверяется условие: Второй запрос был отправлен в рамках той же поисковой сессии, что и Первый.
3. Генерируется обучающая выборка для использования в качестве негативного примера.
4. Состав выборки: Второй запрос, связанный в пару с «предопределенным результатом поиска» из Первого SERP.

Ядро изобретения — использование контекста сессии для вывода о нерелевантности: результат из предыдущей выдачи считается нерелевантным для последующего запроса.

Claims 3, 4 (Зависимые пункты): Уточняют определение сессии.

Принадлежность к одной сессии может определяться по времени. Если разница во времени между запросами меньше порогового значения, они считаются частью одной сессии.

Claims 6, 7, 8 (Зависимые пункты): Вводят условие пересечения (Overlap) для повышения качества.

В некоторых вариантах реализации генерация происходит, только если между запросами есть пересечение (хотя бы один общий термин). Это фокусирует механизм на случаях уточнения запроса (Refinement), а не смены темы.

Claims 9-12 (Зависимые пункты): Описывают логику выбора «предопределенного результата» из Первого SERP (генерация «сложных негативов»).

1. Анализируется взаимодействие пользователя со Вторым SERP (Claim 9).
2. Определяется результат во Втором SERP с наивысшим взаимодействием (например, кликнутый/успешный результат) и его позиция (Claim 10).
3. «Предопределенный результат» в Первом SERP выбирается на основе этой позиции (Claim 10). Например, выбирается результат на той же позиции или на соседней (выше/ниже) (Claim 11, 12).

Claims 13, 14 (Зависимые пункты): Вводят критически важный фильтр безопасности (Dwell Time Filter).

Анализируется взаимодействие пользователя с выбранным результатом из Первого SERP. Генерация негативного примера происходит, ТОЛЬКО если это взаимодействие ниже порога. В Claim 14 явно указан пример порога: 30 секунд. Если пользователь провел на результате много времени (>30s), он не используется как негативный пример.

Где и как применяется

Этот патент описывает офлайн-процесс обработки данных и обучения моделей. Он не применяется напрямую в онлайн-слоях поиска (Crawling, Indexing, Query Processing, Ranking) во время обслуживания запроса.

Процесс обучения моделей (Model Training Pipeline):

• Входные данные: Система использует данные из Search Log Database, содержащей историю запросов, показанных SERP и детализированные поведенческие логи (User Interaction Parameters).
• Обработка: Специализированный сервер (Training Server) обрабатывает логи, идентифицирует сессии с уточнениями и генерирует обучающие выборки по описанной логике.
• Выходные данные: Генерируется Training Set с размеченными негативными примерами.

Эта выборка затем используется для тренировки основного MLA (алгоритма ранжирования), который впоследствии будет применяться на этапе RANKING (L2/L3) в реальном времени.

На что влияет

Механизм влияет на качество и точность обученной модели ранжирования.

• Точность модели: Обучение на таких «сложных негативах» помогает модели лучше различать тонкие нюансы интента между близкими запросами.
• Специфические запросы: Наибольшее влияние оказывается на запросы, которые часто подвергаются уточнению (широкие информационные или неоднозначные коммерческие запросы).
• Контент: Влияет на способность модели пессимизировать контент, который релевантен общему запросу, но не отвечает на его конкретное уточнение.

Когда применяется

Алгоритм применяется в процессе подготовки данных для переобучения моделей ранжирования.

Условия активации и триггеры (на основе логов):

1. Наличие последовательности из двух разных запросов (Первый и Второй).
2. Оба запроса в рамках одной поисковой сессии (определяемой по времени, например, < 7 минут, упомянутых в описании).
3. (Опционально) Наличие пересечения (Overlap) поисковых терминов между запросами (Claims 6-8).
4. Отсутствие значительного взаимодействия (например, Dwell time < 30 секунд) с выбранным результатом из Первого SERP (Claims 13-14).

Пошаговый алгоритм

Процесс генерации негативного обучающего примера.

1. Сбор данных: Извлечение записей из Search Log Database.
2. Идентификация сессий: Группировка запросов одного пользователя в сессии на основе временных меток.
3. Выбор последовательных пар: Идентификация пар (Первый запрос, Второй запрос) внутри сессии.
4. Фильтрация пар (Опционально): Проверка наличия пересечения (Overlap) терминов для подтверждения факта уточнения интента.
5. Анализ взаимодействия (Второй SERP) (Опционально): Определение успешного результата (например, кликнутого) во Втором SERP и фиксация его позиции.
6. Выбор кандидата (Первый SERP): Определение «предопределенного результата» в Первом SERP. Это может быть результат на той же (или соседней) позиции, что и успешный результат во Втором SERP, или выбранный случайно.
7. Валидация кандидата (Dwell Time Filter): Проверка времени взаимодействия пользователя с выбранным кандидатом из Первого SERP. Если время превышает порог (например, 30 секунд), кандидат отбрасывается.
8. Генерация выборки: Если кандидат прошел валидацию, формируется негативный обучающий пример: пара (Второй запрос, Кандидат из Первого SERP).

Какие данные и как использует

Данные на входе

Система полностью полагается на данные из логов поиска.

• Поведенческие факторы: Критически важны. Используются Click event (факт клика) для определения успешных результатов во Втором SERP. Используется Dwell time (время на сайте) как ключевой фильтр для валидации негативного примера в Первом SERP. Также упоминается Hovering time.
• Временные факторы: Временные метки (Time Stamps) запросов используются для идентификации поисковых сессий.
• Контентные факторы (Текстовые): Тексты Первого и Второго запросов используются для определения пересечения (Overlap) терминов.
• Структурные факторы (SERP): Позиции результатов в Первом и Втором SERP используются для выбора кандидата на роль негативного примера (позиционная логика).

Какие метрики используются и как они считаются

• Разница во времени между запросами: Используется для определения границ сессии. (Пример в описании патента: 7 минут).
• Пересечение запросов (Query Overlap): Метрика наличия общих терминов (одного или нескольких).
• Позиционная корреспонденция: Сравнение позиций результатов в разных SERP (та же позиция, выше, ниже).
• Порог взаимодействия (Interaction Threshold): Пороговое значение для Dwell time. В патенте (Claim 14) явно указан пример порога в 30 секунд. Если взаимодействие ниже порога, результат может быть использован как негативный пример.

Выводы

1. Патент описывает инфраструктуру обучения, а не ранжирования: Это не прямой фактор ранжирования, а метод генерации данных, который делает основные модели ранжирования Яндекса более точными.
2. Уточнение запроса = Неявный негативный фидбек: Яндекс рассматривает переформулировку запроса в рамках сессии как сильный сигнал неудовлетворенности предыдущей выдачей и использует это для генерации «сложных негативных» примеров.
3. Критическая роль Dwell Time и порог 30 секунд: Патент явно указывает (Claims 13, 14), что длительное время взаимодействия (> 30 секунд) защищает результат от маркировки как негативный пример. Короткие клики, напротив, являются триггером для этого механизма.
4. Поведенческие факторы как источник истины: Патент подтверждает, что поведенческие данные являются основой (Ground Truth) для определения релевантности при обучении моделей.
5. Повышение требований к точности интента: Модель, обученная на таких данных, лучше различает нюансы и пессимизирует документы, которые отвечают только на общий запрос, но не на его конкретное уточнение.

Практика

Best practices (это мы делаем)

• Обеспечение высокого Dwell Time (Долгие клики): Критически важно создавать вовлекающий контент. Если пользователь провел на странице достаточно времени (например, > 30 секунд), она защищена от попадания в негативную выборку по этому механизму, даже если пользователь вернулся к поиску и уточнил запрос.
• Точное соответствие специфическим интентам: Убедитесь, что контент исчерпывающе отвечает на запрос, минимизируя необходимость пользователя возвращаться на SERP для уточнения (pogo-sticking). Страница должна стремиться стать последним кликом в сессии.
• Анализ путей пользователя и сценариев уточнения: Изучайте, как пользователи уточняют запросы в вашей нише. Убедитесь, что ваша контент-стратегия покрывает эти сценарии, предоставляя релевантный контент на каждом этапе поиска.
• Оптимизация сниппетов для точности: Формируйте Title и Description так, чтобы они точно отражали содержание. Это снижает количество нецелевых кликов и быстрых отказов, которые могут активировать механизм генерации негативных примеров.

Worst practices (это делать не надо)

• Привлечение трафика по широким запросам с поверхностным контентом: Если страница привлекает клики, но не удовлетворяет интент, пользователи будут быстро уходить (Dwell Time < 30s) и уточнять запрос. Это идеальный сценарий для генерации негативных обучающих примеров против вашей страницы.
• Кликбейт в заголовках: Кликбейт приводит к коротким кликам и возврату на выдачу. Этот паттерн поведения напрямую используется описанной в патенте системой для обучения модели тому, что ваша страница нерелевантна.
• Игнорирование юзабилити и скорости загрузки: Технические проблемы, вынуждающие пользователя покинуть страницу в первые секунды, интерпретируются как низкая релевантность контента.

Стратегическое значение

Патент подтверждает стратегический фокус Яндекса на машинном обучении, основанном на анализе поведения пользователя на уровне сессии, а не только отдельных запросов. Поведение пользователя (Implicit Feedback) является ключевым источником данных для автоматического улучшения качества ранжирования. Для SEO это означает, что система становится умнее в различении релевантности, и важность метрик удовлетворенности пользователя (особенно Dwell Time) продолжает расти.

Практические примеры

Сценарий 1: Генерация негативного примера (Короткий клик)

1. Действие пользователя: Пользователь вводит Запрос 1: «Лечение простуды». Кликает на Сайт А, проводит там 10 секунд (не нашел нужного) и возвращается.
2. Уточнение: Пользователь вводит Запрос 2: «Лечение простуды у детей 3 лет». Кликает на Сайт Б и остается там.
3. Действие системы (Офлайн):
   • Система идентифицирует сессию и уточнение (есть Overlap).
   • Проверяет Dwell Time Сайта А (10 сек < 30 сек).
   • Результат: Генерируется негативный пример: (Запрос: «Лечение простуды у детей 3 лет», Документ: Сайт А). Модель учится, что Сайт А нерелевантен этому узкому запросу.

Сценарий 2: Защита от генерации негативного примера (Долгий клик)

1. Действие пользователя: Пользователь вводит Запрос 1: «Лечение простуды». Кликает на Сайт А, проводит там 2 минуты (изучает общую информацию), затем возвращается для уточнения.
2. Уточнение: Пользователь вводит Запрос 2: «Лечение простуды у детей 3 лет».
3. Действие системы (Офлайн):
   • Система идентифицирует сессию и уточнение.
   • Проверяет Dwell Time Сайта А (2 минуты > 30 секунд).
   • Результат: Негативный пример НЕ генерируется, так как Сайт А был признан полезным, несмотря на последующее уточнение запроса.

Вопросы и ответы