Как Яндекс использует уточнения запросов в рамках одной сессии для генерации «сложных отрицательных примеров» обучения ранжирования

Описание

Какую задачу решает

Патент решает критическую проблему в обучении алгоритмов ранжирования (MLA) — сложность генерации высококачественных отрицательных обучающих примеров. Использование случайных отрицательных примеров неэффективно. Изобретение предлагает метод автоматической генерации «сложных» (Hard Negatives) отрицательных примеров из логов поиска. Это повышает контрастность обучающей выборки и улучшает способность модели различать тонкие градации релевантности (Реферат).

Что запатентовано

Запатентован способ автоматического формирования обучающего набора для MLA, основанный на анализе поведения пользователя в рамках одной поисковой сессии (Search Session). Суть изобретения заключается в использовании последовательных запросов (особенно уточнений) как неявной отрицательной обратной связи. Результаты, показанные по предыдущему запросу (Q1), используются как высококачественные отрицательные примеры для последующего, уточненного запроса (Q2).

Как это работает

Система анализирует журнал поиска и идентифицирует сессии (определяемые по времени, например, до 7 минут), где пользователь отправляет Первый Запрос (Q1), а затем Второй Запрос (Q2). Если запросы связаны (имеют общие термины), система предполагает, что выдача по Q1 (SERP1) не удовлетворила пользователя. Система идентифицирует успешный результат на SERP2 и выбирает документ с SERP1 (часто с аналогичной позиции). Критически важный фильтр: если взаимодействие (Dwell Time) с этим документом на SERP1 было длительным (например, больше порога в 30 секунд), он исключается из отрицательных примеров.

Актуальность для SEO

Высокая. Автоматическая генерация обучающих данных из логов поведения пользователей и создание «сложных» отрицательных примеров (Hard Negatives) для повышения контрастности обучения являются центральными элементами в развитии современных поисковых систем и крайне актуальны для улучшения качества ранжирования.

Важность для SEO

Влияние на SEO умеренное, но стратегически важное (6/10). Это инфраструктурный патент, описывающий процесс генерации данных для обучения моделей Яндекса, а не сам алгоритм ранжирования. Однако он дает критически важное понимание того, как Яндекс учит свои модели отличать релевантные документы от нерелевантных на основе сессионного поведения. Патент подчеркивает важность точного попадания в интент и минимизации ситуаций, когда пользователь вынужден возвращаться на выдачу и переформулировать запрос (pogo-sticking).

Детальный разбор

Термины и определения

MLA (Machine Learning Algorithm / Алгоритм машинного обучения)

Основной алгоритм ранжирования поисковой системы (например, CatBoost или нейронная сеть), который обучается прогнозировать релевантность документа запросу.

Отрицательный обучающий пример (Negative Training Example)

Пара (Запрос, Документ), размеченная как нерелевантная. Используется для обучения MLA тому, какие документы не следует ранжировать высоко. Патент фокусируется на генерации «сложных» примеров (Hard Negatives).

Сеанс поиска / Сессия (Search Session)

Период времени, в течение которого пользователь активно ищет информацию. Определяется по временной близости запросов (в описании патента упоминается пример интервала в 7 минут).

Уточнение запроса (Query Refinement / Изменение формулировки)

Последовательность запросов в рамках одной сессии, где последующий запрос сужает или изменяет предыдущий. Определяется наличием хотя бы одного общего поискового термина.

Журнал поиска (Search Log / Query Log)

База данных, регистрирующая действия пользователей: запросы, показанные результаты (SERP), метки времени и параметры взаимодействия.

Параметры взаимодействия с пользователем (User Interaction Parameters)

Метрики поведения пользователя. Упомянуты в патенте:

• Клик (Событие «клика» / Win/Loss): Факт выбора результата поиска.
• Время ожидания (Dwell Time): Время, проведенное пользователем на результате поиска до возврата на SERP.
• Время наведения (Hover Time): Время, на которое пользователь наводит курсор на результат.
• Длинный/короткий «клик» (Long/Short Click): Сравнение продолжительности взаимодействия.

Ключевые утверждения (Анализ Claims)

Патент защищает метод автоматизированного майнинга отрицательных обучающих примеров из логов пользовательского поведения, основанный на анализе сессий с переформулировками запросов.

Claim 1 (Независимый пункт): Описывает основной механизм.

1. Система извлекает из журнала поиска последовательность: Первый Запрос (Q1), Первая SERP (S1), Второй Запрос (Q2, отличный от Q1), Вторая SERP (S2).
2. Условие: Q1 и Q2 отправлены одним устройством в рамках одной сессии поиска.
3. Действие: Формирование отрицательного обучающего примера.
4. Состав примера: Второй Запрос (Q2) в паре с заранее заданным результатом поиска из Первой SERP (S1).

Логика: Если пользователь перешел от Q1 к Q2 в одной сессии, результаты S1 его не удовлетворили. Следовательно, результаты из S1 являются нерелевантными для финального интента, выраженного в Q2.

Claims 2-5: Определяют критерии «сессии поиска».

Ключевой механизм — анализ разницы во времени между Q1 и Q2. Если разница меньше порогового значения, запросы считаются частью одной сессии.

Claims 6-8: Определяют критерии «уточнения запроса» (Refinement).

Система анализирует Q1 и Q2 для выявления степени совпадения. Формирование набора может выполняться, только если совпадение есть (например, наличие хотя бы одного общего условия поиска). Это гарантирует, что запросы связаны по теме (уточнение), а не являются началом нового поиска.

Claims 9-12: Описывают механизм выбора конкретного отрицательного примера (R_Neg) из S1.

1. Извлекаются параметры взаимодействия пользователя с S2 (клики, время наведения).
2. Определяется результат на S2 с наибольшим взаимодействием (успешный результат, R_Pos).
3. Отрицательный пример (R_Neg) выбирается из S1 на основе позиции R_Pos на S2.
4. Варианты выбора: результат на той же позиции на S1; результат на позиции выше или ниже; случайный выбор из этих вариантов.

Этот механизм направлен на выбор «сложных» отрицательных примеров — тех, которые ранжировались высоко по похожему запросу.

Claims 13-14: Описывают фильтрацию качества (Safeguard).

Система анализирует взаимодействие пользователя с выбранным отрицательным примером (R_Neg) на S1. Формирование набора выполняется, ТОЛЬКО если взаимодействие ниже порога. Указан конкретный порог: 30 секунд (вероятно, Dwell Time). Если пользователь провел на документе много времени, он не считается полностью нерелевантным и исключается.

Где и как применяется

Описанный механизм — это ОФЛАЙН-ПРОЦЕСС обработки данных и обучения моделей, а не процесс ранжирования в реальном времени.

Инфраструктура обработки данных и ML Training (Слой Качества и Метрик):

• Система взаимодействует с Базой данных журнала поиска для извлечения сырых данных о поведении пользователей.
• Процесс выполняется на Сервере обучения.
• На входе: Журналы поиска (запросы, SERP, временные метки, параметры взаимодействия пользователей).
• На выходе: Обучающий набор (Training Set) — размеченные пары (Запрос, Документ) с метками релевантности (в данном случае — отрицательные примеры).

RANKING – Ранжирование (Косвенное влияние):

Сгенерированный обучающий набор используется для тренировки основного алгоритма ранжирования (MLA), который затем применяется на этапах L2/L3 ранжирования. Благодаря более качественным и контрастным отрицательным примерам, обученная модель лучше различает релевантные и нерелевантные документы в реальной выдаче.

На что влияет

• Качество модели ранжирования: Основное влияние оказывается на способность MLA отличать релевантные документы от близких, но нерелевантных («hard negatives»).
• Специфические запросы: Механизм особенно полезен для улучшения ранжирования по запросам, которые часто подвергаются уточнению (например, широкие информационные или неоднозначные коммерческие запросы). Система учится лучше различать нюансы между близкими запросами.

Когда применяется

Алгоритм применяется офлайн в процессе подготовки данных для переобучения моделей ранжирования.

• Триггеры активации (для выбора данных):
  1. Обнаружение двух последовательных запросов (Q1, Q2) в логах от одного пользователя.
  2. Временная близость: Разница во времени между Q1 и Q2 меньше порога сессии (например, 7 минут).
  3. Смысловая связь (Уточнение): Наличие общих терминов в Q1 и Q2.
• Условия для генерации примера:
  1. Наличие успешного взаимодействия на SERP2.
  2. Взаимодействие с выбранным отрицательным кандидатом на SERP1 ниже порога (например, Dwell Time < 30 секунд).

Пошаговый алгоритм

Процесс формирования отрицательного обучающего набора:

1. Извлечение данных: Система извлекает журналы поиска из базы данных.
2. Идентификация сессий: Запросы группируются в сессии на основе идентификатора пользователя и временных меток (например, интервал до 7 минут).
3. Идентификация пар запросов: В рамках сессии выделяются последовательные пары запросов: Первый Запрос (Q1) и Второй Запрос (Q2).
4. Проверка на уточнение (Refinement Check): Система анализирует Q1 и Q2 на наличие общих поисковых терминов. Если их нет, пара может быть отброшена (согласно Claims 6-8).
5. Анализ Второй Выдачи (SERP2): Система анализирует параметры взаимодействия на SERP2 и определяет результат с наибольшим взаимодействием (Успешный Результат, R_Pos). Фиксируется его позиция (Pos_2).
6. Выбор Кандидата (SERP1): Система выбирает кандидата для отрицательного примера (R_Neg_Cand) из Первой Выдачи (SERP1). Метод выбора основан на позиции Pos_2: выбирается результат на той же позиции или в заданном окне вокруг нее.
7. Фильтрация Кандидата (Safeguard): Система проверяет параметры взаимодействия пользователя с R_Neg_Cand на SERP1. Если взаимодействие (например, Dwell Time) превышает порог (30 секунд, согласно Claim 14), кандидат отбрасывается.
8. Генерация Обучающего Примера: Если кандидат прошел фильтрацию, система формирует пару (Второй Запрос Q2, Кандидат R_Neg_Cand) и помечает ее как Отрицательный обучающий пример.
9. Обучение MLA: Сформированный набор данных используется для дообучения основного алгоритма ранжирования.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важны. Используются: Клики (событие «клика»), Время ожидания (Dwell Time), Время наведения (Hover Time), Длинные/короткие клики. Они необходимы для идентификации успешного результата на SERP2 и для фильтрации качества отрицательного примера на SERP1.
• Временные факторы: Метки времени отправки запросов. Используются для определения границ сессии поиска.
• Контентные факторы (Запросы): Текстовое содержание запросов (поисковые термины). Используются для определения смысловой связи (уточнения) между последовательными запросами.
• Структурные факторы (SERP): Позиции (ранги) документов на SERP1 и SERP2. Используются для выбора кандидата для отрицательного примера на основе позиции успешного клика.

Какие метрики используются и как они считаются

• Разница во времени: Вычисляется между последовательными запросами для определения сессии.
• Степень совпадения (Query Overlap): Метрика наличия общих поисковых условий (терминов) между запросами.
• Пороговые значения:
  • Порог сессии: Максимальное время между запросами (упомянут пример 7 минут в описании).
  • Порог взаимодействия (Dwell Time): Используется для фильтрации. Если время на документе > порога (30 секунд, согласно Claim 14), он не используется как отрицательный пример.
• Позиционный анализ: Сравнение позиций результатов на разных SERP в рамках одной сессии.
• Оценка ранжирования (для положительных примеров): В описании патента упоминается возможность расчета оценок для положительных примеров на основе логарифма времени просмотра, например:

  $$log(T_{dwell})$$

  с возможным ограничением максимального времени (например, 600 секунд).

Выводы

1. Переформулировка запроса как сигнал неудовлетворенности: Яндекс рассматривает уточнение запроса в рамках одной сессии как сильный индикатор того, что предыдущая выдача не соответствовала финальному интенту пользователя (неявная отрицательная обратная связь).
2. Генерация «Сложных Отрицательных Примеров» (Hard Negatives): Система целенаправленно создает сложные для модели примеры: документы, которые ранжировались по очень похожему запросу (Q1), но оказались нерелевантными для уточненного запроса (Q2). Это повышает контрастность обучения и улучшает разрешающую способность модели ранжирования.
3. Использование позиционного контекста: При выборе отрицательного примера учитывается позиция успешного клика на следующей выдаче. Это гарантирует выбор документа, который был высоко ранжирован по предыдущему запросу, создавая сложный пример для обучения.
4. Dwell Time как валидатор качества: Патент явно указывает на использование порога взаимодействия (конкретно 30 секунд) для валидации отрицательных примеров. Если пользователь провел на странице достаточно времени, она исключается из этого пайплайна, что предотвращает загрязнение данных.
5. Инфраструктурный фокус на поведении: Патент подтверждает, что анализ поведения пользователей на уровне сессий является фундаментом для обучения базовых моделей ранжирования Яндекса.

Практика

Best practices (это мы делаем)

• Максимально точное удовлетворение интента (Precision): Стратегический приоритет — минимизировать необходимость пользователя возвращаться на выдачу и уточнять запрос (pogo-sticking). Контент должен исчерпывающе отвечать на целевой запрос с первого раза, чтобы стать финальным кликом в сессии.
• Оптимизация вовлеченности (Dwell Time > 30 секунд): Необходимо удерживать пользователя на странице. Высокое время взаимодействия (в патенте указан порог > 30 секунд) является защитным механизмом. Даже если пользователь вернется на выдачу, страница с высоким Dwell Time не будет использована как отрицательный обучающий пример в рамках этого механизма.
• Анализ цепочек запросов и уточнений (Refinement Paths): Изучайте, как пользователи уточняют запросы в вашей нише. Понимание пути пользователя от широкого запроса к конкретному поможет создать контент, который соответствует финальному, наиболее точному интенту, и избежать создания контента, который провоцирует дальнейшие уточнения.
• Четкое разграничение контента для разных интентов: Убедитесь, что страницы, нацеленные на близкие, но разные интенты (например, информационный и коммерческий), четко разграничены. Это снизит вероятность того, что одна страница будет использоваться как отрицательный пример для интента другой.

Worst practices (это делать не надо)

• Привлечение трафика по слишком широким запросам: Ранжирование по общим запросам, когда контент отвечает только на узкий интент. Это приведет к тому, что пользователи будут массово возвращаться на выдачу и уточнять запрос, создавая множество отрицательных обучающих примеров для вашего сайта по этим уточненным запросам.
• Игнорирование коротких кликов (Dwell Time < 30 секунд): Быстрые отказы и возврат на SERP с последующей переформулировкой запроса — это худший сценарий. Он напрямую используется для обучения моделей Яндекса тому, что ваш сайт нерелевантен.
• Кликбейт в заголовках и сниппетах: Использование заголовков, которые привлекают клик, но не соответствуют содержанию страницы, гарантирует быстрый возврат пользователя и генерацию отрицательных обучающих данных.

Стратегическое значение

Патент подтверждает стратегическую зависимость качества ранжирования Яндекса от анализа поведения пользователей на уровне сессий. Он демонстрирует сложный механизм использования поведенческих данных (последовательность запросов, клики, Dwell Time) как источника истины (Ground Truth) для автоматического формирования обучающих выборок. Для SEO это означает, что удовлетворение пользователя и удержание его внимания являются не просто метриками эффективности, а фундаментом для обучения базовых моделей ранжирования поисковой системы.

Практические примеры

Сценарий: Генерация отрицательного примера при уточнении запроса

Пример основан на данных из патента.

1. Действие пользователя: Пользователь ищет информацию для научной работы.
   • Вводит Первый Запрос (Q1): «отказ по ст. 103» (103 rejection).
2. Первая Выдача (SERP1): На 3-й позиции находится общая статья на сайте SiteA.com.
3. Взаимодействие с SERP1: Пользователь кликает на SiteA.com, но быстро понимает, что это не то, и возвращается (Dwell Time = 5 секунд).
4. Уточнение запроса: Через минуту пользователь вводит Второй Запрос (Q2): «отказ по ст. 103 Патентное ведомство США преодоление» (103 rejection USPTO overcome). Запросы связаны и находятся в одной сессии.
5. Вторая Выдача (SERP2) и Успех: На SERP2 пользователь кликает на результат на 3-й позиции (SiteB.com) и проводит там 10 минут (Успешный результат).
6. Действие системы Яндекса (Офлайн):
   • Система идентифицирует сессию и уточнение.
   • Определяет успешный клик на SERP2 (SiteB.com, позиция 3).
   • Выбирает кандидата на SERP1 с той же позиции (SiteA.com, позиция 3).
   • Проверяет взаимодействие с кандидатом (Dwell Time = 5 сек, что < 30 сек).
   • Генерирует Отрицательный Пример: (Запрос: «отказ по ст. 103 Патентное ведомство США преодоление», Документ: SiteA.com).
7. Результат: Модель ранжирования учится, что общая статья на SiteA.com менее релевантна запросам о «преодолении» отказа, чем специализированная статья на SiteB.com.

Вопросы и ответы