Как Яндекс обучает модель ранжирования на основе детализированных поведенческих факторов (параметров постпросмотра)

Описание

Какую задачу решает

Патент решает задачу автоматической оптимизации алгоритма ранжирования (ранжиратора) с целью максимизации удовлетворенности пользователей. Он позволяет системе автоматически определять, какие паттерны поведения (клики, время просмотра, пропуски) свидетельствуют о высоком качестве выдачи. Это устраняет необходимость ручной настройки весов для различных поведенческих факторов при обучении модели ранжирования (Learning to Rank).

Что запатентовано

Запатентован способ оптимизации ранжиратора результатов поиска путем использования промежуточной целевой функции (Objective Function). Эта функция строится на основе вектора параметров постпросмотра (Post-view parameters) — детализированных поведенческих сигналов, собранных после того, как пользователь увидел выдачу. Суть изобретения в том, чтобы сначала научить систему оценивать качество выдачи по поведению (оптимизировать веса сигналов), а затем использовать эту оценку для обучения основного ранжиратора.

Как это работает

Система анализирует исторические данные (пары запрос-документ) и извлекает для каждой пары вектор параметров постпросмотра (например, был ли клик, время просмотра, был ли документ пропущен). Затем генерируется весовой вектор для этих параметров. Путем оптимизации этих весов (например, с помощью градиентного спуска) создается целевая функция, которая наилучшим образом соответствует метрикам производительности поиска (упомянуты MRR и MAP). Финальный этап — оптимизация самого ранжиратора с использованием этой настроенной целевой функции.

Актуальность для SEO

Высокая. Описанный подход (Learning to Rank на основе неявных сигналов обратной связи) является фундаментальным для современных поисковых систем. Использование детализированных поведенческих метрик для обучения ML-моделей ранжирования (таких как CatBoost) остается центральным элементом архитектуры поиска Яндекса. Описанные механизмы и типы сигналов крайне актуальны.

Важность для SEO

Критическое влияние (9.5/10). Этот патент имеет фундаментальное значение для SEO, так как он детально описывает механизм, посредством которого поведенческие факторы используются Яндексом. Они являются не просто одним из множества сигналов, а основой для обучения самой формулы ранжирования. Алгоритм обучается предсказывать и максимизировать позитивные поведенческие сигналы, конкретный список которых приведен в патенте. Понимание этих сигналов обязательно для построения эффективной SEO-стратегии в Яндексе.

Детальный разбор

Термины и определения

Вектор параметров постпросмотра (Post-view parameter vector)

Вектор признаков, описывающий взаимодействие пользователя с конкретным документом и страницей результатов поиска (SERP) после ее отображения. Включает детализированные поведенческие сигналы.

Весовой вектор (Weight vector)

Набор весовых значений, соответствующих каждому параметру постпросмотра. Определяет степень влияния каждого поведенческого сигнала на целевую функцию.

Метрика производительности (Performance metric)

Метрика, используемая для оценки качества работы целевой функции и ранжиратора. В патенте упоминаются MRR (Mean Reciprocal Rank — усредненная ценность ответов) и MAP (Mean Average Precision — среднее значение средней точности).

Параметры постпросмотра (Post-view parameters)

Поведенческие сигналы, которые делятся на два типа:

Параметры уровня документа (Document-level parameters)

Признаки, относящиеся к конкретному документу в выдаче (например, клик, время просмотра, пропуск).

Параметры уровня SERP (SERP-level parameters)

Признаки, описывающие взаимодействие пользователя с выдачей в целом (например, общее количество кликов, время до первого клика).

Целевая функция (Objective function)

Функция, генерируемая путем применения весового вектора к векторам параметров постпросмотра. Она служит промежуточной метрикой качества, основанной на поведении, и используется для обучения ранжиратора.

Ключевые утверждения (Анализ Claims)

Патент описывает метод оптимизации ранжиратора через обучение промежуточной целевой функции на основе поведенческих данных (Learning to Rank).

Claim 1 (Независимый пункт): Описывает основной способ оптимизации ранжиратора.

1. Получение первого набора пар запрос-документ с соответствующими векторами параметров постпросмотра.
2. Генерирование весового вектора для этих параметров.
3. Генерирование целевой функции с использованием весового вектора и векторов параметров.
4. Оптимизация весовых значений. Цель — получить оптимизированную целевую функцию, максимизирующую метрику производительности (MRR/MAP).
5. Оптимизация (обучение) ранжиратора результатов поиска с помощью этой оптимизированной целевой функции.
6. Использование оптимизированного ранжиратора.

Claim 5, 6, 7: Детализируют состав параметров постпросмотра. Это критически важная информация для SEO.

Claim 6 (Параметры уровня документа):

• Параметр клика (был ли документ выбран).
• Параметр просмотра (время просмотра документа / Dwell Time).
• Параметр длительного просмотра (время просмотра превышает порог / Long Dwell Time).
• Параметр последнего клика.
• Параметр первого клика.
• Параметр удовлетворяющего клика (Satisfying Click): документ выбран последним ИЛИ время ожидания/просмотра превышает заданную величину.
• Параметр положения (исходное положение документа в SERP).
• Параметр пропуска (Skip) (документ был пропущен).
• Параметр предыдущего пропуска (был пропущен другой документ, находящийся выше).
• Параметр пропуска выше (количество пропущенных документов выше).

Claim 7 (Параметры уровня SERP):

• Параметр клика вверху/внизу (наибольший/наименьший рейтинг выбранного документа).
• Параметр количества кликов (общее количество кликов на SERP).
• Параметр количества кликов на первую тройку.
• Параметр количества пропусков (общее количество пропущенных документов на SERP).
• Параметр последнего запроса (является ли запрос последним в сессии).
• Параметр времени просмотра (время до первого клика на SERP).

Claim 10 и 11: Уточняют методы и метрики.

Оптимизация весовых значений может использовать алгоритм градиентного спуска. Метриками производительности являются MRR или MAP.

Где и как применяется

Изобретение относится к процессу машинного обучения и оптимизации моделей ранжирования.

RANKING – Ранжирование (Офлайн-обучение)
Основное применение патента — это офлайн-процесс обучения ранжиратора (вероятно, моделей, используемых на уровнях L2/L3, таких как CatBoost). Система не работает в реальном времени при обработке запроса, а используется для периодического обновления формулы ранжирования.

1. Сбор данных: Система использует логи взаимодействия пользователей с поисковой выдачей.
2. Обучение Целевой Функции: На основе логов система учится определять вес различных поведенческих сигналов (параметров постпросмотра), чтобы максимизировать метрики качества (MRR/MAP).
3. Обучение Ранжиратора: Оптимизированная целевая функция используется как функция потерь (Loss Function) или как эталон для обучения основной модели ранжирования. Ранжиратор учится сортировать документы так, чтобы максимизировать оценку этой функции.

На что влияет

• Все типы контента и запросов: Поскольку система оптимизирует основной ранжиратор, ее влияние распространяется на всю поисковую выдачу (коммерческую, информационную, навигационную), по которой доступно достаточное количество поведенческих данных.
• Приоритезация UX и Решения Задачи: Алгоритм явно повышает значимость факторов, связанных с удовлетворенностью пользователя (Satisfying Click, Long Dwell Time) и понижает значимость документов, которые пропускаются (Skips) или приводят к быстрому возврату на выдачу.

Когда применяется

• Временные рамки: Процесс оптимизации является офлайн-процедурой. Он применяется периодически, когда накапливается достаточное количество новых данных о поведении пользователей или когда требуется обновление модели ранжирования.

Пошаговый алгоритм

Процесс оптимизации ранжиратора состоит из двух основных фаз.

Фаза 1: Оптимизация Целевой Функции

1. Сбор данных: Получение первого обучающего набора пар запрос-документ из логов.
2. Извлечение признаков: Для каждой пары генерируется вектор параметров постпросмотра (клики, время просмотра, пропуски и т.д.).
3. Инициализация: Генерирование начального весового вектора.
4. Генерация Целевой Функции: Формирование функции, рассчитывающей оценку качества как взвешенную сумму параметров постпросмотра.
5. Оптимизация Весов: Итеративная настройка весовых значений (например, с помощью градиентного спуска) таким образом, чтобы целевая функция максимизировала выбранную метрику производительности (MRR или MAP). Результат — Оптимизированная Целевая Функция.

Фаза 2: Оптимизация Ранжиратора

1. Подготовка данных: Использование второго набора пар запрос-документ (как указано в Claim 3).
2. Обучение Ранжиратора: Оптимизация основной модели ранжирования с использованием Оптимизированной Целевой Функции.
3. Оценка: Оценка оптимизированного ранжиратора на третьем (валидационном) наборе данных (как указано в Claim 4).
4. Применение: Внедрение оптимизированного ранжиратора в поисковую систему.

Какие данные и как использует

Данные на входе

Ключевыми данными в этом патенте являются исключительно поведенческие факторы, детализированные как параметры постпросмотра.

• Поведенческие факторы (Уровень Документа): Клик, Время просмотра (Dwell Time), Длительный просмотр (Long Dwell Time), Первый клик, Последний клик, Удовлетворяющий клик (Satisfying Click), Пропуск (Skip), Предыдущий пропуск, Пропуск выше.
• Поведенческие факторы (Уровень SERP): Клик вверху/внизу, Общее количество кликов, Клики на Топ-3, Общее количество пропусков, Время до первого клика.
• Временные факторы: Время просмотра документа, время до первого клика.
• Структурные факторы (SERP): Положение документа в SERP (используется как параметр для нормализации).
• Пользовательские факторы (Сессия): Параметр последнего запроса в поисковой сессии.

Какие метрики используются и как они считаются

• Целевая Функция (Objective Function): Рассчитывается как взвешенная комбинация параметров постпросмотра. Формула подразумевает модель, использующую Весовой Вектор и Вектор Параметров Постпросмотра. Например:

$$ F(q, d) = \sum_{i} w_i \cdot P_i(q, d) $$

Где $w_i$ — вес из весового вектора, а $P_i$ — значение i-го параметра постпросмотра.

• Метрики производительности:
  • MRR (Mean Reciprocal Rank): Оценивает, насколько высоко в выдаче находится первый релевантный ответ.
  • MAP (Mean Average Precision): Оценивает среднюю точность по всем релевантным документам в выдаче.
• Алгоритмы машинного обучения: Для оптимизации весовых значений упоминается алгоритм градиентного спуска (Gradient Descent).

Выводы

1. Поведенческие факторы — основа обучения ранжирования: Патент подтверждает, что Яндекс использует поведенческие сигналы не просто как факторы ранжирования, а как фундамент для обучения основного ранжиратора (Learning to Rank). Создается специальная целевая функция, основанная на поведении, и ранжиратор учится ее максимизировать.
2. Детализация поведенческих сигналов: Патент предоставляет конкретный и подробный список используемых поведенческих признаков (параметров постпросмотра). Ключевыми являются метрики удовлетворенности: Удовлетворяющий клик (Satisfying Click), Длительный просмотр (Long Dwell Time) и Последний клик.
3. Учет негативных сигналов: Система явно учитывает негативное поведение, такое как Пропуск документа (Skip), пропуск документов выше (Skip above) и короткое время просмотра.
4. Комплексный анализ SERP: Учитывается не только взаимодействие с отдельным документом, но и общая картина взаимодействия с выдачей (параметры уровня SERP): общее количество кликов, время до первого клика, является ли запрос последним в сессии.
5. Автоматическое взвешивание сигналов: Система автоматически определяет важность (вес) каждого поведенческого сигнала путем оптимизации по глобальным метрикам качества поиска (MRR/MAP), что делает ее адаптивной.

Практика

Best practices (это мы делаем)

• Максимизация Удовлетворяющего Клика и Последнего Клика: Создавайте контент и функционал, который полностью решает задачу пользователя. Цель — сделать так, чтобы пользователь завершил поиск на вашем сайте и не возвращался на выдачу. Это генерирует сигналы Satisfying Click и Last Click.
• Увеличение Времени Вовлеченного Просмотра (Long Dwell Time): Разрабатывайте страницы с высоким качеством контента, хорошей структурой (заголовки, списки, медиа) и удобным UX. Цель — удержать пользователя на странице дольше заранее определенного порога (Long Dwell Time).
• Оптимизация Сниппетов для предотвращения Пропусков (Skips): Сниппет должен быть релевантным и привлекательным. Наличие Параметра пропуска и Параметра предыдущего пропуска указывает на важность CTR с учетом позиций конкурентов.
• Улучшение скорости загрузки и интерактивности: Быстрый и отзывчивый сайт способствует позитивным поведенческим сигналам и может косвенно влиять на Параметр времени до первого клика (на уровне SERP).
• Анализ поведения на разных позициях: Учитывайте, что Параметр положения также является признаком. Поведенческие ожидания от документа на 1-й и 10-й позиции различны (Position Bias).

Worst practices (это делать не надо)

• Кликбейт и вводящие в заблуждение сниппеты: Привлечение нецелевого трафика приведет к коротким кликам (отсутствие Long Dwell Time) и возврату на выдачу (отсутствие Last Click). Это негативно скажется на обучении ранжиратора в отношении вашего сайта.
• Игнорирование UX и юзабилити: Сложная навигация, обилие рекламы, мешающей потреблению контента, медленная работа сайта приводят к быстрому закрытию вкладки и генерируют негативные поведенческие сигналы.
• Поверхностный или неполный контент (Thin Content): Если контент не решает задачу пользователя, он вернется на SERP и кликнет на другой результат. Ваш сайт не получит сигнал Satisfying Click.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Яндекса на удовлетворенность пользователя как главную цель ранжирования. Он демонстрирует технический механизм, связывающий UX, качество контента и ранжирование через детальный анализ поведенческих данных. Для SEO это означает, что работа над продуктом и контентом неотделима от продвижения. Долгосрочная стратегия должна фокусироваться на том, чтобы стать лучшим ответом, который завершает поисковую сессию пользователя.

Практические примеры

Сценарий 1: Информационный портал (статья)

1. Задача: Оптимизировать статью «Как выбрать велосипед» для улучшения поведенческих сигналов.
2. Действия:
   • Сделать сниппет максимально информативным (указав, например, год актуальности и ключевые разделы), чтобы избежать Пропуска.
   • В статье предоставить исчерпывающую информацию (типы велосипедов, ростовка, бренды), добавить видеообзоры и сравнительные таблицы. Это увеличит Dwell Time и вероятность достижения порога Long Dwell Time.
   • Убедиться, что статья отвечает на все смежные вопросы, чтобы пользователь не ушел обратно в поиск. Это максимизирует вероятность Удовлетворяющего клика.
3. Результат: Система фиксирует позитивные параметры постпросмотра. При следующем обучении ранжиратора, он будет отдавать предпочтение этому документу.

Сценарий 2: E-commerce (листинг товаров)

1. Задача: Оптимизировать листинг «Холодильники Samsung», который пользователи часто быстро покидают.
2. Действия:
   • Обеспечить быструю загрузку и рендеринг страницы.
   • Предоставить удобные фильтры, сортировки и достаточное количество товаров на странице, чтобы пользователь мог найти нужную модель, не возвращаясь на SERP.
   • Сделать карточки товаров на листинге информативными (цена, ключевые характеристики, рейтинг), чтобы помочь в выборе.
3. Результат: Пользователь проводит больше времени на листинге, взаимодействует с фильтрами и находит нужный товар. Листинг получает сигнал Satisfying Click (если время просмотра было достаточным) или способствует позитивным сигналам на уровне сессии.

Вопросы и ответы