Как Яндекс улучшает обучение ранжирования, корректируя ошибки и предвзятость асессоров и краудсорсеров (Толока)

Описание

Какую задачу решает

Патент решает критическую проблему качества данных при обучении моделей машинного ранжирования. Основные алгоритмы поиска (MLA) обучаются на оценках релевантности (ярлыках), полученных от людей (асессоров или краудсорсеров). Однако эти оценки часто бывают «зашумленными» — неточными или непоследовательными. Это происходит из-за ошибок, спама, а также различий в строгости (параметр скрупулезности) оценщиков-[0008]. Проблема особенно актуальна для краудсорсинга (например, Яндекс.Толока). Патент предлагает механизм, который минимизирует негативное влияние этого шума на качество итоговой модели ранжирования.

Что запатентовано

Запатентован способ предварительной обработки обучающей выборки перед ее подачей в алгоритм ранжирования. Суть изобретения заключается в расчете для каждого обучающего примера двух ключевых показателей: (1) Весового параметра (Weight Parameter) — уровня доверия к оценке, и (2) Параметра релевантности (Relevance Parameter) — нормализованной оценки, учитывающей субъективность асессора,. Эти параметры рассчитываются так, чтобы напрямую оптимизировать качество итогового ранжирования.

Как это работает

Система использует мета-обучение. Она анализирует «характеристики ярлыка» — метаданные о том, как была получена оценка (опыт асессора, его строгость, затраченное время). На основе этих данных обучаются две вспомогательные функции. Первая определяет надежность оценки (Вес). Вторая корректирует значение оценки (Релевантность), чтобы нормализовать предвзятость (например, оценка «хорошо» от строгого асессора ценится выше). Ключевая особенность в том, что эти функции обучаются не для повышения точности ярлыков (как в стандартных моделях консенсуса), а для максимизации качества работы основного алгоритма ранжирования.

Актуальность для SEO

Высокая. Качество обучающих данных является фундаментом для систем машинного обучения (таких как CatBoost и YATI). Учитывая активное использование краудсорсинга (в патенте упоминается YANDEX TOLOKA) для сбора оценок, методы очистки и оптимизации этих данных являются критически важной и актуальной частью инфраструктуры обучения ранжированию.

Важность для SEO

Влияние на SEO низкое (3/10). Это инфраструктурный патент, фокусирующийся исключительно на внутренних процессах обучения (Training Phase) моделей ранжирования Яндекса. Он не описывает новые факторы ранжирования или механизмы, на которые SEO-специалисты могут напрямую влиять. Патент дает понимание того, как Яндекс обеспечивает качество своих ML-моделей, но не предлагает практических действий для SEO.

Детальный разбор

Термины и определения

MLA (Machine Learning Algorithm)

Алгоритм машинного обучения. Основной алгоритм ранжирования (например, CatBoost), который обучается упорядочивать результаты поиска.

Весовой параметр (Weight Parameter, w_i)

Показатель, указывающий на качество или уровень достоверности (доверия) назначенного ярлыка. Чем ниже надежность асессора, тем меньше вес его оценки при обучении MLA,.

Вектор характеристик объекта (Object Feature Vector)

Численное представление обучающего объекта. Включает Характеристики ранжирования и Характеристики ярлыка.

Зашумленные ярлыки (Noisy Labels)

Оценки релевантности, которые являются неточными, непоследовательными или субъективными из-за человеческого фактора,.

Параметр релевантности (Relevance Parameter, l_i)

Модерированное (переназначенное или нормализованное) значение ярлыка. Корректирует исходную оценку с учетом поведения конкретного асессора (например, его строгости) относительно других,.

Параметр скрупулезности (Scrupulousness Parameter)

Характеристика асессора, указывающая на его консервативность или строгость. Высокая скрупулезность означает, что асессор ставит высокие оценки только идеальным результатам.

Характеристики ранжирования (Ranking Features, X)

Стандартные факторы, описывающие пару «запрос-документ» (например, текстовая релевантность, ссылочные, поведенческие факторы).

Характеристики ярлыка (Label Features, Y)

Метаданные, связанные с процессом получения ярлыка. Включают информацию об асессоре (опыт, скрупулезность, время на выполнение задачи), о задаче и выводы консенсусных моделей-[0094]. Используются для расчета Весового параметра и Параметра релевантности.

Ярлык (Label)

Исходная оценка релевантности, назначенная человеком паре «запрос-документ».

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методе обучения модуля ранжирования, который компенсирует шум в обучающих данных путем пересчета веса и значения каждого ярлыка.

Claim 1 (Независимый пункт): Описывает основной процесс предварительной обработки данных и обучения.

1. Система извлекает обучающую выборку. Каждый объект имеет назначенный (потенциально зашумленный) ярлык и связанный вектор характеристик.
2. Для каждого объекта на основе его вектора характеристик вычисляются два параметра:
1. Весовой параметр: определяет уровень достоверности (качества) назначенного ярлыка.
2. Параметр релевантности: определяет модерированное (скорректированное) значение ярлыка относительно других ярлыков (переназначение).
3. Средство ранжирования (MLA) обучается с использованием вычисленных Параметров релевантности (вместо исходных ярлыков), а влияние каждого объекта на обучение регулируется его Весовым параметром.

Claims 4 и 5 (Зависимые пункты): Уточняют, что вектор характеристик может включать данные об участнике краудсорсинга, назначившем ярлык, такие как активность просмотра, затраченное время, уровень опыта и параметр скрупулезности.

Claims 7, 8 и 13 (Зависимые пункты): Подчеркивают ключевую идею изобретения: определение Параметра релевантности и Весового параметра выполняется с целью прямой оптимизации качества ранжирования итогового средства ранжирования, а не точности ярлыков.

Где и как применяется

Важно понимать, что этот патент НЕ применяется в реальном времени при обработке запроса пользователя. Он описывает ОФЛАЙН-ПРОЦЕССЫ обучения моделей, используемых на слое RANKING.

Инфраструктура обучения моделей (Training Infrastructure)
Изобретение реализуется на обучающем сервере в процессе подготовки моделей ранжирования (например, L2/L3) во время фазы обучения (Training Phase).

Взаимодействие компонентов:

1. Сбор данных: Данные поступают от асессоров и краудсорсинга (например, Толока).
2. Предварительная обработка (P): Здесь применяется запатентованный метод. Система анализирует Характеристики ярлыков и Характеристики ранжирования. Она обучает и применяет функции переназначения и перевзвешивания.
3. Обучение MLA (R): Основной алгоритм ранжирования (например, CatBoost) обучается на этих обработанных данных.

Входные данные: Исходная выборка (XSOURCE) с зашумленными ярлыками, Целевая выборка (XTARGET) с точными ярлыками (для валидации), Матрицы Характеристик ранжирования (X) и ярлыка (Y).

Выходные данные: Обработанная выборка (XTRAIN) с вычисленными Параметрами релевантности (l) и Весовыми параметрами (W).

На что влияет

Патент влияет на общее качество, точность и устойчивость (robustness) формулы ранжирования Яндекса. Он не нацелен на конкретные типы контента, запросов или ниш. Его цель — гарантировать, что модель ранжирования обучается на максимально достоверных сигналах, извлеченных из разнородных человеческих оценок.

Когда применяется

Алгоритм применяется исключительно офлайн, во время циклов обучения или переобучения моделей ранжирования.

• Условия работы: Наличие обучающей выборки, в которой ярлыки считаются потенциально зашумленными.
• Триггеры активации: Особенно актуален при использовании краудсорсинговых данных (как указано в патенте), где уровень шума значительно выше, но также применим к данным профессиональных экспертов.

Пошаговый алгоритм

Процесс основан на мета-обучении (обучение тому, как обучать) и описан в Алгоритме 1 и параграфах-[0108].

Этап 1: Подготовка и Обучение функций предварительной обработки (P)

1. Сбор данных и Извлечение характеристик: Сбор XSOURCE (зашумленные данные) и XTARGET (эталонные данные). Расчет Характеристик ранжирования (X) и Характеристик ярлыка (Y).
2. Инициализация: Задаются начальные параметры для Функции перевзвешивания (α) и Функции переназначения (β).
3. Итеративная оптимизация (Обучение α и β):
   • a. Расчет параметров: Вычисление текущих Весовых параметров (W) и Параметров релевантности (l) с использованием α и β.
   • b. Обучение временного ранкера: Обучение временного ранкера на XSOURCE с использованием W и l.
   • c. Валидация: Оценка качества временного ранкера на эталонной выборке XTARGET с использованием метрики качества ранжирования (например, LambdaRank).
   • d. Расчет градиентов и Обновление: Вычисление градиентов (Δα, Δβ) и обновление α и β методом градиентного спуска для улучшения метрики качества ранжирования.
   • e. Повтор: Шаги a-d повторяются до сходимости.

Этап 2: Обучение основного ранкера (R)

1. Трансформация данных: Применение обученных функций (с финальными α и β) к XSOURCE для генерации итоговой выборки XTRAIN.
   • Расчет Весового параметра: $w_{i}=\sigma(\alpha\bullet y_{i})$.
   • Расчет Параметра релевантности: $l_{i}=\sigma(\beta\bullet y_{i})$.
   • (σ — сигмоидальное преобразование).
2. Обучение MLA: Основной алгоритм ранжирования (например, CatBoost) обучается на XTRAIN. Он использует X для предсказания l, при этом влияние каждого объекта определяется W.

Какие данные и как использует

Данные на входе

Система использует два основных типа характеристик:

1. Характеристики ранжирования (Ranking Features, X)

Стандартные факторы, используемые основным MLA:

• Контентные, Ссылочные, Поведенческие факторы: Релевантность текста и ссылок, качество документа, характеристики пользовательского поведения и т.д.

2. Характеристики ярлыка (Label Features, Y)

Данные, используемые для оценки качества и коррекции самих ярлыков. Они описывают контекст получения оценки,:

• Данные об асессоре/краудсорсере:
  • Параметр скрупулезности (консервативность оценок).
  • Уровень опыта.
  • Точность на проверочных задачах (honeypots).
• Данные об активности асессора:
  • Активность просмотра.
  • Временной интервал, проведенный за просмотром объекта.
• Данные консенсуса:
  • Выводы консенсусных моделей.
  • Согласованность с другими асессорами.

Какие метрики используются и как они считаются

• Весовой параметр (w_i) и Параметр релевантности (l_i): Рассчитываются как функции от Характеристик ярлыка (y_i), параметризованные векторами α и β. Используется сигмоидальное преобразование (σ) для удержания значений в интервале,:
  
  $w_{i}=\sigma(\alpha\bullet y_{i})$
  
  $l_{i}=\sigma(\beta\bullet y_{i})$
• Оптимизация качества ранжирования (M): Параметры α и β обучаются с целью прямой оптимизации качества поискового ранкера. Для этого используется итеративный процесс, который опирается на градиенты метрики качества. В патенте в качестве примера градиента (Формула 5,) упоминается градиент LambdaRank ($\frac{\partial\mathcal{M}}{\partial s_{i}}$).
• Регуляризация: Используется параметр $L_{2}$-регуляризации (μ) для предотвращения переобучения.

Выводы

1. Инфраструктурный патент без прямых SEO-рекомендаций: Патент описывает внутренние процессы Яндекса по улучшению обучения моделей ранжирования. Он не описывает факторы ранжирования или методы оптимизации сайтов.
2. Яндекс признает и обрабатывает шум в оценках: Система не доверяет слепо оценкам асессоров и краудсорсеров. Признается, что все данные зашумлены из-за человеческого фактора (ошибок и предвзятости).
3. Анализ поведения асессоров (Скрупулезность): Система моделирует поведение асессоров, в частности их строгость («скрупулезность»). Положительная оценка от строгого асессора ценится выше, чем от лояльного.
4. Двойная коррекция данных: Шум обрабатывается двумя способами одновременно: нормализацией оценки (Параметр релевантности) для учета субъективности и взвешиванием (Весовой параметр) для учета достоверности.
5. Прямая оптимизация метрик поиска: Ключевая особенность — функции коррекции данных обучаются не для повышения точности ярлыков самих по себе, а для прямой оптимизации финальной метрики качества ранжирования (например, LambdaRank).

Практика

Патент описывает внутренние процессы Яндекс, связанные с обучением моделей машинного обучения, без прямых рекомендаций для SEO.

Best practices (это мы делаем)

Хотя прямых действий из патента не следует, он подтверждает важность фундаментальных подходов:

• Фокус на эталонном качестве контента: Патент демонстрирует, насколько сложную инфраструктуру Яндекс выстраивает, чтобы научить свои модели отличать качественный контент на основе человеческих оценок. Это подтверждает необходимость создания контента, который будет высоко оценен строгими и квалифицированными экспертами.
• Обеспечение однозначной релевантности: Контент должен четко и полно отвечать на запрос. Это минимизирует расхождения (шум) в оценках асессоров и увеличивает вероятность того, что документ будет использоваться как эталон качества (с высоким Весовым параметром) при обучении моделей.

Worst practices (это делать не надо)

• Попытки манипулировать процессом оценки: Попытки повлиять на обучение моделей через создание фейковых оценок (например, через собственные задания на Толоке) малоэффективны. Патент демонстрирует, что Яндекс активно борется со спамом и низким качеством оценок, используя Весовые параметры для снижения их влияния.

Стратегическое значение

Патент подчеркивает сложность инфраструктуры машинного обучения Яндекса и его зависимость от качества обучающих данных. Он демонстрирует, что улучшение ранжирования происходит не только за счет добавления новых факторов, но и за счет совершенствования самого процесса обучения и интерпретации человеческих оценок (включая Толоку). Стратегически это подтверждает долгосрочный приоритет на качество контента и удовлетворенность пользователя, которые Яндекс использует как эталон для обучения своих систем.

Практические примеры

Практических примеров применения данного патента в работе SEO-специалиста нет, так как он описывает офлайн-процессы обучения моделей. Однако можно привести пример того, как этот механизм работает внутри Яндекса:

Сценарий: Обработка оценок от разных асессоров

1. Входные данные: Документ А оценивается по запросу Б.
2. Исполнители и Оценки:
   • Асессор 1 (Строгий/Скрупулезный, Опытный): Ставит «4 из 5».
   • Асессор 2 (Лояльный, Новичок): Ставит «4 из 5».
   • Асессор 3 (Спамер/Невнимательный): Ставит «1 из 5».
3. Обработка системой: Система анализирует Характеристики ярлыка (историю и скрупулезность асессоров).
   • Оценка 1: Получает высокий Весовой параметр (надежная). Получает высокий Параметр релевантности (т.к. строгий асессор поставил высокую оценку).
   • Оценка 2: Получает средний Весовой параметр. Получает средний Параметр релевантности (т.к. асессор менее строгий, его «4» значит меньше, чем у Асессора 1).
   • Оценка 3: Получает низкий Весовой параметр (ненадежная) и почти не влияет на обучение.
4. Результат: Модель ранжирования обучается на скорректированных данных, придавая наибольшее значение интерпретации оценки Асессора 1 и игнорируя шум от Асессора 3.

Вопросы и ответы