Как Яндекс обучает алгоритмы ранжирования, учитывая субъективность и ошибки асессоров

Описание

Какую задачу решает

Патент решает фундаментальную проблему подготовки качественных обучающих данных (Ground Truth) для алгоритмов машинного обучения (MLA) в поиске. Ключевая проблема заключается в «помехах» (шуме), ошибках и субъективности оценок релевантности, предоставляемых людьми (асессорами или краудсорсерами). Традиционные методы (например, голосование большинства) исходят из предположения о существовании «единственной истинной отметки». Патент устраняет этот недостаток, признавая, что из-за сложности задачи или личных предпочтений (например, относительно важности новизны, дизайна или бренда) даже опытные эксперты могут расходиться во мнениях, и единой истины может не существовать.

Что запатентовано

Запатентован способ создания обучающего объекта для MLA. Суть изобретения — отказ от поиска единственной усредненной оценки релевантности. Вместо этого система генерирует распределение средней отметки (Distribution of the Average Mark). Это распределение представляет собой диапазон воспринимаемых отметок (Perceived Marks) — субъективных, но истинных интерпретаций релевантности — и связанных с ними вероятностей.

Как это работает

Система анализирует оценки, полученные от нескольких экспертов для одного документа. Ключевой механизм — моделирование разницы между тем, что эксперт воспринял как истинную оценку (Воспринимаемая отметка), и тем, что он фактически выбрал (Выбранная отметка). Для этого учитываются параметр экспертизы (навыки эксперта), параметр тенденции (склонность эксперта завышать/занижать оценки) и параметр сложности самой задачи. Агрегируя эти данные, система вычисляет вероятностное распределение (например, 80% вероятность оценки 5; 20% вероятности оценки 4), которое используется для обучения ранжирующей модели.

Актуальность для SEO

Высокая. Качество обучающих данных критически важно для эффективности современных ML-алгоритмов ранжирования. Поскольку Яндекс активно использует краудсорсинг (упоминается YANDEX TOLOKA) для сбора оценок, методы обработки шумных и субъективных данных являются ключевым элементом инфраструктуры качества поиска.

Важность для SEO

Прямое влияние на SEO низкое (3/10). Это инфраструктурный патент, описывающий внутренние процессы подготовки данных для обучения ранжирующих моделей (таких как Proxima или основная формула). Он не описывает факторы ранжирования, на которые могут влиять SEO-специалисты. Однако он имеет высокое стратегическое значение, так как раскрывает философию Яндекса: релевантность не абсолютна, а вероятностна и субъективна. Это подчеркивает важность того, как сайт воспринимается людьми (асессорами).

Детальный разбор

Термины и определения

Алгоритм машинного обучения (MLA)

Алгоритм ранжирования (например, CatBoost), который обучается на подготовленных данных для упорядочивания результатов поиска.

Воспринимаемая отметка (Perceived Mark/Label)

Отметка релевантности, которую эксперт субъективно считает наиболее правильной для данного документа. Может отличаться от Выбранной отметки из-за ошибок или предвзятости.

Выбранная отметка (Selected Mark/Label)

Фактическая оценка, которую эксперт поставил документу.

Обучающий объект (Training Object)

Единица данных для обучения MLA. Включает цифровой обучающий документ (например, пару запрос-документ) и назначенную отметку (в данном патенте — Распределение средней отметки).

Параметр сложности (Difficulty/Complexity Parameter)

Метрика, определяющая, насколько сложно оценить данный документ. Не зависит от эксперта.

Параметр тенденции (Tendency/Bias Parameter)

Характеристика поведения эксперта, основанная на истории его оценок. Например, склонность выбирать только крайние значения (категоричный эксперт) или только средние (нерешительный эксперт)-[0071].

Параметр экспертизы (Expertise Parameter)

Метрика, оценивающая общий уровень навыков эксперта. Не зависит от конкретного документа.

Присущая эксперту оценка вероятности (Inherent Expert Probability)

Вероятность того, что эксперт выберет определенную отметку, исходя из его Параметра тенденции.

Распределение средней отметки (Distribution of the Average Mark)

Ядро изобретения. Итоговая оценка релевантности документа в виде диапазона Воспринимаемых отметок и связанных с ними вероятностей. Используется как целевая переменная (Ground Truth) при обучении MLA.

Условная оценка вероятности (Conditional Probability)

Вероятность того, что эксперт выбрал отметку Y, при условии, что он воспринял отметку Z как истинную. Рассчитывается на основе Параметра экспертизы и Параметра сложности.

Эксперт (Асессор)

Человек, оценивающий релевантность. Может быть профессионалом или участником краудсорсинга (Толока).

Ключевые утверждения (Анализ Claims)

Патент защищает метод генерации обучающих данных, который признает отсутствие единой истины и моделирует субъективность оценок.

Claim 1 (Независимый пункт, п.1): Описывает основной процесс.

1. Получение цифрового обучающего документа.
2. Передача документа множеству экспертов с указанием диапазона отметок релевантности.
3. Получение набора Выбранных отметок.
4. Создание Распределения средней отметки. Это распределение представляет собой диапазон Воспринимаемых отметок и оценку вероятности для каждой из них.
5. Обучение MLA с использованием этого распределения вместо единственной оценки.

Claim 2 и 3 (п.2 и п.3): Уточняют параметры моделирования.

На основе выбранных отметок система определяет:

• Параметр экспертизы для каждого эксперта (независим от документа).
• Параметр сложности для документа (независим от эксперта).

Claim 4 и 5 (п.4 и п.5): Описывают механизм расчета распределения через агрегацию конкретных для эксперта распределений.

Для этого рассчитывается:

1. Присущая эксперту оценка вероятности (вероятность восприятия отметки, зависит от Параметра тенденции (Claims 6, 7)).
2. Условная оценка вероятности (вероятность ошибки выбора при данном восприятии, зависит от Параметра экспертизы и Параметра сложности).

Claim 8 (п.8): Определяет математическую основу. Распределение получают путем максимизации вероятности (правдоподобия) наблюдаемых (выбранных) отметок с помощью формулы:

$$L(\{y_{j}^{w}\})=\prod_{w\in W_{j}}\Sigma_{z_{j}^{w}\in\mathfrak{y}}Pr(z_{j}^{w})Pr(y_{j}^{w}|Z_{j}=z_{j}^{w}).$$

Где $Pr(z_{j}^{w})$ — это присущая вероятность восприятия отметки $z$ (зависит от тенденции), а $Pr(y_{j}^{w}|Z_{j}=z_{j}^{w})$ — условная вероятность выбора отметки $y$ при восприятии $z$ (зависит от экспертизы и сложности).

Где и как применяется

Важно понимать, что этот патент НЕ описывает алгоритм, работающий в реальном времени. Он применяется в ОФЛАЙН-ПРОЦЕССАХ подготовки данных и обучения моделей.

Слой Качества и Метрик (QUALITY & GOVERNANCE LAYER)
Методология применяется для генерации обучающих выборок (Ground Truth), которые используются для обучения ключевых метрик качества, таких как Proxima, и основных алгоритмов ранжирования. Система обрабатывает сырые данные с платформ краудсорсинга (например, Толока) или от штатных асессоров.

RANKING – Ранжирование (Обучение моделей)
Основное применение — это фаза обучения (Training Phase) алгоритмов машинного обучения (MLA), используемых на этапах L2/L3 (например, CatBoost).

• Входные данные: Набор Выбранных отметок от экспертов для пары запрос-документ, история оценок экспертов.
• Выходные данные: Обучающий объект с Распределением средней отметки (вероятностное распределение релевантности).

На что влияет

Патент влияет на качество и точность обучающих данных, что косвенно влияет на качество работы алгоритмов ранжирования по всем типам запросов и контента.

• Конкретные ниши и тематики: Особенно важно для сложных и субъективных тематик (например, YMYL, дизайн, искусство), где разногласия между экспертами наиболее выражены. Методология позволяет системе лучше понять эту неоднозначность.

Когда применяется

• Условия применения: При обработке результатов человеческой разметки, когда один объект оценивается несколькими экспертами (перекрытие).
• Триггеры активации: Наличие разногласий («помех») в полученных оценках.
• Частота применения: Во время подготовки новых обучающих выборок или обновления существующих моделей ранжирования (оффлайн-процесс).

Пошаговый алгоритм

Процесс создания обучающего объекта.

1. Сбор данных:
   1. Определение цифрового обучающего документа (запрос-URL) и шкалы оценок.
   2. Передача документа множеству экспертов (асессоров).
   3. Получение набора «Выбранных отметок».
2. Анализ истории и Оценка Параметров (Итеративный процесс):
   1. Анализ истории экспертов для определения «Параметров тенденции» (предвзятости).
   2. На основе собранных Выбранных отметок вычисление (например, с помощью принципа минимакса энтропии):
      • «Параметра экспертизы» для каждого эксперта.
      • «Параметра сложности» для данного документа.
3. Расчет Вероятностей:
   1. Вычисление «Присущей эксперту оценки вероятности» (зависит от Тенденции).
   2. Вычисление «Условной оценки вероятности» (вероятность ошибки между восприятием и выбором, зависит от Экспертизы и Сложности).
4. Генерация Распределения:
   1. Расчет конкретного для эксперта распределения воспринимаемой отметки.
   2. Агрегация распределений всех экспертов с использованием статистической модели (например, модифицированной GLAD или Dawid-Skene) для максимизации функции правдоподобия (Формула из Claim 8). На выходе получается «Распределение средней отметки».
5. Обучение MLA: Передача документа и его Распределения средней отметки в алгоритм ранжирования для обучения.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на данных, связанных с процессом разметки. Он не использует контентные, ссылочные или поведенческие факторы ранжирования.

• Данные разметки:
  • Набор Выбранных отметок (сырые оценки от каждого эксперта).
  • Диапазон возможных отметок (шкала оценки).
• Исторические данные (Поведенческие данные Асессоров): История предыдущих оценок экспертов. Используется для вычисления Параметра тенденции и Параметра экспертизы.

Какие метрики используются и как они считаются

• Параметр экспертизы ($e^w$), сложности ($d_j$), тенденции: Оценки квалификации эксперта, сложности задачи и смещения (bias) эксперта.
• Присущая эксперту оценка вероятности ($Pr(z)$): Вероятность восприятия определенной отметки.
• Условная оценка вероятности ($Pr(y|z)$): Вероятность выбора отметки Y при восприятии Z.
• Функция правдоподобия (Likelihood function): Ключевая формула (Claim 8), которую система стремится максимизировать для нахождения наиболее вероятного распределения отметок и параметров модели:

  $$L(\{y_{j}^{w}\})=\prod_{w\in W_{j}}\Sigma_{z_{j}^{w}\in\mathfrak{y}}Pr(z_{j}^{w})Pr(y_{j}^{w}|Z_{j}=z_{j}^{w}).$$

• Статистические модели агрегации: Патент упоминает использование модифицированных версий известных моделей: (i) Модель Дэвида-Скена (Dawid-Skene), (ii) Генеративная модель отметок, возможностей и сложностей (GLAD), и (iii) Принцип минимакса энтропии (MME).
• Распределение Дирихле (Dirichlet Distribution): Упоминается как способ моделирования вектора вероятностей воспринимаемых отметок для документа.

Выводы

1. Релевантность субъективна, и Яндекс это учитывает: Ключевой вывод — Яндекс на методологическом уровне признает, что для многих задач не существует единственной «истинной» оценки релевантности. Разногласия между асессорами рассматриваются не только как ошибки, но и как отражение субъективности или сложности задачи.
2. Ground Truth является распределением: Обучающие данные (Ground Truth) для тренировки основных формул ранжирования (включая Proxima) представляют собой не абсолютные оценки, а вероятностные распределения (Распределение средней отметки). Это позволяет создавать более устойчивые к шуму модели.
3. Сложное моделирование качества асессоров: Система не доверяет всем асессорам одинаково. Она рассчитывает индивидуальные параметры Экспертизы и Тенденции (Bias), а также Сложность каждой задачи, чтобы скорректировать итоговое распределение.
4. Фокус на Восприятии, а не Выборе: Система стремится смоделировать, что эксперт действительно думал (Воспринимаемая отметка), а не только то, что он выбрал (Выбранная отметка), тем самым нивелируя ошибки и предвзятость.
5. Инфраструктурный характер: Патент описывает внутренние процессы подготовки данных (Data Preparation Pipeline). Он не вводит новых факторов ранжирования и не предлагает прямых действий для SEO.

Практика

Патент описывает внутренние процессы Яндекс по генерации обучающих данных без прямых рекомендаций для SEO. Практическое применение ограничено пониманием методологии Яндекса.

Best practices (это мы делаем)

• Фокус на удовлетворении человеческого восприятия качества (E-E-A-T): Поскольку Ground Truth формируется на основе смоделированного человеческого восприятия, критически важно соответствовать критериям, которые используют асессоры. В патенте упоминается, что оценка зависит от множества аспектов: релевантность, новизна, охват, бренд, дизайн. Это подтверждает важность комплексной работы над E-E-A-T.
• Создание однозначного и понятного контента: Если контент сложен для восприятия или неоднозначен, это повысит Параметр сложности и приведет к большему разбросу в распределении оценок (неуверенность системы). Создание четкого, структурированного контента, однозначно отвечающего на интент, может снизить эту сложность и привести к более концентрированному распределению высоких оценок.

Worst practices (это делать не надо)

• Попытки манипулировать оценками асессоров/Толокеров: Система разработана специально для фильтрации шума, выявления некомпетентных экспертов (низкий Параметр экспертизы) и учета их смещений (Параметр тенденции). Попытки повлиять на конкретных оценщиков статистически неэффективны благодаря этой методологии агрегации.
• Создание неоднозначного или спорного контента: Контент, который поляризует аудиторию (часть считает его отличным, часть — плохим), получит широкое распределение оценок. В контексте обучения ML это может быть менее предпочтительно, чем стабильно хорошее восприятие.

Стратегическое значение

Патент имеет высокое стратегическое значение для понимания того, как устроено обучение качества в Яндексе. Он демонстрирует глубину статистического аппарата, используемого для обработки человеческих оценок, признавая их субъективность. Это подтверждает, что метрики качества (например, Proxima), обученные на этих данных, являются высоконадежными и устойчивыми к шуму. Для SEO это означает, что фокус должен быть на реальном качестве ресурса, которое будет положительно воспринято людьми.

Практические примеры

Практических примеров применения для SEO нет, так как патент описывает внутренний процесс обработки данных для обучения ML. Однако можно смоделировать, как работает алгоритм обработки оценок.

Сценарий: Обработка оценок для пары Запрос-Документ

1. Задача: Оценить релевантность статьи по запросу (Шкала 1-5).
2. Входные данные (Выбранные отметки):
   • Асессор A (Высокая экспертиза, нейтральный): Оценка 4.
   • Асессор B (Средняя экспертиза, склонен завышать): Оценка 5.
   • Асессор C (Низкая экспертиза): Оценка 2.
3. Обработка системой:
   • Оценка Асессора C имеет минимальный вес из-за низкого Параметра экспертизы.
   • Оценка Асессора B корректируется с учетом его Параметра тенденции (завышение). Система предполагает, что он мог воспринять 4, но выбрал 5.
   • Оценка Асессора A имеет наибольший вес.
4. Традиционный подход (Среднее): (4+5+2)/3 = 3.66.
5. Подход по патенту (Распределение средней отметки): Система вычисляет вероятностное распределение, например: {Оценка 4: 75%, Оценка 5: 20%, Оценка 3: 5%}. Этот результат используется для обучения MLA.

Вопросы и ответы