Как Яндекс очищает данные краудсорсинговых оценок от когнитивных искажений асессоров для улучшения качества обучения ранжирующих моделей

Описание

Какую задачу решает

Патент решает проблему шума и когнитивных искажений (bias) в данных, получаемых из краудсорсинговых сред (таких как Яндекс.Толока). Ключевая проблема заключается в том, что асессоры могут неосознанно подвергаться влиянию признаков, нерелевантных самой задаче оценки. Например, при попарном сравнении двух документов или SERP на выбор асессора может повлиять расположение объектов (левый/правый), дизайн или размер шрифта. Это приводит к получению смещенных меток (biased labels), которые отражают реакцию на интерфейс, а не истинное качество объектов. Использование таких данных для обучения алгоритмов ранжирования снижает качество поиска.

Что запатентовано

Запатентована система и метод для определения объективной метки (Unbiased Preference Parameter) для задачи сравнения на основе множества субъективных оценок асессоров. Суть изобретения заключается в использовании алгоритма машинного обучения (Machine Learning Algorithm, MLA), который моделирует процесс принятия решения асессором как смесь (Mixture Model) двух состояний: объективной оценки качества и субъективной реакции на отвлекающие факторы (Latent Biasing Features). Система математически разделяет эти два компонента, чтобы выделить истинную оценку.

Как это работает

Система анализирует задачу сравнения и определяет набор потенциальных Latent Biasing Features (например, позиция слева/справа). После получения оценок от асессоров запускается MLA. Для каждого асессора MLA оценивает вероятность и степень его предвзятости к этим факторам. Используя метод максимального правдоподобия (Maximum Likelihood Estimation), алгоритм вычисляет истинные оценки качества объектов (Latent Score Parameters), отделяя их от влияния смещающих признаков. В результате система генерирует очищенные, несмещенные параметры предпочтения вместо исходных «сырых» меток асессоров.

Актуальность для SEO

Высокая. Качество данных для обучения ML-моделей является критически важным для поисковых систем. Учитывая, что Яндекс активно использует краудсорсинг для сбора данных для обучения ранжирования (например, YATI) и оценки качества (например, Proxima), методы борьбы с предвзятостью асессоров крайне актуальны для обеспечения объективности поиска.

Важность для SEO

Влияние на SEO косвенное и инфраструктурное (5/10). Этот патент не описывает алгоритм ранжирования. Он описывает, как Яндекс обеспечивает целостность и качество данных, которые используются для обучения этих алгоритмов. Для SEO-специалистов это означает, что модели ранжирования Яндекса обучаются на данных, активно очищенных от шума и систематических ошибок асессоров. Это повышает точность работы метрик качества и алгоритмов релевантности, делая фокус на реальном качестве сайта (E-E-A-T) единственной долгосрочной стратегией.

Детальный разбор

Термины и определения

Assessor (Асессор, $w_k$)

Человек, выполняющий задачу оценки в краудсорсинговой среде (например, Яндекс.Толока).

Comparison Task (Задача сравнения)

Задача, в которой асессору предлагается выбрать предпочтительный объект из двух вариантов (например, попарное сравнение SERP или документов $d_i, d_j$).

Latent Biasing Features (Скрытые смещающие признаки, $x_{kij}$)

Признаки задачи, которые нерелевантны для оценки качества объектов, но могут влиять на выбор асессора (например, позиция на экране, шрифт, цвет фона, размер изображения). Представляются в виде векторов.

Latent Score Parameter (Параметр скрытой оценки, $s_i, s_j$)

Оценка истинного качества или релевантности объекта, очищенная от влияния смещающих признаков.

MLA (Machine Learning Algorithm)

Алгоритм, используемый для оценки параметров модели. В данном патенте основан на методе максимального правдоподобия (Maximum Likelihood Estimation, MLE).

Predicted Bias Degree Parameter (Предсказанный параметр степени смещения, $r_k$)

Оценка степени, в которой данный асессор подвержен влиянию конкретных скрытых смещающих признаков.

Predicted Bias Probability Parameter (Предсказанный параметр вероятности смещения, $\gamma_k$)

Оценка вероятности того, что ответ данного асессора является объективным (unbiased) или предвзятым (biased).

Unbiased Preference Parameter (Несмещенный параметр предпочтения)

Итоговая, очищенная метка для задачи сравнения. Вычисляется как логистическая функция разницы истинных оценок: $f(s_i — s_j)$.

Ключевые утверждения (Анализ Claims)

Патент защищает метод агрегации краудсорсинговых оценок с учетом и нейтрализацией предвзятости асессоров, основанный на вероятностной модели смеси (Mixture Model).

Claim 1 (Независимый пункт): Описывает основной метод.

1. Система получает множество меток от асессоров для задачи сравнения.
2. Система определяет набор Latent Biasing Features (признаков, нерелевантных задаче, но влияющих на восприятие).
3. Выполняется MLA, который генерирует: Latent Score Parameters (истинное качество объектов), Bias Probability Parameter (вероятность предвзятости асессора) и Bias Degree Parameter (степень предвзятости).
4. Критически важно: Генерация параметров выполняется на основе максимизации правдоподобия (Maximum Likelihood) наблюдаемых данных.
5. Система вычисляет и использует Unbiased Preference Parameter как итоговую метку для задачи.

Claim 2 (Зависимый от 1): Определяет основную логарифмическую формулу (Log-Likelihood, $\mathcal{L}$), которую максимизирует MLA. Это ядро изобретения, моделирующее выбор асессора как смесь двух состояний (объективного и предвзятого):

$$ \mathcal{L} = \sum_{(w_k, d_i, d_j) \in P} \log \left[ f(\gamma_k)f(s_i — s_j) + (1 — f(\gamma_k))f(\langle x_{kij}, r_k \rangle) \right] $$

Где $f$ – логистическая функция. Формула интерпретируется как: Вероятность выбора = (Вероятность объективности * Вероятность выбора по качеству) + (Вероятность предвзятости * Вероятность выбора по смещающим факторам).

Claim 3 (Зависимый от 2): Уточняет, что максимизация $\mathcal{L}$ может включать регуляризацию (R) для стабилизации модели, формируя целевую функцию T:

$$ T = \mathcal{L} + \lambda R $$

$$ T = \mathcal{L} + \lambda \sum_{i=1}^{N} (\log(f(s_i-s_0)) + \log(f(s_0-s_i))) $$

Где $\lambda$ — параметр регуляризации, а $s_0$ — скрытая оценка виртуального объекта.

Где и как применяется

Этот патент не применяется непосредственно в онлайн-ранжировании пользовательских запросов. Он относится к офлайн-процессам подготовки данных и контроля качества поиска.

Слой Качества и Метрик (QUALITY & GOVERNANCE LAYER)

Изобретение напрямую связано с инфраструктурой оценки качества поиска и обработки данных из краудсорсинговых платформ (например, Толока).

• Подготовка данных для Proxima: Метрика качества Proxima обучается на оценках асессоров. Этот механизм используется для очистки этих оценок перед обучением, гарантируя, что на выбор асессоров не повлияли нерелевантные факторы (например, интерфейс задания).
• Оценка экспериментов: При проведении A/B тестов и side-by-side (SxS) сравнений новых алгоритмов ранжирования этот метод используется для объективной агрегации результатов.

Слой Ранжирования (RANKING LAYER) – Косвенное влияние

• Обучение моделей ранжирования (L3/L4): Основные алгоритмы ранжирования (CatBoost, YATI) обучаются на данных, размеченных асессорами. Использование очищенных (Unbiased) меток позволяет обучать более точные и объективные модели.

Данные на входе: Сырые метки асессоров, идентификаторы асессоров и объектов, векторы Latent Biasing Features.
Данные на выходе: Очищенные метки (Unbiased Preference Parameters), которые служат как Ground Truth для ML.

На что влияет

• Точность ML-моделей: Основное влияние — повышение точности всех моделей, которые полагаются на краудсорсинговые данные. Устраняя шум, система позволяет моделям фокусироваться на изучении признаков истинной релевантности и качества.
• Все типы контента и запросов: Метод универсален и может применяться при оценке любых задач сравнения (информационные, коммерческие, YMYL и т.д.).

Когда применяется

• Условия применения: Применяется при обработке результатов задач попарного сравнения (pairwise comparison tasks), выполненных в краудсорсинговой среде.
• Временные рамки: Офлайн-процесс, выполняемый после сбора оценок и перед обучением основных моделей.

Пошаговый алгоритм

Процесс агрегации оценок и нейтрализации предвзятости.

1. Анализ и Векторизация признаков:
   1. Система определяет набор Latent Biasing Features для задачи сравнения (например, позиция, шрифт).
   2. Признаки кодируются в виде векторов. Например,, если признак присутствует у первого объекта и отсутствует у второго;, если у обоих или ни у одного.
2. Сбор данных: Система получает множество меток (предпочтений) от асессоров.
3. Выполнение MLA (Моделирование и Оптимизация):
   1. MLA инициализирует параметры модели: истинные оценки объектов ($s_i, s_j$), вероятность объективности ($\gamma_k$) и степень предвзятости ($r_k$) для каждого асессора.
   2. Используя метод максимизации правдоподобия (MLE), MLA итеративно подбирает эти параметры так, чтобы они наилучшим образом объясняли наблюдаемые данные (согласно формуле из Claim 2).
   3. Применяется регуляризация (согласно Claim 3) для стабилизации модели.
4. Генерация результата:
   1. Система вычисляет Unbiased Preference Parameter как логистическую функцию разницы финальных истинных оценок: $f(s_i — s_j)$.
5. Использование результата: Очищенная метка используется для обучения других ML-моделей (ранжирование, Proxima).

Какие данные и как использует

Данные на входе

Система использует данные, связанные с процессом краудсорсинга, а не с контентом веб-страниц.

• Данные об оценках (Labels): Метки, полученные от асессоров, указывающие предпочтение одного объекта над другим.
• Структурные/Интерфейсные факторы (Latent Biasing Features): Данные, описывающие интерфейс задачи, который видел асессор. В патенте упоминаются:
• Размер шрифта (Font size).
• Размер изображения (Image size).
• Позиционирование объектов (Positioning).
• Цвет фона (Background colour).

Какие метрики используются и как они считаются

Система основана на вероятностной модели смеси (Mixture Model) и методе максимального правдоподобия (MLE).

Ключевая формула (Логарифм правдоподобия, $\mathcal{L}$):

Система максимизирует следующую функцию, чтобы найти оптимальные параметры ($s_i, s_j, \gamma_k, r_k$):

$$ \mathcal{L} = \sum_{(w_k, d_i, d_j) \in P} \log \left[ f(\gamma_k)f(s_i — s_j) + (1 — f(\gamma_k))f(\langle x_{kij}, r_k \rangle) \right] $$

Где:

• $w_k$ – асессор; $d_i, d_j$ – объекты; P – набор всех оценок.
• $f$ – логистическая функция.
• $f(\gamma_k)$ – Вероятность того, что асессор $k$ объективен (Bias Probability Parameter).
• $f(s_i — s_j)$ – Вероятность предпочтения на основе истинного качества (Latent Score Parameters).
• $(1 — f(\gamma_k))$ – Вероятность того, что асессор предвзят.
• $f(\langle x_{kij}, r_k \rangle)$ – Вероятность предпочтения из-за реакции на смещающие признаки $x_{kij}$ с учетом степени предвзятости $r_k$ (Bias Degree Parameter).

Регуляризация: Для оптимизации используется целевая функция T, включающая регуляризацию (R), что предотвращает переобучение и стабилизирует модель:

$$ T = \mathcal{L} + \lambda R $$

Выводы

1. Качество данных для обучения — приоритет Яндекса: Патент демонстрирует сложность инфраструктуры, которую Яндекс строит для обеспечения высокого качества данных, используемых для обучения алгоритмов ранжирования и метрик качества (Proxima). Яндекс признает проблему когнитивных искажений асессоров и активно борется с ней математическими методами.
2. Сложное моделирование предвзятости: Система не просто усредняет оценки, а использует сложную вероятностную модель смеси (Mixture Model), чтобы отделить истинное суждение о качестве контента от субъективной реакции асессора на интерфейс или оформление.
3. Индивидуальный подход к асессорам: Система оценивает склонность к искажениям индивидуально для каждого асессора (вероятность и степень предвзятости), что позволяет более точно корректировать их метки.
4. Инфраструктурный характер патента: Это изобретение не влияет на SEO напрямую (нет новых факторов ранжирования), но оно критически важно для понимания того, как формируется «Ground Truth» (эталон качества) в экосистеме Яндекса. Алгоритмы ранжирования становятся точнее благодаря обучению на чистых данных.

Практика

Best practices (это мы делаем)

Поскольку патент касается внутренней инфраструктуры Яндекса по очистке тренировочных данных, прямых действий для SEO он не предлагает. Однако он подтверждает важность стратегических направлений:

• Фокус на фундаментальном качестве (E-E-A-T): Инвестируйте в создание экспертного, авторитетного и достоверного контента. Поскольку Яндекс стремится очистить данные асессоров от субъективных искажений, именно фундаментальное качество будет тем сигналом, который они пытаются выделить и использовать для обучения Proxima и алгоритмов ранжирования.
• Релевантность и решение задачи пользователя: Сосредоточьтесь на том, насколько хорошо страница отвечает на запрос пользователя. Объективная оценка (Unbiased Preference) стремится измерить именно это, игнорируя поверхностные факторы.

Worst practices (это делать не надо)

• Попытки манипулировать асессорами или метриками: Не стоит пытаться угадать или эксплуатировать потенциальные когнитивные искажения асессоров. Системы агрегации и очистки данных направлены на то, чтобы такие факторы не влияли на итоговую оценку качества.
• Игнорирование качества в пользу поверхностной оптимизации: Ставка на техническую оптимизацию или ключевые слова при низком качестве контента будет все менее эффективной, так как обученные на чистых данных алгоритмы лучше распознают реальную ценность.

Стратегическое значение

Патент имеет важное стратегическое значение, подтверждая, что Яндекс инвестирует значительные ресурсы в качество данных для машинного обучения. Это указывает на долгосрочный тренд к повышению объективности оценки качества контента. Для SEO-специалистов это сигнал о том, что стратегии, основанные на создании реальной ценности для пользователя, будут наиболее устойчивыми, так как именно это «истинное качество» Яндекс стремится измерять и использовать в ранжировании, отфильтровывая все искажения.

Практические примеры

Практических примеров для применения в SEO нет, так как патент описывает внутренний процесс обработки данных асессоров. Приведем пример того, как работает сама система Яндекса.

Сценарий: Оценка качества двух сайтов для обучения Proxima

1. Задача: Асессорам дают задание сравнить Сайт A и Сайт B. Сайт A показан слева, Сайт B справа.
2. Сбор данных: 70% асессоров выбирают Сайт A, 30% выбирают Сайт B. По простому большинству Сайт A лучше.
3. Анализ Яндекса (Применение патента):
• Система идентифицирует Latent Biasing Feature: «позиция на экране».
• MLA анализирует данные и обнаруживает, что значительная часть асессоров имеет высокую степень предвзятости ($r_k$) в пользу объекта слева.
• Система корректирует результаты, учитывая эту предвзятость.
4. Результат: После очистки данных Unbiased Preference Parameter показывает, что истинное качество Сайта A и Сайта B примерно одинаково ($s_A \approx s_B$).
5. Влияние на Поиск: Модель Proxima обучается на этих очищенных данных и учится, что эти сайты равны по качеству, а не на том, что A значительно лучше B.

Вопросы и ответы