Как Яндекс динамически контролирует качество асессоров для создания эталонных обучающих данных (Ground Truth)

Описание

Какую задачу решает

Патент решает задачу обеспечения высокого качества и надежности обучающих данных (Ground Truth), генерируемых людьми (асессорами), для тренировки алгоритмов машинного обучения (MLA). Он направлен на минимизацию влияния ошибок, некомпетентности или недобросовестных действий асессоров на итоговое качество разметки, что критически важно для эффективности работы алгоритмов ранжирования и метрик качества (например, Proxima).

Что запатентовано

Запатентована система динамического управления качеством асессоров и агрегации их оценок. Суть изобретения заключается в итеративном процессе: определение «надежного результата» (Ground Truth) путем взвешивания ответов асессоров по их текущему показателю качества (скиллу), а затем динамическое обновление этих скиллов на основе соответствия их ответов этому надежному результату.

Как это работает

Система выдает цифровую задачу группе асессоров. Собираются их ответы с учетом текущего показателя качества (скилла) каждого. Для каждого варианта ответа рассчитывается совокупная метрика качества (например, сумма скиллов асессоров, выбравших этот вариант). Ответ с максимальной метрикой признается «надежным результатом». Затем скиллы пересчитываются: повышаются у тех, чей ответ совпал с надежным, и понижаются у остальных. Асессоры, чей скилл падает ниже порога, исключаются из пула. Следующие задачи выдаются обновленному, более качественному составу.

Актуальность для SEO

Высокая. Качество обучающих данных является фундаментом эффективности любых ML-моделей в поиске. Описанный механизм динамического контроля качества и взвешенной агрегации оценок (напоминающий модель Dawid-Skene) крайне актуален для управления большими краудсорсинговыми платформами, такими как Яндекс.Толока, которые генерируют данные для обучения Proxima и алгоритмов ранжирования.

Важность для SEO

Влияние на SEO минимальное (3/10). Патент является инфраструктурным и описывает внутренние процессы Яндекса без прямых рекомендаций для SEO. Он не описывает факторы ранжирования. Однако он имеет высокое стратегическое значение, так как демонстрирует, насколько системно Яндекс подходит к обеспечению точности данных, которые определяют эталоны качества и релевантности для обучения его алгоритмов.

Детальный разбор

Термины и определения

MLA (Алгоритм машинного обучения)

Алгоритм (например, CatBoost, нейронная сеть), который обучается на данных, сгенерированных описанной системой. В поиске это могут быть алгоритмы ранжирования или метрики качества (Proxima).

Надежный результат (Reliable Result)

Ответ на цифровую задачу, который система идентифицирует как наиболее достоверный (Ground Truth). Определяется как ответ, имеющий максимальное значение Совокупной метрики качества.

Оценщик (Асессор)

Человек, выполняющий цифровые задачи для разметки данных (например, исполнитель на краудсорсинговой платформе или штатный сотрудник).

Показатель качества (Skill / Скилл)

Численная метрика, отражающая компетентность и надежность конкретного асессора. Динамически обновляется. Может интерпретироваться как вероятность правильного выполнения задачи (Claim 3). Обозначается как $skill_{i}$.

Совокупная метрика качества (Aggregate Quality Metric)

Метрика, рассчитываемая для каждого конкретного варианта ответа (y). Она основывается на количестве асессоров, давших этот ответ, и их индивидуальных скиллах. Обозначается как $S(y)$ или $\mathbb{E}(y)$.

Цифровая задача (Digital Task)

Задание для асессора. Например, оценка релевантности документа запросу, классификация контента, попарное сравнение страниц.

Скользящее окно (Sliding Window, w)

Механизм для сглаживания показателя качества асессора путем усреднения его результатов за предопределенное количество последних задач.

Ключевые утверждения (Анализ Claims)

Патент описывает итеративный процесс контроля качества разметки данных и управления пулом асессоров.

Claim 1 (Независимый пункт): Описывает основной алгоритм работы системы.

1. Извлечение данных: Система получает ответы на цифровую задачу и текущие показатели качества (скиллы) асессоров.
2. Расчет Совокупной метрики качества: Для каждого уникального ответа рассчитывается метрика, основанная на скиллах асессоров, предоставивших этот ответ (взвешенное голосование).
3. Идентификация Надежного результата: Ответ с максимальным значением Совокупной метрики качества признается эталоном (Ground Truth).
4. Обновление скиллов: Скиллы асессоров пересчитываются. Если ответ совпал с Надежным результатом, скилл увеличивается; если нет — уменьшается.
5. Фильтрация асессоров: Формируется обновленный набор асессоров путем исключения тех, чей обновленный скилл ниже предопределенного порога.
6. Генерация данных и итерация: Следующая задача передается обновленному набору. Результаты используются как обучающие данные для MLA.

Claim 2: Уточняет базовый вариант расчета Совокупной метрики качества $S(y)$ (Простое взвешенное голосование).

Метрика равна сумме скиллов ($skill_i$) всех асессоров, которые дали конкретный ответ (y).

$$S(y)=\sum_{i=1}^{n}skill_{i}\cdot I(y_{i}=y)$$

Где $I(y_{i}=y)$ — индикаторная функция (1, если i-й асессор дал ответ y, и 0 в противном случае).

Claim 3: Предлагает альтернативный вариант расчета метрики как Ожидаемого значения $\mathbb{E}(y)$, если скилл интерпретируется как вероятность правильного ответа.

Эта формула учитывает не только вклад асессоров, давших ответ y (первая сумма), но и вклад асессоров, давших другие ответы (вторая сумма), взвешенный по вероятности их ошибки ($1-skill_i$) и количеству альтернативных вариантов ответа (L).

$$\mathbb{E}(y)=\sum_{i=1}^{n}skill_{i}\cdot I(y_{i}=y)+\sum_{i=1}^{n}\frac{1-skill_{i}}{L-1}\cdot I(y_{i}\ne y)$$

Claims 4-6: Детализируют механизм обновления скилла асессора.

Вводится предопределенный мультипликативный коэффициент (лямбда, $\lambda$), который определяет скорость изменения скилла (величину штрафа или поощрения). Формула обновления (Claim 6):

$$skill_{i,t}\leftarrow skill_{i,t-1}+\lambda d_{i}$$

Где $d_i$ — разность, зависящая от того, совпал ли ответ асессора с Надежным результатом.

Claims 7-8: Вводят механизм сглаживания показателя качества с использованием скользящего окна (w).

Обновленный скилл рассчитывается как среднее значение показателей качества за последние w задач (Moving Average), что делает оценку более стабильной.

$$skill_{i,t}\leftarrow\frac{\sum_{j=t-w+1}^{t}skill_{i,j}}{w}$$

Где и как применяется

Этот патент не применяется в real-time конвейере обработки запросов пользователя (Crawling, Indexing, Ranking). Он относится к офлайн-процессам подготовки данных и инфраструктуре контроля качества.

QUALITY & GOVERNANCE LAYER (Слой Качества и Метрик)
Изобретение является ключевым компонентом инфраструктуры генерации обучающих данных. Оно обеспечивает надежность данных (Ground Truth), которые используются для:

• Обучения метрик качества, таких как Proxima и Anti-Quality.
• Обучения основных алгоритмов ранжирования (RANKING LAYER), например, CatBoost/YATI.
• Оценки успешности экспериментов и расчета метрики Профицит.

Взаимодействие с компонентами:

• Система взаимодействует с платформой краудсорсинга (например, Яндекс.Толока) или внутренней системой управления асессорами.
• Использует базу данных профилей асессоров и их текущих скиллов.
• Генерирует данные для хранилища обучающих выборок.

Входные данные: Цифровая задача; множество ответов от асессоров; текущие скиллы асессоров.

Выходные данные: Надежный результат (Ground Truth); обновленные скиллы асессоров; отфильтрованный набор асессоров; обучающие данные для MLA.

На что влияет

Изобретение влияет на качество обучающей выборки для всех алгоритмов Яндекса, использующих асессорскую оценку. Это включает:

• Оценку релевантности (соответствие документа запросу).
• Оценку качества контента (метрики полезности, авторитетности, доверия — реализуемые через Proxima, аналоги E-E-A-T).
• Классификацию спама и нарушений.

Влияние распространяется на все типы контента, тематики (включая YMYL) и типы запросов, поскольку для всех них требуется эталонная разметка.

Когда применяется

• Условия работы: Алгоритм применяется в процессе краудсорсинговой разметки данных, когда одну и ту же задачу выполняют несколько асессоров (задачи с перекрытием).
• Триггеры активации: Получение ответов от группы асессоров на цифровую задачу. Механизм активируется для агрегации их ответов и обновления скиллов.
• Частота применения: Непрерывно и итеративно при выполнении потока задач.

Пошаговый алгоритм

1. Инициализация (Claim 9): Определение начальных скиллов для новых асессоров на основе точности выполнения ими контрольных (тестовых) задач.
2. Распределение задач: Передача цифровой задачи текущему набору асессоров.
3. Сбор ответов: Получение множества результатов от асессоров.
4. Агрегация (Расчет Совокупной метрики): Для каждого уникального ответа (y) вычисляется Совокупная метрика качества.
   • Вариант A (Claim 2): Суммирование скиллов асессоров, давших ответ y ($S(y)$).
   • Вариант B (Claim 3): Расчет ожидаемого значения с учетом вероятности ошибок ($\mathbb{E}(y)$).
5. Идентификация Ground Truth: Определение Надежного результата как ответа с максимальным значением Совокупной метрики качества.
6. Обновление скиллов (Claims 4-6): Пересчет показателей качества. Скилл увеличивается, если ответ совпал с Надежным результатом, и уменьшается, если нет. Скорость изменения регулируется коэффициентом $\lambda$.
7. Сглаживание (Опционально, Claims 7-8): Применение скользящего окна (w) для усреднения скилла за последние несколько задач, чтобы избежать резких колебаний рейтинга.
8. Фильтрация асессоров: Сравнение обновленных скиллов с порогом. Асессоры, чей скилл ниже порога, исключаются.
9. Генерация обучающих данных: Использование Надежного результата (или ответов обновленного набора) в качестве обучающих данных для MLA.
10. Итерация (Claims 10-12): Переход к следующей задаче с использованием обновленного набора асессоров и их обновленных скиллов.

Какие данные и как использует

Патент сфокусирован исключительно на процессе управления качеством разметки и не использует стандартные факторы ранжирования (контентные, ссылочные, технические, поведенческие факторы пользователей на сайте и т.д.).

Данные на входе

• Данные о производительности асессоров:
  • Прошлые рабочие характеристики асессоров (Claim 1).
  • Текущие показатели качества (скиллы) каждого асессора.
  • Точность выполнения контрольных задач (для инициализации, Claim 9).
• Данные о задачах:
  • Множество результатов (ответы) асессоров на текущую цифровую задачу.
• Системные параметры:
  • Предопределенный порог показателя качества (для фильтрации).
  • Мультипликативный коэффициент $\lambda$ (для обновления скилла).
  • Ширина скользящего окна w (для сглаживания).

Какие метрики используются и как они считаются

В патенте приведены конкретные формулы для расчета ключевых метрик.

1. Показатель качества (Скилл, $skill_i$)

Метрика компетентности асессора. В Claim 3 интерпретируется как вероятность правильного выполнения задачи.

2. Совокупная метрика качества

Метрика для оценки достоверности конкретного ответа (y). Рассчитывается одним из двух способов:

Вариант А (Claim 2): Взвешенное голосование ($S(y)$).

$$S(y)=\sum_{i=1}^{n}skill_{i}\cdot I(y_{i}=y)$$

Вариант Б (Claim 3): Ожидаемое значение ($\mathbb{E}(y)$).

Учитывает вероятность ошибки ($1-skill_i$) и количество альтернативных вариантов (L).

$$\mathbb{E}(y)=\sum_{i=1}^{n}skill_{i}\cdot I(y_{i}=y)+\sum_{i=1}^{n}\frac{1-skill_{i}}{L-1}\cdot I(y_{i}\ne y)$$

3. Обновление Скилла

Динамическая корректировка скилла.

Вариант А (Claim 6): Линейное обновление.

$$skill_{i,t}\leftarrow skill_{i,t-1}+\lambda d_{i}$$

Где $\lambda$ — скорость обучения/штрафа, $d_i$ — разность.

Вариант Б (Claim 8): Сглаживание (Скользящее окно).

Усреднение по скользящему окну шириной w.

$$skill_{i,t}\leftarrow\frac{\sum_{j=t-w+1}^{t}skill_{i,j}}{w}$$

Выводы

1. Инфраструктура качества Ground Truth: Яндекс использует сложный математический аппарат для обеспечения максимальной достоверности обучающих данных, используемых для ML-алгоритмов поиска (ранжирование, Proxima).
2. Динамическое качество асессоров: Доверие к асессору (его Скилл) не статично. Оно динамически пересчитывается после каждой задачи на основе сравнения его ответа с агрегированной оценкой.
3. Взвешенное голосование, а не большинство: Система определяет «Надежный результат» (Ground Truth) автоматически, используя взвешенное голосование. Вес голоса асессора равен его текущему скиллу. Голос эксперта может перевесить мнение нескольких новичков.
4. Самоочищающаяся система: Механизм обновления скиллов и пороговая фильтрация обеспечивают автоматическое самоочищение пула асессоров. Некомпетентные или недобросовестные исполнители теряют скилл, их вес в голосовании уменьшается, и в итоге они отсеиваются.
5. Стратегическая важность эталонов качества: Патент подтверждает, что Яндекс системно инвестирует в точность данных, определяющих, что такое «хороший» и «плохой» результат поиска. Алгоритмы обучаются на этих выверенных данных.

Практика

Best practices (это мы делаем)

Патент описывает внутренние процессы Яндекса без прямых рекомендаций для SEO. Он дает важное понимание для формирования стратегии.

• Фокус на фундаментальном качестве и E-E-A-T: Необходимо сосредоточиться на создании сайтов, соответствующих высоким стандартам качества (полезность, достоверность, экспертность). Именно эти параметры оценивают асессоры, и запатентованная система гарантирует высокую точность этих оценок. Алгоритмы (например, Proxima) обучаются на этих данных.
• Изучение эталонов качества: Тщательно анализировать рекомендации Яндекса для вебмастеров и (если доступны) принципы оценки качества, заложенные в инструкции для асессоров. Это те самые эталоны, чистоту которых защищает данная система.
• Анализ ТОП выдачи как результата работы обученных моделей: При анализе конкурентов исходите из того, что сайты в ТОПе получили высокие оценки от алгоритмов (Proxima, CatBoost), обученных на данных, качество которых обеспечено описанным механизмом.

Worst practices (это делать не надо)

• Недооценка роли асессоров: Игнорирование важности человеческой оценки в формировании алгоритмов ранжирования. Машинное обучение в Яндексе базируется на данных от асессоров, и качество этих данных строго контролируется.
• Надежда на ошибку системы оценки: Рассчитывать, что низкое качество сайта останется незамеченным из-за некомпетентности отдельных асессоров. Система активно выявляет и фильтрует ошибающихся исполнителей, нивелируя вес их ответов.
• Имитация полезности: Создание контента, формально соответствующего SEO-требованиям, но не несущего ценности. Высококвалифицированный пул асессоров, сформированный этой системой, способен отличить реальную пользу от имитации.

Стратегическое значение

Патент подтверждает приоритет Яндекса на построение надежной инфраструктуры для машинного обучения. Это фундамент для всех современных алгоритмов поиска. Для SEO это означает, что долгосрочная стратегия должна строиться на соответствии эталонам качества, заложенным в обучающие данные, а не на поиске технических уязвимостей алгоритмов. Система оценки качества становится все более точной.

Практические примеры

Практических примеров применения в SEO нет, так как патент описывает внутренний процесс управления асессорами. Приведем пример работы самого механизма.

Сценарий: Определение надежного результата при оценке релевантности

1. Задача: Оценить релевантность Документа А по Запросу Б (Релевантен / Нерелевантен).
2. Асессоры и их Скиллы:
   • Асессор 1 (Скилл 0.9)
   • Асессор 2 (Скилл 0.8)
   • Асессор 3 (Скилл 0.5)
   • Асессор 4 (Скилл 0.5)
   • Асессор 5 (Скилл 0.4)
3. Результаты:
   • Релевантен: Асессоры 1, 2
   • Нерелевантен: Асессоры 3, 4, 5
4. Анализ:
   • Простое большинство: Победил ответ «Нерелевантен» (3 против 2).
   • Взвешенная агрегация (по Claim 2):
     S(Релевантен) = 0.9 + 0.8 = 1.7
     S(Нерелевантен) = 0.5 + 0.5 + 0.4 = 1.4
5. Надежный результат: Система выбирает «Релевантен», так как его совокупная метрика качества выше (1.7 > 1.4), несмотря на меньшее число голосов.
6. Обновление скиллов: Скиллы Асессоров 1 и 2 увеличиваются. Скиллы Асессоров 3, 4 и 5 уменьшаются.
7. Фильтрация: Если скилл Асессора 5 упадет ниже порога, он не получит следующую задачу.

Вопросы и ответы