Как Яндекс использует «Метрику Согласованности» для повышения качества данных от асессоров и обучения алгоритмов поиска

Описание

Какую задачу решает

Патент решает фундаментальную проблему обеспечения качества Ground Truth (эталонных данных) для обучения алгоритмов машинного обучения (MLA) Яндекса. Алгоритмы поиска (ранжирование, классификация контента, метрики качества типа Proxima) требуют больших объемов размеченных данных, которые часто генерируются через краудсорсинговые платформы (например, Яндекс.Толока). Проблема в том, что асессоры (оценщики) имеют разный уровень квалификации, а некоторые могут быть мошенниками или ботами, что приводит к «зашумленным» и неточным данным-[0004]. Традиционные методы контроля (контрольные задачи или «медовые горшочки») не всегда эффективны, так как мошенники учатся их обходить. Патент направлен на повышение точности генерируемых обучающих данных и эффективное выявление недобросовестных асессоров без увеличения числа контрольных задач.

Что запатентовано

Запатентована система и способ оптимизации процесса сбора обучающих данных через краудсорсинг. Суть изобретения во введении и использовании Метрики Согласованности (Consistency Metric). Эта метрика вычисляет апостериорную вероятность того, что результат, поддержанный большинством асессоров для конкретной задачи, является правильным. Система формирует группы асессоров для выполнения задач таким образом, чтобы максимизировать эту метрику, обеспечивая надежность собранных данных.

Как это работает

Система анализирует результаты выполнения задачи группой асессоров, учитывая их индивидуальные Показатели Качества (Quality Scores). На основе этих данных вычисляется Метрика Согласованности по специальной формуле (Уравнение 1). Если метрика ниже порогового значения, система оптимизирует состав группы: она итеративно исключает асессоров, чьи ответы отличаются от мнения большинства, до тех пор, пока метрика согласованности оставшейся группы не достигнет максимума или не превысит порог. Этот оптимизированный набор асессоров используется для выполнения следующих задач. Также этот механизм используется для валидации уже собранных данных: наборы с низкой согласованностью отбраковываются.

Актуальность для SEO

Высокая. Качество и надежность обучающих данных являются критическими для эффективности современных ML-моделей, включая те, что используются в поиске (YATI, CatBoost, Proxima). Автоматизация контроля качества асессорской разметки и борьба с шумом в данных — актуальные задачи для всех крупных поисковых систем. Патент опубликован в 2024 году и описывает современные подходы к управлению краудсорсингом.

Важность для SEO

Влияние на SEO значительно (7/10), хотя и является косвенным. Патент не описывает алгоритм ранжирования, но описывает механизм обеспечения качества данных, на которых эти алгоритмы обучаются. Чем точнее Ground Truth, который получает Яндекс от своих асессоров, тем эффективнее работают метрики качества (Proxima) и алгоритмы ранжирования. Это означает, что система становится лучше в определении реального качества, релевантности и E-E-A-T сайтов. SEO-стратегии должны фокусироваться на соответствии критериям, которые используются этими высокоточными, основанными на консенсусе человеческими оценками.

Детальный разбор

Термины и определения

MLA (Machine Learning Algorithm / Алгоритм машинного обучения)

Алгоритмы (например, нейронные сети, градиентный бустинг), которые обучаются на данных для выполнения задач классификации, ранжирования и т.д. В контексте поиска это могут быть алгоритмы ранжирования или метрики качества (Proxima).

Асессор (Оценщик / Assessor)

Человек, выполняющий цифровые задачи на краудсорсинговой платформе (например, Толока) для генерации обучающих данных. В патенте часто упоминается через связанные с ними «электронные устройства».

Контрольная цифровая задача («Медовый горшочек» / Honeypot)

Задача с заранее известным правильным ответом. Используется для оценки точности работы асессора и вычисления его Показателя Качества,.

Метрика Согласованности (Consistency Metric)

Ключевая метрика патента. Указывает апостериорную вероятность того, что результат, обеспеченный большинством асессоров, является правильным результатом для данной цифровой задачи,. Вычисляется по формуле, учитывающей индивидуальные показатели качества асессоров.

Мошенник (Cheater)

Асессор, который может распознавать контрольные задачи и выполнять их правильно, но выполнять другие задачи недобросовестно, чтобы поддерживать высокий показатель качества при низком качестве основной работы,.

Показатель Качества (Quality Score, $S_{wi}$ или $q_{wi}$)

Мера качества работы конкретного асессора. Указывает значение вероятности того, что данный асессор правильно выполнит задачу. Обычно определяется на основе выполнения контрольных задач.

Цифровая задача (Digital Task / HIT — Human Intelligence Task)

Задача, выполняемая асессором, например, классификация изображения, оценка релевантности документа запросу и т.д..

Ключевые утверждения (Анализ Claims)

Патент защищает два основных процесса: (1) метод генерации обучающих данных путем оптимизации состава группы асессоров и (2) метод определения качества уже сгенерированных данных.

Claim 1 (Независимый пункт — Генерация данных): Описывает способ генерации обучающих данных.

1. Извлечение данных об асессорах (прошлые показатели) и множества результатов выполнения ими определенной задачи.
2. Определение Метрики Согласованности (вероятность того, что большинство право).
3. Определение набора асессоров, при котором эта Метрика Согласованности максимальна.
4. Критический механизм максимизации: исключение из множества асессоров тех, кто обеспечил результаты, отличные от результатов большинства.
5. Передача следующей задачи этому оптимизированному набору асессоров.
6. Генерация обучающих данных на основе их ответов.

Claim 2 (Зависимый от 1): Определяет точную математическую формулу для расчета Метрики Согласованности.

Формула (Уравнение 1) рассчитывает вероятность $Pr(z^{MV}|y_{w_{1}},…,y_{w_{n}})$:

$$Pr(z^{MV}|y_{w_{1}},…,y_{w_{n}})=\frac{\prod_{i=1,…,n}q_{w_{i}}^{\delta(z^{MV}=y_{w_{i}})}((1-q_{w_{i}})/(K-1))^{\delta(z^{MV}\ne y_{w_{i}})}}{\sum_{z=1,…,K}\prod_{i=1,..,n}q_{w_{i}}^{\delta(z=y_{w_{i}})}((1-q_{w_{i}})/(K-1))^{\delta(z\ne y_{w_{i}})}}$$

Где:

• $z^{MV}$ – результат, выбранный большинством (Majority Vote).
• $y_{wi}$ – результат, обеспеченный асессором $i$.
• $q_{wi}$ – взвешенный Показатель Качества асессора $i$.
• $K$ – количество возможных вариантов ответа (классов).
• $\delta$ – бинарная функция (1 если истина, 0 если ложь).

Эта формула использует байесовский подход для агрегации мнений, взвешивая вклад каждого асессора на основе его надежности ($q_{wi}$) и сравнивая его ответ с мнением большинства.

Claim 11 (Независимый пункт — Определение качества данных): Описывает способ валидации уже существующих обучающих данных.

1. Извлечение набора данных (множество результатов для задачи).
2. Определение Метрики Согласованности для этого набора.
3. Если метрика больше или равна предопределенному порогу согласованности: использование набора данных для обучения MLA.
4. Если метрика ниже порога: удаление набора данных (отбраковка).

Где и как применяется

Этот патент описывает инфраструктурные процессы Яндекса, связанные с генерацией данных для машинного обучения. Он не применяется напрямую в онлайн-процессе ранжирования запроса пользователя, но критически важен для офлайн-процессов обучения моделей, которые затем используются на всех этапах поиска.

Офлайн-процессы и обучение моделей (ML Training Pipeline)

Изобретение применяется на этапе сбора и валидации Ground Truth данных, которые используются для обучения и оценки качества работы поисковых алгоритмов.

1. Сбор данных (Data Acquisition): Система взаимодействует с краудсорсинговой платформой (например, Яндекс.Толока) для распределения задач асессорам и сбора их ответов.
2. Контроль качества асессоров (Assessor Quality Control): Система использует Метрику Согласованности для динамического управления пулом асессоров. Она отбирает надежные группы и выявляет мошенников или низкокачественных исполнителей.
3. Валидация данных (Data Validation): Система использует метрику для оценки качества собранных данных. Данные с низким уровнем согласованности отбраковываются.

Полученные высококачественные данные затем используются для обучения моделей, применяемых в:

• RANKING (Ранжирование): Обучение основных формул ранжирования (CatBoost) и нейросетевых моделей (YATI).
• Слой Качества и Метрик (Quality & Governance): Обучение метрик качества страницы (Proxima) и фильтров антикачества (Anti-Quality).
• QUERY PROCESSING (Понимание Запросов): Обучение классификаторов интентов и моделей понимания языка.

На что влияет

• Качество обучения поисковых алгоритмов: Основное влияние — повышение точности и надежности данных, на которых учатся все ML-компоненты поиска.
• Эффективность асессорской оценки: Позволяет Яндексу получать более чистые данные от асессоров, снижая зависимость от сложных контрольных задач.
• Все типы контента и запросов: Поскольку асессоры оценивают разнообразные задачи (релевантность, качество, классификация), этот механизм влияет на качество поиска во всех тематиках и по всем типам запросов.

Когда применяется

• Триггеры активации: Процесс активируется при получении результатов выполнения цифровой задачи группой асессоров.
• Условия для оптимизации группы: Активируется, если вычисленное значение Метрики Согласованности ниже предопределенного порогового значения (например, 0.7, 0.8 или 0.9),.
• Частота применения: Может применяться для каждой задачи или периодически.

Пошаговый алгоритм

Процесс А: Оптимизация группы асессоров и генерация данных (на основе Claim 1 и Фиг. 6)

1. Извлечение данных: Система получает задачу и назначает ее множеству асессоров. Извлекаются их индивидуальные Показатели Качества ($q_{wi}$) и собирается множество результатов ($y_{wi}$) выполнения задачи.
2. Вычисление Метрики Согласованности: Определяется результат большинства ($z^{MV}$). Вычисляется начальное значение Метрики Согласованности для всей группы по Уравнению 1.
3. Проверка условия: Значение метрики сравнивается с предопределенным порогом согласованности.
4. Максимизация метрики (Оптимизация группы): Если метрика ниже порога:
   1. Идентификация асессоров, чьи результаты отличаются от результата большинства ($y_{wi} \ne z^{MV}$).
   2. Итеративное исключение этих асессоров из группы.
   3. Пересчет Метрики Согласованности для уменьшенной группы на каждой итерации.
   4. Процесс продолжается до тех пор, пока метрика не достигнет максимума или не превысит порог.
5. Формирование Оптимизированного Набора: Оставшиеся асессоры формируют надежный набор.
6. Назначение следующих задач: Следующая цифровая задача передается этому оптимизированному набору асессоров.
7. Генерация обучающих данных: Результаты выполнения следующей задачи собираются и используются как обучающие данные для MLA.

Процесс Б: Валидация существующих данных (на основе Claim 11 и Фиг. 7)

1. Извлечение набора данных: Система извлекает ранее сгенерированный набор обучающих данных (результаты задачи и показатели качества асессоров, которые их предоставили).
2. Вычисление Метрики Согласованности: Вычисляется значение метрики для этого набора по Уравнению 1.
3. Принятие решения:
   1. Если метрика больше или равна порогу: набор данных признается качественным и используется для обучения MLA.
   2. Если метрика ниже порога: набор данных признается некачественным (зашумленным) и удаляется (отбраковывается).

Какие данные и как использует

Данные на входе

Патент сфокусирован на данных, связанных с процессом краудсорсинга. Он не использует традиционные SEO-факторы (контентные, ссылочные, технические) напрямую, а использует данные об оценке этих факторов людьми.

• Данные об асессорах:
  • Идентификаторы асессоров.
  • Прошлые рабочие характеристики.
  • Показатели Качества ($S_{wi}$ или $q_{wi}$): Индивидуальные метрики надежности каждого асессора.
• Данные о задачах:
  • Цифровые задачи (например, классификация, оценка релевантности).
  • Тип задачи (может определять требуемый диапазон показателей качества).
• Данные о результатах:
  • Множество результатов ($y_{wi}$): Конкретные ответы (метки, оценки), предоставленные каждым асессором для задачи.

Какие метрики используются и как они считаются

• Показатель Качества ($q_{wi}$): Взвешенное значение показателя качества асессора. Определяется как $q_{wi}=\frac{s_{wi}}{100}$. $S_{wi}$ обычно определяется на основе точности выполнения контрольных задач.
• Результат большинства ($z^{MV}$): Результат из множества ответов, обеспеченный большинством асессоров.
• Метрика Согласованности ($Pr(z^{MV}|…)$): Апостериорная вероятность того, что результат большинства является правильным. Рассчитывается по Уравнению 1 (см. раздел Ключевые утверждения). Это центральная метрика, используемая для оптимизации групп асессоров и валидации данных.
• Предопределенный порог согласованности: Пороговое значение (например, 0.7, 0.8, 0.9), используемое для принятия решения о качестве данных или необходимости оптимизации группы асессоров.

Выводы

1. Качество Ground Truth критически важно для Яндекса: Патент демонстрирует значительные усилия Яндекса по обеспечению точности и надежности данных, получаемых от асессоров. Эти данные являются фундаментом для обучения всех ML-систем поиска, включая ранжирование и метрики качества (Proxima).
2. Агрегация мнений через Метрику Согласованности: Яндекс не просто использует «голос большинства». Он применяет сложную байесовскую модель (Метрика Согласованности), которая взвешивает мнение большинства с учетом индивидуальной надежности (Показателя Качества) каждого асессора.
3. Динамическое управление пулом асессоров: Система активно оптимизирует группы исполнителей, исключая тех, кто систематически не согласен с консенсусом надежных асессоров. Это позволяет эффективно выявлять мошенников и низкокачественных исполнителей, даже если они обходят контрольные задачи.
4. Повышение качества ML-моделей: Использование высокоточных, валидированных данных для обучения приводит к тому, что алгоритмы Яндекса становятся более устойчивыми к шуму и лучше распознают реальное качество и релевантность контента.
5. Инфраструктурный характер патента: Патент описывает внутренние процессы Яндекса по генерации данных и не дает прямых рекомендаций для SEO-манипуляций. Однако он подчеркивает необходимость соответствия сайта тем критериям качества, которые закладываются в асессорские инструкции и валидируются этим механизмом.

Практика

Best practices (это мы делаем)

Хотя патент инфраструктурный и направлен на улучшение внутренних процессов Яндекса, он подтверждает важность следующих стратегических направлений в SEO:

• Ориентация на Асессорские Инструкции и E-E-A-T: Необходимо понимать, что качество сайта оценивается людьми (асессорами), и Яндекс прилагает максимум усилий, чтобы эти оценки были точными (через Метрику Согласованности). Стратегия должна строиться на полном соответствии критериям качества, заложенным в основу этих оценок (экспертность, авторитетность, достоверность, удобство).
• Фокус на однозначном и четком решении задачи пользователя: Система ищет консенсус среди асессоров. Если контент сайта позволяет однозначно высоко оценить его релевантность и качество, вероятность достижения консенсуса (высокой Метрики Согласованности) выше. Сложный, запутанный или неоднозначный контент может приводить к расхождению мнений асессоров.
• Мониторинг качества по метрикам, близким к Proxima: Поскольку Proxima обучается на этих валидированных данных, необходимо фокусироваться на факторах, коррелирующих с ней: качество контента, отсутствие агрессивной рекламы, лояльность аудитории, доверие к бренду/автору.

Worst practices (это делать не надо)

• Имитация качества и использование «серых» методов: Попытки обмануть алгоритмы без реального улучшения качества сайта становятся менее эффективными. Если ML-модели обучаются на более чистых данных, они лучше распознают паттерны низкокачественного контента и манипуляций.
• Игнорирование базовых требований к качеству контента и UX: Сайты, которые вызывают негативную реакцию у пользователей (и, соответственно, у асессоров), будут стабильно получать низкие оценки, которые благодаря этому патенту будут с высокой степенью достоверности интерпретированы как Ground Truth.

Стратегическое значение

Патент подтверждает стратегический приоритет Яндекса на использование машинного обучения, основанного на высококачественных человеческих оценках. Это подчеркивает, что «качество сайта» для Яндекса — это не абстрактный набор технических параметров, а измеримая величина, валидированная через консенсус надежных экспертов. Долгосрочная SEO-стратегия должна быть направлена на достижение объективно высокого качества продукта и контента, которое будет очевидно как для пользователей, так и для асессоров, чьи мнения агрегируются и очищаются с помощью описанных механизмов.

Практические примеры

Практических примеров прямого применения этого патента в работе SEO-специалиста нет, так как он описывает внутреннюю кухню генерации обучающих данных Яндекса. Однако можно привести пример того, как работа этого механизма влияет на обучение алгоритмов поиска.

Сценарий: Обучение метрики качества (Proxima) для медицинской тематики (YMYL)

1. Задача: Оценить достоверность и качество медицинской статьи.
2. Группа асессоров: Задача выдается 5 асессорам с высокими показателями качества (например, 0.8-0.9).
3. Результаты: 4 асессора ставят оценку «Высокое качество/Достоверно», 1 асессор ставит «Низкое качество».
4. Работа системы (по патенту): Система вычисляет Метрику Согласованности. Учитывая высокие показатели качества большинства и их консенсус, метрика будет высокой (например, 0.95). Система определяет, что «Высокое качество» — это Ground Truth.
5. Оптимизация (если требуется): Асессор, поставивший «Низкое качество», может быть временно исключен из пула для подобных задач, так как его мнение разошлось с консенсусом.
6. Результат для SEO: Метрика Proxima обучается на этом примере, усваивая признаки, характерные для этой статьи (наличие источников, автор-эксперт, научный стиль), как признаки высокого качества. Благодаря высокой Метрике Согласованности, эта обучающая выборка получает большой вес.

Вопросы и ответы