Как Яндекс оптимизирует качество асессорских данных для обучения ML-моделей, балансируя точность и предпочтения исполнителей

Описание

Какую задачу решает

Патент решает фундаментальную проблему краудсорсинговых платформ (например, Яндекс.Толока), используемых для сбора данных для обучения ML-алгоритмов. Существуют две конфликтующие цели: (1) Качество данных: необходимость максимизировать точность выполнения задач, так как ошибки в обучающих данных снижают эффективность ML-моделей (включая поисковые). (2) Предвзятость и удержание асессоров: асессоры склонны выбирать знакомые задачи и избегать новых или сложных, что замедляет сбор разнообразных данных. Патент предлагает механизм балансировки, позволяющий продвигать нужные заказчику задачи квалифицированным асессорам, минимизируя при этом недовольство исполнителей.

Что запатентовано

Запатентован метод и система для ранжирования цифровых задач (Digital Tasks) для асессоров. Суть изобретения заключается в оптимизации Ranking Quality Parameter с использованием ограниченной оптимизации (Constrained Optimization). Система балансирует удовлетворенность асессора (User-Platform Satisfaction) и удовлетворенность заказчика (Requester-Platform Satisfaction), отдавая приоритет качеству данных.

Как это работает

Система использует несколько ML-моделей для прогнозирования двух ключевых параметров для каждой пары «асессор-задача»: (1) Assessor Interaction Parameter (вероятность выбора задачи асессором) и (2) Accurate-Completion Parameter (вероятность корректного выполнения). Алгоритм ранжирования стремится максимизировать общую ожидаемую точность (Requester-Platform Satisfaction), но при условии, что общая удовлетворенность асессора списком (User-Platform Satisfaction) не опустится ниже заданного порогового уровня. Это позволяет показывать задачи, которые асессор выполнит хорошо, даже если они ему менее интересны.

Актуальность для SEO

Высокая. Качество и валидация обучающих данных являются критически важными для развития современных поисковых систем, основанных на машинном обучении. Оптимизация краудсорсинговых конвейеров напрямую влияет на эффективность обучения метрик качества поиска (например, Proxima).

Важность для SEO

Влияние на SEO косвенное, но стратегически важное (5/10). Патент не описывает алгоритмы ранжирования веб-поиска. Он описывает инфраструктуру сбора данных — как Яндекс обеспечивает качество человеческих оценок. Поскольку эти оценки лежат в основе обучения критически важных алгоритмов (Proxima, E-E-A-T модели), патент подчеркивает фундаментальную важность объективного качества сайта. Он показывает, что Яндекс системно борется за точность данных, определяющих, что такое «хороший сайт».

Детальный разбор

Термины и определения

Accurate-Completion Parameter (ACP) (Параметр точного выполнения)

Метрика, указывающая на вероятность того, что данный асессор выполнит данную задачу корректно. Прогнозируется с помощью MLA на основе навыков и истории качества асессора.

Assessor (Асессор)

Пользователь краудсорсинговой платформы (например, Толока), выполняющий цифровые задачи.

Assessor Interaction Parameter (AIP) (Параметр взаимодействия асессора)

Метрика, указывающая на вероятность того, что данный асессор выберет (кликнет) данную задачу. Прогнозируется с помощью MLA на основе профиля и предпочтений асессора.

Digital Task (Цифровая задача, HIT)

Задача, требующая человеческого интеллекта (например, оценка релевантности, проверка E-E-A-T).

Ranking Quality Parameter (Параметр качества ранжирования)

Целевая функция, которую оптимизирует система при ранжировании задач. Комбинация UPS и RPS.

Requester-Platform Satisfaction Parameter (RPS) (Параметр удовлетворенности заказчика)

Агрегированная метрика, отражающая ожидаемое качество выполнения задач в списке. Зависит от позиций задач с высоким ACP. Цель системы — максимизировать этот параметр.

User-Platform Satisfaction Parameter (UPS) (Параметр удовлетворенности пользователя/асессора)

Агрегированная метрика, отражающая удовлетворенность асессора списком задач. Зависит от позиций задач с высоким AIP. Система использует этот параметр как ограничение.

Ключевые утверждения (Анализ Claims)

Ядром изобретения является метод ранжирования задач с использованием ограниченной оптимизации для балансировки конфликтующих целей.

Claim 1 (Независимый пункт): Описывает основной метод генерации списка задач.

1. Система получает запрос от асессора.
2. Извлекается множество доступных задач.
3. Для каждой задачи рассчитывается Assessor Interaction Parameter (AIP) с помощью первого MLA, обученного предсказывать вероятность выбора на основе векторов асессора и задачи.
4. Для каждой задачи рассчитывается Accurate-Completion Parameter (ACP) с помощью второго MLA, обученного предсказывать точность выполнения.
5. Третий MLA выполняет ранжирование путем оптимизации Ranking Quality Parameter, который является комбинацией User-Platform Satisfaction (UPS) (на основе AIP) и Requester-Platform Satisfaction (RPS) (на основе ACP).
6. Критически важный механизм оптимизации: Максимизация значения RPS при условии поддержания значения UPS на заданном предопределенном уровне (at a given predetermined level).
7. Выбирается Топ-N задач.

Claim 2 (Зависимый пункт): Уточняет, что перед ранжированием может происходить предварительный отбор кандидатов. Это делается с помощью четвертого MLA, который генерирует векторы признаков (эмбеддинги) для асессора и задач. Отбор происходит на основе векторной близости (vector-proximity).

Claim 9 (Зависимый пункт): Приводит конкретную математическую формулу для расчета Ranking Quality Parameter. Формула напоминает метрику DCG (Discounted Cumulative Gain) и представляет собой взвешенную сумму UPS и RPS.

Формула оптимизации:

$${ \underset{c \in C}{\operatorname{max}} \left( \alpha \sum_{r \in R} \sum_{i=1}^{20} \frac{rel(w_r, c(F(r), i))}{\log(i+1)} + \beta \sum_{r \in R} \sum_{i=1}^{20} \frac{acc(r, w_r, c(F(r), i))}{\log(i+1)} \right) }$$

Где:

• Первая часть суммы (коэффициент $\alpha$, полезность $rel$ (AIP)) представляет UPS.
• Вторая часть суммы (коэффициент $\beta$, полезность $acc$ (ACP)) представляет RPS.
• $i$ — позиция задачи в списке; $\log(i+1)$ — фактор дисконтирования позиции.

Важно интерпретировать эту формулу в контексте ограничения, описанного в Claim 1 (ограниченная оптимизация).

Где и как применяется

Этот патент НЕ применяется в стандартных фазах поиска (CRAWLING, INDEXING, RANKING, BLENDER).

Он относится к инфраструктуре, обеспечивающей работу поиска, а именно к Слою Качества и Метрик (QUALITY & GOVERNANCE LAYER). Механизм работает внутри краудсорсинговой платформы Яндекса (например, Толока) и отвечает за сбор высококачественных обучающих данных (training data).

• Связь с поиском: Данные, собранные с помощью этой системы, используются для обучения и валидации ключевых поисковых алгоритмов и метрик качества, таких как Proxima и Anti-Quality.
• Входные данные: Профиль асессора (навыки, предпочтения, история качества), характеристики доступных задач.
• Выходные данные: Оптимизированный ранжированный список задач для конкретного асессора.
• Технические особенности: Используется несколько ML-моделей для прогнозирования и ранжирования. Упомянуты CatBoost, Stochastic Rank и Yeti Rank Algorithm.

На что влияет

• Точность ML-моделей поиска: Основное влияние — повышение качества данных, на которых обучаются алгоритмы ранжирования и классификаторы качества (Proxima).
• Разнообразие данных: Система позволяет эффективнее собирать данные по новым или сложным типам задач, которые асессоры обычно игнорируют, преодолевая их предвзятость.
• Оценка E-E-A-T: Особенно влияет на тематики, требующие экспертной оценки (YMYL), гарантируя, что задачи направляются наиболее компетентным исполнителям.

Когда применяется

Алгоритм активируется в режиме реального времени каждый раз, когда асессор запрашивает список доступных заданий на краудсорсинговой платформе.

Пошаговый алгоритм

1. Получение запроса: Асессор запрашивает список задач.
2. Извлечение данных: Система получает данные профиля и качества асессора, а также пул доступных задач.
3. Предварительный отбор кандидатов (Опционально):
   • Генерация векторов признаков (эмбеддингов) для асессора и задач.
   • Отбор подмножества задач на основе векторной близости (vector-proximity).
4. Прогнозирование параметров: Для каждой задачи-кандидата специализированные MLA рассчитывают:
   • Assessor Interaction Parameter (AIP) (вероятность выбора).
   • Accurate-Completion Parameter (ACP) (вероятность корректного выполнения).
5. Оптимизация и Ранжирование: Основной ранжирующий MLA (например, CatBoost/Yeti Rank) определяет оптимальный порядок задач.
   • Рассчитываются агрегированные метрики UPS (на основе AIP) и RPS (на основе ACP).
   • Цель: Максимизировать RPS, сохраняя UPS на заданном предопределенном уровне (пороге). Это позволяет продвигать менее интересные, но качественно выполняемые задачи.
6. Выдача списка: Асессору предоставляется Топ-N задач.

Какие данные и как использует

Данные на входе

Система использует данные, характеризующие асессоров и задачи.

• Пользовательские факторы (Данные асессора):
  • Profile Data: Демографические данные, образование, опыт работы.
  • История взаимодействий: предпочтения по типам задач, частота выбора.
• Факторы качества (Асессора):
  • Quality Score (Оценка качества): историческая точность выполнения задач.
  • Результаты выполнения контрольных заданий (honeypot tasks).
  • Согласованность ответов с другими асессорами.
• Поведенческие факторы (Асессора):
  • Прогнозируемое время выполнения (Completion time feature).
  • Доля завершенных задач (Completion feature).
• Данные о задачах: Тип, группа, сложность, стоимость выполнения.

Какие метрики используются и как они считаются

• Векторы признаков (Feature Vectors/Embeddings): Генерируются для асессоров и задач с помощью MLA. Используются для предварительного отбора кандидатов по векторной близости.
• Assessor Interaction Parameter (AIP / $rel$): Прогнозируется с помощью MLA, обученного предсказывать вероятность клика на основе векторов асессора и задачи.
• Accurate-Completion Parameter (ACP / $acc$): Прогнозируется с помощью MLA, обученного предсказывать вероятность корректного ответа на основе векторов и факторов качества асессора.
• UPS и RPS: Агрегированные метрики, рассчитываемые по DCG-подобным формулам (см. анализ Claim 9), учитывающим позиционное дисконтирование.
• Алгоритмы машинного обучения: В патенте упоминается использование ансамблей решающих деревьев CatBoost. Для оптимизации ранжирования применяются алгоритмы Stochastic Rank или Yeti Rank Algorithm.

Выводы

1. Качество данных — стратегический приоритет: Патент демонстрирует, что Яндекс системно подходит к обеспечению точности данных, получаемых от асессоров. Точность (RPS) является главной целью оптимизации, а удовлетворенность асессоров (UPS) — лишь ограничением.
2. Ограниченная оптимизация как метод балансировки: Ключевым механизмом является Constrained Optimization. Это позволяет Яндексу достигать своих целей (сбор качественных данных), не вызывая оттока исполнителей с платформы.
3. Борьба с предвзятостью и обеспечение разнообразия: Система активно продвигает новые или непопулярные задачи квалифицированным исполнителям, преодолевая их естественное нежелание браться за незнакомую работу. Это обеспечивает сбор разнообразных обучающих данных.
4. Надежность метрик качества поиска: Метрики типа Proxima обучаются на данных, качество которых контролируется описанной системой. Это повышает надежность и точность работы алгоритмов оценки качества сайтов (E-E-A-T).
5. Инфраструктурный характер: Патент описывает внутренние процессы управления данными и не содержит прямых тактических рекомендаций для SEO-специалистов по оптимизации сайтов.

Практика

ВАЖНОЕ ЗАМЕЧАНИЕ

Патент является инфраструктурным и не описывает алгоритмы ранжирования веб-поиска. Прямых тактических рекомендаций по SEO он не дает, но имеет критическое стратегическое значение для понимания того, как Яндекс обучает свои модели качества.

Best practices (это мы делаем)

• Фокус на объективном качестве и E-E-A-T: Необходимо создавать контент и развивать сайт так, чтобы он получал высокую оценку от квалифицированного человека. Патент подтверждает, что Яндекс активно управляет процессом оценки, направляя задачи наиболее компетентным асессорам (с высоким ACP). Это делает инвестиции в реальную экспертизу и авторитетность критически важными.
• Соответствие критериям качества (инструкциям асессоров): Важно понимать критерии, по которым асессоры оценивают сайты. Система гарантирует, что асессоры будут точно следовать этим инструкциям при вынесении вердикта.
• Внимание к YMYL-контенту: В сложных тематиках требования к точности оценки выше. Система будет подбирать наиболее квалифицированных асессоров для оценки YMYL-сайтов, что повышает порог качества для ранжирования в этих нишах.

Worst practices (это делать не надо)

• Имитация качества (Fake E-E-A-T): Попытки симулировать экспертизу или надежность. Алгоритмы, обученные на высокоточных данных, собранных с помощью этой системы, с большей вероятностью распознают манипуляции.
• Расчет на ошибку асессора: Нельзя полагаться на то, что сайт будет оценен некомпетентным или невнимательным асессором. Механизм оптимизации целенаправленно минимизирует такую вероятность, максимизируя RPS.
• Игнорирование метрик качества (Proxima): Недооценка влияния метрик, основанных на человеческих оценках. Патент подтверждает, что эти оценки являются фундаментом для системы ранжирования.

Стратегическое значение

Патент подтверждает фундаментальную зависимость качества поиска Яндекса от качества обучающих данных. Он показывает, что система оценки качества поиска постоянно совершенствуется за счет улучшения точности исходных асессорских данных. Для долгосрочной SEO-стратегии это означает, что приоритет должен отдаваться созданию ресурсов, которые выигрывают по критериям качества, оцениваемым человеком (полезность, достоверность, экспертиза).

Практические примеры

Практических примеров по SEO-оптимизации сайтов этот патент не предоставляет. Приведем пример последствий работы этой системы для SEO.

Сценарий: Повышение точности оценки E-E-A-T в медицинской тематике

1. Задача Яндекса: Обучить компонент Proxima лучше распознавать качество медицинских статей (YMYL).
2. Применение патента (в Толоке): Система идентифицирует асессоров с подтвержденной квалификацией в медицине (высокий прогнозируемый ACP для медицинских задач).
3. Оптимизация: Система продвигает медицинские задачи этим асессорам, даже если они предпочитают другие типы заданий (например, проверку рекламы). RPS максимизируется, UPS поддерживается на приемлемом уровне.
4. Результат для Поиска: Proxima обучается на высокоточных экспертных оценках.
5. Последствия для SEO: Алгоритм поиска начинает лучше отличать статьи, написанные врачами, от медицинского копирайтинга. Сайты с низким реальным E-E-A-T теряют позиции более эффективно.

Вопросы и ответы