Яндекс патентует метод повышения качества обучения моделей ранжирования при использовании данных от краудсорсинговых асессоров (например, Toloka). Вместо усреднения оценок, система анализирует надежность и строгость каждого асессора. Она корректирует (нормализует) значение …
Асессоры
Яндекс использует систему динамической оценки и фильтрации асессоров для повышения качества обучающих данных. Система не полагается на простое большинство голосов, а взвешивает ответы по текущему показателю качества (скиллу) асессора. Определив …
Яндекс патентует метод повышения качества краудсорсинговой разметки данных (например, оценки релевантности SERP). Система автоматически выбирает минимальный набор прошлых задач, которые максимально покрывают весь спектр возможных оценок. Эти эталонные примеры показывают …
Яндекс патентует метод повышения эффективности краудсорсинговых задач (например, оценки качества поиска). Система одновременно отправляет задачу человеку-асессору и алгоритму машинного обучения (MLA). На основе их ответов и исторических оценок качества (Quality …
Патент описывает систему Яндекса для повышения качества данных, собираемых через краудсорсинг (например, Толока). Система использует два ML-алгоритма: первый устраняет субъективные искажения в оценках асессоров, а второй автоматически выбирает оптимальный набор …
Яндекс использует гибридную систему для выполнения задач оценки (например, классификации контента или оценки релевантности). Система одновременно запрашивает результат у человека-асессора и у алгоритма машинного обучения (MLA). На основе совпадения ответов …
Яндекс патентует метод создания обучающих данных (Ground Truth) для ML-алгоритмов ранжирования. Вместо поиска «единственно верной» оценки релевантности система вычисляет распределение вероятных оценок, учитывая уровень экспертизы асессоров, их личные тенденции (Bias) …
Яндекс патентует метод повышения качества обучения ранжирующих моделей за счет обработки «зашумленных» (неточных или предвзятых) оценок релевантности. Система анализирует надежность и строгость каждого асессора или краудсорсера (например, из Толоки). Затем …
Яндекс патентует метод повышения качества данных, собираемых через краудсорсинг (например, Толока) для обучения ML-алгоритмов (включая ранжирование и Proxima). Система динамически корректирует оценки качества асессоров на основе взвешенного консенсуса, а не …
Яндекс патентует метод повышения качества данных для обучения ML-алгоритмов (например, ранжирования или Proxima). Система анализирует историческую эффективность асессоров и динамически формирует оптимальные группы для задач. Цель — максимизировать «метрику согласованности» …
Яндекс патентует метод повышения качества и согласованности данных, получаемых от краудсорсинговых работников (асессоров). Система автоматически подбирает минимальный набор эталонных примеров из прошлых задач (например, оценки SERP). Эти примеры служат "анкорями" …
Яндекс патентует метод для автоматического контроля качества ML-моделей ранжирования. Система ищет рассогласования, сравнивая входные данные модели (Векторы Свойств) и выходные данные (Оценки Релевантности) для пар документов. Если наблюдается аномалия (например, …
Яндекс патентует метод ранжирования задач для исполнителей (асессоров) на своей краудсорсинговой платформе (например, Яндекс.Задания). Система использует ML для балансировки между предпочтениями асессора (вероятность выбора задачи) и его навыками (вероятность точного …
Яндекс патентует систему внутреннего контроля качества для автоматического выявления ошибок ранжирования. Система сравнивает входные данные (векторы признаков) и выходные результаты (оценки релевантности) для пар документов. Если документы похожи по признакам, …