Close Menu

    Как Яндекс использует машинное обучение для выбора эталонных примеров и повышения качества асессорских оценок

    СПОСОБ И СИСТЕМА ПРИЕМА МЕТКИ ДЛЯ ЦИФРОВОЙ ЗАДАЧИ, ИСПОЛНЯЕМОЙ В КРАУДСОРСИНГОВОЙ СРЕДЕ (Method and system for receiving a label for a digital task performed in a crowdsourcing environment)
    2021 Асессоры Краудсорсинг Обучение моделей Патенты Яндекс

    Яндекс патентует метод повышения качества и согласованности данных, получаемых от краудсорсинговых работников (асессоров). Система автоматически подбирает минимальный набор эталонных примеров из прошлых задач (например, оценки SERP). Эти примеры служат «анкорями» на шкале оценивания, помогая асессорам точнее калибровать свои метки и снижая предвзятость.

    Описание

    Какую задачу решает

    Патент решает проблему повышения качества данных, собираемых в краудсорсинговой среде (например, Яндекс.Толока). Ключевая задача — минимизировать субъективность, воспринимаемую предвзятость (perceived bias) и несогласованность оценок (меток), которые дают асессоры при выполнении цифровых задач (например, при оценке релевантности поисковой выдачи SERP). Это улучшает качество Ground Truth данных, критически важных для обучения и валидации алгоритмов машинного обучения в поиске.

    Что запатентовано

    Запатентована система автоматического подбора эталонных примеров для сопровождения задач разметки. Суть изобретения заключается в том, чтобы для новой цифровой задачи найти оптимальное подмножество примеров из прошлых, уже выполненных задач. Эти примеры должны обеспечивать максимальный эталонный охват (весь диапазон возможных оценок) при минимальном количестве образцов, служа калибровочными ориентирами для асессора.

    Как это работает

    Система использует два алгоритма машинного обучения. Первый MLA агрегирует оценки разных асессоров по прошлым задачам и удаляет их воспринимаемую предвзятость, формируя очищенные метки. Второй MLA кластеризует эти очищенные данные и выбирает минимальный набор примеров, которые лучше всего представляют весь спектр оценок. При выдаче новой задачи асессору система показывает эти эталонные примеры, часто в виде указателей на скользящей шкале пометки, чтобы помочь ему точнее откалибровать свою оценку.

    Актуальность для SEO

    Высокая. Качество и консистентность данных, размеченных человеком (Ground Truth), являются фундаментом для обучения современных поисковых систем, включая метрики качества (Proxima) и нейросетевые модели. Эффективное управление и контроль качества краудсорсинга остаются приоритетными задачами для Яндекса.

    Важность для SEO

    Влияние на SEO минимальное (2/10). Это инфраструктурный патент, описывающий внутренние процессы Яндекса по сбору и контролю качества асессорских данных. Он не содержит описания факторов ранжирования или механизмов, на которые SEO-специалист может напрямую повлиять. Патент важен для понимания того, насколько серьезно Яндекс подходит к формированию обучающих выборок, но не дает практических рекомендаций по оптимизации сайтов.

    Детальный разбор

    Термины и определения

    Цифровая задача (Digital Task)
    Задача, подлежащая обработке в краудсорсинговой среде. В патенте в качестве основного примера приводится задача пометки релевантности страницы результатов поиска (SERP).
    Краудсорсинговая среда (Crowdsourcing Environment)
    Реализуемая компьютером среда для распределения задач между множеством работников (асессоров). Например, Яндекс.Толока.
    Метка (Label)
    Оценка или классификация, присвоенная цифровой задаче краудсорсинговым работником.
    Подмножество примеров (Subset of Examples)
    Набор прошлых цифровых задач, которые подобны текущей задаче и используются как эталоны для помощи асессору.
    Максимальный эталонный охват (Maximum Reference Coverage)
    Критерий выбора подмножества примеров. Цель — выбрать минимальное количество примеров, которые покрывают весь возможный диапазон оценок (шкалу).
    Первый алгоритм машинного обучения (First MLA)
    Алгоритм, используемый для агрегации множества меток от разных асессоров и генерирования итогового набора меток с удалением воспринимаемой предвзятости работников.
    Второй алгоритм машинного обучения (Second MLA)
    Алгоритм, используемый для кластеризации задач на основе их меток и выбора оптимального подмножества примеров (эталонов), обеспечивающих максимальный эталонный охват.
    Скользящая шкала пометки (Sliding Labeling Scale)
    Элемент интерфейса асессора. Шкала для выставления оценки, на которой подобранные эталонные примеры служат указателями (анкорями).
    SERP (Страница результатов поиска)
    Страница поисковой выдачи. Оценка ее релевантности является примером цифровой задачи в патенте.
    Обучающая метка (Training Label)
    Метка, используемая для обучения Второго MLA. Указывает полезность и/или избыточность одной задачи в качестве иллюстративного примера для другой задачи.

    Ключевые утверждения (Анализ Claims)

    Патент описывает систему для улучшения качества краудсорсинговой разметки путем предоставления асессорам оптимизированных эталонных примеров.

    Claim 1 (Независимый пункт): Описывает основной способ работы системы.

    1. Сервер принимает указание цифровой задачи (например, оценить SERP).
    2. Сервер генерирует подмножество примеров на основе прошлых задач. Каждый пример должен быть подобен текущей задаче в пределах предопределенной пороговой величины подобия.
    3. Критически важно: Примеры выбираются так, чтобы обеспечить максимальный эталонный охват с минимальным количеством образцов.
    4. Подмножество примеров ассоциируется с цифровой задачей.
    5. Задача (вместе с примерами) представляется краудсорсинговому работнику для получения метки.

    Claim 4 (Зависимый от п.3): Описывает механизм обработки оценок и удаления предвзятости.

    1. Система принимает множество меток от разных работников для одной и той же задачи (SERP).
    2. Метки вводятся в Первый MLA.
    3. Первый MLA генерирует итоговый набор меток, удаляя воспринимаемую предвзятость (perceived bias) работников. Это обеспечивает более объективную «истинную» оценку.

    Claim 5 (Зависимый от п.4): Описывает механизм выбора эталонных примеров.

    1. Множество задач (SERP) отображается на шкалу на основе очищенных меток (из п.4).
    2. Используется Второй MLA для кластеризации набора меток.
    3. Кластеры формируются так, чтобы обеспечить максимальный эталонный охват шкалы, при этом каждый кластер содержит минимальное число SERP. Это процесс выбора оптимальных эталонов.

    Claim 6 (Зависимый от п.1): Описывает интерфейс для асессора.

    1. Цифровая задача содержит генерирование скользящей шкалы пометки.
    2. На этой шкале есть указатели метки (анкоря), основанные на выбранном подмножестве примеров. Это помогает асессору калибровать свою оценку относительно эталонов.

    Claims 11 и 13 (Зависимые от п.10): Описывают обучение Второго MLA.

    1. Обучение Второго MLA (который выбирает примеры) основано на обучающем наборе.
    2. Набор включает пары цифровых задач и обучающую метку.
    3. Метка указывает полезность первой задачи как иллюстративного примера для второй задачи, а также может указывать на избыточность. Это позволяет алгоритму научиться выбирать наиболее информативные примеры.

    Где и как применяется

    Изобретение не применяется напрямую в слоях ранжирования или индексирования пользовательского контента. Оно относится к инфраструктуре обеспечения качества поиска и сбора данных для машинного обучения.

    Слой Качества и Метрик (QUALITY & GOVERNANCE LAYER)
    Это основная область применения патента. Система обеспечивает надежность и консистентность данных, собираемых через краудсорсинг. Эти данные (Ground Truth) затем используются для расчета ключевых метрик качества (таких как Proxima) и для обучения основных алгоритмов ранжирования (RANKING LAYER).

    CRAWLING – Сбор данных (Data Acquisition)
    Патент описывает процесс сбора специфического типа данных — высококачественных человеческих оценок (меток).

    Взаимодействие компонентов:

    • Краудсорсинговая среда (Толока): Интерфейс взаимодействия с асессорами.
    • База данных журнала SERP: Хранилище прошлых поисковых выдач, используемых как для оценки, так и в качестве источника примеров (Claim 3).
    • Первый MLA: Модуль постобработки сырых оценок для удаления предвзятости.
    • Второй MLA: Модуль выбора оптимальных эталонных примеров.

    На что влияет

    • Конкретные типы задач: В первую очередь влияет на задачи, требующие субъективной оценки по шкале. В патенте явно указана задача пометки релевантности SERP (Claim 2).
    • Качество обучения: Влияет на точность и надежность обучающих данных (Ground Truth), используемых для тренировки всех поисковых алгоритмов, зависящих от человеческих оценок.

    Когда применяется

    Алгоритм применяется каждый раз, когда в краудсорсинговой среде ставится задача на разметку данных, для которой доступен пул аналогичных прошлых задач. Система активируется для повышения согласованности оценок между разными асессорами.

    Пошаговый алгоритм

    Процесс можно разделить на две основные фазы: офлайн-подготовку эталонов и онлайн-применение.

    Фаза 1: Офлайн-подготовка и выбор эталонов

    1. Сбор данных: Извлечение множества прошлых цифровых задач (например, SERP из базы данных журнала).
    2. Сырая разметка: Передача задач множеству краудсорсинговых работников для получения первичных меток.
    3. Очистка и агрегация (First MLA): Обработка полученных меток Первым MLA для удаления воспринимаемой предвзятости и получения очищенных («истинных») оценок.
    4. Отображение на шкалу: Размещение задач на оценочной шкале в соответствии с очищенными метками.
    5. Кластеризация и выбор (Second MLA): Использование Второго MLA для кластеризации задач. Выбор минимального набора примеров (эталонов) из кластеров, которые обеспечивают максимальный эталонный охват всей шкалы. (Second MLA также определяет «шаг» между кластерами (Claim 14)).

    Фаза 2: Онлайн-применение (Выдача задачи асессору)

    1. Получение новой задачи: Сервер принимает новую цифровую задачу для разметки.
    2. Подбор примеров: Система определяет подобие новой задачи прошлым задачам и извлекает соответствующее подмножество эталонных примеров (выбранных на Фазе 1).
    3. Генерация интерфейса: Генерирование скользящей шкалы пометки, где эталонные примеры используются как указатели (анкоря). Расстояние между ними визуально представляет «шаг» (Claim 16).
    4. Представление: Показ задачи и интерфейса со шкалой и примерами асессору.
    5. Получение метки: Прием оценки от асессора, откалиброванной с учетом эталонов.

    Какие данные и как использует

    Данные на входе

    Патент фокусируется исключительно на данных, связанных с процессом оценки, а не на контентных или ссылочных факторах сайтов.

    • Системные данные:
      • Множество ранее сгенерированных SERP (из базы данных журнала SERP) (Claim 3).
      • Прошлые цифровые задачи и текущая цифровая задача.
    • Оценочные данные (Поведение асессоров):
      • Множество меток (оценок), полученных от краудсорсинговых работников для каждой задачи (Claim 4).
      • Обучающие метки (Training Labels), указывающие полезность и избыточность одной задачи в качестве иллюстративного примера для другой (используются для обучения Second MLA) (Claims 11, 13). Эти метки также назначаются асессорами (Claim 12).

    Какие метрики используются и как они считаются

    • Удаление воспринимаемой предвзятости (Perceived Bias Removal): Процесс, выполняемый Первым MLA. Целью является нормализация оценок разных асессоров и устранение систематических ошибок (Claim 4).
    • Максимальный эталонный охват (Maximum Reference Coverage): Целевая функция оптимизации для Второго MLA. Система стремится максимизировать этот показатель при минимизации количества выбранных примеров (Claim 1, 5).
    • Подобие задач: Метрика схожести между текущей и прошлой цифровой задачей. Система использует примеры, подобные задаче в пределах предопределенной пороговой величины подобия (Claim 1).
    • Полезность и Избыточность примера: Метрики, содержащиеся в Обучающих метках для тренировки Второго MLA (Claims 11, 13).
    • Кластеризация: Второй MLA использует методы кластеризации для группировки задач с похожими оценками на шкале (Claim 5).
    • Шаг (Step) / Иллюстративная близость: Второй MLA определяет шаг (расстояние) между кластерами, что указывает на их иллюстративную близость и визуально представляется на скользящей шкале (Claims 14-17).

    Выводы

    1. Патент инфраструктурный, не про ранжирование: Он описывает внутренние процессы Яндекса по управлению качеством краудсорсинга, а не алгоритмы ранжирования. Прямых рекомендаций для SEO он не содержит.
    2. Фокус на качестве Ground Truth: Патент демонстрирует, что Яндекс активно инвестирует в инфраструктуру для повышения качества и согласованности асессорских оценок. Качественные обучающие данные критически важны для работы поисковых алгоритмов (Proxima, YATI).
    3. Борьба с предвзятостью асессоров: Система явно включает механизм (Первый MLA) для обнаружения и удаления систематической предвзятости (Bias) в оценках краудсорсинговых работников, стремясь к объективности.
    4. Автоматизация калибровки (Anchoring): Ключевым механизмом является автоматический подбор оптимальных эталонных примеров (Второй MLA). Предоставление асессорам «анкорей» на оценочной шкале призвано сделать субъективные оценки более консистентными.
    5. Сложная ML-инфраструктура для краудсорсинга: Управление краудсорсингом в Яндексе — это сложный процесс, включающий несколько этапов машинного обучения для обработки оценок и оптимизации постановки задач.

    Практика

    ВАЖНО: Патент является инфраструктурным и описывает внутренние механизмы Яндекса по работе с асессорами. Он не дает прямых практических выводов для SEO-специалистов по оптимизации сайтов.

    Best practices (это мы делаем)

    Практических рекомендаций по оптимизации сайтов (технических, контентных, ссылочных), которые напрямую следовали бы из механизмов этого патента, нет. Стратегические выводы:

    • Фокус на качестве, оцениваемом человеком: Хотя патент описывает инфраструктуру, он подтверждает, что человеческие оценки лежат в основе алгоритмов Яндекса. Стратегия должна быть направлена на создание сайтов, которые высоко оцениваются реальными пользователями и асессорами (соответствие E-E-A-T, полезность контента). Система оценки этого качества становится все более точной.

    Worst practices (это делать не надо)

    • Надежда на ошибки или предвзятость асессоров: Нельзя строить стратегию, рассчитывая на то, что асессоры могут быть непоследовательны или предвзяты. Патент описывает конкретные механизмы (First MLA и динамические примеры) для борьбы с этим и получения объективной оценки.
    • Имитация качества: Использование тактик, направленных на обман алгоритмов, но легко распознаваемых человеком. Система Яндекса направлена на получение чистых и точных сигналов от асессоров о качестве.

    Стратегическое значение

    Патент демонстрирует зрелость и сложность инфраструктуры Яндекса по сбору и обработке Human Feedback. Это подчеркивает стратегический приоритет Яндекса на использовании высококачественных, консистентных обучающих данных для развития поиска. Алгоритмы ранжирования (включая Proxima) обучаются на данных, очищенных от шумов и предвзятости. Для SEO это сигнал о том, что алгоритмы все лучше обучаются распознавать качество так, как его видит человек.

    Практические примеры

    Практических примеров применения для SEO нет, так как патент описывает интерфейс и логику работы асессорской платформы.

    Вопросы и ответы

    Описывает ли этот патент новый фактор ранжирования?

    Нет, этот патент не описывает фактор ранжирования. Он описывает способ и систему для улучшения качества и согласованности человеческих оценок (меток), получаемых в краудсорсинговой среде. Эти оценки используются для обучения и валидации реальных алгоритмов ранжирования, но сам механизм из патента в ранжировании напрямую не участвует.

    Какую основную проблему решает этот патент для Яндекса?

    Он решает проблему несогласованности, субъективности и предвзятости оценок, которые дают разные асессоры одним и тем же задачам (например, при оценке релевантности SERP). Если данные от асессоров не согласованы, это снижает качество обучающих данных (Ground Truth). Патент предлагает механизм калибровки оценок с помощью эталонных примеров.

    Что означает «максимальный эталонный охват с минимальным количеством образцов»?

    Это принцип оптимизации при выборе примеров для асессора. Система стремится показать асессору как можно меньше примеров (чтобы не перегружать его), но так, чтобы они иллюстрировали весь возможный диапазон оценок на шкале. Например, вместо показа 10 похожих примеров «хорошего» результата, система покажет по одному примеру «отличного», «среднего» и «плохого» результата.

    В чем разница между Первым MLA и Вторым MLA в этом патенте?

    Это два разных алгоритма. Первый MLA используется для обработки сырых данных: он принимает множество оценок от разных асессоров и генерирует очищенную, итоговую метку, удаляя индивидуальную предвзятость (Bias). Второй MLA используется для оптимизации процесса обучения: он анализирует очищенные метки, кластеризует задачи и выбирает наилучшие репрезентативные примеры для показа будущим асессорам.

    Как этот патент влияет на метрику Proxima?

    Влияние косвенное, но важное. Proxima — это метрика качества, которая обучается на оценках асессоров. Система, описанная в патенте, повышает качество этих оценок (Ground Truth), делая их более точными, согласованными и беспристрастными. Следовательно, модель Proxima, обученная на таких данных, также становится более точной и эффективной в определении качества страниц.

    Что такое «скользящая шкала пометки»?

    Это элемент интерфейса асессора, описанный в патенте. Вместо выбора из фиксированных вариантов, асессору предоставляется шкала. На этой шкале расположены «указатели метки» или анкоря, которые соответствуют автоматически подобранным эталонным примерам (прошлым задачам). Это помогает асессору точнее позиционировать текущую задачу на шкале относительно эталонов.

    Имеет ли смысл пытаться влиять на асессоров или угадывать их поведение?

    Патент показывает, что это неэффективная стратегия. Система Яндекса активно работает над тем, чтобы минимизировать влияние индивидуального поведения или предвзятости асессоров на итоговые данные. Механизмы калибровки с помощью динамических примеров и удаление предвзятости через First MLA направлены на получение объективной оценки.

    Применяется ли этот механизм только для оценки SERP?

    Хотя оценка релевантности SERP приводится в патенте как основной пример (Claim 2), изобретение сформулировано шире. Оно может применяться к любой «цифровой задаче, исполняемой в краудсорсинговой среде», где требуется оценка или разметка данных, например, классификация изображений или модерация контента.

    Как обучается алгоритм, который выбирает примеры (Second MLA)?

    Second MLA обучается на специально подготовленных данных. Эти данные состоят из пар задач и метки, указывающей, насколько первая задача полезна в качестве иллюстративного примера для второй, а также указывает на избыточность (Claims 11, 13). Примечательно, что эти обучающие метки также могут генерироваться с помощью краудсорсинга (Claim 12).

    Каков главный вывод из этого патента для SEO-стратегии?

    Главный вывод — подтверждение фундаментальной роли человеческих оценок в поиске Яндекса и сложности инфраструктуры, обеспечивающей их качество. Это означает, что алгоритмы ранжирования базируются на точном понимании релевантности и качества. Стратегия SEO должна фокусироваться на создании объективно качественных и полезных ресурсов (E-E-A-T), так как именно это стремится измерить Яндекс.