Как Яндекс автоматизирует разметку данных, обучая ИИ имитировать поведение лучших асессоров

Описание

Какую задачу решает

Патент решает задачу получения больших объемов размеченных данных (labeled data), необходимых для обучения алгоритмов машинного обучения, включая поисковые. Он направлен на устранение недостатков краудсорсинговых платформ (таких как Toloka или Amazon Mechanical Turk), где исполнители (асессоры или workers) часто не являются профессионалами, имеют разный уровень экспертизы и, как следствие, предоставляют шумные и противоречивые метки (labels).

Что запатентовано

Запатентована система генерации меток для цифровых задач с помощью алгоритма машинного обучения (MLA). Суть изобретения заключается в обучении MLA имитировать процесс выбора метки, выполняемый экспертными или высококачественными асессорами. Это достигается путем анализа истории работы асессоров и характеристик самих задач для создания их векторных представлений, которые затем используются для обучения модели.

Как это работает

Система работает в два этапа. На этапе обучения (Training Phase) она собирает данные: задачи, метки, проставленные разными асессорами, и историю активности этих асессоров. Для каждой задачи генерируется Task Vector Representation, а для каждого асессора — Worker Vector Representation. MLA обучается предсказывать, какую метку поставит конкретный асессор (по его вектору) для конкретной задачи (по ее вектору). На этапе применения (In-Use Phase) система получает новую задачу, генерирует ее вектор и использует обученный MLA для предсказания меток, основываясь на векторах высококачественных асессоров. Финальная метка определяется агрегацией этих предсказаний (например, голосованием большинства).

Актуальность для SEO

Высокая. Качественные размеченные данные являются критически важным ресурсом для развития поисковых систем и ML-технологий. Автоматизация и повышение качества процесса разметки (data labeling) — актуальная задача для всех крупных IT-компаний, включая Яндекс.

Важность для SEO

Влияние на SEO косвенное (4/10). Патент описывает внутреннюю инфраструктуру Яндекса для разметки данных, а не алгоритмы ранжирования. Однако эта инфраструктура критически важна для обучения и валидации ключевых поисковых метрик и алгоритмов (таких как Proxima или Anti-Quality). Если запатентованный метод позволяет Яндексу быстрее и качественнее обучать свои алгоритмы на основе имитации «эталонных» асессоров, это ускоряет эволюцию поиска и повышает точность оценки качества сайтов.

Детальный разбор

Термины и определения

Crowdsourced Digital Platform (Краудсорсинговая цифровая платформа)

Платформа (например, Toloka), где задачи (Digital Tasks) выполняются распределенной группой исполнителей (Workers).

Digital Task / HIT (Цифровая задача)

Задача, требующая человеческого интеллекта. В контексте SEO это часто задачи по оценке релевантности, классификации контента, парному сравнению результатов поиска (SERP).

Digital Task Label (Метка цифровой задачи)

Результат выполнения задачи асессором (например, оценка «релевантно»/«нерелевантно», выбор категории).

Latent Features (Латентные/Скрытые признаки)

Скрытые признаки задачи, которые могут влиять на суждение асессора, но не имеют прямого отношения к качеству выбора (например, размер шрифта, размер изображения, расположение кнопок выбора). Они могут вызывать предвзятость (bias).

MLA (Machine Learning Algorithm / Алгоритм машинного обучения)

Модель, которая обучается на данных для выполнения предсказаний. В данном патенте MLA обучается предсказывать метку задачи.

Quality Score (Оценка качества исполнителя)

Метрика, соответствующая предыдущему показателю успешности (success rate) асессора в предоставлении правильных меток. Может рассчитываться на основе «honeypot tasks» (задач с заранее известным ответом) или анализа истории разметки.

Task Vector Representation (Векторное представление задачи)

Численное представление (эмбеддинг) цифровой задачи, которое может включать ее латентные признаки.

Worker / Assessor (Исполнитель / Асессор)

Человек, выполняющий задачи на краудсорсинговой платформе.

Worker Activity History (История активности исполнителя)

Данные о предыдущей работе асессора: выполненные задачи, поставленные метки, время выполнения, рассчитанные оценки качества (Quality Score).

Worker Vector Representation (Векторное представление исполнителя)

Численное представление (эмбеддинг) асессора, основанное на его истории активности. Может кодировать его экспертизу, а также степень предвзятости к определенным латентным признакам задачи (Latent Parameter).

Ключевые утверждения (Анализ Claims)

Патент описывает двухфазную систему (Обучение и Применение) для автоматизированной генерации меток данных.

Claim 1 (Независимый пункт): Описывает основной процесс работы системы.

Фаза Обучения (Training Phase):

1. Система получает обучающую задачу (Digital Training Task).
2. Система получает множество меток (Digital Training Task Labels) для этой задачи от разных исполнителей (Workers).
3. Система получает историю активности (Worker Activity History) для каждого исполнителя.
4. Обучение MLA:
   • Генерация векторного представления задачи (Task Vector Representation).
   • Генерация векторного представления исполнителя (Worker Vector Representation) на основе его истории.
   • Создание обучающего триплета: (Вектор Задачи, Вектор Исполнителя, Метка, поставленная этим исполнителем).
   • MLA обучается предсказывать Метку по Вектору Задачи и Вектору Исполнителя.

Фаза Применения (In-use Phase):

1. Система получает новую задачу.
2. Определяется ее Вектор Задачи.
3. Используя обученный MLA, система предсказывает множество меток для этой задачи. Предсказание основано на Векторе Задачи и наборе Векторов Исполнителей (Set of Worker Vector Representations).
4. Определяется финальная метка задачи на основе предсказанного множества меток.

Claim 2 (Зависимый пункт): Уточняет, как определяется финальная метка на Фазе Применения. Она определяется путем голосования большинства (majority vote) среди предсказанных меток.

Claims 3-6 (Зависимые пункты): Уточняют, какие исполнители используются на Фазе Применения.

1. Система рассчитывает Quality Score (показатель успешности) для исполнителей на основе их истории (Claim 3).
2. Набор Векторов Исполнителей, используемый для предсказания, может быть подмножеством исполнителей, удовлетворяющих определенному условию (Claim 4).
3. Условие может заключаться в том, что показатель успешности исполнителя выше порога (Claim 5).
4. Условие может быть специфичным для типа задачи: показатель успешности исполнителя выше порога именно для данного типа задач (Claim 6).

Система обучается моделировать поведение всех асессоров, но в продакшене использует только смоделированное поведение лучших (высококачественных) асессоров для генерации финальной метки.

Claims 7-9 (Зависимые пункты): Уточняют, как генерируются векторные представления.

1. Worker Vector Representation может генерироваться путем определения латентного параметра, указывающего на степень предвзятости (bias) исполнителя к латентным признакам задачи. Это определяется анализом матрицы ошибок (confusion matrix) исполнителя (Claim 7).
2. Task Vector Representation генерируется на основе латентных признаков задачи, влияющих на выбор метки исполнителем (Claim 8).
3. Примеры латентных признаков: размер шрифта, размер изображения, количество возможных меток, расположение меток на экране (Claim 9).

Система не просто моделирует экспертизу, но и учитывает, как оформление задачи (UX/UI) может влиять на восприятие и выбор асессора.

Где и как применяется

Этот патент не относится напрямую к этапам обработки пользовательского запроса (Crawling, Indexing, Ranking). Он относится к инфраструктуре обеспечения качества поиска.

QUALITY & GOVERNANCE LAYER (Слой Качества и Метрик)

Изобретение применяется для генерации размеченных данных (labeled data), которые используются для обучения и валидации компонентов этого слоя.

• Обучение метрик качества (Proxima, Anti-Quality): Метрики качества, такие как Proxima, обучаются на оценках асессоров. Запатентованная система позволяет автоматизировать и масштабировать процесс получения этих оценок. MLA имитирует высококачественных асессоров, генерируя обучающие данные для моделей Proxima.
• Обучение классификаторов: Данные, сгенерированные системой, могут использоваться для обучения различных классификаторов (спам, adult-контент, тематики и т.д.).

Взаимодействие с компонентами:

• Система взаимодействует с краудсорсинговой платформой (например, Toloka) для получения исходных данных для обучения (Worker Activity History, исходные метки).
• Взаимодействует с базами данных задач (Digital Task Database) и логов асессоров (Log Database).

Входные данные (Обучение): Цифровые задачи, история активности асессоров, метки, проставленные асессорами.
Выходные данные (Применение): Финальная агрегированная метка для новой цифровой задачи.

На что влияет

• Типы контента и ниши: Влияет на все типы контента и тематики, которые оцениваются асессорами для обучения поисковых алгоритмов. Это особенно важно для сложных и субъективных тематик (например, YMYL), где качество разметки критично.
• UX и Дизайн: Патент явно указывает на влияние Latent Features (размер шрифта, изображений, расположение элементов) на восприятие асессоров. Система моделирует эту предвзятость. Это подтверждает, что UX/UI факторы могут влиять на оценку качества сайта (через асессоров и обученные на них модели).

Когда применяется

Алгоритм применяется в офлайн-режиме для массовой разметки данных, необходимых для обучения или тестирования других систем Яндекса.

• Триггеры активации: Необходимость получить размеченный датасет (например, для обучения новой версии Proxima или для оценки качества выдачи по новому набору запросов).
• Условия работы: Наличие достаточного количества исторических данных об активности асессоров для построения качественных Worker Vector Representations и обучения MLA.

Пошаговый алгоритм

Фаза 1: Обучение MLA (Training Phase)

1. Сбор данных: Получение обучающей задачи, меток, проставленных разными асессорами для этой задачи, и истории активности этих асессоров.
2. Генерация Task Vector Representation: Анализ задачи для определения ее латентных признаков (Latent Features) и генерация векторного представления задачи. Могут использоваться LSTM, CNN или трансформерные (BERT-like) модели.
3. Генерация Worker Vector Representation: Анализ истории активности асессора.
   • Расчет Quality Score (например, по honeypot tasks).
   • Определение латентных параметров предвзятости (bias) асессора путем анализа его матрицы ошибок (confusion matrix), например, с использованием моделей типа Dawid-Skene или GLAD.
   • Генерация векторного представления асессора на основе этих данных.
4. Формирование обучающих триплетов: Создание наборов данных вида (Вектор Задачи, Вектор Исполнителя, Поставленная Метка).
5. Обучение модели: MLA обучается предсказывать Метку на основе Вектора Задачи и Вектора Исполнителя.

Фаза 2: Применение MLA (In-Use Phase)

1. Получение новой задачи: Система получает задачу, которую нужно разметить.
2. Генерация Task Vector Representation: Создание вектора для новой задачи.
3. Выбор асессоров для симуляции: Отбор подмножества асессоров, чьи Worker Vector Representations будут использоваться. Отбор происходит по условию: Quality Score выше порога (возможно, для данного типа задач).
4. Предсказание меток (Симуляция): MLA используется для предсказания того, какую метку поставил бы каждый из выбранных высококачественных асессоров для данной задачи.
5. Агрегация: Определение финальной метки путем агрегации предсказанных меток. Используется голосование большинства (Majority Vote) или взвешенное голосование.

Какие данные и как использует

Данные на входе

• Данные о задачах (Контентные/Структурные/Мультимедиа): Содержание самой задачи, которую нужно разметить (текст, изображение, URL). Эти данные используются для генерации Task Vector Representation.
• Латентные признаки (Технические/Структурные): Метаданные о задаче и ее представлении: размер шрифта, размер изображения, количество вариантов ответа, расположение элементов интерфейса.
• Поведенческие факторы (История асессоров): Worker Activity History. Включает время регистрации, количество выполненных задач, время выполнения, типы задач, поставленные метки в прошлом.

Какие метрики используются и как они считаются

• Quality Score (Оценка качества исполнителя): Рассчитывается как показатель успешности (success rate) предоставления правильных меток. Упоминается использование «honeypot tasks» или анализ совпадения меток с «истинными» метками.
• Task Vector Representation: Векторное представление задачи. Генерируется на основе контента задачи и ее латентных признаков. Упоминаются методы LSTM, BERT-based, CNN.
• Worker Vector Representation: Векторное представление исполнителя. Генерируется на основе его истории.
• Latent Parameter (Латентный параметр предвзятости): Метрика, указывающая на степень предвзятости асессора к определенным латентным признакам. Рассчитывается путем анализа матрицы ошибок (confusion matrix) с использованием моделей агрегации (упомянуты CONAL, Dawid-Skene, GLAD, M-MSR).
• Majority Vote / Weighted Majority Vote: Методы агрегации предсказанных меток для определения финального результата.

Выводы

1. Автоматизация оценки качества: Яндекс активно инвестирует в автоматизацию процесса разметки данных, который традиционно выполнялся людьми (асессорами). Это позволяет масштабировать обучение поисковых алгоритмов.
2. Имитация лучших асессоров: Ключевая особенность системы — она обучается имитировать поведение не среднего, а именно высококачественного (с высоким Quality Score) асессора. Это означает, что алгоритмы Яндекса (например, Proxima) обучаются на данных, соответствующих строгим критериям качества.
3. Моделирование предвзятости и экспертизы: Система создает сложные профили (Worker Vector Representations) асессоров, учитывая не только их точность, но и их предвзятость к определенным факторам.
4. Влияние UX/UI на оценку качества: Патент явно признает, что Latent Features (шрифт, размер изображений, верстка) влияют на восприятие асессоров. Система моделирует это влияние. Для SEO это подтверждает, что качество дизайна и пользовательского опыта является фактором, влияющим на оценку сайта (через асессоров и обученные на них модели).
5. Инфраструктурный характер патента: Патент не описывает, как использовать эти механизмы для улучшения ранжирования сайта. Он описывает, как Яндекс улучшает свои внутренние процессы генерации обучающих данных.

Практика

Best practices (это мы делаем)

Хотя патент инфраструктурный, он дает важное понимание приоритетов Яндекса в оценке качества.

• Ориентация на стандарты экспертной оценки (E-E-A-T): Система стремится имитировать поведение лучших асессоров. Это подтверждает необходимость строгого следования принципам E-E-A-T и инструкциям для асессоров, так как именно эти критерии лежат в основе обучения поисковых алгоритмов (Proxima).
• Инвестиции в качественный дизайн и UX: Патент явно упоминает, что Latent Features (шрифт, размер изображений, верстка) влияют на оценку. Необходимо обеспечивать чистое, профессиональное и удобное представление контента, так как это влияет на восприятие качества как живыми асессорами, так и моделями, имитирующими их.
• Комплексное качество контента: Убедитесь, что контент не только технически оптимизирован, но и соответствует ожиданиям высококвалифицированного эксперта в данной тематике.

Worst practices (это делать не надо)

• Пренебрежение дизайном и юзабилити: Надеяться, что только текстовая релевантность обеспечит высокие оценки качества, неверно. Неаккуратная верстка, плохо подобранные шрифты, неудобное расположение элементов могут негативно повлиять на оценку качества через механизмы, описанные в патенте.
• Имитация качества без реальной экспертизы: Попытки обмануть систему поверхностными сигналами могут быть неэффективны, так как система обучается на глубоком анализе поведения экспертных асессоров, которые способны отличить реальную ценность от имитации.

Стратегическое значение

Патент подтверждает стратегическую важность инфраструктуры оценки качества для Яндекса. Способность быстро и качественно размечать огромные объемы данных позволяет Яндексу быстрее адаптировать свои алгоритмы ранжирования к изменениям в вебе и поведении пользователей. Для SEO это означает, что оценка качества сайтов (Proxima) будет становиться все более точной и основываться на стандартах, заданных лучшими экспертами. Долгосрочная стратегия должна фокусироваться на реальном качестве и ценности ресурса, соответствующих этим стандартам.

Практические примеры

Патент описывает внутренние процессы Яндекса и не дает прямых сценариев применения для SEO-специалистов. Однако можно смоделировать, как эта технология влияет на экосистему поиска.

Сценарий: Обучение метрики Proxima для медицинской тематики (YMYL)

1. Задача Яндекса: Обучить новую версию Proxima для более точной оценки качества медицинских сайтов. Нужен большой датасет размеченных страниц.
2. Применение патента (Фаза 1 — Обучение): Яндекс анализирует историю работы асессоров с медицинским образованием в Толоке. Строятся Worker Vector Representations, учитывающие их точность и потенциальные предвзятости (например, негативная реакция на агрессивную рекламу на медицинских сайтах). Обучается MLA.
3. Применение патента (Фаза 2 — Применение): Яндекс собирает тысячи новых медицинских страниц. Система отбирает векторы только лучших асессоров-медиков (высокий Quality Score). MLA имитирует, как эти эксперты оценили бы новые страницы.
4. Результат: Яндекс получает большой датасет, размеченный с качеством, близким к экспертному. Этот датасет используется для обучения Proxima.
5. Влияние на SEO: Новая версия Proxima, обученная на этих данных, начинает более агрессивно пессимизировать медицинские сайты без явных признаков авторитетности и с плохим UX, так как именно так их оценили бы (и оценил MLA) экспертные асессоры.

Вопросы и ответы