Как Яндекс эффективно вычисляет уверенность своих ML-моделей (CatBoost) в результатах ранжирования

Описание

Какую задачу решает

Патент решает проблему эффективного вычисления уверенности (confidence) моделей машинного обучения на основе градиентного бустинга деревьев решений (GBDT), таких как CatBoost, в своих прогнозах. Традиционные методы оценки неопределенности (например, ансамблирование нескольких независимых моделей) требуют значительных вычислительных ресурсов и времени. Патент фокусируется на измерении Knowledge Uncertainty (эпистемическая неопределенность) – ситуации, когда модель сталкивается с данными, сильно отличающимися от обучающей выборки (out-of-domain inputs).

Что запатентовано

Запатентован метод создания Virtual Ensemble (Виртуального Ансамбля) из одной обученной модели GBDT для генерации Uncertainty Score (Оценки Неопределенности). Суть изобретения в том, чтобы использовать различные подпоследовательности (срезы) деревьев внутри одной модели как отдельные «суб-модели» и измерять степень расхождения (disagreement) их прогнозов для оценки общей уверенности модели.

Как это работает

Обученная модель GBDT состоит из последовательности деревьев (например, 1000 деревьев). Система определяет несколько sub-models как усеченные версии основной модели (например, деревья 1-800, деревья 1-900). При получении входных данных (например, признаков документа и запроса) каждая суб-модель генерирует свой прогноз (sub-output). Uncertainty Score рассчитывается на основе разницы между этими прогнозами (например, через дисперсию). Большой разброс в прогнозах суб-моделей означает высокую неопределенность итогового результата.

Актуальность для SEO

Высокая. Градиентный бустинг (CatBoost) является основой ранжирования Яндекса. Оценка уверенности моделей машинного обучения критически важна для улучшения качества поиска, особенно при обработке новых или нетипичных запросов и документов. Описанный метод напрямую связан с повышением эффективности и надежности инфраструктуры ML.

Важность для SEO

Влияние на SEO значительно (7/10), но косвенное. Патент не описывает новый фактор ранжирования, но описывает механизм вычисления метрики (Uncertainty Score), которая, как указано в патенте (Claim 10, 11), может использоваться как входной признак для других моделей, включая ранжирующие (ranking model). Если система не уверена в релевантности документа (высокая неопределенность), это может повлиять на его финальную позицию. Это подчеркивает важность соответствия сайта устоявшимся паттернам качества, на которых обучались модели Яндекса.

Детальный разбор

Термины и определения

GBDT (Gradient Boosted Decision Tree)

Модель градиентного бустинга деревьев решений. Метод машинного обучения, который итеративно объединяет слабые модели (деревья решений) для получения более точных прогнозов. Пример реализации – CatBoost.

Uncertainty Score (Оценка Неопределенности)

Метрика, генерируемая системой, которая количественно определяет, насколько модель уверена в своем прогнозе. В контексте патента фокусируется на Knowledge Uncertainty.

Knowledge Uncertainty (Эпистемическая неопределенность)

Неопределенность, возникающая, когда модель сталкивается с входными данными, которые сильно отличаются от данных, на которых она обучалась (out-of-domain inputs). Возникает из-за недостатка знаний модели о данной области данных.

Data Uncertainty (Алеаторная неопределенность)

Неопределенность, возникающая из-за шума во входных данных или перекрытия классов. Не является основным фокусом данного патента.

Virtual Ensemble (Виртуальный Ансамбль)

Ключевая концепция патента. Набор суб-моделей, сформированный из одной обученной модели GBDT путем использования различных подпоследовательностей (усеченных версий) деревьев этой модели.

Sub-model (Суб-модель)

Подпоследовательность деревьев в модели GBDT. Например, если полная модель состоит из деревьев 1-1000, суб-модель может состоять из деревьев 1-800.

Sub-output (Промежуточный выход)

Прогноз, сгенерированный конкретной суб-моделью.

SGB (Stochastic Gradient Boosting)

Техника обучения GBDT, где стохастичность (случайность) добавляется путем случайной выборки подмножества обучающих данных на каждой итерации построения дерева.

SGLB (Stochastic Gradient Langevin Boosting)

Более продвинутая техника обучения GBDT, где случайность вводится путем добавления шума к значениям градиента, а не через выборку данных. Упоминается как возможный метод обучения модели, к которой применяется изобретение.

Ключевые утверждения (Анализ Claims)

Ядром изобретения является метод эффективного расчета оценки неопределенности для модели GBDT без необходимости обучения нескольких независимых моделей.

Claim 1 (Независимый пункт): Описывает основной метод генерации Uncertainty Score.

1. Система получает обученную модель GBDT, состоящую из последовательности деревьев (от начального до последнего), построенных стохастически (например, с помощью SGB или SGLB).
2. Система определяет множество подпоследовательностей деревьев как sub-models.
3. Критически важно: Каждая суб-модель начинается с начального дерева и заканчивается определенным деревом (offset tree) внутри последовательности. Параметр смещения (offset parameter) различен для каждой суб-модели (т.е. это усеченные версии разной длины).
4. Во время использования (in-use iteration) на входных данных:
1. Генерируется множество sub-outputs (прогнозов) с использованием соответствующих суб-моделей.
2. Генерируется Uncertainty Score на основе этих sub-outputs. Оценка показывает, насколько сильно отличаются друг от друга прогнозы суб-моделей.

Claim 3, 6 (Зависимые пункты): Уточняют структуру суб-моделей.

• Одна подпоследовательность вложена (nested) в другую (Claim 3).
• Одна подпоследовательность включает в себя другую подпоследовательность плюс как минимум одно следующее дерево (Claim 6). Это подтверждает концепцию использования усеченных версий одной и той же модели (например, Модель[1:800] вложена в Модель[1:900]).

Claim 14 (Зависимый пункт): Уточняет метод расчета.

• Генерация Uncertainty Score включает определение дисперсии (variance) множества sub-outputs.

Claim 8, 9 (Зависимые пункты): Описывают применение оценки неопределенности.

• Если Uncertainty Score ниже порога, система подтверждает (confirming) выход модели (Claim 8).
• Если Uncertainty Score выше порога, система определяет входные данные как out-of-domain dataset (Claim 9).

Claim 10, 11 (Зависимые пункты): Критически важны для понимания влияния на поиск. Описывают интеграцию с другими системами.

• Система предоставляет выход модели GBDT И Uncertainty Score другой прогнозной модели в качестве входных данных (Claim 10).
• Эта другая модель может быть ранжирующей моделью (ranking model) (Claim 11).

Где и как применяется

Изобретение применяется на этапе использования (in-use phase) моделей машинного обучения на основе градиентного бустинга (GBDT/CatBoost).

RANKING – Ранжирование (Уровни L2/L3/L4)

В архитектуре поиска Яндекса модели GBDT (CatBoost) являются ядром ранжирования на уровнях L2 (Middle Ranking) и L3 (Upper Reranking). Эти модели принимают на вход сотни или тысячи признаков документа и запроса и вычисляют оценку релевантности.

Описанный механизм работает поверх этих моделей:

1. Вычисление релевантности: Модель GBDT (например, на L3) вычисляет оценку релевантности для документа.
2. Вычисление уверенности: Одновременно с этим, используя механизм Virtual Ensemble, система рассчитывает Uncertainty Score для этой оценки релевантности. Это происходит эффективно, так как используются промежуточные вычисления (partial sums) основной модели.
3. Интеграция: Как указано в Claim 10 и 11, итоговая оценка релевантности И Uncertainty Score передаются в следующую модель ранжирования или на следующий этап обработки (например, в BLENDER или на уровень пост-обработки).

На что влияет

• Все типы контента и запросов: Поскольку механизм применяется к базовым моделям ранжирования (GBDT), он влияет на все типы запросов и документов, которые обрабатываются этими моделями.
• Out-of-Domain данные: Наибольшее влияние оказывается на документы или запросы, которые сильно отличаются от обучающей выборки. Это могут быть новые тематики, редкие запросы (long-tail), или сайты, использующие нетипичные паттерны (например, новые методы SEO-манипуляций), которые модель не видела ранее. Для них Uncertainty Score будет высоким.
• YMYL тематики: В патенте упоминаются высокорискованные приложения, такие как здравоохранение и финансы. В контексте поиска это соответствует YMYL-тематикам, где достоверность и уверенность в качестве результата критически важны.

Когда применяется

Алгоритм применяется во время каждой итерации использования (in-use iteration) обученной модели GBDT. Это означает, что оценка неопределенности рассчитывается в реальном времени при ранжировании документов в ответ на запрос пользователя.

Пошаговый алгоритм

Процесс генерации Uncertainty Score во время ранжирования документа.

1. Подготовка модели (Офлайн):
   1. Модель GBDT (например, CatBoost) обучается с использованием стохастического метода (SGB или SGLB). Модель состоит из последовательности деревьев (например, T=1000 деревьев).
   2. Определяется конфигурация Virtual Ensemble: выбираются индексы деревьев, которые будут формировать суб-модели (например, 800, 900, 1000).
2. Получение входных данных (Онлайн): Система получает входные данные (in-use dataset), например, вектор признаков для пары документ-запрос.
3. Вычисление выходов деревьев: Входные данные проходят через последовательность деревьев модели GBDT. Для каждого дерева вычисляется его индивидуальный выход (tree-output).
4. Генерация Sub-outputs:
   1. Система вычисляет прогнозы для каждой суб-модели путем суммирования (комбинирования) выходов деревьев, входящих в эту суб-модель. Например, Sub-output 1 = Сумма(Деревья 1-800), Sub-output 2 = Сумма(Деревья 1-900).
   2. Итоговый выход модели (Output) также вычисляется: Output = Сумма(Деревья 1-1000).
5. Расчет Uncertainty Score: Система применяет функцию расхождения (disagreement function) к набору полученных Sub-outputs. Согласно Claim 14, это вычисление дисперсии (variance) прогнозов суб-моделей.
6. Применение результата:
   1. Система проверяет, превышает ли Uncertainty Score установленный порог.
   2. Если порог превышен, входные данные могут быть помечены как out-of-domain.
   3. Итоговый Output и Uncertainty Score передаются в следующую модель ранжирования как входные признаки.

Какие данные и как использует

Данные на входе

Патент описывает инфраструктурный механизм работы GBDT моделей и не специфицирует конкретные SEO-факторы. Однако модель GBDT, к которой применяется этот механизм, использует все стандартные группы факторов для ранжирования:

• Контентные факторы: Текстовая релевантность, BM25, наличие ключевых слов в заголовках и т.д.
• Ссылочные факторы: PageRank, анкорные тексты, авторитетность доноров.
• Поведенческие факторы: CTR, время на сайте, последние клики.
• Факторы качества сайта: ИКС, Proxima.

Механизм Virtual Ensemble использует эти данные косвенно, так как они являются входом для GBDT модели.

Какие метрики используются и как они считаются

• Tree-output: Индивидуальный прогноз (leaf value) одного дерева решений в ансамбле GBDT.
• Sub-output: Прогноз суб-модели. Рассчитывается как комбинация (обычно сумма) Tree-outputs деревьев, входящих в данную суб-модель.
• Uncertainty Score: Основная метрика, генерируемая системой. Рассчитывается как мера расхождения между Sub-outputs Виртуального Ансамбля. В патенте (Claim 14) явно упоминается вычисление дисперсии (variance) множества Sub-outputs.

Выводы

1. Яндекс измеряет уверенность своих моделей ранжирования: Патент подтверждает, что Яндекс не только рассчитывает релевантность, но и активно работает над измерением уверенности (Knowledge Uncertainty) своих основных моделей машинного обучения (CatBoost/GBDT).
2. Эффективность через «Виртуальные Ансамбли»: Для оценки уверенности используется эффективный метод Virtual Ensemble, который позволяет получить оценку неопределенности из одной модели без дополнительных затрат на обучение ансамблей.
3. Уверенность как фактор ранжирования: Uncertainty Score может использоваться как входной признак для последующих моделей ранжирования (Claim 11). Это означает, что уверенность модели в своей оценке релевантности может влиять на финальный ранг документа.
4. Обнаружение Out-of-Domain данных: Система способна идентифицировать входные данные (документы/запросы), которые сильно отличаются от обучающей выборки. Высокая неопределенность сигнализирует о потенциальной ненадежности прогноза релевантности.
5. Приоритет стабильности и предсказуемости: Модели Яндекса предпочитают данные, которые соответствуют известным паттернам (низкая неопределенность). Нетипичные данные или манипуляции могут приводить к высокой неопределенности и, как следствие, к потенциальному понижению в выдаче, даже если формальные метрики релевантности высоки.

Практика

Best practices (это мы делаем)

• Соответствие эталонным паттернам качества: Обеспечивайте максимальное соответствие сайта паттернам, которые Яндекс считает качественными (на которых обучались его модели). Это касается структуры контента, пользовательского опыта (UX), и профиля поведенческих сигналов. Чем больше сайт похож на эталонные примеры в своей нише, тем ниже будет Knowledge Uncertainty модели при его оценке.
• Прозрачность и чистота сигналов: Убедитесь, что сайт посылает четкие и непротиворечивые сигналы ранжирования. Смешанные или зашумленные сигналы (например, хороший текст, но плохие поведенческие факторы, или естественные ссылки вперемешку с покупными) могут увеличить неопределенность модели.
• Фокус на YMYL и E-E-A-T: В тематиках, где надежность критична (упомянутых в патенте как высокорискованные), обеспечение максимальной достоверности и экспертности (E-E-A-T) помогает снизить неопределенность модели относительно качества контента.
• Стабильное развитие сайта: Постепенное и последовательное улучшение сайта предпочтительнее резких изменений. Резкие изменения в структуре или контентной стратегии могут временно ввести модель в состояние высокой неопределенности.

Worst practices (это делать не надо)

• Использование новейших «серых» схем и эксплойтов: Тактики, которые еще не распространены и не были учтены при обучении моделей, с высокой вероятностью будут классифицированы как нетипичные (out-of-domain) и приведут к высокому Uncertainty Score, что может нивелировать их потенциальный эффект.
• Манипуляции поведенческими факторами (Накрутки): Искусственные поведенческие сигналы часто отличаются по паттернам от естественных. Это несоответствие может быть зафиксировано как высокая Knowledge Uncertainty, даже если формальный CTR высок.
• Противоречивые сигналы ранжирования: Создание ситуаций, когда разные группы факторов указывают в разные стороны (например, высокая текстовая релевантность при нулевой авторитетности сайта).

Стратегическое значение

Патент имеет важное стратегическое значение, так как он раскрывает механизм самодиагностики моделей ранжирования Яндекса. Он подтверждает переход от оценки формальной релевантности к оценке надежности и уверенности в этой релевантности. Для SEO это означает, что стратегии, основанные на стабильности, качестве и соответствии лучшим практикам (White Hat SEO), становятся более выигрышными в долгосрочной перспективе. Система стремится минимизировать риски, связанные с неопределенностью, что делает выдачу более консервативной и менее подверженной краткосрочным манипуляциям.

Практические примеры

Сценарий 1: Сайт с накруткой ПФ

1. Ситуация: Сайт имеет средний контент, но использует агрессивную накрутку поведенческих факторов для повышения CTR.
2. Действие системы: Модель GBDT (CatBoost) анализирует признаки. Она видит высокий CTR, но паттерн этих кликов (время, профили пользователей, последующие действия) сильно отличается от паттернов естественного поведения, на которых модель обучалась.
3. Расчет Uncertainty: Виртуальный ансамбль генерирует высокий Uncertainty Score из-за того, что входные данные являются нетипичными (out-of-domain).
4. Результат: Несмотря на высокий прогнозируемый скор релевантности (из-за высокого CTR), финальная модель ранжирования получает этот скор вместе с высоким Uncertainty Score. Это может привести к игнорированию или значительному дисконтированию веса поведенческих факторов для данного сайта.

Сценарий 2: Новый экспертный сайт в YMYL нише

1. Ситуация: Появился новый сайт по медицине с высококачественным контентом, но пока без значительной ссылочной массы и истории.
2. Действие системы: Модель GBDT анализирует признаки. Она видит сильные контентные факторы и признаки E-E-A-T (упоминания врачей, структура статьи), которые полностью соответствуют паттернам авторитетных медицинских ресурсов из обучающей выборки.
3. Расчет Uncertainty: Uncertainty Score низкий, так как паттерны данных хорошо знакомы модели, несмотря на новизну самого домена.
4. Результат: Система уверена в своей оценке качества и релевантности. Низкий Uncertainty Score способствует более быстрому росту позиций сайта, так как система доверяет своим прогнозам.

Вопросы и ответы