Как Яндекс тестирует и отбирает новые факторы ранжирования для своих ML-моделей

Описание

Какую задачу решает

Патент решает проблему эффективной и надежной оценки влияния новых обучающих объектов (Training Objects) — таких как новые признаки (факторы ранжирования) или новые наборы обучающих данных — на качество прогностической модели (Predictive Model). Основная сложность заключается в том, что оценка качества модели только в финальной точке обучения (точке переобучения) может быть ненадежной из-за шума, ошибок разметки или самого процесса переобучения. Кроме того, полная перетренировка модели с нуля для оценки каждого нового фактора требует значительных вычислительных ресурсов.

Что запатентовано

Запатентована система и метод оценки обучающих объектов для алгоритмов машинного обучения (MLA). Суть изобретения заключается в оценке влияния нового фактора не по одной точке, а по целому диапазону итераций обучения, расположенному непосредственно перед точкой переобучения (Overfitting Point). Это позволяет более точно и чувствительно оценить вклад нового фактора, снижая влияние шума и экономя вычислительные ресурсы за счет частичной перетренировки модели.

Как это работает

Система сначала обучает базовую модель итеративно (например, используя Gradient Boosting) и отслеживает индикатор ошибки предсказания (Prediction Error Indicator) на каждом шаге. Определяется точка переобучения — момент, когда ошибка перестает уменьшаться и начинает расти. Затем система выбирает одну или несколько стартовых точек оценки (Evaluation Starting Points) до точки переобучения. Модель возвращается в состояние, соответствующее этим точкам, и многократно переобучается с добавлением нового фактора. Ошибки моделей с новым фактором сравниваются с ошибками базовой модели в этом диапазоне итераций с использованием статистических тестов гипотез (например, Wilcoxon signed-rank test), чтобы определить, является ли улучшение статистически значимым.

Актуальность для SEO

Высокая. Эффективный отбор признаков (Feature Selection) и оптимизация процесса обучения ML-моделей являются критически важными задачами для любой крупной поисковой системы. Описанный метод позволяет Яндексу систематически и эффективно совершенствовать свои основные ранжирующие модели (вероятно, на базе CatBoost), обеспечивая баланс между скоростью разработки и надежностью оценки новых факторов.

Важность для SEO

Влияние на SEO минимальное (1/10). Это инфраструктурный патент, описывающий внутренние инженерные процессы Яндекса (MLOps) по разработке и улучшению моделей машинного обучения. Он не описывает алгоритмы ранжирования, конкретные факторы или механизмы, на которые SEO-специалисты могут напрямую влиять. Патент лишь подтверждает, что Яндекс использует сложные методы машинного обучения (Gradient Boosting) и применяет строгий статистический подход к отбору факторов, которые в итоге попадают в продакшн.

Детальный разбор

Термины и определения

Evaluation Starting Point (Стартовая точка оценки)

Итерация в процессе обучения базовой модели, расположенная до точки переобучения. С этой точки начинается процесс переобучения модели с новым обучающим объектом.

Feature (Признак, Фактор)

Индивидуальное измеряемое свойство наблюдения (например, документа или запроса). В контексте SEO это эквивалент фактора ранжирования.

Gradient Boosting (Градиентный бустинг)

Техника машинного обучения, которая строит прогностическую модель в виде ансамбля слабых моделей (обычно деревьев решений). Упоминается как предпочтительный метод итеративного обучения.

MLA (Machine Learning Algorithm / Алгоритм машинного обучения)

Общий термин для системы, которая обучается на данных для создания прогностических моделей.

Overfitting Point (Точка переобучения)

Итерация в процессе обучения, после которой ошибка предсказания модели на валидационных данных начинает увеличиваться, хотя на обучающих данных она может продолжать уменьшаться.

Predictive Model (Прогностическая модель)

Математическая модель, созданная MLA, способная делать предсказания на основе входных данных (например, формула ранжирования).

Prediction Error Indicator (Индикатор ошибки предсказания)

Метрика, используемая для оценки точности модели на каждой итерации. Примеры включают Mean Squared Error (MSE) и Mean Absolute Error (MAE).

Training Object (Обучающий объект)

Общий термин, используемый в патенте для обозначения того, что оценивается. Это может быть либо новый Признак (Feature), либо новый набор Обучающих выборок (Training Samples).

Training Sample (Обучающая выборка)

Размеченные данные (вектор признаков и метка), используемые для обучения модели.

Wilcoxon signed-rank test (Критерий знаковых рангов Уилкоксона)

Статистический тест гипотез, используемый для сравнения двух связанных выборок. В патенте используется для сравнения ошибок базовой модели и переобученных моделей.

Ключевые утверждения (Анализ Claims)

Патент защищает метод оценки новых факторов или данных для ML-моделей, который фокусируется на анализе диапазона итераций перед переобучением.

Claim 1 (Независимый пункт): Описывает основной процесс.

1. Система получает первый набор обучающих выборок с определенным набором признаков.
2. Проводится итеративное обучение первой прогностической модели. На каждой итерации генерируется индикатор ошибки предсказания.
3. Анализируются индикаторы ошибок для определения точки переобучения (момент, когда тренд ошибки меняется с уменьшения на увеличение).
4. Определяется как минимум одна стартовая точка оценки, расположенная за несколько итераций ДО точки переобучения.
5. Система получает индикацию нового набора обучающих объектов (новый фактор или новые данные).
6. Первая модель, находящаяся в состоянии, соответствующем стартовой точке оценки, итеративно переобучается с использованием нового обучающего объекта. Этот процесс повторяется для получения множества (plurality) переобученных моделей.
7. Для каждой переобученной модели генерируются свои индикаторы ошибок предсказания на соответствующих итерациях.
8. На основе сравнения индикаторов ошибок переобученных моделей и индикаторов ошибок первой модели принимается решение о выборе между исходным набором и новым обучающим объектом.

Ядром изобретения является отказ от оценки качества нового фактора по одной финальной точке (которая может быть шумной) в пользу оценки его влияния на протяжении диапазона итераций (от стартовой точки до точки переобучения). Многократное переобучение (шаг 6) и последующее сравнение (шаг 8) обеспечивают статистическую надежность оценки.

Claim 3 (Зависимый пункт): Уточняет, что обучение и переобучение выполняются с применением техники градиентного бустинга.

Claim 4 (Зависимый пункт): Уточняет, что выбор (шаг 8 из Claim 1) осуществляется путем сравнения индикаторов ошибок с применением статистического теста гипотез.

Claim 6 (Зависимый пункт): Уточняет, что статистический тест гипотез — это критерий знаковых рангов Уилкоксона (Wilcoxon signed-rank test).

Где и как применяется

Этот патент не описывает механизмы, применяемые в реальном времени во время обработки запроса пользователя. Он относится к офлайн-инфраструктуре разработки и обучения моделей машинного обучения (MLOps), которые затем используются в поиске.

Среда обучения (Training Environment):
Изобретение реализуется в компоненте Learner (Обучающий модуль), который отвечает за построение прогностических моделей (например, формул ранжирования).

• Входные данные: Наборы обучающих данных (Training Samples), существующие признаки (Features), новые предлагаемые признаки (New Features), параметры модели (например, для Gradient Boosting).
• Выходные данные: Статистически обоснованное решение о том, улучшает ли новый признак или новый набор данных качество модели.

Система взаимодействует с хранилищами обучающих данных и системами управления версиями моделей ранжирования. Ее цель — автоматизировать и повысить надежность отбора факторов ранжирования перед их внедрением в продакшн.

На что влияет

Патент является агностичным к типам контента, запросов или тематик.

• Факторы ранжирования: Основное влияние изобретения заключается в том, какие именно факторы ранжирования будут отобраны для использования в финальной формуле ранжирования Яндекса. Оно обеспечивает механизм фильтрации, допускающий только те факторы, которые демонстрируют статистически значимое улучшение качества модели.
• Качество поиска: Косвенно влияет на общее качество поиска, позволяя инженерам быстрее и надежнее итерировать и улучшать ранжирующие модели.

Когда применяется

Алгоритм применяется в процессе разработки и тестирования моделей машинного обучения, а не в реальном времени.

• Триггеры активации:
  • Предложение нового фактора ранжирования инженерами.
  • Появление новых наборов размеченных обучающих данных.
  • Плановый процесс переоценки существующих факторов.
• Условия работы: Требуется модель, которая обучается итеративно (например, Gradient Boosting), и возможность отслеживать ошибку на каждой итерации.

Пошаговый алгоритм

Процесс оценки нового обучающего объекта (например, нового фактора ранжирования).

1. Обучение базовой модели:
   • Система получает исходный набор данных и признаков.
   • Запускается итеративный процесс обучения (например, Gradient Boosting) для построения первой прогностической модели.
   • На каждой итерации вычисляется и сохраняется индикатор ошибки предсказания (например, MSE). Также сохраняется состояние модели на каждой (или некоторых) итерации.
2. Определение точек оценки:
   • Анализируется кривая ошибок. Определяется точка переобучения (Overfitting Point) — где ошибка начинает расти.
   • Определяется одна или несколько стартовых точек оценки (Evaluation Starting Points) за некоторое количество итераций до точки переобучения.
3. Получение нового объекта:
   • В систему вводится новый обучающий объект (например, новый фактор ранжирования).
4. Частичное переобучение (Retraining):
   • Базовая модель загружается в состоянии, соответствующем стартовой точке оценки.
   • Процесс обучения продолжается с этой точки, но уже с учетом нового фактора.
   • Важно: этот шаг повторяется многократно (plurality of retrained models) для обеспечения статистической надежности и учета вариативности процесса обучения.
   • Для каждой переобученной модели сохраняются ее индикаторы ошибок на всех итерациях от стартовой точки до точки переобучения.
5. Агрегация и Сравнение:
   • Индикаторы ошибок базовой модели сравниваются с индикаторами ошибок множества переобученных моделей в заданном диапазоне итераций.
6. Статистическая оценка:
   • К результатам сравнения применяется статистический тест гипотез (например, Wilcoxon signed-rank test).
   • Если тест показывает статистически значимое снижение ошибки у переобученных моделей, новый фактор признается полезным и может быть включен в основную модель.

Какие данные и как использует

Данные на входе

Патент описывает инфраструктуру машинного обучения и не упоминает конкретные типы SEO-факторов (контентные, ссылочные, поведенческие и т.д.). Он оперирует абстрактными терминами:

• Features (Признаки): Любые измеряемые свойства, которые могут быть использованы моделью. Патент не детализирует их природу.
• Training Samples (Обучающие выборки): Наборы данных, состоящие из векторов признаков и соответствующих им меток (Labels), используемые для обучения и валидации модели.

Какие метрики используются и как они считаются

• Prediction Error Indicator (Индикатор ошибки предсказания): Ключевая метрика для отслеживания качества модели на каждой итерации. В патенте упоминаются конкретные примеры: Mean Squared Error (MSE) и Mean Absolute Error (MAE).
• Loss Function (Функция потерь): Используется в процессе градиентного бустинга для направления обучения. В описании патента упоминаются примеры: Gaussian, Laplace, Huber, Quantile, Binomial, Adaboost.
• Statistical Hypothesis Test (Статистический тест гипотез): Используется для финального сравнения производительности моделей. Патент явно указывает на использование Wilcoxon signed-rank test (Критерий знаковых рангов Уилкоксона). Также в описании упоминаются альтернативы: Mann-Whitney-Wilcoxon и sign test.

Выводы

1. Патент описывает внутренние процессы Яндекс без прямых рекомендаций для SEO. Это чисто технический, инфраструктурный патент, касающийся методологии машинного обучения (MLOps), а не алгоритмов ранжирования.
2. Нулевая практическая ценность для SEO: Патент не дает никаких инсайтов о том, какие факторы использует Яндекс, как они взвешиваются или как оптимизировать сайт. Он описывает только процедуру тестирования этих факторов.
3. Подтверждение использования Gradient Boosting: Патент явно указывает на использование градиентного бустинга (вероятно, CatBoost в реализации Яндекса) как основного метода построения моделей.
4. Систематический и статистически строгий подход к развитию моделей: Яндекс не добавляет факторы ранжирования случайным образом. Процесс отбора факторов основан на строгих статистических тестах (Wilcoxon test) для подтверждения значимости улучшений и минимизации влияния шума.
5. Эффективность и надежность оценки: Ключевая идея патента — оценка фактора по диапазону итераций перед переобучением, а не по одной финальной точке. Это повышает надежность оценки и экономит ресурсы за счет частичного, а не полного переобучения.

Практика

Best practices (это мы делаем)

Патент скорее инфраструктурный и не дает практических выводов для SEO.

Единственный вывод заключается в подтверждении того, что Яндекс постоянно и систематически работает над улучшением своих ML-моделей, используя строгие статистические методы для отбора факторов. Это подчеркивает необходимость фокусироваться на фундаментальных аспектах качества сайта и пользовательского опыта, а не пытаться угадать конкретные факторы, так как состав и вес факторов постоянно эволюционируют через этот процесс тестирования.

Worst practices (это делать не надо)

Патент скорее инфраструктурный и не дает практических выводов для SEO.

Не стоит строить SEO-стратегию, основываясь на предположениях о важности конкретного фактора, так как система отбора факторов Яндекса динамична и статистически обусловлена. Манипуляции отдельными факторами вряд ли дадут устойчивый результат, если они не приводят к реальному улучшению качества ресурса.

Стратегическое значение

Стратегическое значение патента заключается в понимании зрелости инженерных процессов Яндекса. Он демонстрирует, что эволюция алгоритмов ранжирования — это не ручная настройка, а сложный, автоматизированный и статистически валидируемый процесс (MLOps). Это подчеркивает сложность реверс-инжиниринга алгоритма и подтверждает, что долгосрочная стратегия должна быть направлена на создание качественных ресурсов, которые будут высоко оцениваться любой сложной ML-моделью.

Практические примеры

Практических примеров для SEO специалистов нет, так как патент описывает внутренние процессы обучения ML-моделей.

Пример применения в Яндексе (внутренний процесс):

1. Инженер предлагает новый фактор ранжирования (например, «Скорость загрузки страницы»).
2. Система берет текущую базовую модель ранжирования, определяет точку переобучения (например, 1000 итераций) и стартовую точку (например, 800 итераций).
3. Система многократно (например, 50 раз) переобучает модель с 800-й по 1000-ю итерацию, добавляя фактор «Скорость загрузки страницы».
4. Ошибки (MSE) этих 50 переобученных моделей сравниваются с ошибками базовой модели в этом же диапазоне итераций с помощью теста Уилкоксона.
5. Если тест показывает статистически значимое снижение ошибки, фактор принимается для дальнейшего внедрения.

Вопросы и ответы