Как Яндекс (CatBoost) обрабатывает ключевые SEO-факторы (URL, домены, авторов) для улучшения ранжирования и борьбы с переобучением

Описание

Какую задачу решает

Патент решает фундаментальную проблему использования категориальных признаков (Categorical Features) в моделях машинного обучения на основе деревьев решений, в частности, при градиентном бустинге. Категориальные признаки (например, URL, домен, автор, регион) не могут использоваться напрямую и требуют преобразования в числа. Традиционные методы часто приводят к «утечке целевой переменной» (target leakage) и переобучению (overfitting) или требуют огромных ресурсов для расчета комбинаций признаков. Патент предлагает методы эффективной и устойчивой к переобучению обработки этих критически важных для поиска данных.

Что запатентовано

Запатентован метод преобразования категориальных признаков в числовое представление (Numeric Representation или Count) во время обучения алгоритма машинного обучения (MLA). Эти методы лежат в основе алгоритма CatBoost. Суть изобретения состоит из трех ключевых компонентов: (1) Использование упорядоченной статистики (Ordered Statistics) для кодирования признаков на основе исторических данных, что снижает переобучение; (2) Динамическое вычисление («на лету», in-line) числовых представлений для комбинаций признаков (Feature Combinations); (3) Метод генерации значений разделения (Split Values) с использованием предопределенной сетки (Grid).

Как это работает

Система использует несколько механизмов. Во-первых, обучающие данные упорядочиваются (случайно или по времени). Числовое значение признака (например, вес домена) для текущего объекта рассчитывается только на основе статистики (например, соотношение успехов/WINs к общему числу вхождений) объектов, предшествующих ему в этом порядке. Это предотвращает «взгляд в будущее» и переобучение. Во-вторых, вместо предварительного расчета всех возможных комбинаций признаков (например, Автор + Тема + Регион), система строит эти комбинации динамически, по мере углубления в дерево решений. В-третьих, для определения порогов разделения (splits) используется предопределенная сетка, что ускоряет обучение.

Актуальность для SEO

Критически высокая. Описанные методы являются ядром алгоритма CatBoost, который является основным алгоритмом машинного обучения Яндекса, применяемым в ранжировании поиска. Это современный фундамент ранжирования Яндекса.

Важность для SEO

Влияние на SEO значительно (8/10). Хотя патент описывает внутренние механизмы машинного обучения (CatBoost), он критически важен для понимания того, *как* Яндекс обрабатывает ключевые SEO-сигналы. Большинство важных факторов — URL, домены, авторы, запросы — являются категориальными. Патент показывает, что их вес в ранжировании напрямую зависит от накопленной исторической статистики взаимодействий (поведенческих факторов). Это математическая реализация концепций, близких к E-E-A-T, подчеркивающая стратегическую важность долгосрочной репутации.

Детальный разбор

Термины и определения

Categorical Feature (Категориальный признак)

Признак, который принимает одно из конечного множества значений (категорий), не имеющих естественного числового порядка. Примеры в SEO: URL, домен, имя автора, текст запроса, регион пользователя, тип устройства.

Count / Counter (Счетчик)

Числовое представление категориального признака. Рассчитывается на основе статистики целевой переменной (например, вероятности клика) для данной категории.

Decision Tree (Дерево решений)

Модель машинного обучения. Состоит из узлов (Nodes), где проверяется условие (Split), и листьев (Leaves), содержащих предсказание.

Dynamic Boosting / Ordered Boosting (Динамический/Упорядоченный бустинг)

Подход, описанный в патенте (Method 1100), где расчет статистики для признаков выполняется на основе искусственно созданного порядка обучающих объектов, учитывая только «прошлые» данные для предотвращения переобучения.

Event Indicator / Event Value (Индикатор события)

Целевая переменная (Target) для обучающего объекта. Например, произошел клик (1, WIN) или нет (0, LOSS).

Gradient Boosting (Градиентный бустинг)

Техника машинного обучения, которая строит модель в виде ансамбля деревьев решений, где каждое следующее дерево обучается исправлять ошибки предыдущих.

Grid (Сетка)

Предопределенный набор интервалов (buckets), используемый для квантования числовых представлений и определения значений разделения (Splits).

Ordered List (Упорядоченный список)

Набор обучающих данных, отсортированный по времени или случайным образом (перестановка). Используется для имитации временной последовательности при расчете счетчиков.

Proto-model (Прото-модель)

Одна из нескольких вспомогательных моделей, обучаемых параллельно на разных перестановках данных. Используется для повышения устойчивости итоговой модели к переобучению (Claim 1).

Split Value (Значение разделения)

Пороговое значение признака в узле дерева решений, которое определяет, по какой ветке пойдет объект.

Ключевые утверждения (Анализ Claims)

Патент защищает три основных механизма, реализованных в CatBoost.

Механизм 1: Упорядоченный расчет числовых представлений с использованием нескольких моделей (Claim 1, Method 1100)

Ядро изобретения — метод преобразования категориального признака в число (Count) с защитой от переобучения.

1. Система получает набор обучающих объектов и генерирует набор моделей (set of models, включая Proto-models).
2. Для каждой модели генерируется свой упорядоченный список (Ordered List) объектов (например, случайная перестановка).
3. При построении дерева для конкретной модели используется ее упорядоченный список.
4. Критически важно: Для расчета числового представления (Count) категориального признака объекта система анализирует статистику только тех объектов, которые предшествуют текущему объекту в данном списке.
5. Расчет основан на количестве предшествующих вхождений этой категории и количестве положительных исходов (WINs) среди них.

Этот механизм (Ordered Target Statistics) имитирует обработку данных во времени, предотвращает утечку целевой переменной и повышает устойчивость модели за счет использования нескольких перестановок.

Механизм 2: Генерация комбинаций признаков «на лету» (Claim 21, Method 1200)

Описывается метод генерации сложных признаков (комбинаций) динамически (in-line) во время построения дерева.

1. При обработке узла на текущем уровне дерева система извлекает признаки, уже выбранные на предыдущих (верхних) уровнях этого дерева.
2. Система генерирует новые комбинации путем объединения уже выбранных признаков с новыми категориальными признаками из набора данных.
3. Расчет числовых представлений для этих новых комбинаций также выполняется «на лету».

Это позволяет учитывать сложные взаимодействия между признаками без экспоненциального роста вычислительной сложности.

Механизм 3: Генерация значений разбиения (Splits) с помощью сетки (Claim 33, Method 1300)

Описывается метод определения порогов (Split Values) для узлов дерева.

1. Система определяет диапазон всех возможных значений для числового представления (например, от 0 до 1).
2. К диапазону применяется сетка (Grid), разделяющая его на интервалы (buckets).
3. Границы этих интервалов используются как возможные значения разбиения (Splits).
4. Критически важно: Сетка определяется до того, как категориальные признаки будут преобразованы в конкретные числовые значения.

Это позволяет эффективно определять пороги, даже когда точные числовые значения признаков рассчитываются динамически.

Где и как применяется

Изобретение относится к внутренним механизмам работы алгоритма машинного обучения (CatBoost).

RANKING – Ранжирование (Обучение моделей L3/L4)

Механизмы применяются на этапе офлайн-обучения основных формул ранжирования Яндекса. Они определяют, как именно модель будет обрабатывать и интерпретировать категориальные признаки при оценке релевантности документа.

• Входные данные: Обучающие объекты, содержащие категориальные признаки (URL, домены, авторы, запросы, регионы и т.д.) и целевую переменную (например, оценка асессора или данные о кликах).
• Процесс: Во время обучения (построения деревьев решений) система применяет описанные методы для кодирования признаков, расчета комбинаций и выбора оптимальных разделений.
• Выходные данные: Обученная модель ранжирования (ансамбль деревьев решений), которая затем используется в продакшене.

На что влияет

• Ключевые SEO-факторы (E-E-A-T): Алгоритм напрямую влияет на то, как система оценивает вес и важность доменов, URL и авторов, поскольку все они обрабатываются как категориальные признаки. Это механизм реализации оценки авторитетности.
• Поведенческие факторы и Репутация: Механизм кодирования (Ordered Statistics) напрямую интегрирует исторические поведенческие данные (Wins/Losses, например, Clicks/No Clicks) в числовое представление признака. Историческая репутация домена или автора становится неотъемлемой частью его веса.
• Взаимодействие факторов (Контекст): Благодаря эффективному расчету комбинаций признаков «на лету», система может учитывать сложные взаимодействия (например, авторитетность автора в контексте конкретной темы или релевантность URL в конкретном регионе).

Когда применяется

Алгоритм применяется во время офлайн-обучения или дообучения моделей ранжирования Яндекса. Описанные механизмы (обучение и расчеты) не применяются в момент обработки запроса пользователя в реальном времени.

Пошаговый алгоритм

Процесс обучения модели CatBoost с использованием описанных механизмов.

1. Подготовка данных и Инициализация моделей:
   • Получение обучающей выборки.
   • Инициализация набора прото-моделей и финальной продакшн-модели (Claim 1).
   • Для каждой прото-модели генерируется уникальный упорядоченный список (случайная перестановка) обучающих объектов. Это создает прокси времени.
2. Итеративное построение деревьев (Градиентный бустинг):

   На каждой итерации выполняется построение нового дерева для ансамбля.

   1. Выбор модели для построения структуры: Выбирается одна из прото-моделей для определения структуры текущего дерева.
   2. Построение дерева (По уровням):
      • Для каждого узла перебираются кандидаты на лучшее разбиение (Split).
      • Обработка категориальных признаков (Кодирование): Рассчитывается числовое представление (Counter). Расчет использует упорядоченный список выбранной прото-модели и учитывает только предшествующие объекты (Dynamic/Ordered Boosting, Method 1100).
      • Генерация комбинаций («На лету»): Динамически создаются комбинации текущих признаков с признаками, уже использованными выше в дереве (Method 1200).
      • Определение разбиений (Grid): Пороги разбиения определяются с использованием предопределенной сетки (Method 1300).
      • Выбор лучшего разбиения: Выбирается признак и порог, дающие максимальный прирост качества. Структура фиксируется.
   3. Применение структуры ко всем моделям: Созданная структура дерева копируется во все остальные прото-модели.
   4. Расчет значений в листьях: Каждая прото-модель рассчитывает значения в листьях, используя свой собственный упорядоченный список данных (значения будут отличаться).
3. Обновление Продакшн-модели:
   • Оценивается качество каждой прото-модели.
   • Прото-модель, показавшая наилучший результат, используется для добавления дерева в финальную продакшн-модель.

Какие данные и как использует

Данные на входе

• Категориальные факторы (Categorical Features): Это основные данные, которые обрабатывает данный алгоритм. В SEO это: URL, Домен, Имя Автора, Текст запроса (Query), Анкорный текст, Регион, Тип устройства, Тип микроразметки.
• Поведенческие факторы (Event Indicators): Используются как целевая переменная (Target) или индикатор события (Wins/Losses). Это данные о кликах, успешных сессиях или асессорские оценки. Они критически важны для расчета числовых представлений (Counts).
• Временные факторы: Если доступны временные метки, они могут использоваться для создания упорядоченного списка. Если нет — используется случайный порядок.

Какие метрики используются и как они считаются

Основная метрика — это Count (Счетчик), который является числовым представлением категориального признака.

Базовая формула (Formula 1):

Расчет на основе статистики предшествующих событий в упорядоченном списке:

$$ \text{Count} = \frac{\text{NumberWINS}}{\text{NumberOCCURRENCES}} $$

Где:

• NumberWINS: Количество положительных исходов (например, кликов) для данного значения признака среди предшествующих объектов.
• NumberOCCURRENCES: Общее количество вхождений данного значения признака среди предшествующих объектов.

Формула с регуляризацией (Formula 2):

Для предотвращения деления на ноль и сглаживания значений используется константа (приор):

$$ \text{Count} = \frac{\text{NumberWINS}}{\text{NumberOCCURRENCES} + R_{\text{constant}}} $$

Формула для комбинаций признаков (Formula 4):

Аналогичный расчет для совместного вхождения нескольких признаков (F1 и F2):

$$ \text{Count} = \frac{\text{NumberWINS (F1 and F2)}}{\text{NumberOCCURRENCES (F1 and F2)}} $$

Методы анализа:

• Градиентный бустинг (Gradient Boosting): Основной фреймворк обучения.
• Квантование (Grid/Bucketing): Используется для определения значений разделения (Split Values).

Выводы

1. Фундамент CatBoost: Патент описывает ключевые инновации, лежащие в основе алгоритма CatBoost, основного инструмента ранжирования Яндекса. Понимание этого патента — это понимание того, как работает современное ранжирование Яндекса на техническом уровне.
2. Историческая репутация встроена в признаки: Ключевой вывод для SEO — исторические поведенческие данные (клики, успешные сессии), связанные с доменом, URL или автором, не являются просто отдельными факторами. Они напрямую встраиваются в числовое представление (вес) этих самых доменов, URL и авторов через механизм Ordered Statistics.
3. Важность комбинаций факторов (Контекстуальная авторитетность): CatBoost спроектирован для эффективного анализа сложных взаимодействий между признаками «на лету». Система оценивает релевантность по синергии факторов (например, насколько авторитетен данный Автор в контексте данной Темы в данном Регионе).
4. Приоритет устойчивости к манипуляциям: Использование упорядоченной статистики и нескольких прото-моделей с разными перестановками данных направлено на максимальное снижение переобучения и повышение устойчивости модели к шуму и манипуляциям. Система ищет стабильные статистические закономерности.

Практика

Best practices (это мы делаем)

• Усиление сигналов E-E-A-T через категориальные признаки: Активно работайте над тем, чтобы ключевые категориальные признаки (Авторы, Бренд, Домен) ассоциировались с высоким качеством и положительными исходами (Wins).
  • Продвигайте экспертных авторов, последовательно используя их имена в контенте и микроразметке. Цель — добиться высокого исторического Count для признака «Автор» в вашей тематике.
• Построение долгосрочной положительной репутации: Сосредоточьтесь на генерации стабильных положительных поведенческих сигналов. Поскольку CatBoost использует историческую статистику (Ordered Statistics) для определения веса признака, положительная история критически важна и дает преимущество перед новыми сайтами.
• Фокус на тематической авторитетности (Topical Authority): Поскольку система эффективно обрабатывает комбинации признаков («на лету»), важно строить авторитет в конкретных нишах. Система оценит комбинацию «Источник + Тематика» или «Автор + Тематика». Убедитесь, что контент публикуется строго в рамках экспертизы источника.
• Последовательность и структурирование данных: Используйте чистую, логичную и постоянную структуру URL и внедряйте микроразметку (Schema.org). Сегменты URL и типы разметки являются категориальными признаками. Консистентность помогает системе накапливать по ним корректную статистику.

Worst practices (это делать не надо)

• Краткосрочные манипуляции поведенческими факторами: Попытки искусственно накрутить клики могут быть неэффективны. Алгоритм использует сложные механизмы борьбы с переобучением (Ordered Statistics, Proto-models), которые фильтруют шумные и нестабильные сигналы.
• Резкая смена тематики или «распыление»: Попытка охватить много несвязанных тем может ухудшить оценку комбинаций признаков. Система может определить, что источник не является авторитетным ни в одной из тем (низкий Count для комбинации Домен+Тема).
• Частое изменение структуры URL без необходимости: Изменение значений категориальных признаков (сегментов URL) может привести к обнулению или потере накопленной по ним положительной истории (Count).
• Использование неавторитетных авторов для YMYL-контента: Если категориальный признак «Автор» имеет низкий исторический Count, контент будет ранжироваться хуже.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Яндекса на использование сложных, устойчивых к манипуляциям алгоритмов машинного обучения. Он демонстрирует, как глубоко поведенческие факторы интегрированы в саму основу ранжирования — не просто как отдельные сигналы, а как механизм определения веса других факторов (URL, доменов, авторов). Для SEO это означает, что долгосрочная стратегия должна базироваться на построении авторитетности и доверия, которые выражаются в стабильно высоких показателях удовлетворенности пользователей.

Практические примеры

Сценарий 1: Влияние исторического CTR на вес домена (Реализация Ordered Statistics)

1. Ситуация: Есть два сайта: Site-A (старый, стабильный CTR на выдаче 10%) и Site-B (новый, CTR колеблется от 5% до 15%).
2. Действие системы (CatBoost Обучение): Во время обучения модели система упорядочивает данные. Для кодирования категориального признака «Домен» используется Ordered Statistics.
3. Расчет: Система рассчитывает Count для Site-A и Site-B на основе предшествующих данных (Wins=клики, Occurrences=показы).
   • Site-A получает стабильно высокое значение Count благодаря долгой положительной истории.
   • Site-B получает более низкое значение Count из-за отсутствия истории или нестабильного CTR.
4. Результат (Ранжирование): В модели ранжирования признак «Домен=Site-A» будет иметь больший положительный вес, чем «Домен=Site-B», что дает Site-A преимущество при прочих равных условиях.

Сценарий 2: Оценка контекстуальной авторитетности (Реализация комбинаций признаков)

1. Ситуация: Автор «Иванов» пишет статьи по Медицине (высокое качество, много кликов) и по Криптовалютам (низкое качество, мало кликов).
2. Действие системы (CatBoost Обучение): Система анализирует не только признак «Автор», но и комбинации признаков «на лету» (Method 1200).
3. Расчет:
   • Комбинация «Автор=Иванов + Тема=Медицина» получает высокий Count.
   • Комбинация «Автор=Иванов + Тема=Криптовалюты» получает низкий Count.
4. Результат (Ранжирование): Новая статья Иванова по Медицине получит буст за авторитетность. Его же новая статья по Криптовалютам буста не получит, так как модель учитывает контекст (комбинацию признаков).

Вопросы и ответы