Как Яндекс оптимизирует пороги срабатывания классификаторов (спам, качество, релевантность) с помощью вложенных метрик (например, Клики и Длинные клики)

Описание

Какую задачу решает

Патент решает задачу повышения эффективности систем бинарной классификации цифровых объектов (например, веб-документов, пользователей, электронных писем). Основная проблема — как определить оптимальные пороговые значения (Metric-Specific Thresholds) для набора взаимосвязанных (Nested) метрик, чтобы максимизировать качество классификации (баланс Precision и Recall). Это улучшает способность системы точно идентифицировать объекты, принадлежащие к определенному классу (например, спам, мошенничество, некачественный контент), минимизируя ложные срабатывания.

Что запатентовано

Запатентован метод итеративной оптимизации пороговых значений для набора вложенных метрик (Nested Metrics), используемых в бинарном классификаторе. Вложенность означает, что одна метрика основана на событиях, которые являются подмножеством или следствием событий другой метрики (например, «Длинные клики» вложены в «Клики»). Суть изобретения заключается в процессе валидации, который перебирает различные комбинации порогов и выбирает ту комбинацию (Target Combination), которая обеспечивает наилучшие показатели точности и полноты классификации.

Как это работает

Система работает в двух режимах: оптимизация и применение.

Оптимизация (Валидация): На основе валидационных данных (объекты с известным классом) система применяет вложенные метрики и получает значения предсказаний. Затем начинается итеративный процесс: система тестирует первую комбинацию порогов, рассчитывает Precision и Recall. На следующем шаге она корректирует один из порогов (создает вторую комбинацию) и снова рассчитывает метрики. Этот процесс повторяется до тех пор, пока не будет найдена комбинация порогов, удовлетворяющая заданным критериям качества (например, Recall максимален при Precision не ниже X).

Применение (In-use mode): Найденная целевая комбинация порогов используется для классификации новых объектов. Если значение предсказания хотя бы одной из вложенных метрик превышает соответствующий ей порог из целевой комбинации, объект классифицируется как принадлежащий к первому классу (например, спам).

Актуальность для SEO

Высокая. Точная настройка порогов классификаторов является критически важной задачей в машинном обучении для контроля качества поиска, антиспам-систем и систем модерации. Использование вложенных метрик, особенно связанных с поведением пользователей (как указано в примерах патента: клики, длинные клики), является стандартом в современных поисковых технологиях.

Важность для SEO

Влияние на SEO среднее (5.5/10). Это инфраструктурный патент, описывающий оптимизацию внутренних процессов Яндекса, а не конкретные факторы ранжирования. Однако он имеет важное стратегическое значение, так как подтверждает, что Яндекс концептуализирует пользовательское поведение через иерархию «вложенных метрик». Он также показывает, насколько точно Яндекс настраивает строгость своих систем оценки качества (таких как Proxima или Anti-Quality).

Детальный разбор

Термины и определения

Binary Classification (Бинарная классификация)

Задача отнесения цифрового объекта к одному из двух классов (например, Класс 1: Спам, Класс 2: Не спам).

Digital Object (Цифровой объект)

Сущность, связанная с онлайн-сервисами. В патенте упоминаются примеры: поисковые системы (документы), e-commerce (пользователи), email-сервисы (письма).

Ground-Truth Class (Истинный класс)

Известный класс объекта в валидационном наборе данных, используемый для оценки точности классификатора.

Metric-Specific Threshold (Порог для конкретной метрики)

Значение, с которым сравнивается предсказание конкретной метрики. Если предсказание выше порога, метрика срабатывает.

Nested Metrics (Вложенные метрики)

Множество метрик (реализованных как MLA — Machine Learning Algorithms), основанных на вложенных типах событий (Nested Object Events).

Nested Object Events (Вложенные события объекта)

События Типа B вложены в События Типа A, если: (1) Тип B может произойти, только если произошел Тип A (например, Клик после Поискового запроса); ИЛИ (2) Тип B является подмножеством Типа A (например, Длинный клик является подмножеством Клика).

Precision Parameter (Параметр точности)

Доля релевантных объектов среди всех объектов, классифицированных как релевантные (Class 1). Оценивает аккуратность срабатывания.

Recall Parameter (Параметр полноты)

Доля найденных релевантных объектов от общего числа релевантных объектов в выборке. Оценивает охват классификатора.

Target Combination of Metric-Specific Thresholds (Целевая комбинация порогов)

Оптимальный набор пороговых значений (по одному для каждой вложенной метрики), выбранный в результате итеративного процесса валидации для использования в рабочей системе.

Ключевые утверждения (Анализ Claims)

Патент защищает метод определения оптимальной комбинации порогов для классификатора, использующего вложенные метрики.

Claim 1 (Независимый пункт): Описывает полный цикл итеративной оптимизации порогов.

1. Получение валидационных наборов данных (события объекта + истинный класс).
2. Применение множества вложенных метрик к этим данным для генерации значений предсказаний.
3. Первая итерация: Сравнение предсказаний с первой комбинацией порогов. Расчет первых параметров Точности (Precision) и Полноты (Recall).
4. Вторая итерация: Корректировка одного из порогов для создания второй комбинации. Расчет вторых параметров Точности и Полноты.
5. Выбор: Выбор целевой комбинации порогов путем сравнения их параметров Точности/Полноты с заданными требованиями (Precision threshold, Recall threshold).
6. Применение: Указано, что целевая комбинация используется в рабочем режиме (in-use mode) так, что объект относится к первому классу, если значение предсказания хотя бы одной из вложенных метрик превышает соответствующий ей порог (Логика «ИЛИ»).

Claim 2 (Зависимый пункт): Уточняет, что итеративный процесс (описанный в Claim 1) продолжается до тех пор, пока параметры Точности не превысят Precision threshold И/ИЛИ параметры Полноты не превысят Recall threshold. Комбинация порогов из этой успешной итерации выбирается как целевая.

Claims 4 и 5 (Зависимые пункты): Определяют природу вложенности. Метрики основаны на событиях, где событие второго типа происходит только после события первого типа (Claim 4) или является его подмножеством (Claim 5).

Где и как применяется

Патент описывает инфраструктурный механизм оптимизации классификаторов. Он не привязан к конкретному слою поиска, а скорее относится к процессу разработки и валидации моделей машинного обучения (ML Governance), которые затем используются на разных этапах.

Офлайн-процессы (Обучение и Валидация)

Это основная область применения метода оптимизации.

• Оптимизация Порогов (Threshold Optimization): Ядро патента. Процесс выполняется на валидационных данных для определения Target Combination of Metric-Specific Thresholds. Система принимает на вход обученные метрики и валидационные данные, а на выходе возвращает оптимальные пороги.

Онлайн-процессы (Применение классификатора)

Оптимизированный классификатор (метрики + пороги) затем применяется на разных этапах:

• Слой Качества и Метрик (QUALITY & GOVERNANCE LAYER): Для калибровки классификаторов, используемых для оценки качества (например, Proxima или Anti-Quality), а также антифрод-систем.
• INDEXING: Для классификации документов как спам/не спам или определения качества страницы на этапе индексации.
• RANKING: Результаты классификации (например, вероятность низкого качества) используются как признаки ранжирования или как фильтры.

На что влияет

• Конкретные типы контента и ниши: Механизм универсален. В патенте (Claims 7-9) явно упоминаются: поисковые системы (документы, классификация релевантности), e-commerce (пользователи, классификация фрода) и email-сервисы (письма, классификация спама).
• Конкретные задачи: Влияет на точность определения спама, мошенничества, релевантности и качества. Если система Яндекса использует этот метод для настройки антиспам-фильтра, это напрямую влияет на то, насколько эффективно будут пессимизироваться нарушители.
• Поведенческие факторы: Патент акцентирует внимание на вложенных событиях и приводит в пример поведенческие сигналы: «Клики» и «Длинные клики». Это подтверждает важность анализа иерархии взаимодействия пользователя с контентом.

Когда применяется

Механизм оптимизации (описанный в патенте) применяется офлайн, периодически или при обновлении моделей (вложенных метрик) для перекалибровки пороговых значений. Он не выполняется в момент ранжирования запроса.

Пошаговый алгоритм

Процесс А: Итеративная оптимизация порогов (Валидация — Офлайн)

1. Подготовка данных: Получение множества валидационных наборов данных. Каждый набор содержит прошлые события объекта и его известный истинный класс (Ground-Truth Class).
2. Генерация предсказаний: Применение множества (уже обученных) вложенных метрик к валидационным данным.
3. Инициализация итераций: Выбор стартовой комбинации пороговых значений (Комбинация 1).
4. Итерация N (Оценка Комбинации N):
   1. Сравнение значений предсказаний с порогами из Комбинации N.
   2. Определение предсказанных классов для валидационных объектов.
   3. Расчет параметров Точности (Precision) и Полноты (Recall) для этой итерации.
5. Корректировка порогов: Изменение одного из порогов в Комбинации N для создания новой Комбинации N+1.
6. Проверка условий остановки: Процесс повторяется до тех пор, пока не будут выполнены заданные условия (например, достигнут минимум Precision/Recall).
7. Выбор целевой комбинации: Выбор комбинации, удовлетворяющей требованиям, в качестве целевой (Target Combination) (например, выбор комбинации с максимальным Recall при допустимом Precision).

Процесс Б: Применение классификатора (In-use mode — Онлайн/Индексация)

1. Получение данных объекта: Получение набора прошлых событий для нового цифрового объекта.
2. Генерация предсказаний: Применение вложенных метрик к событиям объекта.
3. Сравнение с порогами: Сравнение полученных значений предсказаний с соответствующими порогами из Целевой Комбинации.
4. Классификация: Если хотя бы одно значение предсказания выше своего порога — объект относится к Классу 1 (например, Спам). В противном случае — к Классу 2.

Какие данные и как использует

Данные на входе

Система использует данные о событиях, связанных с цифровыми объектами.

• Поведенческие факторы: В патенте приводятся конкретные примеры вложенных событий, связанных с поведением пользователей в поиске:
  • События Типа A: Подача поискового запроса (Query Submissions).
  • События Типа B (вложенные в A): Клики по результатам поиска (Search engine result clicks).
  • События Типа A: Клики (Clicks).
  • События Типа B (вложенные в A): Длинные клики (Long Clicks).
• Системные данные (для валидации): Object-specific validation datasets, включающие историю событий и метку истинного класса (Ground-Truth Class), вероятно, полученную от асессоров или из логов.

Какие метрики используются и как они считаются

Патент фокусируется на использовании стандартных показателей качества классификации для оптимизации порогов.

• Вложенные Метрики (Nested Metrics): Реализованы как алгоритмы машинного обучения (MLA). Они обучаются предсказывать вероятность класса на основе своих входных данных (например, метрика Кликов и метрика Длинных Кликов).
• Precision (Точность) и Recall (Полнота): Рассчитываются в процессе валидации стандартными методами ML для оценки эффективности каждой комбинации порогов.
• Precision Threshold / Recall Threshold: Заранее определенные требования к качеству классификатора, которые используются как критерий для выбора целевой комбинации порогов.

Выводы

1. Яндекс использует многослойную (вложенную) классификацию: Системы оценки (качества, спама и т.д.) не полагаются на одну метрику, а используют набор вложенных метрик. Это позволяет анализировать сигналы на разном уровне глубины (например, факт взаимодействия и качество этого взаимодействия).
2. Вложенные поведенческие сигналы критически важны: Патент явно использует иерархию поведенческих сигналов (Клики -> Длинные клики) в качестве основного примера вложенных событий, подтверждая фокус Яндекса на анализе качества взаимодействия пользователя с контентом.
3. Логика срабатывания по принципу «ИЛИ»: Для классификации объекта как Класс 1 (например, Низкое качество) достаточно, чтобы хотя бы одна из вложенных метрик превысила свой оптимизированный порог. Это означает, что система имеет несколько независимых триггеров для пессимизации.
4. Пороги срабатывания тщательно калибруются: Запатентован строгий итеративный процесс, направленный на достижение оптимального баланса между Точностью (Precision) и Полнотой (Recall). Это делает системы классификации максимально эффективными и устойчивыми к ошибкам.
5. Инфраструктурный характер: Патент описывает универсальный фреймворк для настройки любых бинарных классификаторов, использующих вложенные признаки, что указывает на его широкое применение во внутренних системах Яндекса.

Практика

Best practices (это мы делаем)

Хотя патент инфраструктурный, он дает важное понимание структуры систем классификации Яндекса и важности иерархии сигналов.

• Обеспечение качества на всех уровнях взаимодействия (User Journey): Поскольку используются вложенные метрики (например, Клики и Длинные клики), необходимо оптимизировать весь путь пользователя. Недостаточно просто получить клик (Метрика A); необходимо обеспечить качественное взаимодействие после клика (Метрика B), такое как длительное пребывание, решение задачи, отсутствие быстрого возврата на выдачу.
• Мониторинг иерархии поведенческих метрик: Анализируйте поведенческие данные в иерархическом виде (Просмотры -> Клики -> Вовлеченные сессии/Длинные клики). Проблемы на любом уровне могут активировать классификаторы качества.
• Поддержание высокого качества контента и UX: Поскольку системы классификации (например, антиспам или Proxima) тщательно оптимизированы для баланса Precision/Recall, сайты, находящиеся в «серой зоне», с высокой вероятностью будут корректно классифицированы как некачественные. Это требует фокуса на фундаментальном качестве.

Worst practices (это делать не надо)

• Накрутка поверхностных поведенческих факторов: Попытки манипулировать только верхнеуровневыми метриками (например, накрутка кликов без обеспечения их качества/длительности) неэффективны. Вложенные метрики (например, Длинные клики) не подтвердят качество этих взаимодействий, что может привести к классификации трафика как фродового.
• Использование кликбейта: Стратегии, направленные на получение клика любой ценой, приводят к ухудшению глубоких поведенческих метрик (короткие клики, возвраты). Поскольку система анализирует вложенные события, это может привести к срабатыванию классификаторов качества.
• Создание «пограничного» контента: Расчет на то, что контент низкого качества «проскочит» из-за неточности алгоритмов, становится менее оправданным. Оптимизация порогов направлена на минимизацию таких ошибок.

Стратегическое значение

Патент подтверждает стратегическую важность качества взаимодействия пользователя с сайтом. Он демонстрирует, что Яндекс анализирует сигналы иерархически (вложенно) и имеет сложную инфраструктуру для точной настройки своих классификаторов. Для SEO это означает, что долгосрочная стратегия должна фокусироваться на создании ценности для пользователя, что естественным образом приводит к позитивным сигналам на всех уровнях вложенности (от клика до решения задачи).

Практические примеры

Сценарий: Оптимизация классификатора качества сайта с использованием вложенных поведенческих метрик.

Предположим, Яндекс использует две вложенные метрики для определения низкого качества (Класс 1):

• Метрика A: Доля коротких кликов (Short Clicks Rate).
• Метрика B: Доля кликов с нулевой активностью после загрузки (Zero Activity Rate) (вложена в A, так как это подмножество коротких кликов).

Процесс оптимизации (по патенту): Яндекс итеративно подбирает пороги (Threshold A и Threshold B), чтобы максимизировать Полноту (выявить максимум плохих сайтов) при сохранении приемлемой Точности (не наказать хорошие сайты).

Применение: Сайт классифицируется как низкокачественный, ЕСЛИ (Short Clicks Rate > Threshold A) ИЛИ (Zero Activity Rate > Threshold B).

Действия SEO-специалиста:

1. Анализ Метрики A: Изучить страницы с высоким показателем отказов и коротким временем сессии в Яндекс.Метрике.
2. Анализ Метрики B: Использовать Вебвизор для идентификации сессий, где пользователь не совершал никаких действий (скроллинг, клики) после загрузки.
3. Улучшение: Ускорить загрузку первого экрана, сделать контент более вовлекающим, убрать агрессивную рекламу, перекрывающую контент.
4. Результат: Улучшение показателей по обеим метрикам снижает вероятность срабатывания классификатора качества.

Вопросы и ответы