Close Menu

    Как Яндекс предотвращает утечку целевых данных (Target Leakage) при обучении ML-моделей (CatBoost)

    СПОСОБ И СЕРВЕР ДЛЯ ОПРЕДЕЛЕНИЯ ОБУЧАЮЩЕГО НАБОРА ДЛЯ ОБУЧЕНИЯ АЛГОРИТМА МАШИННОГО ОБУЧЕНИЯ (MLA) (Method and server for determining a training dataset for training a machine learning algorithm (MLA))
    2022 Обучение моделей Патенты Яндекс Ранжирование Рекомендательные системы

    Патент описывает технический метод подготовки данных для обучения алгоритмов машинного обучения (например, CatBoost). Система упорядочивает обучающие примеры и генерирует признаки для каждого примера, используя информацию только из предшествующих данных. Это предотвращает «утечку меток» (target leakage), повышает устойчивость моделей к переобучению и улучшает их качество в реальных задачах, таких как ранжирование или классификация контента.

    Описание

    Какую задачу решает

    Патент решает фундаментальную проблему в машинном обучении, известную как «утечка целевых данных» (target leakage) или «утечка меток». Это ситуация, когда при генерации признаков для обучения модели непреднамеренно используется информация о правильном ответе (метке класса). Например, если рассчитывать статистику (вроде вероятности спама для слова) по всему датасету сразу. Это приводит к переобучению (overfitting): модель показывает завышенное качество на тесте, но плохо работает в реальных условиях. Патент улучшает обобщающую способность, качество и стабильность ML-моделей, используемых Яндексом.

    Что запатентовано

    Запатентован способ подготовки обучающего набора данных (Training Dataset) для алгоритма машинного обучения (MLA), используемого для классификации цифровых объектов. Суть изобретения заключается в строгом упорядочивании обучающих примеров и генерации признаков (текстовых или векторных) для конкретного примера с использованием меток класса (True Class) только из предыдущих примеров в последовательности, игнорируя последующие.

    Как это работает

    Система получает набор данных (например, документы и их классы) и упорядочивает их в последовательность. При обработке примера N для генерации его признаков (например, расчет TF-IDF, BM25 или расстояния до центроидов классов), система использует данные и метки только из примеров от 0 до N-1. Это имитирует работу модели в реальных условиях, когда будущее неизвестно, и предотвращает «заглядывание в будущее» при обучении, тем самым устраняя утечку целевых данных.

    Актуальность для SEO

    Высокая. Описанный метод (известный как Ordered Target Statistics) является одной из ключевых особенностей алгоритма CatBoost, разработанного Яндексом (авторы патента, в частности Анна Дорогуш, являются его основными разработчиками). CatBoost широко используется в индустрии и является основой ранжирования Яндекса. Предотвращение target leakage критически важно для построения надежных ML-систем.

    Важность для SEO

    Влияние на SEO минимальное (1/10). Патент имеет исключительно инфраструктурный и технический характер. Он описывает внутренние методы машинного обучения (Data Science), а не конкретные алгоритмы ранжирования, понимания запросов или анализа контента, которые могут использовать SEO-специалисты. Патент описывает внутренние процессы Яндекс без прямых рекомендаций для SEO.

    Детальный разбор

    Термины и определения

    MLA (Machine Learning Algorithm / Алгоритм Машинного Обучения)
    Модель (например, дерево принятия решений, CatBoost), которая обучается выполнять классификацию цифровых объектов (документов, писем, рекомендаций).
    Training Example (Обучающий пример)
    Единица данных для обучения MLA. Включает в себя данные объекта (текст или векторное представление) и указание истинного класса.
    True Class (Истинный класс)
    Метка обучающего примера (например, релевантен/нерелевантен, спам/не спам).
    Ordered Sequence (Упорядоченная последовательность)
    Ключевой элемент патента. Множество обучающих примеров выстраивается в строгую последовательность. Это позволяет разделить примеры на «предыдущие» и «последующие» относительно текущего обрабатываемого примера.
    Textual Feature (Текстовый признак)
    Признак, сгенерированный на основе текстовых данных. В патенте это могут быть метрики вроде TF-IDF, BM25 или Naive Bayes, рассчитанные с учетом упорядоченной последовательности.
    Vector Representation (Векторное представление / Эмбеддинг)
    Численное представление объекта (текста или изображения), полученное, например, с помощью word2vec, fastText или GloVe.
    Target Leakage (Утечка целевых данных)
    Термин не используется в патенте явно, но именно эту проблему решает изобретение. Это ситуация, когда информация об истинном классе (Target) используется при создании признаков (Leakage), что приводит к переобучению.

    Ключевые утверждения (Анализ Claims)

    Патент описывает метод генерации признаков во время обучения ML-модели, направленный на предотвращение использования информации о метках класса до того, как модель должна их предсказать.

    Claim 1 (Независимый пункт): Описывает процесс для текстовых данных.

    1. Сервер получает множество обучающих примеров (текст + истинный класс).
    2. Сервер упорядочивает эти примеры в последовательность. Каждый пример теперь имеет предыдущие и последующие примеры.
    3. Генерируется текстовый признак для определенного примера.
    4. Критически важно: Признак генерируется на основе текста этого примера, А ТАКЖЕ текстовых данных и истинных классов только предыдущих обучающих примеров. Последующие примеры игнорируются.
    5. Определяется обучающий набор, где входные данные включают этот текстовый признак, а метка — истинный класс.

    Claim 29 (Независимый пункт): Описывает аналогичный процесс, но для векторных представлений (эмбеддингов) вместо сырого текста.

    1. Сервер получает обучающие примеры (векторное представление + истинный класс).
    2. Примеры упорядочиваются в последовательность.
    3. Генерируется признак, основанный на векторном представлении.
    4. Критически важно: Признак генерируется на основе вектора текущего примера, А ТАКЖЕ векторов и истинных классов только предыдущих примеров.

    Claim 63 (Независимый пункт): Описывает вариацию метода с использованием кластеризации.

    1. После упорядочивания примеров, сервер кластеризует предыдущие обучающие примеры в многомерном пространстве, группируя их по истинным классам.
    2. Генерируется признак подобия (Similarity Feature) для текущего примера.
    3. Этот признак основан на расстоянии между текущим примером и кластерами предыдущих примеров определенного класса.

    Ядром изобретения является генерация признаков (статистик) в строго упорядоченном порядке, чтобы избежать использования информации о метках из «будущего» (последующих примеров) при обучении модели, тем самым предотвращая Target Leakage.

    Где и как применяется

    Изобретение не применяется непосредственно в实时-конвейере обработки поискового запроса (от Crawling до Ranking). Оно относится к этапу Офлайн-обучения (Offline Training) и подготовки моделей машинного обучения, которые затем используются в поиске.

    Инфраструктура Машинного Обучения

    • Компоненты: Метод интегрирован в процесс обучения MLA. В патенте упоминается, что MLA может иметь тип Дерева принятия решений (Decision Tree) (Claims 14, 28, 45, 62). Учитывая авторов и методологию, речь идет о реализации в библиотеке CatBoost.
    • Входные данные: Множество Обучающих примеров, каждый из которых содержит данные объекта (текст, векторное представление, изображение) и Истинный класс (метку).
    • Выходные данные: Обучающий набор (Training Dataset), в котором признаки сгенерированы без утечки целевых данных, что позволяет обучить более надежную и устойчивую к переобучению модель.

    На что влияет

    Патент указывает, что метод может применяться для классификации различных цифровых объектов:

    • Цифровые документы в результатах поиска (Claims 4, 18, 32, 49). Это относится к обучению моделей ранжирования или классификаторов качества (например, Proxima).
    • Рекомендуемый контент (Claims 5, 19, 33, 50). Обучение моделей для систем рекомендаций (например, Дзен).
    • Сообщения электронной почты (Claims 6, 20, 34, 51). Обучение спам-фильтров.

    Метод универсален и может применяться для двоичной или многоклассовой классификации.

    Когда применяется

    Алгоритм применяется исключительно на этапе обучения или переобучения модели машинного обучения. Он не используется во время исполнения (inference) модели в продакшене для обработки запросов пользователей в реальном времени.

    Пошаговый алгоритм

    Процесс подготовки обучающего набора:

    1. Получение данных: Сервер получает множество обучающих примеров (Данные Объекта + Истинный Класс).
    2. Упорядочивание: Множество примеров сортируется для создания Упорядоченной последовательности. (Порядок может быть случайным или основанным на времени, но он должен быть фиксированным).
    3. Итеративная генерация признаков: Система проходит по последовательности. Для каждого текущего примера N:
      1. Анализ прошлого: Система анализирует данные и истинные классы только предыдущих примеров (от 0 до N-1).
      2. Вычисление признака:
        • Для текста: Рассчитываются статистики (например, TF-IDF, BM25) на основе корпуса предыдущих документов.
        • Для векторов: Рассчитываются средние векторы классов (центроиды) или определяются ближайшие соседи (K-NN) только среди предыдущих примеров. Затем вычисляется расстояние от текущего примера N до этих статистик.
      3. Игнорирование будущего: Данные и метки последующих примеров (N+1 и далее) не используются.
    4. Формирование обучающего набора: Сгенерированные признаки объединяются с истинным классом текущего примера N.
    5. Обучение MLA: Алгоритм машинного обучения (например, CatBoost) обучается на этом подготовленном наборе данных.

    Какие данные и как использует

    Данные на входе

    • Контентные факторы: Текстовые данные (Textual Data), связанные с цифровыми объектами (документы, письма, элементы рекомендаций).
    • Мультимедиа факторы: Упоминаются Данные изображения (Image Data) как основа для генерации векторных представлений (Claims 39, 56).
    • Системные данные:
      • Векторные представления (Vector Representations): Эмбеддинги текстов или изображений.
      • Истинный класс (True Class): Метки, используемые для обучения (например, оценки асессоров).

    Какие метрики используются и как они считаются

    Система использует стандартные метрики Information Retrieval и Machine Learning, но модифицирует способ их расчета, применяя их только к «прошлому» набору данных.

    • Метрики для текстовых признаков (Claim 8):
      • Наивная байесовская функция (Naive Bayesian function).
      • TF-IDF (Частота слова — обратная частота документа).
      • BM25 (Лучшее совпадение 25).
    • Метрики для векторных признаков (Claim 36):
      • Косинусное расстояние (Cosine distance): Между текущим вектором и средним векторным представлением для определенного класса (рассчитанным по предыдущим примерам).
      • Евклидово расстояние (Euclidean distance): Между текущим вектором и ближайшими соседями в количестве К (K-NN) из определенного класса (выбранными из предыдущих примеров).
    • Методы генерации векторов (Claim 38, 55): Упомянуты алгоритмы word2vec, fastText и GloVe.
    • Алгоритмы машинного обучения: MLA может иметь тип Дерева принятия решений (Decision Tree).

    Выводы

    1. Инфраструктурный патент без прямых SEO-рекомендаций: Патент описывает внутренние процессы Яндекса, связанные с методологией машинного обучения (Data Science), и не содержит информации, которую можно напрямую использовать для SEO-оптимизации сайтов.
    2. Борьба с Target Leakage и Переобучением: Основная цель изобретения — предотвращение «утечки целевых данных» при генерации признаков. Это фундаментальная техника для повышения качества и надежности ML-моделей, делающая их устойчивыми к переобучению.
    3. Основа CatBoost: Описанный метод (Ordered Target Statistics) является ключевым элементом библиотеки CatBoost, разработанной Яндексом и используемой для ранжирования. Это подтверждает высокий технический уровень реализации ML в поиске.
    4. Универсальность применения: Метод применяется не только в поиске (ранжирование, качество), но и в рекомендательных системах и спам-фильтрах, что подчеркивает его универсальность для задач классификации.
    5. Использование классических IR-метрик: Патент подтверждает, что метрики вроде TF-IDF, BM25, Naive Bayes, а также векторные расстояния (Cosine/Euclidean distance) используются как признаки для машинного обучения, но с важной модификацией их расчета (на основе упорядоченных данных).

    Практика

    Best practices (это мы делаем)

    Патент скорее инфраструктурный и не дает практических выводов для SEO. Практических рекомендаций по контенту, ссылкам или технической оптимизации, основанных непосредственно на механизмах этого патента, нет.

    Worst practices (это делать не надо)

    Патент не направлен на борьбу с конкретными SEO-манипуляциями и не делает какие-либо существующие SEO-тактики неэффективными или опасными.

    Стратегическое значение

    Патент демонстрирует высокий уровень зрелости и технической сложности инфраструктуры машинного обучения Яндекса. Использование передовых методов для предотвращения переобучения (таких как описанный в патенте, характерный для CatBoost) означает, что модели ранжирования Яндекса становятся более качественными, стабильными и лучше обобщают данные. Для SEO это стратегически означает, что система становится менее подверженной простым статистическим манипуляциям и больше фокусируется на глубоком понимании качества и релевантности.

    Практические примеры

    Практических примеров для SEO нет. Патент относится к области Data Science и ML Engineering.

    Вопросы и ответы

    Что такое «утечка целевых данных» (Target Leakage), которую предотвращает этот патент?

    Target Leakage — это ситуация в машинном обучении, когда при генерации признаков используется информация о правильном ответе (целевой переменной или метке класса), которую модель не будет иметь в реальных условиях. Например, если вы хотите предсказать, является ли письмо спамом, и рассчитываете признак «вероятность спама для слова X» на основе всего набора данных, то этот признак уже содержит информацию об ответе. Это приводит к переобучению и плохой работе модели на новых данных. Патент решает эту проблему, используя только «прошлые» данные для расчета признаков.

    Связан ли этот патент с алгоритмом CatBoost?

    Да, напрямую. Авторы патента (в частности, Анна Дорогуш) являются основными разработчиками CatBoost. Описанный метод упорядочивания данных и генерации признаков на основе только предыдущих примеров (известный как Ordered Target Statistics и Ordered Boosting) является одной из главных инноваций, реализованных в CatBoost, которая отличает его от других алгоритмов градиентного бустинга (например, XGBoost или LightGBM).

    Поможет ли этот патент понять, как лучше оптимизировать тексты для SEO?

    Нет. Этот патент не описывает, как Яндекс анализирует контент или определяет релевантность. Он описывает исключительно технический процесс подготовки данных для обучения моделей машинного обучения, чтобы эти модели были более качественными. Он не дает никаких инсайтов о том, какие факторы ранжирования важнее.

    В патенте упоминаются TF-IDF и BM25. Значит ли это, что они все еще важны?

    Да, это подтверждает, что классические метрики Information Retrieval (TF-IDF, BM25, Naive Bayes) по-прежнему используются в поиске Яндекса. Однако они используются не как основные формулы ранжирования, а как входные признаки (features) для более сложных моделей машинного обучения (таких как CatBoost/YATI). Патент описывает, как именно эти признаки рассчитываются во время обучения.

    Что такое «упорядоченная последовательность» в контексте патента?

    Это способ организации обучающих данных, при котором все примеры выстраиваются в строгий порядок. Это позволяет для каждого конкретного примера четко определить, какие примеры являются «предыдущими» (прошлое), а какие «последующими» (будущее). При генерации признаков используется информация только из «предыдущих» примеров, что имитирует работу системы в реальном времени и предотвращает переобучение.

    Применяется ли этот метод при ранжировании в реальном времени?

    Нет. Этот метод применяется только на этапе офлайн-обучения модели машинного обучения. В реальном времени уже обученная модель использует стандартный процесс для генерации предсказаний. Однако благодаря этому методу сама обученная модель становится более качественной и точной.

    В патенте упоминаются word2vec, fastText и GloVe. Использует ли их Яндекс для понимания текстов?

    В патенте эти алгоритмы упоминаются как примеры способов генерации векторных представлений (эмбеддингов). Хотя эти модели уже считаются устаревшими по сравнению с современными трансформерными архитектурами (BERT, YATI), они могут использоваться для базовых задач или как часть более сложных систем. Важно понимать, что патент фокусируется не на типе эмбеддинга, а на методе его использования при обучении.

    Какова основная польза этого изобретения для Яндекса?

    Основная польза — значительное повышение качества и надежности алгоритмов машинного обучения, используемых во всех сервисах Яндекса (поиск, рекомендации, почта). Модели, обученные с использованием этого метода, менее склонны к переобучению и лучше работают на новых данных, что напрямую влияет на качество конечного продукта для пользователя.

    Влияет ли этот патент на поведенческие факторы?

    Нет, в патенте не упоминаются поведенческие факторы. Он описывает работу с текстовыми данными, векторными представлениями и метками классов (например, оценками асессоров) на этапе обучения моделей.

    Почему SEO-специалисту важно знать об этом патенте, если он не дает прямых рекомендаций?

    Понимание этого патента дает представление о сложности и зрелости инфраструктуры Яндекса. Это показывает, что поисковая система использует передовые методы Data Science (в данном случае, инновации в CatBoost) для построения своих алгоритмов. Это подчеркивает стратегический тренд: чем сложнее и качественнее становятся модели, тем меньше они подвержены простым манипуляциям и тем важнее фокусироваться на фундаментальном качестве ресурса.