Как Яндекс использует стохастическую токенизацию (BPE-Dropout) для повышения устойчивости своих NLP-моделей

Описание

Какую задачу решает

Патент решает задачу повышения устойчивости (robustness) и обобщающей способности алгоритмов машинного обучения (MLA), используемых в обработке естественного языка (NLP). Стандартные методы субсловной токенизации (например, BPE) являются детерминированными: одно и то же слово всегда разделяется на одинаковую последовательность токенов. Это может приводить к переобучению (overfitting) модели на конкретных границах токенов и снижать ее эффективность при обработке зашумленных данных (опечаток), редких слов или сложной морфологии.

Что запатентовано

Запатентован способ стохастической (вероятностной) токенизации текста для задач машинного обучения. Суть изобретения заключается во внедрении элемента случайности в процесс итеративного слияния токенов (субслов). На каждом шаге слияния система с определенной вероятностью (вероятность исключения) игнорирует некоторые возможные слияния, что приводит к различным вариантам токенизации одного и того же слова при разных обработках (механизм, известный как BPE-dropout).

Как это работает

Система использует предобученный словарь токенов и таблицу слияний, которая указывает на возможные пары для объединения и их частоту. При обработке нового слова оно сначала разделяется на отдельные символы. Затем система итеративно объединяет соседние токены. Ключевой механизм: на каждой итерации, определив все возможные слияния, система применяет стохастический алгоритм (на основе вероятности исключения), чтобы сформировать сокращенный набор возможных слияний. Слияния выполняются только на основе этого сокращенного набора. Это заставляет MLA учиться на разнообразных представлениях слова.

Актуальность для SEO

Высокая. Субсловная токенизация является фундаментальным компонентом современных NLP-моделей, включая трансформеры (например, YATI, используемый Яндексом). Описанный в патенте механизм стохастической токенизации (BPE-dropout или Subword Regularization) является актуальной и стандартной техникой для улучшения качества и устойчивости моделей машинного обучения в NLP.

Важность для SEO

Влияние на SEO минимальное (2/10). Это глубоко инфраструктурный патент, описывающий внутренние процессы лингвистической предобработки текста в NLP-системах Яндекса. Он не вводит новых факторов ранжирования и не описывает механизмы оценки качества сайтов. Патент важен для понимания сложности лингвистических технологий Яндекса, но не предоставляет SEO-специалистам прямых рычагов влияния на этот процесс.

Детальный разбор

Термины и определения

Алгоритм машинного обучения (MLA — Machine Learning Algorithm)

Алгоритм, который обрабатывает токенизированный текст. Это может быть нейронная сеть, например, модель архитектуры Трансформер (YATI/BERT), используемая для понимания запросов, ранжирования, машинного перевода или выбора рекламы.

Вероятность исключения (Probability of Exclusion)

Заранее заданная вероятность, на основе которой система решает, исключить ли конкретное возможное слияние из рассмотрения на текущей итерации. Ключевой параметр, обеспечивающий стохастичность процесса.

Словарь токенов (Dictionary of Tokens)

Хранилище набора токенов, извлеченных из заранее заданного корпуса текстов. Токен может быть как отдельным символом, так и слитым набором символов (субсловом).

Сокращенный набор возможных слияний (Reduced Set of Possible Merges)

Набор слияний, оставшийся после применения стохастического исключения на текущей итерации. Он меньше полного набора возможных слияний.

Стохастический алгоритм (Stochastic algorithm)

Алгоритм, включающий элемент случайности. Упомянут в Claim 30 как механизм для исключения слияний.

Таблица слияний (Merge Table)

Структура данных, указывающая на возможные слияния пар токенов из словаря. Каждое слияние связано с частотой его появления в обучающем корпусе текстов.

Токен (Token)

Элементарная единица текста, используемая MLA. В контексте патента — это символ или субслово (результат слияния символов).

Ключевые утверждения (Анализ Claims)

Патент описывает метод токенизации, который вносит элемент случайности (стохастичность) в процесс объединения символов в субслова.

Claim 1 (Независимый пункт): Описывает основной способ обработки текстовой последовательности.

1. Система получает предобученный Словарь токенов и Таблицу слияний (с частотами).
2. Получается входное слово.
3. Слово разделяется на первоначальную последовательность токенов (отдельные символы).
4. Запускается итеративный процесс слияния:
5. На текущей итерации:
   • Определяется набор всех возможных слияний пар соседних токенов с помощью Таблицы слияний.
   • Ядро изобретения: Система исключает по меньшей мере одно слияние из этого набора на основе вероятности исключения, формируя сокращенный набор возможных слияний.
   • Система формирует новую последовательность токенов, выполняя слияния из сокращенного набора.
6. Итерации завершаются, когда в текущей последовательности больше нет возможных слияний. Результат используется в MLA.

Claim 2 (Зависимый от 1): Уточняет, что выполнение слияний из сокращенного набора может основываться на соответствующей частоте появления. То есть, даже после случайного исключения, приоритет отдается более частым слияниям.

Claims 4, 5, 6 (Зависимые от 1): Определяют области применения MLA, использующего этот метод: нейронный машинный перевод (Claim 4), приложение поисковой системы (Claim 5), приложение выбора целевой рекламы (Claim 6).

Claim 11, 12, 13 (Зависимые пункты): Подчеркивают недетерминированный характер изобретения.

Утверждается, что при обработке двух одинаковых текстовых последовательностей, содержащих одно и то же слово, окончательные последовательности токенов для этого слова могут отличаться (Claim 11). Это различие связано с тем, что на этапах итераций использовались различные сокращенные наборы возможных слияний из-за стохастического исключения (Claims 12, 13).

Claim 30 (Независимый пункт): Явное использование термина.

Процесс описан аналогично Claim 1, но вместо термина «вероятность исключения» используется формулировка «использование сервером стохастического алгоритма для исключения по меньшей мере одного слияния».

Где и как применяется

Изобретение является частью лингвистического стека Яндекса (NLP Preprocessing) и применяется на этапах предобработки текста перед его использованием в алгоритмах машинного обучения.

INDEXING – Индексирование и извлечение признаков
При индексации документа система должна преобразовать текст в формат, понятный для ML-моделей (например, для генерации эмбеддингов документа с помощью YATI). Описанный способ токенизации используется именно здесь для разделения слов документа на токены.

QUERY PROCESSING – Понимание Запросов
Аналогично, при получении запроса пользователя он должен быть токенизирован перед тем, как MLA (например, модуль понимания интента или генерации эмбеддинга запроса) сможет его обработать.

Взаимодействие с компонентами:
Система токенизации взаимодействует с хранилищем обученных моделей (Словарь токенов, Таблица слияний) и является входным шлюзом для MLA.

Входные данные: Сырая текстовая последовательность (слово/запрос/документ).

Выходные данные: Окончательная последовательность токенов, готовая для подачи в MLA.

На что влияет

• Типы контента и запросов: Влияет на обработку любых текстовых данных. Механизм регуляризации повышает способность системы понимать зашумленный текст, слова с опечатками, редкие слова и различные морфологические формы, так как модель не фиксируется на единственном варианте токенизации.
• Языковые особенности: Особенно актуально для языков с богатой морфологией (как русский), где стохастическая сегментация помогает модели лучше улавливать морфемную структуру слов и обрабатывать слова, не встречавшиеся ранее (OOV — Out-Of-Vocabulary).

Когда применяется

Алгоритм применяется каждый раз, когда требуется преобразовать текстовую последовательность в последовательность токенов для MLA.

• Фаза Обучения MLA (Training): Это основное применение описанного механизма. Внедрение вариативности токенизации во время обучения заставляет модель учиться более устойчивым представлениям (действует как регуляризация или аугментация данных).
• Фаза Применения MLA (Inference): Во время применения (например, при ранжировании в реальном времени) может использоваться как детерминированный подход (если вероятность исключения равна 0), так и стохастический, но основной эффект достигается на этапе обучения.

Пошаговый алгоритм

Этап 1: Подготовка (Офлайн) (Описано в Claims 7-10)

1. Инициализация: Создание начального Словаря токенов на основе отдельных символов корпуса текстов (Claim 9). Инициализация пустой Таблицы слияний (Claim 10).
2. Обучение токенизатора: Итеративное формирование Словаря токенов и Таблицы слияний на основе частоты встречаемости пар токенов в корпусе текстов (стандартная процедура, похожая на обучение BPE).

Этап 2: Обработка текстовой последовательности (Применение)

1. Получение данных: Сервер получает Слово и значение Вероятности исключения (Claim 3).
2. Начальная токенизация: Слово разделяется на первоначальную последовательность токенов (символов).
3. Итеративное слияние (Цикл):
   • Определение возможностей: Для текущей последовательности токенов определяются все пары соседних токенов, которые могут быть слиты согласно Таблице слияний.
   • Стохастическое исключение (BPE-dropout): Для каждого возможного слияния система применяет Вероятность исключения (или стохастический алгоритм). Некоторые слияния случайным образом исключаются из рассмотрения на этой итерации. Формируется Сокращенный набор возможных слияний.
   • Выполнение слияний: Из Сокращенного набора выбираются слияния для выполнения (на основе их частоты, как указано в Claim 2). Выбранные пары объединяются, формируя Новую последовательность токенов.
   • Проверка условия остановки: Если больше нет возможных слияний, цикл завершается. Иначе Новая последовательность используется для следующей итерации.
4. Вывод результата: Полученная последовательность определяется как Окончательная и передается в MLA.

Какие данные и как использует

Данные на входе

Система использует исключительно данные, связанные с текстом и конфигурацией процесса. SEO-факторы (ссылочные, поведенческие, технические и т.д.) не упоминаются.

• Контентные факторы:
  • Текстовая последовательность: Входной текст (слово, запрос, документ), подлежащий обработке.
  • Заранее заданный корпус текстов: Большой объем текстов, используемый для офлайн-обучения токенизатора.
• Системные данные:
  • Словарь токенов и Таблица слияний.
  • Вероятность исключения: Параметр, контролирующий степень стохастичности.

Какие метрики используются и как они считаются

• Частота появления (Frequency): Метрика, хранящаяся в Таблице слияний. Она отражает, насколько часто данная пара токенов встречается вместе в обучающем корпусе. Согласно Claim 2, эта частота используется для выбора приоритетных слияний из Сокращенного набора.
• Вероятность исключения: Используется стохастический алгоритм для принятия бинарного решения (исключить/оставить) для каждого возможного слияния на основе этой вероятности.

Выводы

1. Яндекс использует недетерминированную токенизацию: Ключевой вывод заключается в том, что процесс разделения текста на токены в Яндексе может быть стохастическим. Одно и то же слово может быть представлено разными последовательностями токенов при разных обработках (Claims 11, 12).
2. Цель — регуляризация и устойчивость моделей: Внедрение случайности в токенизацию (известное как BPE-dropout или Subword Regularization) является техникой регуляризации. Это делает основные ML-модели Яндекса (например, YATI) более устойчивыми к шуму, опечаткам, редким словам и предотвращает переобучение на конкретных границах токенов.
3. Глубокая инфраструктура NLP: Патент описывает фундаментальный уровень обработки языка, который предшествует анализу смысла и ранжированию. Это подтверждает высокий уровень зрелости лингвистических технологий Яндекса.
4. Отсутствие прямых SEO-рекомендаций: Патент носит чисто технический, инфраструктурный характер и не содержит информации, которую можно было бы напрямую конвертировать в конкретные SEO-действия по оптимизации контента, ссылок или технических аспектов сайта.

Практика

ВАЖНО: Патент является инфраструктурным и описывает внутренние процессы NLP Яндекса без прямых рекомендаций для SEO. Анализ дает понимание работы системы, но не натянутые советы.

Best practices (это мы делаем)

• Фокус на естественном языке и семантике: Поскольку система Яндекса использует сложные и устойчивые к шуму механизмы обработки языка, приоритетом остается создание качественного, естественно написанного контента. Система на фундаментальном уровне обучена справляться с различными словоформами и вариациями.
• Использование разнообразной лексики: Подтверждается важность использования синонимов, релевантных терминов и QBST фраз. Не нужно избегать сложных или редких слов, если они уместны, так как система токенизации подслов эффективно справляется с ними.

Worst practices (это делать не надо)

• Попытки «оптимизации под токены»: Пытаться угадать, как именно Яндекс разделит слова на токены, и оптимизировать текст под это — бесполезно. Во-первых, словари неизвестны. Во-вторых, как показывает патент, процесс токенизации может быть стохастическим (недетерминированным).
• Надежда на ошибки лингвистического анализа: Не стоит рассчитывать, что Яндекс не поймет контент из-за сложных словоформ или случайных опечаток. Описанный механизм направлен именно на повышение устойчивости (robustness) понимания языка.
• Переоптимизация и фокус на точных вхождениях: Использование неестественных конструкций и перенасыщение ключевыми словами в прямом вхождении не дает преимуществ. Система устойчива к вариациям и ориентирована на смысл.

Стратегическое значение

Патент подтверждает стратегическую инвестицию Яндекса в развитие фундаментальных технологий обработки естественного языка. Для SEO это означает, что поисковая система обладает сложной и устойчивой инфраструктурой для понимания контента и запросов. Долгосрочная стратегия должна фокусироваться на качестве контента, его семантической ценности и удовлетворении интента пользователя, а не на поиске уязвимостей в лингвистических алгоритмах.

Практические примеры

Практических примеров для SEO нет, так как SEO-специалист не может влиять на этот процесс. Однако можно привести пример работы запатентованного алгоритма для иллюстрации.

Сценарий: Обработка слова «оптимизация»

Предположим, Таблица слияний содержит правила, позволяющие сформировать токены:,,,,.

Обработка 1 (Стандартный детерминированный подход):

Система всегда выбирает наиболее частые слияния.

• Результат:

Обработка 2 (Запатентованный стохастический подход):

1. Исходная последовательность:
2. На одной из итераций система определяет возможные слияния, включая то, которое приведет к.
3. Стохастическое исключение: Система применяет Вероятность исключения и случайным образом игнорирует слияние, формирующее.
4. Система выполняет другие доступные слияния.
5. Результат:

Обработка 3 (Запатентованный стохастический подход):

На этот раз стохастическое исключение не затронуло приоритетные слияния.

• Результат:

Результаты токенизации (Обработка 2 и 3) отличаются, что заставляет MLA быть более устойчивым и понимать, что обе последовательности токенов семантически эквивалентны.

Вопросы и ответы