Как Яндекс использует двухфазную BERT-архитектуру (Split-BERT) для эффективной персонализации результатов поиска в реальном времени

Описание

Какую задачу решает

Патент решает критическую проблему баланса между качеством персонализации и скоростью работы поисковой системы. Использование сложных нейросетевых моделей, таких как BERT (или YATI), для глубокого анализа истории пользователя, текущего запроса и контента документа является вычислительно затратным. Применение такой тяжелой модели к каждому из сотен или тысяч документов-кандидатов в реальном времени приводит к неприемлемым задержкам. Патент предлагает архитектурное решение для значительного ускорения этого процесса без потери качества персонализации.

Что запатентовано

Запатентована «разделенная» или двухфазная архитектура нейронной сети (two-phase neural network architecture) на базе Трансформеров (BERT) для генерации персонализированных оценок ранжирования (user-specific search ranking score). Суть изобретения заключается в разделении вычислений: первая фаза обрабатывает только пользовательские данные (история поиска и запрос), а вторая фаза использует результат первой фазы для оценки документов. Это позволяет переиспользовать результат первой фазы для всех документов в выдаче.

Как это работает

Система работает в два этапа. Первая фаза принимает на вход User Log (историю поиска пользователя) и текущий Query (запрос). Она использует энкодер на базе BERT для генерации Token-based User Representation (токенизированного представления пользователя). Это представление (реализованное как последовательность из нескольких [CLS] токенов) инкапсулирует интересы пользователя в контексте текущего запроса. Вторая фаза принимает это представление и конкретный Document (документ-кандидат). Она использует второй энкодер на базе BERT для определения взаимосвязи между представлением пользователя и документом, генерируя финальную оценку ранжирования (Ranking Score). Ключевое преимущество: Первая фаза выполняется только один раз за поисковую сессию.

Актуальность для SEO

Высокая. Персонализация поиска и использование тяжелых трансформерных моделей (BERT, YATI) являются центральными элементами современного поиска Яндекса (2025 год). Инженерные решения, позволяющие применять эти технологии в реальном времени с минимальными задержками, критически важны для инфраструктуры поиска.

Важность для SEO

Влияние на SEO значительно (7.5/10). Хотя патент описывает инфраструктурное решение для повышения эффективности, он подчеркивает глубокую интеграцию истории поиска пользователя в процесс ранжирования с использованием передовых NLP-моделей. Это означает, что Яндекс способен очень точно понимать долгосрочные и краткосрочные интересы пользователя и агрессивно переранжировать выдачу на их основе. Для SEO это снижает предсказуемость ранжирования по общим или неоднозначным запросам и повышает важность соответствия контента конкретному профилю интересов целевой аудитории.

Детальный разбор

Термины и определения

Attention Mechanism (Механизм внимания)

Компонент нейронной сети (в частности, трансформеров), который позволяет модели придавать разный вес различным частям входных данных, фокусируясь на наиболее релевантных элементах.

BERT (Bidirectional Encoder Representations from Transformers)

Модель машинного обучения на основе архитектуры Transformer. Используется в патенте как основа для обеих фаз энкодера.

[CLS] Token (Classifier Token / Токен классификатора)

Специальный токен в архитектуре BERT, который используется как агрегированное представление всей входной последовательности для задач классификации. В данном патенте используется последовательность из нескольких токенов.

First Phase (Первая фаза)

Первая часть двухфазного энкодера. Обрабатывает User Log и Query для создания Token-based User Representation.

Ranking Score (Оценка ранжирования)

Численное значение, генерируемое Второй фазой, которое указывает на персонализированную релевантность документа.

Second Phase (Вторая фаза)

Вторая часть двухфазного энкодера. Обрабатывает Token-based User Representation и Document для создания Ranking Score.

Token-based User Representation (Токенизированное представление пользователя)

Выход Первой фазы. Компактное представление истории поиска пользователя и текущего запроса, инкапсулированное в последовательность токенов. Используется как вход для Второй фазы.

Transformer Block (Блок Трансформера)

Базовый строительный блок архитектуры Transformer, обычно включающий Multi-Head Attention Layer и Feed-Forward Neural Network Layer.

User Log (Лог пользователя)

Данные о поисковой истории пользователя, включая прошлые запросы (Past Query) и документы, с которыми пользователь взаимодействовал (Document).

Ключевые утверждения (Анализ Claims)

Патент фокусируется на архитектуре системы, предназначенной для эффективного вычисления персонализированных оценок ранжирования.

Claim 1 (Независимый пункт): Описывает основной метод генерации персонализированной оценки ранжирования.

1. Получение User Log (истории поиска пользователя).
2. Получение текущего Search Query (поискового запроса).
3. Передача User Log и Search Query в Первую фазу нейросетевого энкодера.
4. Генерация с помощью Первой фазы Token-based User Representation. Это представление основано на определении взаимосвязи (relationship) между User Log и Search Query.
5. Получение Document (документа из набора результатов поиска).
6. Передача Token-based User Representation и Document во Вторую фазу нейросетевого энкодера.
7. Генерация с помощью Второй фазы Ranking Score для документа. Эта оценка основана на определении взаимосвязи между Token-based User Representation и Document.

Claim 2 (Зависимый пункт): Уточняет применение метода из Claim 1 для ранжирования всего набора результатов.

Для каждого документа в наборе результатов выполняется Вторая фаза (с использованием одного и того же Token-based User Representation) для генерации набора оценок ранжирования. Этот набор оценок затем используется для ранжирования документов.

Claims 7, 8, 13, 14 (Зависимые пункты): Уточняют технологическую базу.

И Первая, и Вторая фазы энкодера являются энкодерами на основе Трансформеров (transformer-based encoder) и, в частности, основаны на архитектуре модели BERT.

Claim 9 (Зависимый пункт): Определяет формат промежуточного представления.

Token-based User Representation представляет собой последовательность токенов классификатора (sequence of classifier tokens), т.е. несколько токенов.

Claim 15 (Зависимый пункт): Явно формулирует механизм повышения эффективности.

Единое (single) Token-based User Representation используется для генерации оценок ранжирования для множества (multiple) документов Второй фазой энкодера.

Где и как применяется

Изобретение применяется на поздних стадиях ранжирования для переоценки релевантности с учетом персонального контекста пользователя.

RANKING – Ранжирование (Уровень L4 — Personalization)
Это основной слой применения патента. После того как базовые уровни ранжирования (L1-L3) отобрали и отсортировали кандидатов на основе общей релевантности и качества (например, с использованием Proxima), система L4 применяет персонализацию.

1. Агрегация пользовательских данных: Система извлекает User Log (историю поиска) для текущего пользователя.
2. Вычисление профиля пользователя (Первая фаза): User Log и текущий Query обрабатываются Первой фазой энкодера (BERT/YATI) для создания Token-based User Representation. Это происходит один раз за запрос.
3. Персонализированная оценка документов (Вторая фаза): Система итеративно применяет Вторую фазу энкодера к каждому документу-кандидату, используя созданное представление пользователя.
4. Переранжирование: Полученные Ranking Scores используются как сильные признаки в финальной формуле ранжирования или для непосредственного переупорядочивания результатов.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на широкие или неоднозначные (ambiguous) запросы, где история поиска пользователя помогает уточнить интент (например, запрос «Ягуар» после поиска автомобилей или после поиска животных).
• Конкретные типы контента: Влияет на все типы контента, где важны предпочтения пользователя (например, новостные источники, предпочтения брендов в e-commerce, информационные статьи по хобби).

Когда применяется

• Условия активации: Алгоритм активируется, когда система может идентифицировать пользователя (например, пользователь залогинен или имеет устойчивые cookies) и когда доступна достаточная история поиска (User Log) для генерации значимого представления пользователя.
• Временные рамки: Применяется в реальном времени во время обработки запроса. Разделение на две фазы позволяет уложиться в жесткие временные рамки ответа поисковой системы.

Пошаговый алгоритм

Процесс генерации персонализированной поисковой выдачи.

1. Получение данных: Пользователь отправляет поисковый запрос в поисковую систему. Поисковая система генерирует базовый набор релевантных документов-кандидатов.
2. Подготовка к ранжированию: Поисковая система отправляет набор документов, запрос и User Log пользователя в движок ранжирования (Ranking Engine).
3. Выполнение Первой фазы (Обработка пользователя):
   1. Движок ранжирования передает User Log и запрос в Первую фазу нейросетевого энкодера (BERT-based). Входные данные токенизируются и дополняются несколькими начальными токенами.
   2. Первая фаза вычисляет взаимосвязи между историей поиска и текущим запросом.
   3. Генерируется Token-based User Representation (последовательность выходных токенов). Этот шаг выполняется один раз.
4. Выполнение Второй фазы (Оценка документов):
   1. Система начинает итерацию по набору документов-кандидатов.
   2. Для каждого документа движок ранжирования передает сам документ и ранее вычисленное Token-based User Representation во Вторую фазу энкодера (BERT-based).
   3. Вторая фаза вычисляет взаимосвязи между представлением пользователя и контентом документа.
   4. Генерируется персонализированный Ranking Score для этого документа.
5. Финальное ранжирование: Набор полученных Ranking Scores используется для ранжирования (или переранжирования) набора документов. Ранжированные результаты предоставляются пользователю.

Какие данные и как использует

Данные на входе

• Пользовательские факторы (User Data): Ключевые данные для Первой фазы. Используется User Log, который включает историю поиска пользователя: прошлые запросы (Past Query) и, возможно, документы, с которыми пользователь взаимодействовал в рамках этих прошлых запросов.
• Контентные факторы (Текстовые): Текст текущего поискового запроса (используется в Первой фазе). Текст или токены документа-кандидата (используется во Второй фазе).

Какие метрики используются и как они считаются

Патент описывает архитектуру модели и процесс обучения, а не конкретные формулы расчета метрик. Однако он детализирует используемые технологии:

• Архитектура Трансформеров (BERT): В основе лежат механизмы внимания (Attention Mechanism, Multi-Head Attention Layer) для определения контекстуальных взаимосвязей между токенами во входных данных (история, запрос, документ).
• Векторные представления (Embeddings): Входные данные преобразуются в токены, которые представлены векторами. В патенте упоминается использование WordPiece для токенизации, а также встраивание информации о позиции (Position Information) и сегменте (Sequence Information).
• Token-based User Representation: Ключевая промежуточная метрика. Это последовательность векторов (несколько токенов), которая инкапсулирует результат работы Первой фазы. Использование нескольких токенов вместо одного позволяет закодировать больший объем информации о пользователе и запросе.
• Ranking Score: Финальная метрика, генерируемая Второй фазой. Вычисляется с помощью Task Module (например, полносвязной нейронной сети), который принимает выходные данные Второго энкодера.
• Обучение модели:
  • Pre-training (Предварительное обучение): Обе фазы предварительно обучаются с использованием неразмеченных данных и стандартных для BERT задач: MLM (Masked Language Modeling) и NSP (Next Sentence Prediction).
  • Fine-tuning (Тонкая настройка): Модель (в частности, Task Module Второй фазы) дообучается на размеченных данных (labeled training set of document scores) для выполнения конкретной задачи ранжирования.

Выводы

1. Глубокая персонализация как стандарт: Яндекс использует сложные трансформерные модели (BERT/YATI) не только для понимания запроса и документа, но и для глубокого анализа истории поиска пользователя с целью персонализации выдачи.
2. Эффективность — ключевой фактор для сложных моделей: Патент демонстрирует, что применение state-of-the-art моделей в продакшене требует значительных архитектурных оптимизаций. Двухфазная архитектура («Split-BERT») — это способ сделать глубокую персонализацию быстрой и масштабируемой.
3. Контекстуальный профиль пользователя: Система не просто учитывает прошлые запросы, она строит сложное представление (Token-based User Representation), которое интерпретирует историю пользователя именно в контексте текущего запроса.
4. Инкапсуляция данных через токены: Особенностью реализации является использование не одного, а последовательности нескольких токенов для передачи информации между фазами, что позволяет закодировать более богатый контекст.
5. Релевантность динамична и индивидуальна: Патент подтверждает, что понятие релевантности в Яндексе сильно зависит от индивидуального контекста пользователя. Оценка документа определяется его соответствием не только запросу, но и историческому профилю интересов пользователя.

Практика

Best practices (это мы делаем)

• Построение четкой тематической авторитетности (Topical Authority): Поскольку система глубоко анализирует историю пользователя, сайты с четко выраженной специализацией имеют преимущество. Если пользователь исторически интересуется определенной темой, и ваш сайт является авторитетом в ней, система персонализации с большей вероятностью повысит ваш сайт в его выдаче по связанным запросам.
• Фокус на удержании и лояльности аудитории: Цель — стать предпочтительным источником информации для пользователя в вашей нише. Чем чаще пользователь возвращается на ваш сайт по тематическим запросам, тем сильнее ваш сайт будет ассоциироваться с этой темой в его User Log, что положительно повлияет на персонализированное ранжирование.
• Анализ путей пользователя (User Journey) и связанных интересов: Необходимо понимать не только прямые запросы, но и смежные темы, которые интересуют вашу аудиторию. Это поможет понять, как система персонализации может интерпретировать интент пользователя и какой контент предложить.
• Обеспечение семантической ясности контента: Использование BERT/YATI для анализа означает, что контент должен быть семантически точным и недвусмысленным. Это облегчает системе задачу сопоставления контента с профилем интересов пользователя, закодированным в Token-based User Representation.

Worst practices (это делать не надо)

• Создание «сайтов обо всем» без четкого фокуса: Попытка охватить слишком много разнородных тем может привести к тому, что сайт не будет соответствовать ни одному устойчивому профилю интересов пользователя, и система персонализации не даст ему буста.
• Игнорирование неоднозначности запросов: Оптимизация под высокочастотные неоднозначные запросы без учета контекста становится менее эффективной, так как выдача будет сильно фрагментирована в зависимости от истории пользователя.
• Кликбейт и привлечение нецелевого трафика: Привлечение пользователей, которые быстро покидают сайт, может негативно сказаться на их User Log в контексте вашего сайта, ухудшая персонализированное ранжирование для этих пользователей в будущем.
• Анализ только «стерильной» выдачи: Опираться исключительно на позиции, снятые в режиме «инкогнито», становится менее эффективно, так как такая выдача может сильно отличаться от того, что видит реальный пользователь с историей поиска.

Стратегическое значение

Патент имеет высокое стратегическое значение, так как он раскрывает инфраструктуру, лежащую в основе одного из самых мощных факторов ранжирования — персонализации. Он подтверждает, что Яндекс обладает технологиями для высокоточного и быстрого tailoring’а выдачи под интересы конкретного пользователя. Для SEO это означает, что анализ обезличенной выдачи дает лишь часть картины. Долгосрочная стратегия должна фокусироваться на построении бренда и авторитетности в конкретной нише, чтобы стать ответом по умолчанию для пользователей, интересующихся этой темой.

Практические примеры

Сценарий 1: Уточнение неоднозначного запроса

1. История пользователя (User Log): Пользователь искал «программирование на Python», «Django уроки», «Flask vs Django».
2. Текущий запрос: «Лучший IDE». (Неоднозначный запрос).
3. Действие системы (Первая фаза): Система анализирует историю (Python, Django, Flask) и запрос (IDE). Token-based User Representation кодирует интент «IDE для Python-разработчика».
4. Действие системы (Вторая фаза): Система сравнивает это представление с документами. Документ про PyCharm (специализированный Python IDE) получает высокий Ranking Score. Документ про Visual Studio (IDE общего назначения) получает более низкий скор.
5. Результат для SEO: Сайт, продвигающий PyCharm, получит буст в персонализированной выдаче этого пользователя, даже если в обезличенной выдаче он уступает более общим статьям.

Сценарий 2: Предпочтение источника (Лояльность)

1. История пользователя (User Log): Пользователь регулярно читает новости на сайте «Ведомости» и часто кликает на него в результатах поиска по экономическим запросам.
2. Текущий запрос: «Курс доллара на завтра».
3. Действие системы (Первая фаза): Token-based User Representation кодирует предпочтение пользователя к авторитетным экономическим источникам, в частности к «Ведомостям».
4. Действие системы (Вторая фаза): Страница «Ведомостей» с прогнозом курса получает высокий Ranking Score за счет соответствия предпочтениям пользователя.
5. Результат для SEO: Лояльность аудитории и узнаваемость бренда напрямую конвертируются в буст ранжирования через механизм персонализации.

Вопросы и ответы