Как Яндекс использует двухступенчатую архитектуру нейросетей (BERT/YATI) для быстрой персонализации ранжирования на основе истории поиска

Описание

Какую задачу решает

Патент решает задачу обеспечения зависящего от пользователя (персонализированного) ранжирования результатов поиска. Основная проблема заключается в том, что релевантность результатов может отличаться для разных пользователей даже при одинаковом запросе. Техническая задача — реализовать такую персонализацию с использованием ресурсоемких моделей на основе трансформеров (таких как BERT), сохраняя при этом высокую скорость ответа поисковой системы. Патент направлен на повышение эффективности систем ранжирования при использовании тяжелых нейросетевых моделей для персонализации.

Что запатентовано

Запатентована двухступенчатая архитектура нейронной сети (Two-Stage Architecture) на основе трансформеров (в частности, BERT) для персонализированного ранжирования. Суть изобретения заключается в разделении процесса ранжирования на две ступени для повышения эффективности: первая ступень обрабатывает зависящую от пользователя информацию (история поиска и текущий запрос), а вторая ступень использует результат первой ступени для оценки релевантности каждого документа.

Как это работает

Система использует двухступенчатый кодер на основе нейронной сети. Первая ступень получает историю поиска пользователя (Пользовательский журнал) и текущий запрос. Она обрабатывает эти данные один раз за поиск, формируя Основанное на токенах пользовательское представление — компактное векторное представление контекста и интента пользователя. Вторая ступень затем многократно использует это представление, комбинируя его с каждым документом из результатов поиска для формирования индивидуальной Рейтинговой оценки. Это позволяет избежать повторной обработки истории пользователя для каждого документа, значительно ускоряя процесс персонализированного ранжирования с использованием тяжелых моделей.

Актуальность для SEO

Высокая. Использование больших языковых моделей на основе трансформеров (в Яндексе это YATI, основанная на архитектуре BERT) и персонализация выдачи являются ключевыми направлениями развития современных поисковых систем. Эффективное и быстрое применение таких моделей в реальном времени — критически важная инфраструктурная задача, которую решает данный патент.

Важность для SEO

Влияние на SEO значительно (7.5/10). Патент подтверждает, что Яндекс активно использует историю поиска пользователя для изменения ранжирования с помощью сложных нейросетевых моделей. Это означает, что релевантность не является статичной — она динамически адаптируется под контекст конкретного пользователя, его предыдущие запросы и интересы. Для SEO-специалистов это подчеркивает важность оптимизации под поисковые сессии и долгосрочное удовлетворение интента пользователя в рамках тематики, а не только под изолированные запросы.

Детальный разбор

Термины и определения

BERT (Bidirectional Encoder Representations from Transformers)

Архитектура нейронной сети на основе трансформеров для обработки естественного языка. Используется в качестве основы для обеих ступеней кодера в патенте. В контексте Яндекса это может быть реализация YATI.

Двухступенчатая архитектура (Two-Stage Architecture)

Архитектура модели машинного обучения, разделенная на две части для повышения эффективности. Первая ступень обрабатывает зависящие от пользователя данные, вторая — зависящие от документа данные.

Кодер на основе искусственной нейронной сети (Artificial Neural Network-based Encoder)

Компонент системы (в данном патенте — на основе BERT), который преобразует входные данные (текст) в числовое векторное представление (эмбеддинг).

Основанное на токенах пользовательское представление (Token-based User Representation)

Выходные данные Первой ступени кодера. Компактное представление, кодирующее информацию из истории поиска пользователя и текущего запроса, а также взаимосвязи между ними. В патенте реализуется как последовательность токенов классификатора ([CLS]).

Первая ступень кодера (First Stage Encoder)

Часть двухступенчатой архитектуры, которая обрабатывает Пользовательский журнал и Поисковый запрос для формирования Пользовательского представления. Выполняется один раз за поиск.

Вторая ступень кодера (Second Stage Encoder)

Часть двухступенчатой архитектуры, которая обрабатывает Пользовательское представление и Документ для формирования Рейтинговой оценки. Выполняется для каждого документа.

Пользовательский журнал (User Log)

Данные, содержащие историю поиска пользователя, включая прошлые запросы и, возможно, просмотренные документы.

Рейтинговая оценка (Rating Score)

Выходные данные Второй ступени кодера. Числовая оценка релевантности документа, персонализированная для конкретного пользователя и его контекста.

Токен классификатора ([CLS])

Специальный токен в архитектуре BERT, который используется для агрегации информации обо всей входной последовательности. В данном патенте используется последовательность из нескольких токенов.

Трансформер (Transformer)

Архитектура глубокого обучения, использующая механизм внимания (attention) для определения контекста и взаимосвязей во входных данных.

Ключевые утверждения (Анализ Claims)

Патент защищает метод ранжирования, основанный на эффективной двухступенчатой обработке данных для персонализации.

Claim 1 (Независимый пункт): Описывает основной процесс ранжирования с использованием двухступенчатой архитектуры.

1. Получение истории поиска пользователя (Пользовательский журнал) и текущего Поискового запроса.
2. Обработка Журнала и Запроса Первой ступенью кодера (нейронной сети).
3. Формирование Основанного на токенах пользовательского представления. Это представление кодирует взаимосвязь между историей и запросом.
4. Получение документа из результатов поиска.
5. Обработка Пользовательского представления и Документа Второй ступенью кодера.
6. Формирование Рейтинговой оценки для документа. Эта оценка основана на взаимосвязи между представлением пользователя и документом.
7. Повторение шагов 5-6 для формирования набора рейтинговых оценок для всех документов.
8. Использование набора оценок для ранжирования документов.

Claim 2 (Зависимый от п. 1): Уточняет финальный этап ранжирования.

Набор рейтинговых оценок (полученных от Второй ступени) и сами документы могут быть предоставлены дополнительной модели машинного обучения для окончательного ранжирования. Это означает, что оценки из патентуемой системы являются признаками (features) для основной формулы ранжирования.

Claims 7 и 13 (Зависимые): Уточняют архитектуру кодеров.

И Первая, и Вторая ступени кодера содержат кодер на основе архитектуры модели BERT.

Claim 8 (Зависимый): Уточняет формат Пользовательского представления.

Основанное на токенах пользовательское представление содержит последовательность токенов классификатора (например, несколько токенов, а не один, как в стандартном BERT). Это позволяет закодировать больший объем информации о контексте пользователя.

Claim 14 (Зависимый от п. 1): Подчеркивает ключевое преимущество архитектуры.

Одно Пользовательское представление (результат Первой ступени) используется для формирования рейтинговых оценок для нескольких документов Второй ступенью. Это обеспечивает эффективность и скорость работы системы.

Где и как применяется

Изобретение применяется на этапе ранжирования для персонализации результатов поиска.

RANKING – Ранжирование (Уровень L4 — Personalization)
Система работает на поздних стадиях ранжирования, когда необходимо упорядочить отобранных кандидатов с учетом персонального контекста пользователя.

Взаимодействие с компонентами системы:

• Входные данные: Система получает текущий запрос (от QUERY PROCESSING), историю поиска пользователя (из хранилища пользовательских данных/логов) и набор документов-кандидатов (от предыдущих уровней ранжирования L1-L3).
• Обработка: Используются две ступени кодеров на основе тяжелых нейронных сетей (BERT/YATI). Первая ступень (User Context Encoder) выполняется один раз. Вторая ступень (Personalized Relevance Scorer) выполняется N раз (для N документов).
• Выходные данные: Система формирует набор персонализированных Рейтинговых оценок. Согласно Claim 2, эти оценки передаются в финальную модель машинного обучения (вероятно, основную формулу ранжирования на базе CatBoost) в качестве признаков для окончательного ранжирования.

Ключевые технические особенности:

• Использование архитектуры BERT для глубокого семантического анализа как истории поиска, так и содержания документов.
• Применение механизма внимания (Attention) для определения взаимосвязей между прошлыми запросами, текущим запросом и документом.
• Использование последовательности (нескольких) токенов классификатора для формирования более богатого Пользовательского представления.

На что влияет

• Все типы запросов и контента: Алгоритм потенциально влияет на все типы запросов (информационные, коммерческие, навигационные), где у пользователя есть история поиска, позволяющая уточнить его интент или предпочтения.
• Неоднозначные запросы: Наибольшее влияние оказывается на широкие или неоднозначные запросы, где контекст из истории поиска помогает определить истинное намерение пользователя.
• Тематики с высокой вовлеченностью: Влияние сильнее в тематиках, где пользователи проводят длительные исследования или имеют устоявшиеся интересы (например, хобби, здоровье (YMYL), сложные покупки).

Когда применяется

Алгоритм применяется в процессе ранжирования при выполнении поискового запроса.

• Триггеры активации: Наличие у пользователя достаточной истории поиска (Пользовательского журнала), релевантной текущему запросу или тематике. Для пользователей в режиме «инкогнито» или новых пользователей этот механизм не будет активирован или его влияние будет минимальным.
• Частота применения: Первая ступень активируется один раз за запрос. Вторая ступень активируется для каждого документа, дошедшего до этого этапа ранжирования (например, Топ-50 или Топ-100 кандидатов).

Пошаговый алгоритм

Процесс работы системы персонализированного ранжирования:

1. Получение данных: Система получает текущий поисковый запрос от пользователя и извлекает его Пользовательский журнал (историю поиска). Также получается набор документов-кандидатов для ранжирования.
2. Подготовка входных данных (Ступень 1): Пользовательский журнал и запрос токенизируются. К ним добавляется информация о положении и последовательности, а также начальные значения последовательности токенов классификатора.
3. Выполнение Первой ступени (User Context Encoding): Токенизированные данные подаются на вход Первой ступени кодера (на основе BERT). Кодер анализирует взаимосвязи между историей и запросом с помощью механизма внимания.
4. Формирование Пользовательского представления: На выходе Первой ступени формируется Основанное на токенах пользовательское представление. Это последовательность выходных токенов, кодирующая контекст пользователя. Этот шаг выполняется один раз за поиск.
5. Выполнение Второй ступени (Personalized Scoring): Этот этап повторяется для каждого документа-кандидата:
1. Документ токенизируется.
2. Пользовательское представление (из шага 4) и токенизированный документ подаются на вход Второй ступени кодера (на основе BERT).
3. Вторая ступень анализирует взаимосвязи между контекстом пользователя и содержанием документа.
4. Модуль задачи Второй ступени формирует персонализированную Рейтинговую оценку для документа.
6. Агрегация оценок: Система собирает набор Рейтинговых оценок для всех документов.
7. Окончательное ранжирование: Набор Рейтинговых оценок используется для ранжирования документов. Они могут быть поданы в качестве признаков в финальную модель машинного обучения.

Какие данные и как использует

Данные на входе

• Пользовательские и Поведенческие факторы: Пользовательский журнал (User Log), содержащий историю поиска пользователя. Это включает прошлые запросы и, возможно, ссылки на документы, просмотренные пользователем из результатов прошлых запросов.
• Контентные факторы: Текст текущего поискового запроса. Текст документов из набора результатов поиска, подлежащих ранжированию.

Какие метрики используются и как они считаются

Патент описывает использование сложных нейросетевых моделей для вычисления метрик.

• Модели Машинного Обучения: Используются две ступени кодеров на основе архитектуры Трансформер, в частности BERT.
• Методы анализа текста (NLP):
  • Токенизация: Входной текст кодируется с использованием словаря токенов (упоминается схема WordPiece).
  • Кодирование положения (Positional Encoding): Кодируется положение токена в последовательности, чтобы модель учитывала порядок слов.
  • Механизм внимания (Attention): Используется (в частности, многоголовое внимание) для определения контекстных взаимосвязей между элементами входных данных (запросами в истории, текущим запросом, словами в документе).
• Ключевые метрики:
  • Основанное на токенах пользовательское представление: Промежуточная метрика, представляющая собой вектор (последовательность токенов), кодирующий контекст пользователя.
  • Рейтинговая оценка: Финальная метрика, вычисляемая модулем задачи Второй ступени. Оценка персонализированной релевантности документа.
• Обучение: Модели обучаются в два этапа:
  • Предварительное обучение (Pre-training): Обучение без учителя на большом корпусе текстов с использованием задач MLM (Masked Language Modeling) и NSP (Next Sentence Prediction).
  • Точная настройка (Fine-tuning): Обучение с учителем на размеченном наборе данных для выполнения конкретной задачи ранжирования.

Выводы

1. Глубокая персонализация на основе истории: Яндекс использует тяжелые трансформерные модели (BERT/YATI) для анализа истории поиска пользователя и ее влияния на текущий запрос. Это не простое добавление прошлых ключевых слов, а глубокий семантический анализ контекста пользователя.
2. Эффективность архитектуры: Двухступенчатая архитектура является ключевым элементом, позволяющим применять сложные и ресурсоемкие модели для персонализации в реальном времени. Контекст пользователя вычисляется один раз (Ступень 1) и переиспользуется для оценки всех документов (Ступень 2).
3. Богатое представление пользователя: Использование последовательности из нескольких токенов для представления пользователя (вместо одного) указывает на стремление закодировать более сложный и детальный контекст из истории поиска.
4. Динамическая релевантность: Патент подтверждает, что оценка релевантности документа (Рейтинговая оценка) напрямую зависит от предыдущего поведения пользователя. Релевантность является динамической и субъективной.
5. Интеграция в ранжирование: Персонализированные оценки, генерируемые этой системой, используются как признаки в финальной модели ранжирования (Claim 2), влияя на окончательный порядок выдачи.

Практика

Best practices (это мы делаем)

• Оптимизация под поисковые сессии и путь пользователя (User Journey): Анализируйте не только изолированные запросы, но и последовательности запросов, которые пользователи используют для решения своей задачи. Создавайте контент, который удовлетворяет не только текущий запрос, но и логически связанные предыдущие или последующие шаги пользователя. Это увеличит релевантность сайта в персонализированном контексте.
• Развитие Topical Authority: Создавайте авторитетный ресурс, который полностью покрывает тематику. Если пользователь систематически ищет информацию по определенной теме и ваш сайт постоянно удовлетворяет его потребности, система персонализации будет чаще отдавать предпочтение вашему ресурсу по будущим запросам в этой тематике.
• Построение логичной структуры и перелинковки: Обеспечьте удобную навигацию между связанными темами на сайте. Это помогает пользователям решать задачу в рамках одной сессии и формирует позитивные сигналы, которые могут учитываться системой персонализации при анализе истории взаимодействий.
• Анализ целевой аудитории и ее интересов: Понимайте долгосрочные интересы вашей аудитории. Контент должен соответствовать этим интересам, чтобы попадать в персонализированную выдачу пользователей, чья история поиска связана с вашей нишей.

Worst practices (это делать не надо)

• Оптимизация исключительно под высокочастотные общие запросы: Игнорирование контекста и пути пользователя может привести к тому, что сайт будет проигрывать в персонализированной выдаче конкурентам, которые лучше соответствуют истории поиска конкретного пользователя.
• Создание разрозненного контента по несвязанным тематикам: Попытка охватить множество несвязанных тем на одном сайте размывает его тематический авторитет и снижает вероятность получения преимуществ от персонализации, так как сайт не будет ассоциироваться с конкретными интересами пользователя.
• Использование кликбейта и короткие сессии: Контент, который не удовлетворяет интент и приводит к быстрому возврату на выдачу, формирует негативный паттерн в истории пользователя, что может привести к пессимизации сайта в его персональной выдаче в будущем.

Стратегическое значение

Патент подтверждает стратегический фокус Яндекса на персонализации и использовании самых современных NLP-технологий (BERT/YATI) для понимания контекста пользователя. Это демонстрирует уход от статической релевантности к динамической, зависящей от поведения и истории пользователя. Долгосрочная SEO-стратегия должна быть направлена на построение доверительных отношений с целевой аудиторией и становление предпочтительным источником информации в своей нише, что приведет к росту трафика за счет механизмов персонализации.

Практические примеры

Сценарий 1: Уточнение интента при покупке

1. История пользователя (Пользовательский журнал): Пользователь недавно искал «как выбрать ноутбук для программирования», «лучшие IDE для Python», «сравнение Macbook Pro и Dell XPS 15».
2. Текущий запрос: «купить ноутбук».
3. Действие системы: Первая ступень анализирует историю и запрос. Пользовательское представление кодирует интент, связанный с программированием, Python и конкретными моделями (Macbook, Dell XPS).
4. Ранжирование (Вторая ступень): При оценке документов (страниц магазинов) Вторая ступень повысит Рейтинговую оценку для тех страниц, которые содержат ноутбуки, релевантные программированию, или упоминают модели XPS/Macbook.
5. Результат: Пользователь видит выдачу, смещенную в сторону мощных ноутбуков, подходящих для разработки, а не бюджетных или игровых моделей, даже по общему запросу «купить ноутбук».

Сценарий 2: Хобби и увлечения

1. История пользователя: Пользователь регулярно ищет информацию по «уход за орхидеями фаленопсис», «грунт для орхидей», «болезни орхидей».
2. Текущий запрос: «пересадка цветов».
3. Действие системы: Первая ступень формирует Пользовательское представление, в котором доминирует контекст, связанный с орхидеями.
4. Ранжирование (Вторая ступень): Документы, посвященные пересадке именно орхидей, получат значительный буст по сравнению с общими статьями о пересадке комнатных растений.
5. Результат: Выдача персонализирована под основное увлечение пользователя, даже если в текущем запросе оно не указано явно.

Вопросы и ответы