Как Яндекс использует двухступенчатую нейросетевую архитектуру для оптимизации и ускорения персонализированного ранжирования

Яндекс патентует двухступенчатую архитектуру на базе нейронных сетей (Трансформеры/BERT) для эффективного персонализированного ранжирования. Первая ступень анализирует историю поиска пользователя и текущий запрос, создавая единое пользовательское представление. Вторая ступень быстро сопоставляет это представление с множеством документов-кандидатов для генерации персонализированных оценок релевантности. Это позволяет использовать сложные модели в реальном времени.

Описание

Какую задачу решает

Патент решает фундаментальную проблему баланса между качеством и скоростью при персонализированном ранжировании. Использование мощных нейронных сетей (например, Трансформеров или BERT) для анализа связки «История пользователя + Запрос + Документ» дает высокое качество, но требует огромных вычислительных ресурсов. Если обрабатывать эту связку целиком для каждого документа-кандидата, система не сможет отвечать в реальном времени. Патент предлагает архитектурное решение, которое позволяет сохранить высокое качество глубокого анализа, значительно ускоряя процесс вычисления персонализированных оценок.

Что запатентовано

Запатентована двухступенчатая архитектура нейронной сети для зависящего от пользователя ранжирования. Суть изобретения заключается в разделении процесса на две фазы. Первая ступень (кодер на основе ИНС) обрабатывает только данные пользователя (журнал поиска и текущий запрос), создавая компактное основанное на токенах пользовательское представление. Вторая ступень (кодер на основе ИНС) использует это готовое представление и сопоставляет его с конкретным документом для вычисления рейтинговой оценки.

Как это работает

Механизм работает следующим образом: когда поступает запрос, система сначала анализирует историю поиска пользователя (пользовательский журнал) вместе с текущим запросом с помощью Первой ступени (например, модели на базе BERT). Результатом является векторное представление, инкапсулирующее контекст и намерения пользователя. Этот шаг выполняется только один раз за поисковую сессию. Затем система переходит ко Второй ступени. Здесь предварительно вычисленное пользовательское представление подается на вход вместе с каждым документом-кандидатом. Вторая ступень (также модель на базе BERT) оценивает релевантность документа именно в контексте данного пользователя. Ключевое преимущество: тяжелая работа по анализу пользователя выполняется один раз, что позволяет быстро оценить множество документов на Второй ступени.

Актуальность для SEO

Высокая. Персонализация поиска является ключевым направлением развития Яндекса. Использование архитектур типа Трансформер (например, YATI) для глубокого понимания запросов, истории и контента — это современный стандарт. Решение проблемы эффективного масштабирования таких тяжелых моделей для использования в реальном времени критически важно для любой крупной поисковой системы.

Важность для SEO

Влияние на SEO значительно (7/10), хотя и косвенно. Это не патент о конкретных факторах ранжирования, а об архитектуре, которая позволяет Яндексу применять очень сложные модели персонализации на лету. Это означает, что персонализация в Яндексе — это не простое подмешивание или легкая надстройка, а глубокий анализ истории пользователя с помощью state-of-the-art NLP-моделей. SEO-специалистам необходимо понимать, что выдача может радикально отличаться для разных пользователей в зависимости от их истории, и оптимизация должна фокусироваться на долгосрочном взаимодействии с пользователем, а не только на разовом ответе на запрос.

Детальный разбор

Термины и определения

BERT (Bidirectional Encoder Representations from Transformers): Архитектура нейронной сети на основе Трансформеров, упомянутая в патенте как возможная реализация Первой и Второй ступеней кодера. Используется для глубокого понимания контекста текста.
Вторая ступень кодера (Second Stage Encoder): Искусственная нейронная сеть (ИНС), которая принимает на вход основанное на токенах пользовательское представление (от Первой ступени) и документ. Ее задача — определить взаимосвязь между ними и сформировать персонализированную рейтинговую оценку для документа.
Кодер на основе Трансформера (Transformer-based Encoder): Тип архитектуры нейронной сети, использующий механизмы внимания для обработки последовательностей данных. Является основой для моделей типа BERT и YATI.
Механизм внимания (Attention Mechanism): Компонент нейронной сети, позволяющий модели фокусироваться на наиболее важных частях входных данных при обработке последовательности.
Основанное на токенах пользовательское представление (Token-based User Representation): Выходные данные Первой ступени кодера. Это компактное представление, которое инкапсулирует информацию из истории поиска пользователя и его текущего запроса. В контексте BERT это может быть последовательность токенов классификатора (например,).
Первая ступень кодера (First Stage Encoder): Искусственная нейронная сеть (ИНС), которая принимает на вход пользовательский журнал и текущий поисковый запрос. Ее задача — определить взаимосвязь между историей и запросом и сформировать основанное на токенах пользовательское представление.
Пользовательский журнал (User Log): Данные, содержащие историю поиска пользователя.
Рейтинговая оценка (Ranking Score): Выходные данные Второй ступени кодера. Числовая оценка, отражающая персонализированную релевантность документа.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на архитектуре системы персонализированного ранжирования, предназначенной для повышения эффективности вычислений.

Claim 1 (Независимый пункт): Описывает основной двухступенчатый метод.

Получение истории поиска пользователя (пользовательский журнал) и текущего поискового запроса.
Обработка журнала и запроса Первой ступенью кодера (ИНС).
Генерация основанного на токенах пользовательского представления. Ключевой момент: это представление формируется на основе определения взаимосвязи между журналом и запросом (т.е. контекстуализация интента).
Получение документа-кандидата из результатов поиска.
Обработка пользовательского представления (из шага 3) и документа Второй ступенью кодера (ИНС).
Генерация рейтинговой оценки для документа. Ключевой момент: оценка основана на определении взаимосвязи между пользовательским представлением и документом (т.е. персонализированная релевантность).

Claims 6-8 и 12-14: Определяют архитектуру кодеров.

И Первая, и Вторая ступени содержат механизм внимания, являются кодерами на основе трансформера и могут быть реализованы на основе архитектуры модели BERT. Это указывает на использование передовых NLP-технологий для глубокого семантического анализа как истории пользователя, так и контента документов.

Claim 15: Ключевой пункт, описывающий эффективность системы.

Одно и то же основанное на токенах пользовательское представление (выход Первой ступени) используется для формирования рейтинговых оценок для нескольких документов Второй ступенью. Это и есть суть оптимизации: анализ пользователя выполняется один раз, а затем быстро применяется к множеству документов.

Claim 3: Описывает интеграцию в общую систему ранжирования.

Сформированные рейтинговые оценки (выход Второй ступени) могут быть предоставлены модели на основе машинного обучения (например, CatBoost) для окончательного ранжирования. Это означает, что выход этой двухступенчатой системы является одним из признаков (факторов) в основной формуле ранжирования.

Где и как применяется

Изобретение применяется на поздних стадиях ранжирования для реализации персонализации поиска.

QUERY PROCESSING – Понимание Запросов

На этом этапе происходит подготовка данных для Первой ступени. Извлекается пользовательский журнал (история поиска), и он вместе с текущим запросом токенизируется и подготавливается для подачи в нейронную сеть (Claims 4, 5).

RANKING – Ранжирование (Уровень L3/L4)

Основное применение патента происходит здесь, вероятнее всего на уровне L4 (Personalization) или как часть L3 (Upper Reranking).

Выполнение Первой ступени: Сразу после получения пула кандидатов (от L2) запускается Первая ступень кодера для генерации пользовательского представления. Это происходит один раз на запрос.
Выполнение Второй ступени: Для каждого из сотен документов-кандидатов запускается Вторая ступень кодера, которая принимает документ и готовое пользовательское представление. Это происходит параллельно для множества документов.
Интеграция с основной моделью: Сгенерированные рейтинговые оценки (персонализированные скоры) передаются в основную модель ранжирования (например, CatBoost) как дополнительные признаки (Claim 3).

На что влияет

Пользовательские факторы: Влияет исключительно на выдачу для пользователей, которых система может идентифицировать и для которых доступна история поиска.
Специфические запросы: Наибольшее влияние оказывается на запросы, интент которых неоднозначен или сильно зависит от предыдущих интересов пользователя (например, запрос после поиска о кофе или после поиска о программировании).
Конкретные ниши: Сильно влияет на E-commerce, медиа и другие ниши, где важны предпочтения пользователя и история его взаимодействий с разными брендами или темами.

Когда применяется

Алгоритм применяется при соблюдении следующих условий:

Идентификация пользователя: Пользователь должен быть залогинен или идентифицирован другим способом (например, через cookies).
Наличие истории: У пользователя должен быть накоплен пользовательский журнал (история поиска). Для новых пользователей или в режиме инкогнито этот механизм не активируется.
Этап ранжирования: Активируется на поздних этапах ранжирования (L3/L4) для переоценки релевантности кандидатов.

Пошаговый алгоритм

Процесс работы системы персонализированного ранжирования.

Получение данных: Система получает текущий поисковый запрос и извлекает пользовательский журнал (историю поиска).
Токенизация (Подготовка входа для Ступени 1): Запрос и журнал преобразуются в токены. Также добавляется информация о положении токенов.
Выполнение Первой ступени (Контекстуализация пользователя): Токенизированные данные подаются на вход Первой ступени кодера (Трансформер/BERT). Модель анализирует взаимосвязи между историей и текущим запросом.
Генерация Пользовательского Представления: Первая ступень формирует основанное на токенах пользовательское представление (например, последовательность токенов классификатора). Этот шаг выполняется один раз.
Получение Кандидатов: Система получает набор документов-кандидатов для ранжирования (например, после этапа L2).
Итеративная обработка (Ступень 2): Для каждого документа-кандидата выполняется следующий цикл:

Токенизация документа: Документ преобразуется в токены с информацией о положении.
Выполнение Второй ступени (Оценка документа): Пользовательское представление (из шага 4) и токенизированный документ подаются на вход Второй ступени кодера (Трансформер/BERT). Модель анализирует взаимосвязь между профилем пользователя и контентом документа.
Генерация Рейтинговой Оценки: Вторая ступень формирует персонализированную рейтинговую оценку для данного документа.

Финальное Ранжирование: Набор сгенерированных рейтинговых оценок используется как признаки в основной модели машинного обучения для окончательного ранжирования документов.

Какие данные и как использует

Данные на входе

Пользовательские факторы: Пользовательский журнал (история поиска пользователя). Это ключевой вход для Первой ступени.
Контентные факторы:
- Текст текущего поискового запроса (вход для Первой ступени).
- Содержимое документа (вход для Второй ступени). В патенте не уточняется, какая часть документа используется (заголовок, сниппет или полный текст), но указывается, что он предоставляется в виде токенов.
Структурные факторы (внутренние): Информация о положении токенов, представляющих журнал, запрос и документ (Claims 5, 11). Это необходимо для корректной работы Трансформерных архитектур.

Какие метрики используются и как они считаются

Патент описывает архитектуру, а не конкретные формулы или метрики обучения. Однако он четко определяет используемые технологии:

Алгоритмы машинного обучения: Используются искусственные нейронные сети (ИНС).
Архитектура: Кодеры на основе Трансформеров (Transformer-based Encoder), в частности, упоминается архитектура BERT.
Методы анализа текста (NLP): Используется Механизм внимания (Attention Mechanism) для определения взаимосвязей между элементами входных данных (история, запрос, документ).
Выходная метрика: Система вычисляет Рейтинговую оценку (Ranking Score) для каждого документа, которая отражает его персонализированную релевантность. Эта оценка затем используется в финальной модели ранжирования.

Выводы

Глубокая персонализация как стандарт: Яндекс использует передовые NLP-модели (Трансформеры/BERT, вероятно YATI на практике) не только для анализа контента и запросов, но и для глубокого понимания истории пользователя и ее влияния на текущий интент.
Архитектурная оптимизация для скорости: Двухступенчатая архитектура — это инженерное решение, позволяющее применять эти сложные и тяжелые модели в реальном времени. Разделение анализа пользователя (Ступень 1) и оценки документа (Ступень 2) обеспечивает необходимую скорость работы.
Семантический анализ истории: Система не просто ищет совпадения ключевых слов из истории. Первая ступень использует механизмы внимания для определения сложной «взаимосвязи между пользовательским журналом и поисковым запросом», что говорит о семантическом понимании контекста.
Персонализация как фактор ранжирования: Выход этой системы (персонализированная рейтинговая оценка) является одним из признаков для финальной модели ранжирования (например, CatBoost). Это подтверждает, что персонализация может существенно влиять на финальную выдачу.
Важность долгосрочного взаимодействия: Для SEO это подчеркивает важность не только разового удовлетворения интента, но и формирования долгосрочных отношений с пользователем. История поиска формирует контекст, в котором будет оцениваться контент сайта в будущем.

Практика

Best practices (это мы делаем)

Фокус на построении бренда и лояльности: Поскольку система глубоко анализирует историю поиска, сайты, которые пользователь посещает регулярно или предпочитает в определенной тематике, могут получать преимущество. Работайте над узнаваемостью бренда и удержанием аудитории.
Оптимизация под весь путь пользователя (Customer Journey Map): Понимайте, как пользователи ищут информацию на разных этапах. Создавайте контент, который отвечает на последовательные запросы пользователя в рамках одной задачи. Если пользователь начал исследовать тему на вашем сайте, важно, чтобы он мог продолжить ее изучение у вас же.
Построение Topical Authority: Становитесь авторитетным источником в своей нише. Если система видит, что пользователь систематически выбирает ваш сайт для ответов на вопросы по определенной теме (например, ремонт авто), вероятность того, что ваш сайт будет ранжироваться выше по новым запросам этого пользователя в этой же теме, возрастает.
Стимулирование повторных визитов: Используйте email-маркетинг, подписки и другие инструменты для возвращения пользователей на сайт. Чем богаче история взаимодействия пользователя с вашим ресурсом в его поисковом журнале, тем сильнее может быть эффект персонализации.

Worst practices (это делать не надо)

Игнорирование персонализации при анализе позиций: Оценка позиций только в «чистом» режиме (инкогнито) может давать неполную картину. Необходимо понимать, что реальные пользователи могут видеть другую выдачу.
Фокус исключительно на разовых транзакциях: Стратегии, направленные на привлечение пользователя один раз без попыток его удержания (например, дорвеи или сайты с кликбейтным контентом), не получат преимуществ от этого механизма персонализации.
Создание несвязанного контента: Сайт, который пытается охватить множество несвязанных тематик, может проигрывать в персонализированной выдаче специализированным ресурсам, так как сложнее сформировать четкий тематический профиль пользователя, связанный с этим сайтом.

Стратегическое значение

Патент подтверждает, что Яндекс обладает технической инфраструктурой для реализации очень сложной, семантической персонализации в реальном времени. Это не просто учет последних кликов, а полноценный анализ истории с помощью Трансформеров. Стратегически это означает, что конкуренция переходит от борьбы за релевантность по конкретному запросу к борьбе за предпочтения пользователя в долгосрочной перспективе. Долгосрочная SEO-стратегия должна включать в себя элементы бренд-билдинга и управления лояльностью аудитории как неотъемлемые части поисковой оптимизации.

Практические примеры

Сценарий: Планирование сложной покупки (например, выбор ноутбука)

История пользователя (Пользовательский журнал): За последние несколько дней пользователь искал: «лучшие ноутбуки для программирования 2025», «macbook pro m4 отзывы», «dell xps 15 vs macbook pro». Он кликал на обзоры на сайтах site-A.com и site-B.com.
Текущий запрос: «ноутбук для linux».
Работа системы (Ступень 1): Система анализирует историю и запрос. Она понимает, что пользователь ищет высокопроизводительный ноутбук для работы (программирование), рассматривает премиум-модели (MacBook, XPS) и теперь интересуется совместимостью с Linux. Генерируется Пользовательское представление, отражающее этот сложный интент.
Работа системы (Ступень 2): Система сравнивает это представление с документами-кандидатами.
Результат (Персонализированная выдача):
- Документы, обсуждающие установку Linux на Dell XPS или другие премиум-модели, получат буст.
- Общие статьи типа «10 дешевых ноутбуков для Linux» могут быть понижены, так как не соответствуют профилю пользователя (ищет премиум).
- Обзоры на сайтах site-A.com и site-B.com по этой теме могут получить дополнительный буст, так как пользователь уже проявил к ним доверие.

Вопросы и ответы

В чем главное преимущество двухступенчатой архитектуры, описанной в патенте?

Главное преимущество — это эффективность и скорость. Использование сложных нейронных сетей (Трансформеров) для персонализации требует больших ресурсов. Двухступенчатая архитектура позволяет выполнить самую тяжелую часть работы — анализ истории пользователя и его текущего интента (Ступень 1) — только один раз за сессию. Затем это представление быстро используется для оценки множества документов (Ступень 2). Это позволяет применять глубокое обучение в реальном времени.

Какие модели используются в этой архитектуре? Упоминается ли YATI?

В патенте явно указано, что обе ступени являются кодерами на основе Трансформеров и содержат механизмы внимания. Конкретно упоминается архитектура модели BERT (Claims 8, 14). Хотя YATI (собственная трансформерная модель Яндекса) не упоминается по имени, она является развитием идей BERT, и логично предположить, что на практике Яндекс использует именно YATI или ее модификации для реализации этой архитектуры.

Насколько глубоко система анализирует историю поиска пользователя?

Анализ очень глубокий. Поскольку Первая ступень использует архитектуру Трансформер/BERT, она не просто учитывает ключевые слова из прошлых запросов, а анализирует семантические взаимосвязи между всей историей и текущим запросом. Система стремится понять эволюцию интента пользователя и его тематические предпочтения на основе всего доступного контекста.

Что такое «основанное на токенах пользовательское представление»?

Это результат работы Первой ступени. Это компактное численное представление (вектор или последовательность векторов), которое инкапсулирует всю важную информацию о пользователе: его историю поиска и текущий запрос в их взаимосвязи. В контексте BERT-подобных моделей это часто последовательность токенов классификатора (например,-токен), которая агрегирует смысл всех входных данных.

Как этот патент влияет на пользователей, которые не залогинены или не имеют истории поиска?

На таких пользователей этот механизм не влияет. Система требует наличия «пользовательского журнала» (истории поиска) для своей работы. Если истории нет или пользователь не идентифицирован, применяется стандартное, неперсонализированное ранжирование.

Как SEO-специалист может оптимизировать сайт под этот механизм персонализации?

Прямая оптимизация под конкретную историю невозможна, но можно применять стратегические подходы. Ключевая стратегия — стать предпочтительным источником информации для пользователя в вашей нише. Это достигается через построение Topical Authority, работу над узнаваемостью бренда, стимулирование повторных визитов и оптимизацию под весь путь пользователя (Customer Journey). Если пользователь регулярно выбирает ваш сайт, система учтет это в будущем.

Является ли выход этой системы финальным ранжированием?

Нет. Патент (Claim 3) указывает, что рейтинговые оценки, сгенерированные Второй ступенью, предоставляются модели на основе машинного обучения (например, CatBoost) для окончательного ранжирования. Это означает, что персонализированная оценка является одним из множества факторов ранжирования, а не единственным.

Влияет ли этот механизм на скорость загрузки выдачи для пользователя?

Цель этого патента — как раз предотвратить замедление выдачи из-за сложной персонализации. Двухступенчатая архитектура разработана для того, чтобы обеспечить высокую скорость ответа системы, несмотря на использование тяжелых нейронных сетей. Для пользователя процесс должен оставаться быстрым.

Может ли этот механизм привести к «пузырю фильтров»?

Это потенциальный риск любой системы персонализации. Если система слишком сильно полагается на историю пользователя, она может перестать показывать ему новую или альтернативную информацию, замыкая его в сфере его предыдущих интересов. Однако обычно поисковые системы применяют механизмы диверсификации (разнообразия выдачи), чтобы сбалансировать персонализацию и обеспечить полноту информации.

Стоит ли мне перестать проверять позиции в режиме инкогнито?

Нет, проверка в режиме инкогнито по-прежнему важна для понимания базовой (неперсонализированной) релевантности вашего сайта. Однако этот патент подчеркивает, что нельзя полагаться только на эти данные. Реальная видимость сайта для активных пользователей может отличаться из-за глубокой персонализации, поэтому важно также анализировать трафик, вовлеченность и удержание аудитории.