Как Яндекс использует похожие запросы из истории поиска для улучшения ранжирования текущей выдачи

Описание

Какую задачу решает

Патент решает задачу повышения релевантности ранжирования путем использования исторического контекста поиска. Он направлен на улучшение качества выдачи в ситуациях, когда стандартные результаты могут не полностью удовлетворить пользователя. Ключевая проблема, которую решает изобретение — это проблема «холодного старта» для новых, редких или ранее не встречавшихся запросов (так называемых unseen queries), для которых еще нет накопленной статистики поведения. Система позволяет использовать данные, накопленные по семантически похожим запросам, для ранжирования выдачи по новому запросу.

Что запатентовано

Запатентована система обогащения (enriching) процесса ранжирования. Суть изобретения заключается в идентификации прошлых запросов (past queries), похожих на текущий запрос (current query), и использовании этих похожих запросов в качестве дополнительных признаков (features) в основной модели машинного обучения для ранжирования (First MLA). Схожесть определяется двумя основными способами: на основе пересечения результатов и поведения пользователей (для известных запросов) или на основе текстового анализа с помощью специально обученной модели (Second MLA) (для новых запросов).

Как это работает

Система работает по двум основным сценариям:

• Для известных запросов (Seen Queries): Схожесть определяется путем сравнения векторов запросов (Query Vectors). Эти векторы строятся на основе документов, показанных в ответ на эти запросы, и взаимодействий пользователей (user interactions) с этими документами (например, кликов).
• Для новых запросов (Unseen Queries): Схожесть определяется с помощью Second MLA. Эта модель сравнивает текстовые векторы (эмбеддинги) нового запроса с векторами прошлых запросов. Важно, что Second MLA обучена предсказывать поведенческую схожесть (из сценария 1) на основе текстовой близости.

В обоих случаях выбирается набор наиболее похожих прошлых запросов. Затем основная ранжирующая модель (First MLA) использует эти запросы как признаки. В частности, наличие терминов из похожих прошлых запросов в документе способствует повышению его ранга (promotes rank).

Актуальность для SEO

Высокая. Использование исторических данных о поведении пользователей и применение векторных представлений (эмбеддингов) для понимания запросов являются центральными элементами современных поисковых систем, включая Яндекс (например, с использованием трансформерных моделей типа YATI). Описанный механизм решения проблемы «холодного старта» через аппроксимацию поведенческой схожести текстовой близостью крайне актуален в 2025 году.

Важность для SEO

Влияние на SEO значительно (8/10). Патент подчеркивает, что релевантность документа определяется не только его соответствием точному тексту текущего запроса, но и его соответствием семантически близким запросам, которые пользователи исторически использовали для поиска той же информации. Это требует от SEO-специалистов фокусироваться на широком охвате темы и понимании всего семантического кластера связанных запросов (интента), а не на оптимизации под отдельные ключевые слова.

Детальный разбор

Термины и определения

Current Query (Текущий запрос)

Запрос, полученный от пользователя в данный момент.

First MLA (Первый алгоритм машинного обучения)

Основной алгоритм ранжирования поисковой системы (например, GBDT или CatBoost), который использует различные признаки, включая похожие запросы, для определения порядка результатов в выдаче.

HNSW (Hierarchical Navigable Small World)

Алгоритм приближенного поиска ближайших соседей (K-ANNS). Упоминается в патенте как возможная реализация Second MLA для эффективного поиска похожих запросов в векторном пространстве.

Past Query (Прошлый запрос)

Запрос, который ранее задавался поисковой системе и по которому накоплена статистика (результаты и взаимодействия).

Query Vector (Вектор запроса)

Численное представление запроса. В патенте описаны два типа:

• Поведенческий вектор: Строится на основе документов, показанных в ответ на запрос, и взаимодействий пользователей с ними.
• Текстовый вектор (Эмбеддинг): Строится на основе текстового содержания запроса (textual feature) с использованием методов Word Embedding.

Second MLA (Второй алгоритм машинного обучения)

Алгоритм (например, нейронная сеть или K-NNS/HNSW), обученный определять схожесть запросов на основе их текстового содержания. Он учится аппроксимировать поведенческую схожесть, используя только текстовые векторы.

Similarity Parameter (Параметр схожести)

Метрика, указывающая на степень схожести между текущим и прошлым запросами. Может рассчитываться на основе поведенческих или текстовых векторов.

User Interactions (Взаимодействия пользователей)

Данные о поведении пользователей с результатами поиска (клики, CTR, dwell time и т.д.).

Ключевые утверждения (Анализ Claims)

Патент описывает гибридную систему, которая использует разные методы определения схожести в зависимости от того, является ли запрос новым или известным.

Claim 1 (Независимый пункт): Описывает процесс для известных запросов (Seen Queries), где доступна история взаимодействий.

1. Система получает текущий запрос и генерирует набор текущих документов.
2. Система извлекает множество прошлых запросов.
3. Вычисляется параметр схожести между текущим и каждым из прошлых запросов.
4. Критически важно: вычисление схожести основывается на (i) степени схожести между текущими документами и прошлыми документами, И (ii) степени схожести между взаимодействиями пользователей с текущими документами и взаимодействиями с прошлыми документами.
5. Выбирается подмножество прошлых запросов, чей параметр схожести выше порога.
6. Ранжирование текущих документов выполняется First MLA, который учитывает выбранное подмножество прошлых запросов как признак ранжирования (ranking feature).

Claim 5 (Независимый пункт): Описывает процесс для новых запросов (Unseen Queries) и необходимый для этого этап обучения Second MLA.

Фаза Обучения (Training Phase):

1. Система получает обучающие объекты. Каждый объект содержит пару прошлых запросов (Q1, Q2) и их параметр схожести (S12).
2. Важно: S12 рассчитывается методом, схожим с Claim 1 (на основе схожести документов и взаимодействий). Это эталонная (Ground Truth) поведенческая схожесть.
3. Second MLA обучается предсказывать S12, используя только текстовые признаки (textual features) Q1 и Q2. Цель — научить модель аппроксимировать поведенческую схожесть через текстовую близость.

Фаза Применения (In-use Phase):

1. Система получает новый запрос (не встречавшийся ранее).
2. Second MLA вычисляет параметр схожести между новым запросом и прошлыми запросами, основываясь только на их текстовых признаках.
3. Выбирается подмножество похожих запросов (схожесть > порога).
4. Ранжирование выполняется First MLA, используя это подмножество как признак.

Claim 12 (Независимый пункт): Описывает гибридную логику выбора метода.

1. Система получает запрос и определяет наличие прошлых взаимодействий пользователей с текущими документами.
2. Если взаимодействия ЕСТЬ (Seen Query): Генерируются поведенческие векторы для текущего и прошлых запросов. Выбор похожих запросов основан на схожести этих векторов.
3. Если взаимодействий НЕТ (Unseen Query): Генерируются текстовые векторы (эмбеддинги) для текущего и прошлых запросов. Выбор похожих запросов основан на схожести этих векторов.
4. Ранжирование (First MLA) использует выбранные похожие запросы.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, интегрируя офлайн-вычисления и онлайн-обработку.

QUERY PROCESSING – Понимание Запросов
На этом этапе происходит генерация текстовых векторов (эмбеддингов) для текущего запроса. Также здесь система определяет, является ли запрос известным (Seen) или новым (Unseen), проверяя наличие исторических данных о взаимодействиях.

RANKING – Ранжирование (Уровни L3/L4)
Основное применение патента происходит на поздних стадиях ранжирования. First MLA (основная формула ранжирования, вероятно CatBoost/YATI) принимает на вход обогащенные данные о запросе.

1. Извлечение признаков: Система определяет набор похожих прошлых запросов (используя либо поведенческие векторы, либо Second MLA для текстовых векторов).
2. Применение в формуле: First MLA использует эти похожие запросы как признаки. В патенте прямо указано (Abstract, Claim 24), что включение терминов из похожих прошлых запросов в текущий документ способствует повышению ранга (promotes rank) этого документа. Вес признака может зависеть от вычисленного Similarity Parameter.

Офлайн-процессы и обработка данных
Значительная часть работы происходит офлайн:

• Предварительный расчет поведенческих векторов для прошлых запросов на основе логов (Query Log, User Interaction Log).
• Расчет поведенческих параметров схожести между парами прошлых запросов.
• Обучение Second MLA на основе этих данных для предсказания схожести по тексту.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на редкие, длиннохвостые (long-tail) или совершенно новые запросы (Unseen Queries). Для них система может найти семантически близкие популярные запросы и использовать их историю для улучшения ранжирования.
• Контентные факторы: Влияет на то, какие термины в документе считаются важными. Термины, которые присутствуют не в текущем запросе, а в похожих прошлых запросах, получают дополнительный вес.

Когда применяется

Алгоритм применяется при обработке практически каждого поискового запроса. Ключевым моментом является ветвление логики (как описано в Claim 12):

• Триггер активации Поведенческого пути: Когда система идентифицирует, что для текущего запроса и его результатов существуют исторические данные о взаимодействиях пользователей.
• Триггер активации Текстового пути (Second MLA): Когда исторических данных недостаточно или запрос является новым (Unseen Query). В этом случае активируется Second MLA.

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени (Гибридный подход)

1. Получение запроса: Система получает текущий запрос.
2. Генерация первичных результатов: Получение набора кандидатов для ранжирования.
3. Определение типа запроса: Система проверяет наличие достаточного количества исторических данных (взаимодействий пользователей) для текущего запроса и его результатов.
4. Ветвление логики:
   • Путь 1 (Seen Query — Поведенческая схожесть): Если данные есть.
     1. Генерация (или извлечение) Поведенческого Вектора для текущего запроса (на основе результатов и взаимодействий).
     2. Извлечение Поведенческих Векторов для прошлых запросов.
     3. Расчет Similarity Parameter путем сравнения векторов (например, скалярное произведение).
   • Путь 2 (Unseen Query — Текстовая схожесть): Если данных нет.
     1. Генерация Текстового Вектора (эмбеддинга) для текущего запроса.
     2. Использование Second MLA (например, HNSW) для поиска ближайших соседей (прошлых запросов) в пространстве текстовых векторов и расчета Similarity Parameter.
5. Выбор подмножества: Отбор Топ-K прошлых запросов, чей Similarity Parameter превышает установленный порог (predetermined similarity threshold).
6. Ранжирование (First MLA): Использование выбранного подмножества запросов как признаков ранжирования. Документы, содержащие термины из этих похожих запросов, получают повышение в ранге. Вес признака может зависеть от значения Similarity Parameter.
7. Выдача результатов: Формирование SERP.

Процесс Б: Офлайн-обучение Second MLA

1. Сбор данных: Анализ логов для идентификации пар прошлых запросов (Q1, Q2).
2. Расчет Поведенческой Схожести: Для каждой пары вычисляется «истинный» Similarity Parameter (S12) на основе пересечения результатов и схожести взаимодействий пользователей (Ground Truth).
3. Генерация Текстовых Векторов: Для Q1 и Q2 создаются текстовые эмбеддинги (V1, V2) с использованием методов Word Embedding.
4. Обучение: Second MLA обучается на наборе данных {V1, V2, S12}. Цель — научиться предсказывать поведенческую схожесть S12, используя только текстовые векторы V1 и V2.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные для расчета поведенческой схожести и обучения Second MLA. Используются данные из логов (Query Log, User Interaction Log). В патенте упоминаются: клики (Loss/Win), время на сайте (Dwell time), длинные/короткие клики, CTR.
• Контентные факторы (Текстовые): Тексты запросов (textual features) используются для генерации текстовых векторов (эмбеддингов). Тексты документов используются для определения наличия в них терминов из похожих запросов на этапе ранжирования.
• Системные данные: Наборы документов (Search Results), показанные в ответ на прошлые и текущий запросы.

Какие метрики используются и как они считаются

• Поведенческий Вектор Запроса (Query Vector): Вектор, где измерения соответствуют документам, а значения — метрикам взаимодействия. В патенте приводится пример: 1 если взаимодействие есть (или выше порога), 0 если нет (или ниже порога); или само значение метрики (например, CTR).
• Текстовый Вектор Запроса (Query Embedding): Вектор, сгенерированный с помощью моделей Word Embedding. В патенте упоминаются word2vec и LDA как примеры, но на практике вероятно используются более современные трансформерные модели (например, YATI).
• Similarity Parameter (Параметр Схожести): Рассчитывается как мера близости между векторами запросов. В патенте упоминаются скалярное произведение (scalar multiplication) и косинусная близость (cosine similarity).
• K-NNS / HNSW: Алгоритмы поиска ближайших соседей. HNSW (Hierarchical Navigable Small World) упоминается как конкретный алгоритм, используемый в Second MLA для эффективного поиска похожих текстовых векторов и определения расстояния (которое используется как параметр схожести).

Выводы

1. Историческое поведение определяет релевантность: Яндекс активно использует историю поискового поведения пользователей для информирования текущего ранжирования. Поведенческая схожесть запросов (основанная на кликах по одним и тем же документам) рассматривается как эталон (Ground Truth) для определения семантической близости.
2. Два типа схожести запросов: Патент четко разделяет поведенческую схожесть (для известных запросов) и текстовую схожесть (для новых запросов). При этом текстовая схожесть обучается аппроксимировать поведенческую. Это ключевой механизм патента.
3. Обогащение запроса как механизм ранжирования: Ключевой механизм воздействия на выдачу — это добавление терминов из похожих исторических запросов в качестве признаков ранжирования (Query Enrichment). Если документ содержит эти термины, его ранг повышается.
4. Решение проблемы «холодного старта»: Система специально разработана для улучшения ранжирования по новым или редким запросам, для которых нет статистики, путем переноса знаний с семантически близких запросов с богатой историей.
5. Важность векторного поиска и инфраструктуры: Эффективность системы зависит от быстрого поиска в векторном пространстве, для чего используются специализированные алгоритмы типа HNSW, что подчеркивает технологическую сложность реализации.

Практика

Best practices (это мы делаем)

• Фокус на Topical Authority и широком охвате темы: Создавайте контент, который полностью покрывает тему и отвечает на широкий спектр семантически связанных запросов. Это увеличивает вероятность того, что ваш документ будет релевантен не только целевому запросу, но и тем похожим запросам, которые Яндекс может использовать для обогащения.
• Оптимизация под интент, а не ключевое слово: Необходимо понимать весь кластер запросов, которые пользователи используют для поиска одной и той же информации. Анализируйте связанные запросы и убедитесь, что ваш контент содержит релевантные термины (QBST фразы) из этих запросов.
• Максимизация позитивных поведенческих сигналов: Высокий CTR и вовлеченность пользователей критически важны. Они формируют Поведенческие Векторы запросов, которые определяют «истинную» схожесть и используются для обучения всей системы (Second MLA). Если пользователи кликают на ваш сайт по разным, но связанным запросам, это усиливает связь между этими запросами в модели Яндекса.
• Анализ семантических кластеров по выдаче: При сборе семантики группируйте запросы не только по текстовой близости, но и по схожести выдачи (SERP Similarity). Это поможет лучше понять, как Яндекс видит поведенческую схожесть между запросами.

Worst practices (это делать не надо)

• Оптимизация под один точный запрос: Стратегия фокусировки только на одном высокочастотном запросе без учета его семантического окружения становится менее эффективной. Система может предпочесть документ, который лучше отвечает на кластер похожих запросов.
• Игнорирование низкочастотных и связанных запросов: Пренебрежение long-tail запросами и связанными поисками лишает контент возможности получать дополнительный вес за счет механизма обогащения.
• Создание тонкого контента (Thin Content): Контент, который отвечает только на очень узкий запрос и не содержит связанной информации, не получит преимуществ от этого алгоритма, так как он вряд ли будет содержать термины из похожих запросов.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Яндекса на понимание семантики и интента пользователя через анализ больших данных о поведении. Он показывает, как поведенческие данные напрямую используются для обучения моделей текстовой релевантности. Для SEO это означает, что невозможно разделить работу над контентом и работу над поведенческими факторами. Долгосрочная стратегия должна строиться на создании авторитетных ресурсов, которые становятся центром притяжения для пользователей по широкому спектру связанных запросов в рамках одной тематики.

Практические примеры

Сценарий 1: Ранжирование по новому (Unseen) запросу

1. Новый запрос (Current Query): «экологичные методы утилизации литий-ионных батарей 2025» (редкий, статистики нет).
2. Действие системы: Активируется Second MLA (Текстовый путь). Система генерирует текстовый эмбеддинг запроса.
3. Поиск похожих запросов: Second MLA (используя HNSW) находит прошлые запросы с близкими векторами: «как правильно выбросить батарейку», «переработка аккумуляторов телефона» (статистика есть).
4. Обогащение (Enrichment): Термины из похожих запросов («переработка», «телефон», «правильно выбросить») добавляются как признаки ранжирования для исходного запроса.
5. Результат: Статья, которая содержит термины исходного запроса, а также упоминает «переработку» и «телефоны», получит буст и ранжируется выше, чем статья, оптимизированная только под точное вхождение нового запроса.

Сценарий 2: Использование поведенческой схожести (Seen Query)

1. Известный запрос (Current Query): «лучший кофе для эспрессо».
2. Действие системы: Активируется Поведенческий путь. Система анализирует Поведенческий Вектор этого запроса (на какие сайты кликали пользователи).
3. Поиск похожих запросов: Система находит запрос «рейтинг кофе в зернах», так как пользователи часто кликают на одни и те же сайты по обоим запросам (Поведенческие Векторы близки).
4. Обогащение: Термины «рейтинг» и «в зернах» используются как признаки ранжирования для запроса «лучший кофе для эспрессо».
5. Результат: Страница с рейтингом кофе в зернах может ранжироваться выше по запросу «лучший кофе для эспрессо», даже если она слабее оптимизирована под слово «эспрессо», благодаря сильной поведенческой связи.

Вопросы и ответы