Как Яндекс использует похожие запросы из истории поиска для улучшения ранжирования текущей выдачи

Описание

Какую задачу решает

Патент решает задачу повышения релевантности ранжирования путем использования исторического контекста поиска. Он направлен на улучшение качества выдачи в ситуациях, когда стандартные результаты высшего ранга могут не удовлетворить пользователя. Ключевая проблема, которую решает изобретение — это проблема «холодного старта» для новых, редких или ранее не встречавшихся запросов (unseen queries), для которых еще нет накопленной статистики поведения. Система позволяет использовать данные, накопленные по семантически похожим запросам, для ранжирования выдачи по новому запросу.

Что запатентовано

Запатентована система расширения (обогащения) процесса ранжирования. Суть изобретения заключается в идентификации прошлых запросов (past queries), похожих на текущий запрос (current query), и использовании этих похожих запросов в качестве дополнительных признаков (features) в основной модели машинного обучения для ранжирования (First MLA). Схожесть определяется гибридным способом: на основе пересечения результатов и поведения пользователей (поведенческая схожесть) для известных запросов или на основе текстового анализа с помощью специально обученной модели (Second MLA) для новых запросов.

Как это работает

Система работает по двум основным сценариям:

• Для известных запросов (Seen Queries): Схожесть определяется путем сравнения векторов запросов (Query Vectors), построенных на основе документов, показанных в ответ на эти запросы, и взаимодействий пользователей (user interactions) с этими документами (например, кликов).
• Для новых запросов (Unseen Queries): Схожесть определяется с помощью Second MLA. Эта модель сравнивает текстовые векторы (эмбеддинги) нового запроса с векторами прошлых запросов. Second MLA обучена предсказывать поведенческую схожесть (из сценария 1) на основе текстовой близости.

В обоих случаях выбирается набор наиболее похожих прошлых запросов. Затем основная ранжирующая модель (First MLA) использует эти запросы как признаки. В частности, наличие терминов из похожих прошлых запросов в документе способствует повышению его ранга.

Актуальность для SEO

Высокая. Использование исторических данных о поведении пользователей и применение векторных представлений (эмбеддингов) для понимания запросов являются центральными элементами современных поисковых систем. В патенте упоминается использование алгоритма HNSW для эффективного векторного поиска. Описанный механизм решения проблемы «холодного старта» через аппроксимацию поведенческой схожести текстовой близостью крайне актуален для современных систем, использующих трансформерные модели (например, YATI).

Важность для SEO

Влияние на SEO значительно (8/10). Патент подчеркивает, что релевантность документа определяется не только его соответствием точному тексту текущего запроса, но и его соответствием семантически близким запросам, которые пользователи исторически использовали для поиска той же информации. Это требует от SEO-специалистов фокусироваться на широком охвате темы и понимании всего кластера связанных запросов (интента), а не на оптимизации под отдельные ключевые слова.

Детальный разбор

Термины и определения

Current Query (Текущий запрос)

Запрос, полученный от пользователя в данный момент.

First MLA (Первый алгоритм машинного обучения)

Основной алгоритм ранжирования поисковой системы. В патенте упоминается GBDT (Gradient Boosted Decision Tree), на практике, вероятно, используется CatBoost. Использует различные признаки, включая похожие запросы, для определения порядка результатов в выдаче.

HNSW (Hierarchical Navigable Small World / Иерархический малый мир)

Алгоритм приближенного поиска ближайших соседей (K-ANNS). Используется в патенте в рамках Second MLA для эффективного поиска похожих запросов в векторном пространстве.

Past Query (Прошлый запрос)

Запрос, который ранее задавался поисковой системе и по которому накоплена статистика (результаты и взаимодействия).

Query Vector (Вектор запроса)

Численное представление запроса. В патенте описаны два типа:

• Поведенческий вектор: Строится на основе документов, показанных в ответ на запрос, и взаимодействий пользователей с ними.
• Текстовый вектор (Эмбеддинг): Строится на основе текстового содержания запроса с использованием методов Word Embedding (векторизации слов).

Second MLA (Второй алгоритм машинного обучения)

Алгоритм (например, нейронная сеть или K-NNS/HNSW), обученный определять схожесть запросов на основе их текстового содержания. Он учится аппроксимировать поведенческую схожесть, используя только текстовые векторы.

Similarity Parameter (Параметр сходства)

Метрика, указывающая на степень схожести между текущим и прошлым запросами. Может рассчитываться на основе поведенческих или текстовых векторов.

User Interactions (Действия пользователей)

Данные о поведении пользователей с результатами поиска. Упоминаются: успех/неудача (клики), время пребывания (Dwell time), длинный/короткий «клик», коэффициент «кликов» (CTR).

Ключевые утверждения (Анализ Claims)

Патент описывает гибридную систему, которая использует разные методы определения схожести в зависимости от того, является ли запрос новым или известным.

Claim 1, 2, 3 (Описывают процесс для известных запросов — Seen Queries):

1. Система получает текущий запрос и формирует набор текущих документов.
2. Система извлекает множество прошлых запросов и связанных с ними прошлых документов.
3. Вычисляется параметр схожести между текущим и каждым из прошлых запросов.
4. Критически важно (Claim 1, 2): вычисление схожести основывается на (i) схожести между текущими и прошлыми документами (пересечение выдачи), И (ii) схожести между взаимодействиями пользователей с этими документами (поведенческая схожесть).
5. Реализация (Claim 3): Это достигается путем формирования поведенческих векторов для текущего и прошлых запросов, основанных на документах и действиях пользователей. Схожесть рассчитывается на основе сравнения этих векторов.
6. Выбирается подмножество прошлых запросов (схожесть > порога).
7. Ранжирование выполняется First MLA, который учитывает это подмножество как ранжирующий признак.

Claim 6 (Независимый пункт, описывает процесс для новых запросов — Unseen Queries):

1. Система получает новый запрос (ранее не отправлявшийся).
2. Формируется набор текущих документов.
3. Используется Second MLA (обученный определять сходство на основе текста) для извлечения прошлых запросов и расчета параметра сходства.
4. Критически важно: расчет основан на текстовых признаках нового запроса и текстовых признаках прошлых запросов.
5. Выбирается подмножество похожих запросов (схожесть > порога).
6. Ранжирование выполняется First MLA, используя это подмножество как ранжирующий признак.

Claim 9 (Описывает обучение Second MLA):

Цель обучения — научить Second MLA предсказывать поведенческую схожесть, используя только текст.

1. Система получает обучающие объекты. Каждый объект содержит пару прошлых запросов (Q1, Q2) и их параметр схожести (S12).
2. Важно: S12 рассчитывается методом из Claims 1-3 (на основе схожести документов и взаимодействий – это Ground Truth).
3. Формируются текстовые векторы для Q1 и Q2 на основе их текстовых признаков.
4. Second MLA обучается на этих данных определять параметр сходства между векторами запросов.

Claim 15 (Независимый пункт, описывает гибридную логику выбора метода):

1. Система получает запрос и определяет наличие прошлых взаимодействий пользователей с текущими документами.
2. Если взаимодействия ЕСТЬ (Seen Query / Положительный результат определения): Генерируются поведенческие векторы. Выбор похожих запросов основан на схожести этих векторов.
3. Если взаимодействий НЕТ (Unseen Query / Отрицательный результат определения): Генерируются текстовые векторы (эмбеддинги). Выбор похожих запросов основан на схожести этих векторов.
4. Ранжирование (First MLA) использует выбранные похожие запросы.

Claim 16 (Независимый пункт, фокусируется на механизме ранжирования):

Описывает, как именно происходит влияние на ранг. Ранжирование (First MLA) учитывает вхождение поисковых терминов из прошлых запросов в текущий документ таким образом, что это вхождение повышает ранг этого документа.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, интегрируя офлайн-вычисления и онлайн-обработку.

QUERY PROCESSING – Понимание Запросов
На этом этапе происходит генерация текстовых векторов (эмбеддингов) для текущего запроса. Также здесь система определяет, является ли запрос известным (Seen) или новым (Unseen), проверяя наличие исторических данных о взаимодействиях.

RANKING – Ранжирование (Уровни L3/L4)
Основное применение патента происходит на поздних стадиях ранжирования. First MLA (основная формула ранжирования, вероятно CatBoost/YATI) принимает на вход обогащенные данные о запросе.

1. Извлечение признаков: Система определяет набор похожих прошлых запросов (используя либо поведенческие векторы, либо Second MLA для текстовых векторов).
2. Применение в формуле: First MLA использует эти похожие запросы как признаки. В патенте явно указано (Claim 16), что включение терминов из похожих прошлых запросов в текущий документ способствует повышению ранга этого документа. Вес признака может зависеть от вычисленного Similarity Parameter (Claim 4, 12).

Офлайн-процессы (Связано с INDEXING & Feature Extraction)
Значительная часть работы происходит офлайн (на сервере обучения):

• Предварительный расчет поведенческих векторов для прошлых запросов на основе логов (Журнал запросов, Журнал действий пользователей).
• Расчет поведенческих параметров схожести между парами прошлых запросов (Ground Truth).
• Обучение Second MLA на основе этих данных для предсказания схожести по тексту.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на редкие, длиннохвостые (long-tail) или совершенно новые запросы (Unseen Queries). Для них система может найти семантически близкие популярные запросы и использовать их историю для улучшения ранжирования.
• Контентные факторы: Влияет на то, какие термины в документе считаются важными. Термины, которые присутствуют не в текущем запросе, а в похожих прошлых запросах (QBST фразы), получают дополнительный вес при ранжировании.

Когда применяется

Алгоритм применяется при обработке практически каждого поискового запроса. Ключевым моментом является ветвление логики (Claim 15):

• Триггер активации Поведенческого пути: Когда система идентифицирует, что для текущего запроса и его результатов существуют исторические данные о взаимодействиях пользователей («положительный результат определения»).
• Триггер активации Текстового пути (Second MLA): Когда исторических данных недостаточно или запрос является новым («отрицательный результат определения»).

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени (Гибридный подход)

1. Получение запроса: Система получает текущий запрос.
2. Генерация первичных результатов: Получение набора кандидатов для ранжирования.
3. Определение типа запроса: Система проверяет наличие достаточного количества исторических данных (взаимодействий пользователей) для текущего запроса и его результатов.
4. Ветвление логики:
   • Путь 1 (Seen Query — Поведенческая схожесть): Если данные есть.
     1. Генерация (или извлечение) Поведенческого Вектора для текущего запроса (на основе результатов и взаимодействий).
     2. Извлечение Поведенческих Векторов для прошлых запросов.
     3. Расчет Similarity Parameter путем сравнения векторов (например, скалярное умножение или косинусная близость).
   • Путь 2 (Unseen Query — Текстовая схожесть): Если данных нет.
     1. Генерация Текстового Вектора (эмбеддинга) для текущего запроса с использованием алгоритмов векторизации слов.
     2. Использование Second MLA (например, HNSW) для поиска ближайших соседей (прошлых запросов) в пространстве текстовых векторов и расчета Similarity Parameter (на основе расстояния в HNSW).
5. Выбор подмножества: Отбор Топ-K прошлых запросов, чей Similarity Parameter превышает установленный порог.
6. Ранжирование (First MLA): Использование выбранного подмножества запросов как признаков ранжирования. Документы, содержащие термины из этих похожих запросов, получают повышение в ранге. Вес признака может зависеть от значения Similarity Parameter.
7. Выдача результатов: Формирование SERP.

Процесс Б: Офлайн-обучение Second MLA

1. Сбор данных: Анализ логов для идентификации пар прошлых запросов (Q1, Q2).
2. Расчет Поведенческой Схожести: Для каждой пары вычисляется «истинный» Similarity Parameter (S12) на основе пересечения результатов и схожести взаимодействий пользователей (Ground Truth).
3. Генерация Текстовых Векторов: Для Q1 и Q2 создаются текстовые эмбеддинги (V1, V2) с помощью векторизации слов.
4. Обучение: Second MLA (например, HNSW) обучается на наборе данных {V1, V2, S12}. Цель — изучить корреляцию между текстовыми признаками (V1, V2) и поведенческой схожестью (S12), определяя функцию расстояния в HNSW.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные для расчета поведенческой схожести и обучения Second MLA. Используются данные из логов (Журнал запросов, Журнал действий пользователей). Упомянутые в патенте метрики: успех/неудача (выбор документа), время пребывания (Dwell time), длинный/короткий «клик», коэффициент «кликов» (CTR).
• Контентные факторы (Текстовые): Тексты запросов используются для генерации текстовых векторов (эмбеддингов). Тексты документов используются для определения наличия в них терминов из похожих запросов на этапе ранжирования.
• Системные данные: Наборы документов (Результаты поиска), показанные в ответ на прошлые и текущий запросы.

Какие метрики используются и как они считаются

• Поведенческий Вектор Запроса (Query Vector): Вектор, где измерения соответствуют документам, а значения — метрикам взаимодействия (например, 1 если CTR выше порога, 0 если ниже; или само значение CTR).
• Текстовый Вектор Запроса (Query Embedding): Вектор, сгенерированный с помощью моделей Word Embedding (упомянуты word2vec, LDA, но на практике вероятно используются более современные трансформерные модели) на основе текста запроса.
• Similarity Parameter (Параметр Схожести): Рассчитывается как мера близости между векторами запросов. В патенте упоминаются скалярное умножение (scalar multiplication) и косинусная близость (cosine similarity).
• K-NNS / HNSW: Алгоритмы поиска ближайших соседей. В патенте явно упоминается HNSW, который используется в Second MLA для эффективного поиска похожих текстовых векторов и определения расстояния (которое используется как параметр схожести).

Выводы

1. Историческое поведение определяет релевантность: Яндекс активно использует историю поискового поведения пользователей для информирования текущего ранжирования. Поведенческая схожесть запросов (основанная на кликах по одним и тем же документам) рассматривается как эталон (Ground Truth).
2. Два типа схожести запросов: Патент четко разделяет поведенческую схожесть (для известных запросов) и текстовую схожесть (для новых запросов). При этом текстовая схожесть обучается аппроксимировать поведенческую.
3. Обогащение запроса как механизм ранжирования: Ключевой механизм воздействия на выдачу — это добавление терминов из похожих исторических запросов в качестве признаков ранжирования (Query Enrichment/Expansion). Если документ содержит эти термины, его ранг повышается.
4. Решение проблемы «холодного старта»: Система специально разработана для улучшения ранжирования по новым или редким запросам, для которых нет статистики, путем переноса знаний с семантически близких запросов с богатой историей.
5. Важность векторного поиска: Эффективность системы зависит от быстрого поиска в векторном пространстве, для чего используются специализированные алгоритмы типа HNSW.

Практика

Best practices (это мы делаем)

• Фокус на Topical Authority и широком охвате темы: Создавайте контент, который полностью покрывает тему и отвечает на широкий спектр семантически связанных запросов. Это увеличивает вероятность того, что ваш документ будет релевантен не только целевому запросу, но и тем похожим запросам, которые Яндекс может использовать для обогащения.
• Оптимизация под интент и семантические кластеры: Необходимо понимать весь кластер запросов, которые пользователи используют для поиска одной и той же информации. Анализируйте связанные запросы и убедитесь, что ваш контент содержит релевантные термины (QBST фразы) из этих запросов.
• Максимизация позитивных поведенческих сигналов: Высокий CTR и вовлеченность пользователей критически важны. Они формируют Поведенческие Векторы запросов, которые определяют «истинную» схожесть и используются для обучения всей системы (Second MLA). Если пользователи кликают на ваш сайт по разным, но связанным запросам, это усиливает связь между этими запросами в модели Яндекса.
• Анализ схожести выдачи (SERP Similarity): При сборе семантики группируйте запросы не только по текстовой близости, но и по схожести выдачи. Это поможет лучше понять, как Яндекс видит поведенческую схожесть между запросами.

Worst practices (это делать не надо)

• Оптимизация под один точный запрос: Стратегия фокусировки только на одном высокочастотном запросе без учета его семантического окружения становится менее эффективной. Система может предпочесть документ, который лучше отвечает на кластер похожих запросов.
• Игнорирование низкочастотных и связанных запросов: Пренебрежение long-tail запросами и связанными поисками лишает контент возможности получать дополнительный вес за счет механизма обогащения.
• Создание тонкого контента (Thin Content): Контент, который отвечает только на очень узкий запрос и не содержит связанной информации, не получит преимуществ от этого алгоритма, так как в нем не будет терминов из похожих запросов.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Яндекса на понимание семантики и интента пользователя через анализ больших данных о поведении. Он показывает, как поведенческие данные напрямую влияют на интерпретацию текстовой релевантности. Для SEO это означает, что невозможно разделить работу над контентом и работу над поведенческими факторами. Долгосрочная стратегия должна строиться на создании авторитетных ресурсов, которые становятся центром притяжения для пользователей по широкому спектру связанных запросов в рамках одной тематики.

Практические примеры

Сценарий 1: Ранжирование по новому (Unseen) запросу

1. Новый запрос (Current Query): «экологичные методы утилизации литий-ионных батарей 2025» (редкий, статистики нет).
2. Действие системы: Активируется Second MLA. Система генерирует текстовый эмбеддинг запроса.
3. Поиск похожих запросов: Second MLA (используя HNSW) находит прошлые запросы с близкими векторами: «как правильно выбросить батарейку», «переработка аккумуляторов телефона» (статистика есть).
4. Обогащение (Enrichment): Термины из похожих запросов («переработка», «телефон», «правильно выбросить») добавляются как признаки ранжирования для исходного запроса.
5. Результат: Статья, которая содержит термины исходного запроса, а также упоминает «переработку» и «телефоны», получит буст и ранжируется выше, чем статья, оптимизированная только под точное вхождение нового запроса.

Сценарий 2: Использование поведенческой схожести (Seen Query)

1. Известный запрос (Current Query): «лучший кофе для эспрессо».
2. Действие системы: Система анализирует Поведенческий Вектор этого запроса (на какие сайты кликали пользователи).
3. Поиск похожих запросов: Система находит запрос «рейтинг кофе в зернах», так как пользователи часто кликают на одни и те же сайты по обоим запросам (Поведенческие Векторы близки).
4. Обогащение: Термины «рейтинг» и «в зернах» используются как признаки ранжирования для запроса «лучший кофе для эспрессо».
5. Результат: Страница с рейтингом кофе в зернах может ранжироваться выше по запросу «лучший кофе для эспрессо», даже если она слабее оптимизирована под слово «эспрессо», благодаря сильной поведенческой связи.

Вопросы и ответы