Как Яндекс использует семантическую близость между результатами поиска для улучшения ранжирования и переноса факторов

Описание

Какую задачу решает

Патент решает задачу повышения качества ранжирования путем использования взаимосвязей между документами-кандидатами. Он предлагает механизм для идентификации документов, которые семантически центральны по отношению к основной теме, представленной в наборе результатов. Кроме того, патент решает проблему отсутствия данных или признаков (факторов) для некоторых документов, предлагая механизм переноса признаков (feature propagation) от семантически похожих документов, для которых эти признаки известны.

Что запатентовано

Запатентована система и способ для ранжирования (точнее, переранжирования) множества документов, отобранных в качестве кандидатов. Суть изобретения заключается в использовании семантической близости между самими документами (измеренной через близость их векторов), а не только близости документа к запросу, в качестве фактора ранжирования. Основной механизм предполагает сравнение каждого документа с «базисным вектором» (смысловым центром) набора кандидатов.

Как это работает

Система работает на основе векторных представлений (эмбеддингов). Сначала документы и запрос преобразуются в векторы с помощью алгоритма машинного обучения (MLA), обученного так, что близость векторов соответствует релевантности. После отбора набора кандидатов система вычисляет «базисный вектор» для этого набора (например, среднее значение всех векторов). Затем для каждого документа рассчитывается значение близости его вектора к этому базисному вектору. Это значение близости (указывающее на семантическую центральность документа) используется как дополнительный признак в основной формуле ранжирования. Дополнительно, если два документа имеют очень близкие векторы, система может перенести известные факторы ранжирования с одного документа на другой.

Актуальность для SEO

Высокая. Описанный в патенте MLA (нейронная сеть с частью для документа и частью для запроса) соответствует архитектуре двухбашенных нейронных сетей (например, DSSM), которые являются стандартом в современном поиске для быстрого извлечения и ранжирования. Использование взаимосвязей между документами на поздних стадиях ранжирования и перенос признаков через эмбеддинги являются актуальными и мощными техниками.

Важность для SEO

Влияние на SEO значительно (7.5/10). Патент подчеркивает важность тематической центральности и семантического соответствия консенсусу качественных результатов по запросу. Документы, которые точно попадают в основной интент (близки к базисному вектору), могут быть предпочтительнее, чем документы-выбросы (outliers), даже если последние содержат ключевые слова. Механизм переноса факторов также подчеркивает важность создания контента, семантически близкого к авторитетным источникам.

Детальный разбор

Термины и определения

MLA (Алгоритм машинного обучения)

Алгоритм, используемый для формирования векторов документов и запросов. В патенте описан как нейронная сеть, состоящая из двух частей (для документа и для запроса), которые обучаются совместно. Это соответствует архитектуре DSSM (Deep Structured Semantic Models) или аналогичных двухбашенных моделей.

Базисный вектор (Basis Vector)

Вектор, сформированный как сочетание (агрегация) векторов документов из множества кандидатов. Он представляет собой смысловой центр или консенсус всего набора результатов. Может быть усредненным вектором, вектором средних значений (центроидом) или вектором медоида.

Вектор документа / Вектор запроса (Document/Query Vector)

Численное представление (эмбеддинг) документа или запроса, сформированное MLA. Векторы сформированы так, что их близость отражает семантическую релевантность.

Значение близости (Proximity Value)

Метрика, указывающая на сходство между двумя векторами (например, косинусная близость). Используется для оценки релевантности (близость Документ-Запрос) и для оценки схожести между документами (близость Документ-Документ или Документ-Базисный вектор).

Коэффициент релевантности (Relevance Coefficient)

Оценка релевантности документа запросу (например, оценка асессора), используемая для обучения MLA.

Ключевые утверждения (Анализ Claims)

Патент описывает два основных механизма: ранжирование на основе межддокументной близости и перенос признаков между близкими документами.

Claim 1 (Независимый пункт): Ядро изобретения. Описывает общий способ ранжирования.

1. Система предполагает, что для множества документов-кандидатов и запроса уже существуют векторы, где близость вектора документа и вектора запроса представляет релевантность.
2. Для каждого документа система определяет значение близости его вектора и вектора другого документа (или документов) из этого множества. Это значение указывает на сходство между документами.
3. Система использует эти значения межддокументной близости для ранжирования множества документов.

Claim 3 (Зависит от 1): Концепция Базисного Вектора. Уточняет, что такое «другой документ» из Claim 1.

Система формирует базисный вектор для множества документов как сочетание (агрегацию) векторов этих документов. Базисный вектор выступает в роли «другого документа». Значение близости в этом случае указывает на сходство документа с остальными документами множества (т.е., близость к смысловому центру).

Claim 4 (Зависит от 3): Типы Базисного Вектора.

Базисный вектор может быть усредненным вектором, вектором средних значений (центроидом) или вектором медоида.

Claim 6 (Зависит от 5): Место в конвейере ранжирования. Описывает, когда применяется изобретение.

Процесс происходит после двух этапов предварительного выбора (Pre-selection):

1. Первый этап: Отбор документов на основе параметров частоты (например, BM25 или наличие терминов запроса), превышающих первый порог. (Соответствует L1 Retrieval).
2. Второй этап: Формирование векторов с помощью MLA и отбор документов, чье значение близости к вектору запроса (релевантность) превышает второй порог. (Соответствует L2 Ranking или продвинутому L1).

Изобретение (расчет близости к базисному вектору) применяется к результатам второго этапа, что указывает на его использование на поздних стадиях ранжирования (L3/Upper Reranking).

Claim 9 (Зависит от 8): Интеграция в ранжирование.

Использование значений близости (к базисному вектору) заключается в том, что они подаются в основной алгоритм ранжирования (например, CatBoost) в качестве дополнительных данных документов (т.е. как новые факторы ранжирования).

Claim 11 (Зависит от 10): Перенос признаков (Feature Propagation). Описывает второй ключевой механизм.

1. Есть первый документ с данными первого вида (например, фактор «Авторитетность») и второй документ, для которого эти данные отсутствуют.
2. Система определяет значение близости векторов этих двух документов.
3. Если значение близости превышает пороговое значение (документы семантически очень похожи), система использует данные первого документа как оценку (estimate) данных второго документа.

Claim 13 (Зависит от 2): Архитектура MLA.

MLA представляет собой нейронную сеть, содержащую предназначенную для документа часть и предназначенную для запроса часть. Обе части обучаются совместно так, что значение близости выходных векторов представляет собой коэффициент релевантности. Это точное описание архитектуры двухбашенной нейронной сети (Two-Tower Model), такой как DSSM.

Где и как применяется

Изобретение применяется на этапе ранжирования, конкретно на поздних стадиях.

RANKING – Ранжирование (Уровень L3/Upper Reranking)

Как описано в Claim 6, этот механизм применяется после первичного отбора кандидатов (L1) и их предварительного ранжирования/фильтрации (L2). Это процесс переранжирования (Reranking).

1. Вычисление Базисного Вектора: После получения финального набора кандидатов (например, Топ-200), система агрегирует их векторы (полученные от MLA/DSSM) для создания Базисного Вектора.
2. Расчет Факторов Центральности: Для каждого документа вычисляется близость к Базисному Вектору.
3. Перенос Признаков: Система может сравнить векторы документов между собой для идентификации пар с высокой близостью и выполнить перенос недостающих факторов (например, оценок качества, авторитетности).
4. Финальное Ранжирование: Основная модель ранжирования (например, CatBoost на этапе L3) принимает на вход стандартные факторы, а также новые факторы центральности и перенесенные признаки, для определения финального порядка выдачи.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на широкие или неоднозначные запросы, где в выдаче могут присутствовать документы по разным интентам. Механизм помогает выделить основной интент (формирующий базисный вектор) и повысить документы, соответствующие ему, понижая при этом выбросы (outliers).
• Типы контента: Влияет на все типы контента, которые могут быть векторизованы с помощью MLA. Способствует продвижению контента, который семантически совпадает с консенсусом выдачи.

Когда применяется

Алгоритм применяется во время выполнения запроса на этапе финального ранжирования. Триггером является наличие множества документов-кандидатов, прошедших предыдущие этапы отбора (фильтрацию по частоте терминов и фильтрацию по векторной релевантности запросу).

Пошаговый алгоритм

Процесс работы системы в конвейере ранжирования:

1. Предварительный выбор (Этап 1): Получение запроса. Отбор первичного пула документов из индекса на основе параметров частоты (например, BM25), превышающих первый порог.
2. Генерация векторов: Использование MLA (двухбашенной нейросети) для генерации векторов отобранных документов и вектора запроса.
3. Предварительный выбор (Этап 2): Расчет значений близости между вектором запроса и векторами документов (оценка релевантности). Отбор подмножества документов, чья близость превышает второй порог. Это финальный набор кандидатов для ранжирования.
4. Расчет Базисного Вектора: Агрегация векторов документов из финального набора кандидатов для формирования Базисного Вектора (например, вычисление среднего значения).
5. Расчет Близости к Центру: Для каждого документа из набора кандидатов вычисляется значение близости его вектора к Базисному Вектору.
6. Перенос Признаков (Опционально): Сравнение векторов документов между собой. Если близость между двумя документами превышает порог переноса, недостающие признаки копируются с одного документа на другой.
7. Финальное Ранжирование: Использование основного алгоритма ранжирования. Значения близости к Базисному Вектору и перенесенные признаки используются как дополнительные факторы ранжирования.
8. Выдача результатов: Формирование SERP.

Какие данные и как использует

Данные на входе

• Контентные факторы: Данные документа (текст, заголовки и т.д.), которые подаются на вход MLA для генерации Вектора Документа. Данные запроса, используемые для генерации Вектора Запроса.
• Системные данные (Признаки): Существующие факторы ранжирования (например, статические факторы, оценки качества, поведенческие данные). Эти данные используются в механизме переноса признаков (Claim 11).

Какие метрики используются и как они считаются

• MLA (Двухбашенная Нейронная Сеть / DSSM): Используется для преобразования контента в векторное представление (эмбеддинги). Обучается на парах (Документ, Запрос) с известным Коэффициентом Релевантности.
• Значение близости (Proximity Value): Метрика схожести векторов. В патенте конкретная формула не указана, но обычно это косинусная близость (cosine similarity) или скалярное произведение (dot product).
• Расчет Базисного Вектора: Математические операции агрегации векторов: усреднение, вычисление центроида или медоида.
• Пороговые значения: Используются на нескольких этапах:
  • Первый порог (частота терминов) для Этапа 1 отбора.
  • Второй порог (близость Запрос-Документ) для Этапа 2 отбора.
  • Порог близости (близость Документ-Документ) для активации переноса признаков.

Выводы

1. Семантическая центральность как фактор ранжирования: Яндекс явно использует семантическую близость между документами в выдаче как фактор ранжирования. Введение «Базисного вектора» означает, что система определяет смысловой центр (консенсус) выдачи и поощряет документы, близкие к этому центру.
2. Потенциальное понижение выбросов (Outliers): Документы, которые семантически далеки от основного массива результатов (даже если они формально релевантны запросу), могут быть понижены, так как их близость к Базисному вектору будет низкой.
3. Перенос факторов ранжирования (Feature Propagation): Критически важный механизм. Если два документа семантически очень похожи (на уровне векторных представлений), система может переносить факторы ранжирования (например, оценки качества, авторитетности, поведенческие сигналы) с одного документа на другой. Это позволяет быстрее оценивать новые документы или документы с недостаточной статистикой.
4. Архитектура Двухбашенных Моделей (DSSM): Патент подтверждает использование архитектуры, подобной DSSM (MLA с двумя частями), для генерации семантических векторов, которые лежат в основе этих механизмов.
5. Поздняя стадия ранжирования: Описанные механизмы применяются на поздних стадиях ранжирования (L3), после того как базовые фильтры релевантности уже отработали.

Практика

Best practices (это мы делаем)

• Фокус на основном интенте (Core Intent): Убедитесь, что ваш контент точно соответствует основному намерению пользователя. Анализируйте Топ выдачи, чтобы понять, какой контент формирует «смысловой центр» (Базисный вектор), и стремитесь семантически соответствовать этому центру.
• Семантическое соответствие авторитетным источникам: Поскольку система может переносить факторы (включая авторитетность и качество) между семантически похожими документами, полезно создавать контент, который по структуре, лексике и смыслу близок к уже известным высококачественным ресурсам в вашей нише.
• Построение Тематического Авторитета (Topical Authority): Работайте над качеством всего сайта. Если высококачественные страницы вашего сайта будут семантически близки к новым страницам, механизм переноса признаков может способствовать более быстрому росту новых страниц за счет переноса позитивных факторов.
• Использование четкого и релевантного языка: Используйте терминологию и язык, принятые в вашей тематике. Это поможет MLA (DSSM) правильно интерпретировать контент и расположить ваш вектор ближе к Базисному вектору релевантных запросов.

Worst practices (это делать не надо)

• Создание контента-выброса (Outlier Content): Попытки ранжироваться по широким или неоднозначным запросам с контентом, который затрагивает тему лишь косвенно или с необычной стороны, могут быть затруднены. Такой контент будет далек от Базисного вектора.
• Игнорирование семантического контекста выдачи: Оптимизация под ключевые слова без учета того, как выглядит общая картина выдачи и какие документы формируют консенсус.
• Ассоциация с низкокачественным контентом: Создание контента, который семантически близок к спаму или низкокачественным ресурсам, может привести к переносу негативных факторов ранжирования через механизм Feature Propagation.

Стратегическое значение

Патент подтверждает стратегический переход от оценки соответствия «Документ-Запрос» к более сложной оценке соответствия «Документ-Контекст Выдачи». Ранжирование документа зависит не только от его собственного содержания, но и от того, как он соотносится с другими результатами поиска. Механизм переноса факторов подчеркивает, что семантическая близость используется Яндексом не только для понимания контента, но и для распространения оценок качества и авторитетности, что делает построение общего авторитета ресурса еще более важным.

Практические примеры

Сценарий 1: Ранжирование по неоднозначному запросу (Центральность)

1. Запрос: «Ягуар».
2. Кандидаты: 80 документов про автомобиль, 20 документов про животное.
3. Действие системы: Система вычисляет Базисный Вектор. Из-за преобладания документов про автомобиль, Базисный Вектор будет сильно смещен в сторону автомобильной тематики.
4. Результат: Документы про автомобиль получат высокое значение близости к Базисному Вектору и дополнительный буст в ранжировании. Документы про животное (выбросы) получат низкое значение близости и могут быть понижены относительно основного интента.

Сценарий 2: Перенос Авторитетности (Feature Propagation)

1. Ситуация: Документ А — известная, авторитетная статья о лечении гипертонии с высокими оценками качества (например, Proxima/E-E-A-T). Документ Б — новая статья на другом сайте, также посвященная лечению гипертонии.
2. Действие системы: MLA определяет, что векторы Документа А и Документа Б очень близки (семантически почти идентичны). Близость превышает порог.
3. Перенос факторов: Система переносит факторы авторитетности/качества с Документа А на Документ Б, используя их как оценку для Документа Б.
4. Результат: Документ Б получает значительный буст в ранжировании благодаря ассоциации с авторитетным источником, даже если его собственные факторы еще не накоплены.

Вопросы и ответы