Как Google обучает модели ранжирования, сравнивая результаты из разных, но похожих запросов (Cross-List Learning to Rank)

Термины и определения

Cross-list Learning to Rank (XLR) / Cross Batch Ranking (XBR)

Метод обучения ранжированию, при котором функция потерь рассчитывается на основе пар элементов, взятых из разных списков (результатов разных запросов), с учетом корреляции между этими списками.

Correlation Score (Cqr)

Метрика, определяющая степень схожести или корреляции между двумя списками (например, между двумя запросами Q и R). Используется для взвешивания вклада перекрестных пар в функцию потерь. Пример метрики – косинусное сходство (Cosine Similarity).

Distillation (Дистилляция)

Процесс переноса знаний от сложной модели (Teacher Model) к более простой модели (Student Model). В контексте патента, XLR может применяться для дистилляции попарных ранговых предпочтений.

Intermediate Representation

Промежуточное представление элемента (документа), сгенерированное моделью ранжирования в процессе обработки. Часто это логит (logit score) или векторное представление перед финальным слоем.

Item (Элемент)

Объект, подлежащий ранжированию. В контексте поиска – это веб-страница, документ, изображение или другой ресурс, отвечающий на запрос.

Learning to Rank (LTR)

Область машинного обучения, фокусирующаяся на создании моделей для задач ранжирования.

Listwise Loss (Списочная функция потерь)

Функция потерь в LTR, которая оценивает качество всего упорядоченного списка сразу (например, Softmax listwise loss).

Pairwise Loss (Попарная функция потерь)

Функция потерь в LTR, которая оценивает качество ранжирования на основе пар элементов, стремясь минимизировать количество инверсий (когда менее релевантный элемент ранжируется выше более релевантного). Примеры: RankNet, LambdaRank.

Query Embedding

Векторное представление (эмбеддинг) поискового запроса. Используется для вычисления Correlation Score между запросами.

Training Example (Обучающий пример)

Единица обучающих данных, обычно включающая запрос и список соответствующих элементов с метками релевантности или вовлеченности (Labels).

Weighted Pairwise Ranking Loss

Модифицированная попарная функция потерь, в которой вклад каждой пары взвешивается, например, на основе Correlation Score между списками, из которых взяты элементы.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод Cross-List Learning to Rank.

1. Система получает два разных обучающих примера: Пример 1 (с Запросом 1 и списком элементов) и Пример 2 (с Запросом 2 и списком элементов).
2. Элемент 1 (из Примера 1) обрабатывается моделью ранжирования для генерации Представления 1.
3. Элемент 2 (из Примера 2) обрабатывается моделью ранжирования для генерации Представления 2.
4. Вычисляется Correlation Score между Запросом 1 и Запросом 2.
5. Оценивается взвешенная попарная функция потерь (Weighted Pairwise Ranking Loss) на основе Представления 1, Представления 2, их меток и Correlation Score.
6. Модель ранжирования модифицируется на основе этой функции потерь.

Ядром изобретения является использование пар из разных списков для обучения ранжированию, при условии, что функция потерь учитывает корреляцию между запросами, породившими эти списки.

Claim 2 (Зависимый от 1): Детализирует метод вычисления Correlation Score.

1. Генерируются Query Embedding для Запроса 1 и Запроса 2.
2. Correlation Score вычисляется путем оценки метрики схожести (например, косинусного сходства) между этими эмбеддингами.

Claim 10 (Зависимый от 1): Описывает альтернативный метод вычисления Correlation Score.

1. Запросы обрабатываются сетью внимания (Attention Network), которая обучена предсказывать эмбеддинг одного запроса на основе других запросов в батче. Веса внимания используются как Correlation Score.

Claims 4, 5, 6 (Зависимые от 1): Определяют механизмы взвешивания в функции потерь.

• Claim 4: Применение понижающего коэффициента (Scaling Factor $\mu$), если запросы различны.
• Claim 5: Использование порогового значения ($\tau$). Пара учитывается, только если Correlation Score превышает порог.
• Claim 6: Взвешивание функции потерь на абсолютное значение Correlation Score ($|C_{qr}|$).

Claim 11 (Независимый пункт): Обобщает метод XLR для корреляции по любым признакам (General Cross Feature Ranking).

Процесс аналогичен Claim 1, но Correlation Score определяется не между запросами, а на основе схожести других атрибутов, связанных с обучающими примерами (например, схожесть жанров контента, идентификаторов издателей/авторов или характеристик пользователей).

Это значительно расширяет область применения метода, позволяя обучать модели ранжирования на основе корреляций в различных срезах данных (Data Slices).

Claim 16 (Независимый пункт): Описывает применение XLR в контексте дистилляции (Distillation).

Процесс аналогичен Claim 1, но в нем участвуют две модели: Teacher и Student. Функция потерь рассчитывается на основе разницы между предсказаниями обеих моделей для перекрестной пары, взвешенной на Correlation Score. Цель — обучить Student модель воспроизводить логику ранжирования Teacher модели.

Где и как применяется

Этот патент описывает инфраструктуру машинного обучения, используемую для тренировки моделей ранжирования. Он не применяется в реальном времени при обработке запроса пользователя, а используется офлайн для улучшения базовых моделей.

RANKING – Ранжирование (Обучение моделей)
Основное применение патента находится на этапе разработки и обучения моделей, которые затем будут использоваться на стадиях L1, L2 и L3 ранжирования.

• Процесс обучения: Механизм Cross-List Learning to Rank интегрируется в процесс тренировки моделей (например, глубоких нейронных сетей, используемых для ранжирования). Он изменяет способ расчета функции потерь (Ranking Loss), используемой для обновления весов модели.
• Взаимодействие с компонентами: Взаимодействует с хранилищем обучающих данных (Training Data), компонентом расчета признаков (Feature Extraction) и оптимизатором модели (Model Trainer).

Входные данные:

• Обучающий батч (Training Batch), состоящий из множества обучающих примеров. Каждый пример содержит запрос, список элементов (документов) и метки (Labels) для этих элементов.
• Признаки (Features) для запросов и элементов.

Выходные данные:

• Обновленные параметры (веса) обучаемой модели ранжирования.

На что влияет

Патент влияет на общую способность модели ранжирования правильно упорядочивать результаты поиска.

• Специфические запросы: Наибольшее влияние оказывается на кластеры семантически близких запросов (синонимичные, парафразы, близкие интенты). Модель учится более согласованно ранжировать контент внутри этих кластеров.
• Конкретные типы контента: Влияет на все типы контента. Однако, благодаря возможности корреляции по атрибутам (Claim 11), система может быть настроена на улучшение ранжирования в определенных срезах, например, по категориям товаров (e-commerce) или жанрам видео/статей.

Когда применяется

• Условия работы: Алгоритм применяется во время офлайн-обучения или тонкой настройки (fine-tuning) моделей ранжирования.
• Триггеры активации: Активируется для пар элементов из разных списков внутри обучающего батча. Применение может быть ограничено порогом схожести ($\tau$): если Correlation Score ниже порога, пара может быть исключена из расчета потерь (Claim 5).
• Альтернативный подход (Clustering): Вместо расчета корреляций на лету, система может предварительно кластеризовать похожие запросы в датасете и применять стандартные LTR методы к этим агрегированным спискам.

Пошаговый алгоритм

Описание процесса обучения модели с использованием Cross-List Learning to Rank (на примере попарного подхода).

1. Получение данных: Система загружает обучающий батч, содержащий множество списков (Training Examples). Например, Список Q и Список R.
2. Генерация представлений (Forward Pass):
   • Модель ранжирования обрабатывает Запрос Q и Запрос R для генерации Query Embeddings (Eq и Er). (Опционально, если используется метод из Claim 2).
   • Модель обрабатывает все элементы в батче. Например, Элемент i из Списка Q (i_q) и Элемент j из Списка R (j_r) для генерации их промежуточных представлений или логит-оценок (Siq и Sjr).
3. Вычисление корреляции: Система вычисляет Correlation Score (Cqr) между Списком Q и Списком R. Например, используя косинусное сходство между Eq и Er: $C_{qr} = \frac{(E_q, E_r)}{||E_q|| \cdot ||E_r||}$(Eq​,Er​)∥Eq​∥⋅∥Er​∥​
4. Расчет взвешенной функции потерь (XLR Loss): Система итерирует по всем возможным парам (i_q, j_r) в батче и рассчитывает агрегированную функцию потерь. Для каждой пары применяются модификаторы:
   • Проверка порога: $I(|C_{qr}| \ge \tau)$ (Учитывать ли пару?)
   • Масштабирование: $\mu(q,r)$ (Общее снижение веса для перекрестных пар)
   • Взвешивание по корреляции: $|C_{qr}|$ (Вклад зависит от степени схожести)
5. Обновление модели (Backward Pass): Рассчитываются градиенты функции потерь, и параметры модели обновляются с помощью обратного распространения ошибки.

Какие данные и как использует

Данные на входе

Патент фокусируется на процессе обучения и предполагает наличие стандартных входных данных для задач ранжирования:

• Контентные / Семантические факторы: Признаки, описывающие содержание элемента и запроса. Они используются моделью для генерации Intermediate Representations и Query Embeddings.
• Поведенческие факторы: Метки (Labels), указывающие на уровень вовлеченности (engagement) или релевантности элемента для запроса (например, клики или оценки асессоров). Эти метки используются для расчета функции потерь.
• Структурные / Атрибутивные факторы: В реализации General Cross Feature Ranking (Claim 11) используются атрибуты обучающих примеров для расчета корреляции. Упоминаются:
  • Идентификатор издателя (Publisher ID).
  • Жанр или категория контента (Genre/Categories).
  • Характеристики пользователя (User features).
  • Идентификатор рекламодателя (Advertiser ID) в контексте рекламы.

Какие метрики используются и как они считаются

Патент описывает несколько ключевых метрик и расчетов:

1. Correlation Score (Cqr):

• Метод расчета: Косинусное сходство (Cosine Similarity) между векторными представлениями (Embeddings) запросов или других атрибутов (Уравнение 6). Также упоминается использование ковариации или весов механизма внимания.

2. Модификаторы функции потерь:

• Порог ($\tau$): Гиперпараметр (от 0 до 1), определяющий минимальный уровень корреляции для учета пары. Реализуется через индикаторную функцию $I(|C_{qr}| \ge \tau)$.
• Коэффициент масштабирования ($\mu$): Гиперпараметр (от 0 до 1) для снижения веса перекрестных пар по сравнению с парами внутри одного списка.

3. Функции потерь (Ranking Losses):

Патент адаптирует стандартные LTR функции потерь для XLR. Пример (Уравнение 7) адаптации попарной потери для бинарных меток:

$L_{xlr-ranking} = \sum_{q=1}^{Q} \sum_{r=1}^{Q} \sum_{i_q=1, y_{i_q}=1}^{N_q} \sum_{j_r=1, y_{j_r}=0}^{N_r} I(|C_{qr}| \ge \tau) \cdot \mu(q,r) \cdot |C_{qr}| \cdot y_{i_q,j_r} log[1+exp(s_{j_r}-s_{i_q})]$∑q=1Q​∑r=1Q​∑yiq​=1iq​=1Nq​​∑yjr​=0jr​=1Nr​​I(∣Cqr​∣≥τ)⋅μ(q,r)⋅∣Cqr​∣⋅yiq​,jr​​log[1+exp(sjr​​−siq​​)]

Эта формула суммирует потери по всем парам (i, j) из всех комбинаций списков (q, r), где у элемента i метка 1 (релевантен), а у элемента j метка 0 (нерелевантен), применяя три модификатора к стандартной логистической потере.

• Нормализация: Упоминается возможность нормализации функции потерь по общему весу пар, чтобы сбалансировать вклад часто и редко повторяющихся списков.

1. Обучение ранжированию происходит в контексте кластеров: Google не просто обучает модели определять порядок результатов для изолированного запроса. Механизм XLR позволяет моделям сравнивать релевантность документов из разных, но семантически похожих запросов. Это означает, что оценка релевантности документа формируется с учетом его эффективности во всем тематическом кластере.
2. Важность схожести запросов (Query Similarity): Ключевым элементом системы является Correlation Score. Система активно вычисляет схожесть между запросами (используя Embeddings или Attention), чтобы определить, какие данные можно совместно использовать для обучения. Это подчеркивает глубокое понимание семантики запросов системой.
3. Гибкость в определении корреляции (General Cross Feature Ranking): Патент не ограничивается только схожестью запросов. Система может определять корреляцию на основе любых атрибутов (Claim 11), таких как категория контента, издатель или характеристики пользователя. Это позволяет Google оптимизировать ранжирование для специфических срезов данных (Data Slices).
4. Улучшенное обобщение (Generalization): XLR помогает моделям лучше обобщать сигналы релевантности. Модель учится распознавать паттерны качественного контента, которые актуальны не только для одного конкретного запроса, но и для целого ряда схожих интентов.
5. Инфраструктурный характер: Патент описывает офлайн-процесс обучения моделей. Он направлен на повышение эффективности и качества базовых алгоритмов ранжирования Google, а не на корректировку выдачи в реальном времени.

Best practices (это мы делаем)

• Фокус на тематическом авторитете (Topical Authority): Необходимо создавать контент, который полностью покрывает тему и отвечает на все связанные интенты в кластере. Поскольку модель учится на основе схожих запросов, сайт, который постоянно предоставляет релевантные ответы во всем кластере, будет иметь преимущество. Сигналы релевантности для одного запроса могут усиливать понимание модели о релевантности сайта для другого похожего запроса.
• Кластеризация семантического ядра: Группируйте запросы не только по общим ключевым словам, но и по семантической близости и интенту. Убедитесь, что ваша контент-стратегия обеспечивает согласованное и качественное покрытие внутри этих кластеров. Это соответствует логике обучения XLR.
• Усиление сигналов сущностей и атрибутов: Учитывая General Cross Feature Ranking (Claim 11), важно четко определять ключевые атрибуты контента (категории, темы) и авторов/издателей (E-E-A-T). Если Google использует корреляцию по атрибутам издателя, сильные и последовательные сигналы авторитетности могут способствовать лучшему обучению модели на вашем контенте.
• Оптимизация под семантические векторы (Embeddings): Так как схожесть запросов часто определяется через Query Embeddings, необходимо создавать контент, который четко соответствует семантическому пространству целевых запросов. Используйте естественный язык, релевантные сущности и контекстуально связанные термины.

Worst practices (это делать не надо)

• Изолированная оптимизация под отдельные ключевые слова: Стратегия оптимизации страницы под один высокочастотный запрос без учета связанного семантического контекста становится менее эффективной. XLR позволяет модели видеть "общую картину" релевантности в теме.
• Создание противоречивого контента внутри кластера: Если ваш сайт предоставляет высококачественный ответ на один запрос, но низкокачественный или нерелевантный ответ на очень похожий запрос, это может негативно повлиять на обучение модели в отношении вашего сайта, так как XLR будет обрабатывать эти данные совместно.
• Игнорирование структуры и разметки категорий: Если атрибуты, такие как жанр или категория, используются для расчета корреляции (Claim 11), нечеткая или запутанная структура категорий на сайте может помешать системе правильно идентифицировать связанные срезы данных для обучения.

Стратегическое значение

Патент подтверждает стратегию Google на переход от ранжирования на основе ключевых слов к ранжированию на основе тем и семантического соответствия. Cross-List Learning to Rank — это конкретный технический механизм, который позволяет реализовать эту стратегию на уровне обучения базовых моделей. Для SEO это означает, что долгосрочный успех зависит от способности сайта демонстрировать глубокую экспертизу и релевантность в рамках целых тематических областей. Модели Google становятся более устойчивыми к незначительным вариациям запросов и лучше распознают истинное качество и релевантность контента.

Практические примеры

Сценарий: Оптимизация кластера запросов по выбору смартфона

Сайт А фокусируется только на запросе "лучший смартфон 2025". Сайт Б создает хаб, покрывающий кластер: "лучший смартфон 2025", "сравнение флагманских смартфонов 2025", "топ камерофонов 2025".

1. Обработка Google: Во время обучения модель Google видит, что эти три запроса имеют высокий Correlation Score (они семантически близки).
2. Применение XLR: Модель использует XLR для совместного обучения на результатах этих запросов. Она сравнивает пару документов из выдачи по "лучший смартфон" с парой из "топ камерофонов".
3. Результат обучения: Если Сайт Б постоянно показывает высокое качество и релевантность (высокие Labels) по всем трем запросам, модель учится ассоциировать Сайт Б с высокой релевантностью в этом тематическом пространстве. Сайт А, присутствуя только в одном срезе, дает модели меньше положительных сигналов в рамках кластера.
4. Ожидаемый результат для SEO: Сайт Б с большей вероятностью будет ранжироваться выше по всем запросам в кластере, даже если по некоторым из них его прямая оптимизация слабее, чем у узкоспециализированных конкурентов.