Как Google использует Большие Языковые Модели (LLM) для переранжирования результатов поиска через попарное сравнение документов

Описание

Какую задачу решает

Патентная заявка решает фундаментальную проблему эффективного использования генеративных моделей обработки последовательностей (Generative Sequence Processing Models, т.е. LLM) для задач ранжирования текста. Существующие подходы имеют ограничения:

• Pointwise (Поточечные методы): Требуют от LLM вывода калиброванных оценок вероятности (calibrated prediction probabilities) для сортировки, что сложно достичь и не поддерживается API, ориентированными только на генерацию текста.
• Listwise (Списочные методы): Прямая вставка запроса и всего списка документов в промпт часто приводит к сбоям генерации – LLM может выдать неполный список, неверный порядок или нечитаемый текст, а также является вычислительно затратным.

Изобретение призвано повысить точность ранжирования с помощью LLM, упростив задачу до бинарного сравнения.

Что запатентовано

Запатентован метод ранжирования текста, названный Pairwise Ranking Prompting (PRP). Суть заключается в декомпозиции сложной задачи ранжирования списка документов на серию простых задач попарного сравнения. Система генерирует промпт, включающий запрос и два кандидата (a pair of documents), и поручает LLM определить, какой из двух документов более релевантен запросу. Затем эти попарные предпочтения агрегируются для создания финального упорядоченного списка.

Как это работает

Система работает по следующему принципу:

1. Формирование Промпта: Создается промпт, содержащий запрос и два набора текста (Документ А и Документ Б).
2. Попарное Сравнение (LLM): Промпт подается в LLM. Модель сравнивает Документ А и Документ Б на основе запроса и определяет предпочтение (в режиме генерации текста или числовой оценки).
3. Проверка на Смещение (Опционально): Для устранения позиционного смещения (positional bias) процесс может повторяться с измененным порядком документов в промпте (Документ Б, затем Документ А) для проверки согласованности.
4. Агрегация: Система использует стратегию агрегации для преобразования попарных предпочтений в глобальный рейтинг. Патент описывает несколько стратегий, включая:
   • Global Aggregation (Все пары): Сравнение всех возможных пар и подсчет «побед».
   • Sliding Window: Сравнение и перестановка соседних пар в изначально отсортированном списке.
   • Sorting Algorithm Comparator: Использование LLM как функции сравнения внутри стандартного алгоритма сортировки (например, Heapsort).

Актуальность для SEO

Критически высокая. Интеграция Больших Языковых Моделей непосредственно в процессы ранжирования и переранжирования является ключевым направлением развития поиска. Эта заявка, поданная ведущими экспертами Google по ранжированию (включая Donald Metzler и Michael Bendersky), описывает конкретный и технически обоснованный метод для реализации этой интеграции, решая известные проблемы использования LLM в ранжировании.

Важность для SEO

Влияние на SEO — критическое (85/100). Патент описывает механизм, с помощью которого LLM могут напрямую переупорядочивать результаты поиска на основе глубокого, холистического и сравнительного анализа контента. Это означает, что релевантность и качество оцениваются не по формальным признакам, а через прямое сравнение вашего контента с контентом конкурентов силами сложной языковой модели. SEO-стратегии должны фокусироваться на создании контента, который будет признан LLM как явно превосходящий альтернативы по полезности и соответствию интенту.

Детальный разбор

Термины и определения

Generative Sequence Processing Model (Генеративная модель обработки последовательностей)

Машинно-обученная модель, обученная на больших объемах данных. В контексте патента это синоним Большой Языковой Модели (LLM).

Pairwise Ranking Prompting (PRP) (Попарный ранжирующий промптинг)

Описанный метод, при котором LLM получает запрос и пару документов для определения относительного порядка (какой лучше).

Pointwise Approaches (Поточечные подходы)

Методы ранжирования, при которых модель оценивает релевантность каждого документа запросу независимо от других документов. Требуют калиброванных оценок.

Listwise Approaches (Списочные подходы)

Методы ранжирования, при которых модель оценивает весь список документов сразу.

Prompt (Промпт)

Входные данные для LLM. В данном патенте промпт структурирован как [Запрос] + [Документ А] + [Документ Б].

Generation Mode (Режим генерации)

Режим работы LLM, при котором модель выводит текст, указывающий на предпочтительный документ (например, «Passage 1»).

Scoring Mode (Режим оценки)

Режим работы LLM, при котором модель выводит числовую оценку (например, вероятность, confidence score или log-likelihood) того, что документ является более предпочтительным.

Global Aggregation (All-Pairs) (Глобальная агрегация)

Стратегия агрегации, при которой перебираются все возможные пары документов. Документ получает 1 балл за «победу» и 0.5 балла за ничью/конфликт. Сложность O(N²).

Sliding Window Approach (Подход скользящего окна)

Стратегия агрегации. Система сравнивает и меняет местами соседние пары на основе выводов LLM, проходя по списку. Сложность одного прохода O(N).

Sorting Algorithm Comparator (Компаратор алгоритма сортировки)

Стратегия агрегации, при которой попарные предпочтения от LLM используются в качестве функции сравнения (компаратора) для алгоритмов сортировки, таких как Heapsort. Сложность O(N log N).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый механизм PRP.

1. Генерация промпта, включающего Запрос, Первый текст (Кандидат 1) и Второй текст (Кандидат 2).
2. Промптинг генеративной модели (LLM).
3. Выполнение моделью попарного сравнения Первого и Второго текстов на основе Запроса.
4. Генерация моделью вывода (output), идентифицирующего Первый или Второй текст как более высокоранжируемый (higher ranked set of text) в ответ на Запрос.

Ядро изобретения — использование LLM для выполнения элементарного акта сравнения двух документов.

Claim 2 (Зависимый от 1): Детализирует механизм промптинга для снижения смещения (Swapping).

Промптинг включает два шага: (1) подача [Запрос, Текст 1, Текст 2] и (2) подача [Запрос, Текст 2, Текст 1]. Это позволяет проверить согласованность решения модели и снизить влияние порядка документов в промпте.

Claim 3 и 4 (Зависимые от 1): Детализируют механизм агрегации через подсчет очков (Global Aggregation).

Сравнение генерирует Первый счет для Текста 1 и Второй счет для Текста 2. Если один текст предпочтительнее другого, ему присваивается 1 балл (one point). Ранжирование определяется сравнением этих счетов.

Claim 5 (Зависимый от 1): Детализирует механизм агрегации через Скользящее Окно (Sliding Window).

1. Получение исходного ранжирования (списка).
2. Сравнение записей в списке (например, последней и предпоследней).
3. Определение на основе сравнения, нужно ли поменять записи местами (swap).

Claim 6 и 7 (Зависимые от 1): Детализируют механизм агрегации через Алгоритм Сортировки.

Попарное сравнение включает инициацию алгоритма сортировки (конкретно упоминается Heapsort algorithm в Claim 7) с Текстом 1 и Текстом 2 и получение упорядоченного списка на выходе. LLM здесь выступает функцией-компаратором для сортировки.

Claim 11 (Независимый пункт): Описывает применение PRP к множеству документов для получения финального списка.

1. Генерация промпта с Запросом и множеством текстов (кандидатов).
2. Ввод промпта в систему ранжирования (ranking system), инициирующую LLM.
3. Выполнение LLM множества попарных сравнений.
4. Генерация вывода, содержащего упорядоченный список (ordered list) множества текстов.

Где и как применяется

Изобретение применяется на финальных стадиях поискового конвейера для улучшения качества ранжирования с использованием LLM.

RANKING – Ранжирование (L3)
Основное применение патента. На этапе L3 (Deep Ranking) система может использовать описанный механизм для переоценки и пересортировки лучших кандидатов, отобранных на предыдущих этапах (L1/L2). LLM применяется для глубокого понимания нюансов релевантности между документами.

RERANKING – Переранжирование
Механизм также может применяться как финальный этап переранжирования для точной настройки порядка результатов в ТОПе выдачи.

Входные данные:

• Запрос пользователя (Query).
• Набор кандидатов (plurality of sets of text), отобранных на предыдущих этапах ранжирования.
• Исходный порядок ранжирования (если используется стратегия Sliding Window).

Выходные данные:

• Упорядоченный список документов (ordered list), пересортированный на основе попарных предпочтений LLM.

На что влияет

• Специфические запросы: Наибольшее влияние ожидается на сложные информационные запросы, где требуется глубокое понимание контекста, нюансов языка и сравнение качества ответов – области, в которых LLM особенно сильны.
• Конкретные типы контента: Влияет на все типы текстового контента. Особенно значимо для оценки лонгридов, обзоров, аналитических статей, где важна глубина и качество изложения.

Когда применяется

• Условия применения: Алгоритм применяется, когда системе необходимо провести точное ранжирование набора кандидатов.
• Ограничения (Latency): Применение ограничено вычислительной сложностью и задержкой (latency). Стратегии агрегации направлены на минимизацию числа вызовов LLM:
  • Heapsort (O(N log N)) и Sliding Window (O(N)) значительно эффективнее для использования в реальном времени, чем Global Aggregation (O(N²)).
• Частота применения: Вероятно, применяется для каждого запроса на этапе глубокого ранжирования (L3) или переранжирования, но количество сравниваемых пар оптимизируется выбранной стратегией агрегации.

Пошаговый алгоритм

Процесс А: Базовый блок попарного сравнения (Core PRP)

1. Выбор пары: Система ранжирования выбирает два документа (DA, DB) для сравнения по запросу (Q).
2. Генерация Промпта 1: Создается промпт P1 = [Q + DA + DB].
3. Обработка LLM (Проход 1): P1 подается в LLM. Модель генерирует вывод (предпочтение).
4. Проверка смещения (Swapping):
   • Генерация Промпта 2: P2 = [Q + DB + DA].
   • Обработка LLM (Проход 2): P2 подается в LLM. Модель генерирует вывод.
5. Определение предпочтения: Система определяет итоговое предпочтение. Если выводы согласованы (например, оба указывают на DA), то DA > DB. Если конфликтуют или нерелевантны (согласно описанию), то DA ≈ DB (ничья).

Процесс Б: Ранжирование списка (N документов)

Система выбирает один из вариантов агрегации, используя Процесс А как базовую операцию сравнения:

Вариант 1: Агрегация всех пар (All-Pairs / Global Aggregation)

1. Инициализация: Обнуление счетчиков для всех документов.
2. Перебор пар: Система перебирает все уникальные пары документов (O(N²) сравнений).
3. Сравнение: Для каждой пары выполняется Процесс А.
4. Подсчет очков: Победитель получает 1 очко, при ничьей оба получают 0.5 очка.
5. Ранжирование: Сортировка документов по убыванию агрегированных очков.

Вариант 2: Скользящее окно (Sliding Window)

1. Инициализация: Получение начального ранжированного списка.
2. Итерация: Система начинает проход по списку (обычно снизу вверх).
3. Локальное сравнение: Сравниваются два соседних документа (D[i] и D[i-1]) с помощью Процесса А.
4. Перестановка (Swap): Если D[i] > D[i-1], они меняются местами.
5. Повторные проходы: Для улучшения Топ-K может выполняться K проходов (Сложность O(K*N)).

Вариант 3: Алгоритм Сортировки (Sorting Comparator)

1. Инициализация: Запуск стандартного алгоритма сортировки (например, Heapsort).
2. Вызов компаратора: Когда алгоритму нужно сравнить два элемента (DA и DB), он вызывает компаратор.
3. Сравнение LLM: В качестве компаратора используется Процесс А. Результат сравнения возвращается алгоритму сортировки.
4. Сортировка: Алгоритм завершает работу, используя решения LLM (Сложность O(N log N)).

Какие данные и как использует

Данные на входе

Патент фокусируется на механизме сравнения и не детализирует факторы, которые LLM использует для принятия решения, но подразумевается использование следующих данных:

• Контентные факторы: Полное содержание (или релевантные фрагменты) сравниваемых документов (sets of text). LLM анализирует семантику, структуру, полноту ответа и качество текста.
• Пользовательские факторы: Текст запроса пользователя (query). LLM анализирует интент и контекст запроса для оценки релевантности контента.

Какие метрики используются и как они считаются

• Pairwise Preference (Попарное предпочтение): Основная метрика, генерируемая LLM. Это результат сравнения двух документов (Победа, Поражение или Ничья).
• Score (Оценка в режиме Scoring Mode): Метрики, используемые для определения предпочтения. Могут включать:
  • Probability (Вероятность)
  • Confidence score (Оценка уверенности)
  • Log-likelihood (Логарифмическое правдоподобие) генерации целевого текста.
• Aggregate Score (Агрегированная оценка): Используется в стратегии Global Aggregation. Рассчитывается путем суммирования результатов попарных сравнений: 1 балл за победу, 0.5 балла за ничью или конфликт.

Выводы

1. LLM интегрируются в ядро ранжирования как компараторы: Патент подтверждает, что Google активно внедряет LLM в процесс ранжирования (вероятно, на этапах L3 или Reranking). Использование попарного сравнения (PRP) позволяет обойти ограничения поточечных и списочных методов, делая LLM эффективным инструментом сравнения релевантности.
2. Сравнительное качество (Comparative Quality) становится ключевым: Релевантность становится сравнительной. LLM не просто оценивает документ в изоляции, а решает, является ли Документ А лучше Документа Б для данного запроса. Это требует холистического понимания контента и интента.
3. Глубокий семантический анализ контента: Применение LLM для сравнения означает, что оценка происходит на глубоком семантическом уровне. Модель анализирует содержание целиком, понимая нюансы, контекст и качество изложения, а не просто наличие ключевых слов или сущностей.
4. Оптимизация производительности критична для внедрения: Патент уделяет значительное внимание стратегиям агрегации (Heapsort, Sliding Window) для снижения вычислительной сложности (с O(N²) до O(N log N) или O(N)). Это необходимо для использования дорогостоящих вызовов LLM в реальном времени.
5. Борьба со смещениями LLM: Система явно предусматривает механизмы для борьбы с позиционным смещением (positional bias) путем повторного промптинга с измененным порядком документов (Swapping), что повышает надежность метода.

Практика

Best practices (это мы делаем)

• Фокус на сравнительном превосходстве контента: Необходимо анализировать ТОП выдачи и гарантировать, что ваш контент не просто хороший, а явно превосходит конкурентов по полезности, глубине и качеству ответа на интент пользователя. LLM будет сравнивать ваш контент с другими напрямую.
• Глубокое удовлетворение интента: Обеспечьте максимально полное и нюансированное раскрытие темы. LLM, используемые в PRP, способны понимать сложные запросы и оценивать тонкие различия в релевантности. Контент, который лучше удовлетворяет подразумеваемые потребности пользователя, получит предпочтение.
• Ясность, структура и качество текста: Оптимизируйте текст для максимальной ясности и читаемости. LLM обучены на высококачественных данных и будут предпочитать контент, который хорошо структурирован, логичен и не содержит «воды». Это напрямую коррелирует с принципами Helpful Content.
• Анализ «Проигранных Сравнений»: Если позиции проседают, необходимо проводить глубокий контент-анализ по сравнению с теми, кто вас обогнал. Нужно понять, в чем именно ваш контент уступает при прямом сравнении с точки зрения комплексного удовлетворения запроса.

Worst practices (это делать не надо)

• Манипулятивная оптимизация без качества: Стратегии, основанные на насыщении текста ключевыми словами или формальными признаками без учета общей полезности, становятся менее эффективными. При попарном сравнении LLM легко отличит переоптимизированный текст от естественно написанного и полезного.
• Создание поверхностного или «тонкого» контента: Контент, не имеющий достаточной глубины для полного ответа на запрос, будет проигрывать в попарных сравнениях более авторитетным и полным материалам.
• Игнорирование структуры и логики изложения: Текст, который сложно анализировать (например, сгенерированный низкокачественный контент, плохой перевод), будет пессимизирован при сравнении с хорошо структурированными документами.

Стратегическое значение

Этот патент имеет высокое стратегическое значение, так как он описывает конкретный механизм интеграции генеративного ИИ в оценку результатов поиска. Он подтверждает долгосрочный тренд Google на переход от формальных сигналов ранжирования к системам, основанным на глубоком машинном понимании качества и полезности контента (Helpful Content). Для долгосрочной SEO-стратегии это означает, что способность создавать контент, который выигрывает в прямом сравнении по качеству, становится определяющим фактором успеха.

Практические примеры

Сценарий: Переранжирование информационного запроса

1. Запрос: «Как выбрать треккинговые ботинки для похода в горы летом»
2. Кандидаты (после L2 ранжирования):
   • Документ А: Статья в блоге агрегатора товаров с общими советами и множеством ссылок.
   • Документ Б: Подробное руководство на сайте эксперта по экипировке с разбором материалов, типов подошв и примерами моделей.
3. Применение PRP (Шаг сравнения в Heapsort):
   • Система генерирует промпт: [Запрос] + [Документ А] + [Документ Б].
   • Промпт подается в LLM.
4. Анализ LLM: Модель анализирует оба документа. Она определяет, что Документ Б предоставляет более глубокую, экспертную и структурированную информацию, которая лучше отвечает на запрос пользователя, чем более общая статья Документа А.
5. Результат: LLM возвращает предпочтение: «Документ Б». Система ранжирования использует это предпочтение для того, чтобы убедиться, что Документ Б будет ранжироваться выше Документа А в финальной выдаче.

Вопросы и ответы