Как Google использует «IR-адаптеры» для эффективной донастройки фиксированных или Black-Box LLM под задачи поиска

Описание

Какую задачу решает

Патент решает проблему адаптации больших языковых моделей (LLM) к задачам информационного поиска (Information Retrieval, IR), когда стандартное полное дообучение (full fine-tuning) нецелесообразно или невозможно. Полное дообучение требует огромных ресурсов, часто невозможно, если модель является «черным ящиком» (black-box), и несет риски переобучения (overfitting) или «катастрофического забывания» (forgetting) базовых знаний LLM. Изобретение позволяет эффективно специализировать LLM для поиска, используя только их выходные данные.

Что запатентовано

Запатентована архитектура «IR-адаптера» (IR Adapter). Это небольшая обучаемая нейросетевая надстройка, которая работает поверх фиксированного (замороженного) энкодера LLM. Адаптер принимает стандартные эмбеддинги (векторные представления текста), сгенерированные LLM, и модифицирует их, создавая «адаптированные эмбеддинги» (Adapted Embeddings), оптимизированные для расчета релевантности.

Как это работает

Система реализует подход эффективной донастройки (Parameter-Efficient Fine-Tuning, PEFT):

• Кодирование: Запрос и Документ (Corpus) обрабатываются фиксированным LLM Encoder (в качестве примера упоминается ST5-XL) для получения исходных эмбеддингов.
• Адаптация: Обучаемые модули (Query Adapter и Corpus Adapter) трансформируют эти эмбеддинги. Используются Skip Connections для стабилизации.
• Расчет релевантности: Вычисляется векторное сходство (Cosine Similarity) между адаптированными эмбеддингами, что дает Adapted Relevance Score.
• Обучение: Адаптеры обучаются с использованием функции потерь ранжирования (Ranking Loss), сравнивая предсказания с эталонными данными (Ground Truth).
• Регуляризация: Применяются регуляризаторы (например, Recovery Loss), чтобы адаптированные эмбеддинги не слишком сильно отличались от исходных, сохраняя знания базовой LLM.

Актуальность для SEO

Крайне высокая. Заявка подана в 2023/2024 годах и отражает самые современные подходы к адаптации фундаментальных моделей (Foundation Models). Методы PEFT и адаптация Black-Box LLM являются передовыми направлениями исследований в современном машинном обучении и информационном поиске.

Важность для SEO

Патент имеет высокое стратегическое значение (7/10), но низкое тактическое влияние. Он не описывает факторы ранжирования, а методологию обучения моделей и архитектуру нейронного поиска (Neural IR). Он подтверждает, что релевантность на этапе отбора кандидатов определяется семантической близостью адаптированных векторов (эмбеддингов), а не лексическим соответствием. Это подчеркивает необходимость фокусироваться на семантике и интенте.

Детальный разбор

Термины и определения

Adapted Embedding (Адаптированный эмбеддинг)

Модифицированное векторное представление запроса или документа, полученное после обработки исходного эмбеддинга через IR Adapter. Оптимизировано для конкретной задачи поиска.

Adapted Relevance Score (Адаптированная оценка релевантности, $s_{ij}$)

Оценка релевантности, рассчитанная на основе сходства между адаптированными эмбеддингами.

Cosine Similarity (Косинусное сходство)

Метрика для определения сходства между двумя векторами. Используется для расчета Adapted Relevance Score.

Ground Truth Score (Эталонная оценка релевантности, $y_{ij}$)

Предварительно известная (размеченная) оценка релевантности для пары запрос-документ, используемая для обучения.

IR Adapter (IR-адаптер)

Основное изобретение. Система обучаемых модулей (Query/Corpus Adapter), модифицирующая эмбеддинги фиксированной LLM.

LLM Encoder (Энкодер LLM)

Фиксированная (замороженная) большая языковая модель (например, ST5-XL), преобразующая текст в исходные эмбеддинги.

Ranking Loss (Функция потерь ранжирования, $L_{Rank}$)

Механизм обучения адаптера (Supervised training). Штрафует модель, если порядок предсказанных оценок релевантности отличается от эталонного порядка.

Recovery Loss (Функция потерь восстановления, $L_{Recovery}$)

Регуляризатор (Regularizer). Предотвращает слишком сильное изменение адаптированных эмбеддингов по сравнению с исходными, сохраняя знания базовой LLM и предотвращая «забывание».

Prediction Loss (Функция потерь предсказания, $L_{Pred}$)

Дополнительный регуляризатор. Оценивает, насколько хорошо можно предсказать эмбеддинг запроса на основе эмбеддинга релевантного документа с помощью Query Predictor.

Skip Connection (Обходное/Остаточное соединение)

Архитектурный элемент, позволяющий объединить исходный эмбеддинг с выходом адаптера. Помогает адаптеру изучать только необходимые изменения (дельту) к базовому эмбеддингу.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод работы системы (IR adapter).

1. Кодирование запроса и корпуса с помощью LLM encoder.
2. Генерация эмбеддинга запроса и эмбеддинга корпуса.
3. Определение векторного сходства между адаптированным эмбеддингом запроса и адаптированным эмбеддингом корпуса.
4. Определение Adapted Relevance Score на основе этого сходства.

Ядром изобретения является использование адаптированных эмбеддингов для расчета релевантности, что позволяет дообучать систему без изменения самой LLM.

Claim 4 и 7 (Зависимые): Уточняют механизм адаптации.

Исходные эмбеддинги трансформируются в адаптированные с помощью отдельных обучаемых модулей: Query Adapter (Claim 4) и Corpus Adapter (Claim 7).

Claim 5 и 8 (Зависимые): Детализируют архитектуру.

Используется Skip connection для определения разницы между исходным и адаптированным эмбеддингом. Это указывает на применение остаточной архитектуры, где адаптер изучает только изменение (дельту) к базовому эмбеддингу.

Claim 6 и 9 (Зависимые): Описывают механизм регуляризации.

Разница между исходным и адаптированным эмбеддингом минимизируется с помощью Recovery loss regularizer. Это критически важно для сохранения обобщающей способности базовой модели и предотвращения «забывания».

Claim 10 (Зависимый): Уточняет, что для расчета векторного сходства используется Cosine similarity function.

Claim 11-16 (Зависимые): Описывают процесс обучения (Learning to Rank).

1. Сравнение Adapted Relevance Score с Ground Truth Score (Claim 12).
2. Цель обучения – достижение того же порядка ранжирования, что и в Ground Truth (Claim 13).
3. Если предсказанная оценка ниже эталонной, система накладывает штраф (Claim 14), пропорциональный разнице (Claim 15).

Это описывает механизм обучения с учителем, использующий функцию потерь ранжирования (Ranking Loss) для оптимизации весов адаптера.

Где и как применяется

Изобретение является частью архитектуры нейронного информационного поиска (Neural IR), основанного на плотных векторах (Dense Retrieval), и затрагивает несколько этапов.

Обучение Моделей (Офлайн-процесс)
Основное применение патента. IR adapter обучается на специфических наборах данных о релевантности. На этом этапе рассчитываются Ranking Loss, Recovery Loss, Prediction Loss и обновляются веса адаптеров.

INDEXING – Индексирование и извлечение признаков
Во время индексирования используется фиксированный LLM Encoder и обученный Corpus Adapter для генерации Adapted Corpus Embeddings для всех документов. Эти эмбеддинги сохраняются в векторном индексе.

QUNDERSTANDING – Понимание Запросов
Во время обработки запроса используется фиксированный LLM Encoder и обученный Query Adapter для генерации Adapted Query Embedding в реальном времени.

RANKING – Ранжирование (L1 Retrieval – Отбор кандидатов)
На этапе отбора кандидатов система (Matching Engine) использует Adapted Query Embedding для поиска документов с наиболее близкими Adapted Corpus Embeddings в векторном индексе (ANN-поиск). Сходство рассчитывается с помощью Cosine Similarity, формируя Adapted Relevance Score (Neural Matching Score).

Архитектурные особенности:

• Двойной кодировщик (Dual-Encoder): Архитектура предполагает отдельную обработку запроса и документа, что позволяет предварительно вычислять эмбеддинги документов офлайн.

На что влияет

• Специфические ниши и вертикали: Метод позволяет Google более точно и эффективно настраивать базовые LLM для специфических ниш (например, медицина, финансы, E-commerce) или вертикалей поиска, используя специализированные наборы данных для обучения адаптеров без переобучения основной модели.
• Определение релевантности: Влияет на все типы контента и запросов, где применяется ранжирование на основе семантического сходства (Neural Matching / Dense Retrieval).

Когда применяется

• Условия применения: Алгоритм обучения применяется, когда необходимо адаптировать универсальную LLM под конкретную задачу поиска или улучшить ее производительность на специфическом наборе данных, особенно если LLM является «черным ящиком» или ее полное переобучение нецелесообразно.
• Временные рамки: Обучение происходит офлайн. Применение обученных адаптеров (Inference) происходит при индексировании контента и обработке каждого запроса пользователя.

Пошаговый алгоритм

Процесс А: Обучение IR Adapter (Офлайн)

1. Инициализация: Загрузка фиксированного LLM Encoder. Инициализация обучаемых Query Adapter и Corpus Adapter.
2. Получение данных: Загрузка размеченных данных (Labeled data): пары (запрос, документ) и их Ground Truth Scores ($y_{ij}$).
3. Генерация исходных эмбеддингов: Обработка текстов через LLM Encoder ($qe_i, ce_j$).
4. Адаптация:
   1. Обработка исходных эмбеддингов через Адаптеры.
   2. Применение Skip Connection (сложение выхода адаптера с исходным эмбеддингом) для получения Adapted Embeddings ($\hat{qe}_{i}, \hat{ce}_{j}$).
5. Расчет сходства: Вычисление Cosine Similarity для получения Adapted Relevance Scores ($s_{ij}$).
6. Вычисление функций потерь:
   1. Ranking Loss ($L_{Rank}$): Сравнение $s_{ij}$ с $y_{ij}$. Штраф за неправильный порядок ранжирования.
   2. Recovery Loss ($L_{Recovery}$): Расчет разницы между исходными и адаптированными эмбеддингами. Штраф за сильное отклонение.
   3. Prediction Loss ($L_{Pred}$): Расчет ошибки предсказания запроса по документу (опционально).
7. Оптимизация: Обновление весов Query Adapter и Corpus Adapter (но не LLM Encoder) для минимизации общей функции потерь.

Процесс Б: Применение (Inference)

Этап Индексирования:

1. Получение документа.
2. Генерация исходного эмбеддинга через LLM Encoder.
3. Генерация Adapted Corpus Embedding через обученный Corpus Adapter и Skip Connection.
4. Сохранение адаптированного эмбеддинга в векторном индексе.

Этап Ранжирования (Retrieval):

1. Получение запроса.
2. Генерация исходного эмбеддинга через LLM Encoder.
3. Генерация Adapted Query Embedding через обученный Query Adapter и Skip Connection.
4. Выполнение поиска сходства (Cosine Similarity) в векторном индексе (Matching Engine).
5. Возврат отсортированного списка результатов.

Какие данные и как использует

Данные на входе

• Контентные факторы: Сырой текст запросов (Query text) и документов (Corpus text). Это единственные контентные данные, используемые для генерации эмбеддингов.
• Эталонные данные (Только для обучения): Размеченные наборы данных (Labeled data), содержащие пары запрос-документ и их истинные оценки релевантности (Ground Truth Score, $y_{ij}$).

Какие метрики используются и как они считаются

Система использует несколько ключевых метрик и функций потерь:

• Алгоритмы машинного обучения: Используются нейронные сети (LLM и Адаптеры). Упоминается модель ST5-XL как пример базового энкодера.
• Cosine Similarity: Основная метрика для вычисления Adapted Relevance Score ($s_{ij}$) между адаптированными эмбеддингами.
• Ranking Loss ($L_{Rank}$): Ключевая функция потерь для обучения. Используется подход парного ранжирования (pairwise Learning to Rank).

  $L_{\text{Rank}}={\Sigma_{i=1}}^{N}\Sigma_{j=1}^{M}\Sigma_{k=1}^{M}I(y_{ij}>y_{ik})^{*}(y_{ij}-y_{ik})^{*}\max(0,s_{ik}-s_{ij})$

  Функция штрафует модель, если оценка менее релевантного документа ($s_{ik}$) оказывается выше оценки более релевантного документа ($s_{ij}$).

• Recovery Loss ($L_{Recovery}$): Регуляризатор. Минимизирует разницу (например, норму L1) между адаптированным и исходным эмбеддингом.

  $L_{\text{Recovery}} = \frac{1}{N}\sum_{i=1}^{N}||\hat{qe}_{i}-qe_{i}||_{1} + \frac{1}{M}\sum_{j=1}^{M}||\hat{ce}_{j}-ce_{j}||_{1}$

• Prediction Loss ($L_{Pred}$): (Опциональный регуляризатор). Измеряет ошибку при предсказании эмбеддинга запроса на основе эмбеддинга релевантного документа.
• Общая функция потерь: Адаптеры оптимизируются путем минимизации взвешенной суммы потерь: $L_{Rank} + \alpha L_{Recovery} + \beta L_{Pred}$.

Выводы

Патент описывает инфраструктурный механизм машинного обучения (Parameter-Efficient Fine-Tuning, PEFT) для улучшения систем информационного поиска на базе LLM. Он имеет важное концептуальное значение для понимания работы современного поиска.

1. Эффективная адаптация Black-Box LLM: Ключевой вывод — Google может адаптировать мощные универсальные LLM для задач поиска, не имея доступа к их внутренним параметрам и не переобучая их. Это позволяет быстро и дешево кастомизировать модели.
2. Подтверждение парадигмы Neural IR и Dual-Encoder: Патент подтверждает, что современный поиск (особенно на этапе L1 Retrieval) основан на архитектуре двойного кодировщика (Dual-Encoder), где релевантность определяется как близость векторов в многомерном пространстве (Cosine Similarity).
3. Важность регуляризации и стабильности: Google активно использует Recovery Loss и Skip Connections, чтобы гарантировать, что адаптация к конкретной задаче не приведет к потере (забыванию) общих знаний базовой модели.
4. Фокус на порядке ранжирования: Использование Ranking Loss показывает, что система оптимизируется напрямую для того, чтобы ставить более релевантные документы выше менее релевантных, основываясь на эталонных данных (Ground Truth).

Практика

Патент является чисто техническим и описывает внутренние процессы обучения моделей Google. Он не дает прямых тактических рекомендаций для SEO, но влияет на стратегическое понимание работы поиска.

Best practices (это мы делаем)

• Фокус на глубоком семантическом соответствии (Neural Matching): Поскольку релевантность определяется векторным сходством адаптированных эмбеддингов, контент должен быть семантически насыщенным и четко соответствовать интенту пользователя. Работайте над тем, чтобы контент был лучшим семантическим ответом, а не просто содержал ключевые слова.
• Ясность и контекстуальная четкость: Эмбеддинги отражают общий смысл документа. Убедитесь, что основная тема и концепция страницы ясны и недвусмысленны. Это помогает LLM Encoder и адаптеру сформировать точный эмбеддинг.
• Построение тематического авторитета (Topical Authority): Создание кластеров контента, всесторонне раскрывающих тему, помогает LLM лучше понять контекст и генерировать более точные эмбеддинги для страниц сайта в рамках этой тематики.

Worst practices (это делать не надо)

• Оптимизация под ключевые слова (Keyword Stuffing/Density): Традиционные методы лексической оптимизации неэффективны против систем, основанных на плотных векторных эмбеддингах. Модель анализирует семантику, и манипуляции с ключевыми словами не улучшат позицию в векторном пространстве.
• Создание поверхностного или размытого контента: Контент без глубины или смешивающий несвязанные темы сгенерирует неспецифические эмбеддинги, которые будут проигрывать при поиске по векторному сходству.

Стратегическое значение

Патент подтверждает окончательный переход к парадигме нейронного информационного поиска (Neural IR). Способность Google быстро и дешево адаптировать базовые модели с помощью IR Adapter означает, что они могут оперативно корректировать расчеты релевантности для конкретных ниш, языков или типов контента без необходимости запуска глобальных обновлений ядра. Поиск становится более гибким и адаптивным.

Практические примеры

Патент описывает инфраструктуру ML, поэтому практических примеров для SEO нет. Приведем концептуальный пример работы технологии.

Концептуальный пример: Адаптация к медицинской тематике (YMYL)

1. Проблема: Универсальная LLM плохо различает специфические медицинские термины, что критично для YMYL.
2. Действие (Google): Применяется IR Adapter. Собирается набор медицинских запросов и экспертных документов (Ground Truth).
3. Обучение: IR Adapter обучается поверх базовой LLM. Ranking Loss штрафует адаптер, если он путает похожие, но разные медицинские состояния. Recovery Loss следит, чтобы адаптер не забыл общий язык.
4. Результат: Адаптер модифицирует эмбеддинги так, что в векторном пространстве медицинские термины и концепции лучше разделяются и точнее соответствуют запросам. Это повышает точность и безопасность выдачи без изменения базовой LLM.

Вопросы и ответы