Как Google ускоряет нейронный поиск, используя выборочные векторные взаимодействия токенов и механизм импутации

Термины и определения

Contextualized Token Retriever (XTR)

Название системы, описанной в патенте. Эффективная система поиска, использующая контекстуализированные векторы токенов и механизм позднего взаимодействия.

Document/Query Encoder Neural Network

Нейронные сети (например, BERT, T5, Gemini), которые обрабатывают документ или запрос и генерируют последовательность контекстуализированных векторов токенов (Token Vectors). Они могут быть одной и той же сетью или разными, обученными совместно.

Token Vectors (Векторы токенов)

Числовые представления (embeddings) отдельных токенов (слов, частей слов и т.д.). Они контекстуализированы, то есть отражают значение токена в его окружении.

Similarity Measure (Мера сходства)

Метрика для оценки близости между векторами (например, косинусное сходство, евклидово расстояние, скалярное произведение).

Candidate Document (Документ-кандидат)

Документ, у которого хотя бы один вектор токена попал в набор наиболее похожих векторов (Топ-K) для хотя бы одного токена запроса.

Query Score (Оценка по токену запроса)

Промежуточная оценка схожести между одним токеном запроса и документом-кандидатом. Рассчитывается как максимальное сходство (MaxSim) или как Imputed Value.

Relevance Score (Оценка релевантности)

Итоговая оценка документа, полученная путем агрегации (например, усреднения) всех Query Scores.

Imputed Value (Импутированное значение)

Значение, которое присваивается Query Score во время инференса, если ни один из токенов документа не попал в Топ-K для данного токена запроса. Используется для повышения эффективности.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод эффективного поиска (Inference).

1. Поддержание базы Document Token Vectors.
2. Получение запроса и генерация Query Token Vectors с помощью Query Encoder.
3. Для каждого вектора запроса: идентификация набора (Топ-K) наиболее похожих векторов документов.
4. Идентификация Candidate Documents (объединение документов, чьи токены были извлечены).
5. Генерация Relevance Score для каждого кандидата путем расчета Query Score для каждого токена запроса:
   • Если токены кандидата присутствуют в извлеченном наборе (Топ-K) для данного токена запроса:
   • Установка Query Score равной наибольшему значению меры схожести (MaxSim) между токеном запроса и этими токенами документа.
6. Комбинирование Query Scores для получения финального Relevance Score.

Ядро изобретения — расчет релевантности строго на основе уже извлеченных векторов, без доступа ко всем векторам документа.

Claim 4 (Зависимый от 1): Добавляет механизм импутации.

Если токены документа-кандидата отсутствуют в извлеченном наборе (Топ-K) для данного токена запроса, Query Score устанавливается равной Imputed Value.

Claim 5 (Зависимый от 4): Определяет расчет Imputed Value.

Imputed Value устанавливается равной наименьшему значению меры схожести в извлеченном наборе (Топ-K) для данного токена запроса (т.е. значению схожести K-го элемента).

Claim 9 (Независимый пункт): Описывает процесс обучения (Training) кодировщиков.

Процесс аналогичен инференсу, но цель — оптимизация целевой функции (objective function) и обновление параметров Query Encoder и Document Encoder.

Claim 11 (Зависимый от 9): Ключевое отличие процесса обучения.

Во время обучения, если токены документа-кандидата отсутствуют в извлеченном наборе, Query Score устанавливается равным нулю (а не Imputed Value).

Это критично для обучения, так как система должна быть строго наказана (высокая потеря), если она не смогла извлечь токены релевантного документа, что заставляет модель учиться генерировать лучшие представления.

Где и как применяется

Изобретение применяется на ключевых этапах поисковой архитектуры для обеспечения эффективного нейронного поиска.

INDEXING – Индексирование и извлечение признаков
Document Encoder Neural Network используется для генерации Document Token Vectors из контента. Эти векторы сохраняются в индексе, оптимизированном для быстрого векторного поиска (ANN Index).

QUNDERSTANDING – Понимание Запросов
Query Encoder Neural Network используется в реальном времени для преобразования запроса пользователя в Query Token Vectors.

RANKING – Ранжирование (L1 Retrieval и L2 Scoring)
Основное применение патента. Механизм обеспечивает эффективный отбор кандидатов и их первичную оценку.

1. L1 (Retrieval): Система выполняет векторный поиск для нахождения Топ-K похожих Document Token Vectors для каждого Query Token Vector и генерирует набор Candidate Documents.
2. L2 (Scoring): Система быстро вычисляет Relevance Scores для кандидатов, используя описанный эффективный метод позднего взаимодействия с применением Imputed Values.

Входные данные:

• Запрос пользователя.
• Индекс Document Token Vectors.
• Параметры кодировщиков.

Выходные данные:

• Набор Candidate Documents с рассчитанными Relevance Scores.

На что влияет

• Типы контента и форматы: Метод универсален и может применяться к тексту, изображениям, аудио, видео и мультимодальным данным, если для них существуют соответствующие кодировщики (в патенте упоминаются BERT, T5, Gemini).
• Специфические запросы: Особенно эффективен для сложных информационных запросов, состоящих из нескольких концепций, так как система оценивает соответствие по каждому токену запроса индивидуально (Late Interaction).

Когда применяется

• Условия работы: Алгоритм применяется при обработке поискового запроса на этапе первичного отбора и оценки кандидатов (L1/L2).
• Временные рамки: Генерация векторов документов происходит во время индексирования (офлайн). Обработка запроса, поиск и оценка происходят в реальном времени (онлайн).

Пошаговый алгоритм

Фаза 1: Индексирование (Офлайн)

1. Кодирование документов: Обработка каждого документа с помощью Document Encoder для генерации набора Document Token Vectors.
2. Индексация: Сохранение и индексация векторов для эффективного поиска ближайших соседей (ANN search).

Фаза 2: Ранжирование / Инференс (Онлайн)

1. Кодирование запроса: Обработка запроса с помощью Query Encoder для генерации набора Query Token Vectors (Q).
2. Поиск Топ-K векторов: Для каждого вектора запроса $q_i \in Q$ выполняется поиск в индексе для нахождения Топ-K наиболее похожих Document Token Vectors ($D_i$).
3. Определение Импутированных Значений: Для каждого $q_i$ определяется Imputed Value $m_i$ (например, значение схожести K-го вектора в списке $D_i$).
4. Генерация Кандидатов: Идентификация уникальных документов (C), которым принадлежат извлеченные векторы ($C = \cup_i D_i$).
5. Расчет Оценок Релевантности (Scoring): Для каждого документа-кандидата $c \in C$:
   1. Инициализация списка Query Scores.
   2. Для каждого Query Token Vector ($q_i$):
      • Проверка: Присутствуют ли векторы документа $c$ в Топ-K списке $D_i$?
      • Если ДА: Расчет максимальной схожести (MaxSim) между $q_i$ и векторами $c$ в этом списке. Добавление MaxSim в Query Scores.
      • Если НЕТ: Добавление Imputed Value $m_i$ в Query Scores.
   3. Агрегация: Комбинирование (например, усреднение) всех Query Scores для получения финального Relevance Score документа $c$.
6. Выбор результатов: Сортировка Candidate Documents по Relevance Score.

Какие данные и как использует

Данные на входе

Патент фокусируется на механизме обработки векторных представлений.

• Контентные/Семантические факторы: Основные данные — это Document Token Vectors и Query Token Vectors. Это контекстуализированные эмбеддинги, сгенерированные из исходного контента (текст, мультимедиа) с помощью больших языковых моделей (LLMs). Они инкапсулируют семантическое значение контента на уровне токенов.
• Мультимедиа факторы: Система может обрабатывать различные модальности, если используемые кодировщики (например, Gemini) поддерживают их и могут генерировать соответствующие токены и векторы.

Какие метрики используются и как они считаются

• Similarity Measure (Мера схожести): Используется для сравнения векторов. Примеры: косинусное сходство (cosine similarity), скалярное произведение (dot product), евклидово расстояние.
• MaxSim (Максимальная схожесть): Наибольшее значение Similarity Measure между конкретным токеном запроса и любым из токенов документа, попавшим в Топ-K.
• Imputed Value (Импутированное значение): Базовое значение схожести. Рассчитывается как наименьшее значение сходства в Топ-K списке для данного токена запроса (Claim 5) или как предопределенная константа.
• Relevance Score (Оценка релевантности): Агрегированная метрика. Рассчитывается как среднее (или сумма) всех Query Scores (MaxSim и Imputed Values) для документа. Формула усреднения: $RelevanceScore(Q, D) = \frac{1}{|Q|} \sum_{Q_i \in Q} QueryScore(Q_i, D)$.

1. Токен-уровневые взаимодействия (Late Interaction) как стандарт Retrieval: Патент подтверждает, что Google использует модели позднего взаимодействия для отбора кандидатов. Система оценивает релевантность через сумму локальных взаимодействий между отдельными контекстуализированными токенами, что обеспечивает высокую точность.
2. Механизм импутации (Imputation) — ключ к масштабированию: Использование Imputed Values вместо фактического расчета схожести для не извлеченных токенов является ядром изобретения. Это позволяет применять сложные модели позднего взаимодействия на ранних этапах поиска (L1/L2), радикально снижая вычислительную нагрузку.
3. Важность соответствия всем аспектам запроса: Поскольку финальная оценка агрегирует оценки по *каждому* токену запроса, документ должен хорошо соответствовать всем частям запроса. Если документ нерелевантен части запроса, он получит низкое Imputed Value по соответствующим токенам, что снизит общий Relevance Score.
4. Специфичный процесс обучения для извлекаемости (Retrieval-Aware Training): Описанный процесс обучения (без импутации, с нулевой оценкой за не извлеченные токены) штрафует модели, если релевантные токены не попадают в Топ-K. Это заставляет кодировщики генерировать представления, оптимизированные именно для задачи поиска.
5. Семантическое соответствие критично: Для SEO это означает, что релевантность определяется тем, насколько семантически близки токены документа к токенам запроса с точки зрения нейросетевых энкодеров (BERT/Gemini). Контекст определяет векторное представление токена.

Best practices (это мы делаем)

• Обеспечение полноты и комплексности контента (Topical Coverage): Создавайте контент, который полностью покрывает интент запроса и все его составные части. Пропуск одного из аспектов запроса приведет к получению низкого Imputed Value по соответствующим токенам и снижению общей релевантности.
• Фокус на семантической точности и ясности изложения: Важно, чтобы ключевые концепции были четко выражены. Это увеличивает вероятность того, что Document Encoder создаст сильные векторные представления, которые достигнут высокого значения MaxSim при сравнении с токенами запроса.
• Использование релевантной терминологии и сущностей: Используйте разнообразную, но точную лексику, соответствующую тематике. Это помогает гарантировать, что ваши токены будут иметь высокую схожесть с различными формулировками запроса и попадут в Топ-K при поиске.
• Оптимизация под пассажи (Passage Relevance): Структурируйте контент так, чтобы ключевая информация была сконцентрирована в семантически завершенных пассажах. Модели позднего взаимодействия могут идентифицировать сильные локальные сигналы сходства в отдельных частях документа.

Worst practices (это делать не надо)

• Поверхностный контент и "водянистость": Создание контента, который лишь частично затрагивает тему. Такой контент может быть отобран как кандидат, но получит много низких Imputed Values при расчете финальной оценки.
• Keyword Stuffing и неестественный язык: Перенасыщение текста ключевыми словами неэффективно. Кодировщики генерируют контекстуализированные векторы; неестественное использование слов может привести к созданию нерелевантных векторных представлений.
• Игнорирование второстепенных интентов в сложных запросах: Фокусировка только на основном интенте и игнорирование уточнений приведет к потере релевантности по этим аспектам из-за механизма агрегации оценок.

Стратегическое значение

Этот патент подтверждает стратегический курс Google на использование сложных моделей машинного обучения на всех этапах поиска и демонстрирует, как решаются проблемы их масштабирования. Для SEO это означает, что семантическое соответствие становится еще более гранулярным. Стратегия должна смещаться от оптимизации под ключевые слова к оптимизации под семантические векторы и обеспечению максимального соответствия на уровне отдельных концепций (токенов) внутри контента.

Практические примеры

Сценарий: Оценка статьи по сложному запросу

Запрос: "Преимущества интервального голодания для начинающих спортсменов"

Токены запроса (упрощенно): ["Преимущества", "интервальное голодание", "начинающие", "спортсмены"]

1. Статья А (Комплексная): Подробно описывает плюсы голодания, дает советы новичкам, учитывает спортивную нагрузку.
   • Токен "Преимущества": Высокий MaxSim.
   • Токен "интервальное голодание": Высокий MaxSim.
   • Токен "начинающие": Высокий MaxSim.
   • Токен "спортсмены": Высокий MaxSim.
   • Итог: Высокий средний Relevance Score.
2. Статья Б (Поверхностная): Общая статья про интервальное голодание без фокуса на спорте.
   • Токен "Преимущества": Высокий MaxSim.
   • Токен "интервальное голодание": Высокий MaxSim.
   • Токен "начинающие": Средний MaxSim.
   • Токен "спортсмены": Токены статьи Б не попали в Топ-K. Система присваивает низкий Imputed Value.
   • Итог: Средний Relevance Score, ниже чем у Статьи А из-за импутации по одному из ключевых аспектов запроса.