Как Google использует архитектуру нейронных сетей «Two-Tower» для семантического поиска и оценки контента

Термины и определения

Relevance Model (Модель релевантности)

Система, включающая две отдельные нейронные сети (Input и Subsequent Content), предназначенная для определения релевантности между входными данными и контентом.

Input Neural Network (Входная нейронная сеть)

Одна из двух сетей в Relevance Model. Обрабатывает входные данные (например, запрос) и генерирует Input Vector.

Subsequent Content Neural Network (Нейронная сеть последующего контента)

Вторая сеть в Relevance Model. Обрабатывает контент (например, текстовый сегмент документа) и генерирует Subsequent Content Vector. Используется офлайн для предварительного расчета векторов контента.

Initial Content / Input (Начальный контент / Входные данные)

Данные, подаваемые на Input Neural Network. При обучении это может быть первое предложение или сообщение. При поиске — запрос пользователя.

Subsequent Content (Последующий контент)

Данные, подаваемые на Subsequent Content Neural Network. При обучении это контент, который следует за Initial Content (например, следующее предложение или ответ на сообщение). При поиске — индексируемый контент.

Input Vector / Subsequent Content Vector (Векторы)

Числовые представления (embeddings), генерируемые соответствующими нейронными сетями. Они отражают имплицитную семантическую репрезентацию текста.

Relevance Measure Module (Модуль измерения релевантности)

Компонент, который сравнивает Input Vector и Subsequent Content Vector для определения степени релевантности. Обычно использует скалярное произведение (dot product).

Dot Product (Скалярное произведение)

Математическая операция над двумя векторами, результат которой является скалярной величиной, используемой как мера релевантности (например, от 0 до 1).

Cooperative Training (Совместное обучение)

Процесс, при котором две отдельные нейронные сети обучаются одновременно. Ошибка, рассчитанная на основе сравнения их выходных векторов, используется для обновления весов обеих сетей (backpropagation).

Quality Model (Модель качества)

Дополнительная модель, которая использует вектор контента (сгенерированный Subsequent Content Neural Network) для предсказания Quality Value (оценки качества) этого контента.

Semantic Density Model (Модель семантической плотности)

Модель (например, Gaussian Mixture Model), которая использует вектор контента для определения того, насколько этот контент является распространенным или уникальным (Semantic Density Value).

Text Segment (Текстовый сегмент)

Единица индексируемого контента (предложение, абзац, заголовок).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс информационного поиска с использованием предобученной модели.

1. Система получает текстовый запрос.
2. Представление запроса подается на обученную Input Neural Network Model.
3. Генерируется вектор запроса (Query Vector).
4. Ключевой аспект обучения: Указывается, что эта Input Neural Network была обучена с использованием backpropagation на основе ошибок. Эти ошибки вычислялись как функция сравнения тренировочных векторов запросов (от этой сети) и векторов последующего контента (от отдельной Subsequent Content Neural Network Model).
5. Определяются релевантные текстовые сегменты путем сравнения Query Vector с предварительно сохраненными векторами (pre-stored vectors).
6. Ключевой аспект индексирования: Указывается, что эти pre-stored vectors были сгенерированы путем применения представлений текстовых сегментов к Subsequent Content Neural Network Model.
7. Система предоставляет результаты, основанные на этих сегментах.

Это классическое описание процесса Dense Retrieval с использованием архитектуры Two-Tower. Подтверждается, что сети обучаются совместно (на основе общих ошибок), но используются раздельно: одна для генерации вектора запроса в реальном времени, другая — для предварительной генерации векторов контента.

Claim 2 и 9 (Зависимые): Уточняют метод сравнения векторов.

• Сравнение вектора запроса и предварительно сохраненного вектора основано на результате их скалярного произведения (dot product).

Dot product используется как эффективная метрика близости в векторном пространстве для определения релевантности.

Claim 3 и 10 (Зависимые): Уточняют процесс скоринга.

• Ранжирование (scoring) текстового сегмента основано на результате dot product. Результат предоставляется на основе этого скоринга.

Claim 4, 6, 11, 13 (Зависимые): Описывают использование дополнительных сигналов при скоринге.

• Скоринг также основывается на предварительно сохраненном значении качества (Quality Value) (Claim 4, 11).
• Скоринг также основывается на предварительно сохраненном значении семантической плотности (Semantic Density Value) (Claim 6, 13).

Финальный скоринг не полагается только на семантическую близость (dot product). Он также учитывает качество и уникальность/распространенность контента.

Claim 5 и 12 (Зависимые): Уточняют, как определяется Quality Value.

• Quality Value определяется путем применения предварительно сохраненного вектора контента к обученной модели качества (trained Quality Neural Network Model).

Вектор, сгенерированный Subsequent Content Neural Network, используется не только для поиска, но и как входной признак для отдельной модели, предсказывающей качество контента.

Где и как применяется

Изобретение охватывает ключевые этапы архитектуры поиска: обучение моделей, индексирование и ранжирование (поиск).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения Subsequent Content Neural Network.

1. Извлечение признаков: Система анализирует ресурсы и разбивает их на текстовые сегменты (Text Segment Engine).
2. Генерация векторов контента: Indexing Relevance Engine применяет представление каждого сегмента к Subsequent Content Neural Network для генерации семантического вектора.
3. Расчет дополнительных метрик: Сгенерированный вектор подается на вход Quality Model для расчета Quality Value и на вход Semantic Density Model для расчета Semantic Density Value.
4. Сохранение в индексе: Все эти данные (вектор, оценка качества, оценка плотности) сохраняются в индексе в ассоциации с текстовым сегментом.

RANKING – Ранжирование (L1 Retrieval / Отбор кандидатов)
Это этап применения Input Neural Network и использования предварительно рассчитанных данных.

1. Генерация вектора запроса: При получении запроса Retrieval Relevance Engine применяет его представление к Input Neural Network для генерации Query Vector в реальном времени.
2. Отбор кандидатов (Retrieval): Relevance Measure Module сравнивает Query Vector с предварительно сохраненными векторами контента в индексе. Это сравнение (dot product) позволяет быстро найти семантически близкие текстовые сегменты.
3. Скоринг: Scoring Engine рассчитывает итоговую оценку для кандидатов, используя меру релевантности (dot product) и, опционально, сохраненные Quality Value и Semantic Density Value.

Входные данные:

• На этапе индексирования: Текстовые сегменты ресурсов и их контекст.
• На этапе ранжирования: Запрос пользователя; Индекс, содержащий пре-рассчитанные векторы, Quality Values, Semantic Density Values.

Выходные данные:

• На этапе индексирования: Аннотированный индекс с векторами и метриками.
• На этапе ранжирования: Набор релевантных текстовых сегментов, отсортированных по итоговому скору.

На что влияет

• Все типы контента и запросов: Патент описывает фундаментальный механизм определения релевантности, который может применяться ко всем типам текстового контента (веб-страницы, PDF, отзывы, комментарии) и ко всем типам запросов.
• Семантическое понимание: Основное влияние — способность системы находить ответы, которые не содержат точных ключевых слов из запроса, но семантически соответствуют ему (например, ответ про «блики на экране» на запрос «Is there glare?»).
• Оценка качества и уникальности: Влияет на ранжирование через интеграцию сигналов качества и семантической плотности, рассчитанных на основе тех же семантических векторов.

Когда применяется

• Индексирование: Применяется постоянно при сканировании и обработке новых или обновленных ресурсов для генерации или обновления векторов и метрик.
• Ранжирование: Применяется при каждом поисковом запросе для быстрого отбора кандидатов (Retrieval) на основе семантической близости векторов.

Пошаговый алгоритм

Процесс А: Совместное обучение моделей (Training)

1. Сбор данных: Идентифицируется пакет тренировочных примеров. Каждый пример содержит пару <Input, Subsequent Content> и метку (Positive/Negative).
2. Генерация векторов: Для каждого примера в пакете:
   • Представление Input подается на Input Neural Network для генерации Input Vector.
   • Представление Subsequent Content подается на Subsequent Content Neural Network для генерации Subsequent Content Vector.
3. Расчет релевантности: Вычисляется мера релевантности путем скалярного произведения (dot product) между Input Vector и Subsequent Content Vector.
4. Расчет ошибки: Определяется ошибка путем сравнения вычисленной релевантности с целевой меткой (Positive/Negative).
5. Генерация дополнительных негативных примеров (Опционально): Система может использовать векторы из разных пар внутри одного пакета для создания дополнительных негативных примеров (In-batch negatives), рассчитывая их релевантность и ошибки.
6. Обновление моделей: Определяется общая ошибка для пакета. Выполняется обратное распространение ошибки (backpropagation) для обновления весов как Input Neural Network, так и Subsequent Content Neural Network.

Процесс Б: Индексирование (Indexing / Offline Processing)

1. Идентификация ресурса и сегментация: Ресурс идентифицируется и разбивается на текстовые сегменты.
2. Генерация вектора контента: Представление текстового сегмента (и опционально его контекста) подается на обученную Subsequent Content Neural Network для генерации вектора контента.
3. Расчет дополнительных метрик:
   • Вектор контента подается на Quality Model для генерации Quality Value.
   • Вектор контента подается на Semantic Density Model для генерации Semantic Density Value.
4. Сохранение: Вектор контента, Quality Value и Semantic Density Value сохраняются в индексе в ассоциации с сегментом.

Процесс В: Поиск (Retrieval / Online Processing)

1. Получение запроса: Система получает запрос пользователя.
2. Генерация вектора запроса: Представление запроса подается на обученную Input Neural Network для генерации Query Vector.
3. Поиск кандидатов: Query Vector сравнивается с предварительно сохраненными векторами контента в индексе (например, с использованием Approximate Nearest Neighbor поиска для эффективности).
4. Скоринг: Идентифицированные кандидаты оцениваются. Скор рассчитывается на основе сравнения векторов (dot product) и, опционально, с учетом Quality Value и Semantic Density Value.
5. Предоставление результатов: Результаты, основанные на отсортированных текстовых сегментах, предоставляются пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке текстовых данных и использовании производных метрик.

• Контентные факторы (Текст): Основные данные — это текст запросов (Input) и текст индексируемых ресурсов (Subsequent Content). Они преобразуются в числовые представления (например, bag-of-words embeddings n-грамм, или выходные состояния LSTM) для подачи на нейронные сети. Также используется контекст контента (например, окружающий текст, заголовки).
• Поведенческие факторы (для обучения Quality Model): В патенте упоминается, что Training Quality Value для обучения Quality Model может основываться на индикаторах качества, таких как количество upvotes/downvotes (голосов за/против) контента (например, комментариев).

Какие метрики используются и как они считаются

• Input Vector / Subsequent Content Vector (Embeddings): Генерируются соответствующими нейронными сетями. Это плотные векторы, фиксированной размерности, представляющие семантику текста.
• Relevance Value (Мера релевантности): Рассчитывается как скалярное произведение (dot product) между Input Vector и Subsequent Content Vector. Результат — скалярная величина (например, от 0 до 1), указывающая на семантическую близость.
• Quality Value (Оценка качества): Рассчитывается путем подачи Subsequent Content Vector на вход Quality Model (отдельная нейронная сеть). Результат — скалярная величина, предсказывающая качество контента.
• Semantic Density Value (Оценка семантической плотности): Рассчитывается путем подачи Subsequent Content Vector на вход Semantic Density Model (например, Gaussian Mixture Model, обученной на большом количестве векторов). Результат указывает, насколько распространенным или уникальным является данный семантический вектор по сравнению с другими векторами в индексе.
• Error (Ошибка при обучении): Разница между предсказанной релевантностью (dot product) и фактической релевантностью (метка Positive/Negative). Используется для обновления весов сетей через backpropagation.

1. Фундамент семантического поиска: Патент описывает архитектуру «Two-Tower», которая является основой для реализации нейронного поиска (Dense Retrieval) в Google. Это подтверждает, что релевантность определяется через семантическую близость векторов (embeddings), а не через лексическое совпадение (ключевые слова).
2. Эффективность и масштабируемость: Ключевое преимущество системы — возможность предварительного расчета векторов для всего контента офлайн с помощью Subsequent Content Neural Network. Это позволяет выполнять быстрый семантический поиск в реальном времени, используя только Input Neural Network для обработки запроса.
3. Обучение на основе контекста и ответов: Модели обучаются предсказывать «последующий контент» (следующее предложение, ответ на сообщение). Это означает, что система учится понимать естественное течение разговора, контекст и интент, лежащий за текстом.
4. Интеграция сигналов качества и уникальности: Векторы контента используются не только для поиска, но и как входные данные для Quality Model и Semantic Density Model. Финальный скоринг учитывает не только релевантность (dot product), но и качество, и уникальность контента.
5. Важность качества контента (E-E-A-T): Наличие Quality Model, обучаемой на основе пользовательских сигналов (например, upvotes) и текстовых паттернов (через векторы), подчеркивает, что контент должен соответствовать критериям качества, чтобы ранжироваться высоко, даже если он семантически релевантен.
6. Важность уникальности (Semantic Density): Использование Semantic Density Model предполагает, что контент, который является слишком распространенным или повторяющимся (имеет вектор, близкий ко многим другим векторам), может оцениваться иначе, чем уникальный и информативный контент.

Best practices (это мы делаем)

• Фокус на семантическом соответствии и раскрытии темы (Topical Authority): Создавайте контент, который всесторонне покрывает тему и отвечает на интент пользователя, а не оптимизирован под отдельные ключевые слова. Необходимо обеспечить, чтобы семантический вектор вашего контента был максимально близок к векторам запросов, связанных с вашей темой.
• Обеспечение логической структуры и контекста: Поскольку модели обучаются на парах «начальный» и «последующий» контент, важно, чтобы текст был когерентным, логически структурированным и содержал достаточный контекст. Каждый сегмент текста (предложение, абзац) должен естественно вытекать из предыдущего.
• Повышение качества контента (E-E-A-T): Инвестируйте в создание экспертного и авторитетного контента. Quality Model использует те же семантические векторы для оценки качества. Контент должен демонстрировать паттерны, которые система ассоциирует с высоким качеством (например, глубина анализа, ясность изложения, достоверность).
• Создание уникальной ценности (Semantic Density): Стремитесь создавать контент, который предлагает уникальную информацию или новый взгляд на тему. Избегайте поверхностного рерайтинга существующего контента, так как он будет иметь высокую семантическую плотность (будет слишком похож на множество других документов) и может быть пессимизирован.
• Оптимизация под Passage Retrieval: Убедитесь, что ключевая информация содержится в четких, самодостаточных абзацах. Система индексирует векторы для отдельных текстовых сегментов, и эти сегменты могут ранжироваться независимо.

Worst practices (это делать не надо)

• Keyword Stuffing и фокус на лексическом совпадении: Попытки манипулировать ранжированием путем повторения ключевых слов или создания текста только для совпадения с терминами запроса неэффективны. Система определяет релевантность на основе векторов, а не наличия слов.
• Создание поверхностного или шаблонного контента: Контент, который не несет уникальной ценности и повторяет общеизвестную информацию, будет иметь неоптимальный Semantic Density Value и, вероятно, низкий Quality Value.
• Игнорирование структуры и контекста: Бессвязный текст, отсутствие четкой структуры или недостаток контекста приведут к генерации некачественных семантических векторов, что ухудшит как определение релевантности, так и оценку качества.

Стратегическое значение

Этот патент описывает инфраструктуру, которая делает возможным переход Google к полностью семантическому поиску. Он подтверждает, что будущее SEO лежит в области понимания того, как нейронные сети интерпретируют контент. Стратегический приоритет смещается от традиционной оптимизации под ключевые слова к оптимизации под семантические векторы. Это требует глубокого понимания темы, интента пользователя и создания контента, который по своей сути является качественным, уникальным и контекстуально богатым.

Практические примеры

Сценарий: Оптимизация статьи о питании для собак

Плохая практика (фокус на ключевых словах): Статья с заголовком «Лучший корм для собак: кормление собак и еда для собак». Текст повторяет фразы «лучший корм» и «еда для собак», но не дает конкретных рекомендаций по выбору или анализу ингредиентов.

Хорошая практика (фокус на семантике и качестве):

1. Анализ интента: Пользователь хочет понять, как выбрать корм и какие ингредиенты важны.
2. Создание контента: Статья с заголовком «Как выбрать корм для собаки: руководство по ингредиентам и питанию».
3. Структура и контекст: Отдельные абзацы посвящены белкам, углеводам, витаминам, и потребностям разных пород. Текст логичен и последователен.
4. Ожидаемый результат (по патенту):
   • Subsequent Content NN генерирует качественные векторы для каждого абзаца.
   • Quality Model присваивает высокий Quality Value.
   • Semantic Density Model определяет контент как информативный (оптимальная плотность).
   • При запросе «что должно быть в хорошем собачьем корме» (даже если этих слов нет в тексте), Input NN генерирует вектор запроса, который будет близок (высокий dot product) к векторам абзацев про ингредиенты, что приведет к высокому ранжированию.