Как Google использует нейросетевые эмбеддинги (Two-Tower Model) для семантического поиска изображений с учетом контекста страницы

Термины и определения

Dot Product (Скалярное произведение)

Математическая операция над двумя векторами. В контексте патента используется как мера близости между Query Numeric Embedding и Pair Numeric Embedding. Более высокое значение указывает на большую релевантность.

Embedding Space (Пространство эмбеддингов)

Многомерное векторное пространство, в которое проецируются запросы и пары "изображение + страница". Расстояние в этом пространстве отражает семантическое сходство.

Embedding-based retrieval (Поиск на основе эмбеддингов)

Метод поиска кандидатов, основанный на семантической близости векторных представлений, а не на совпадении терминов.

Image Search Query Embedding Neural Network

Одна из двух "башен" модели. Обрабатывает признаки запроса (текст, локация и т.д.) и генерирует Query Numeric Embedding.

Image-Landing Page Pair (Пара изображение-посадочная страница)

Единица индексирования в системе. Включает само изображение и страницу, на которой оно размещено.

Loss Function (Функция потерь)

Функция (например, sampled softmax loss, contrastive loss), используемая при обучении модели. Цель обучения — минимизировать её значение, тем самым улучшая качество эмбеддингов.

Pair Embedding Neural Network

Вторая "башня" модели. Обрабатывает признаки изображения и посадочной страницы совместно и генерирует Pair Numeric Embedding.

Pair Numeric Embedding (Числовой эмбеддинг пары)

Векторное представление пары "изображение + страница" в Embedding Space.

Query Numeric Embedding (Числовой эмбеддинг запроса)

Векторное представление поискового запроса в том же Embedding Space.

Two-Tower Model (Модель "Две Башни")

Архитектура нейронной сети (подразумеваемая в патенте), состоящая из двух отдельных нейронных сетей, которые независимо обрабатывают два разных типа входных данных (запрос и документ/пару), но проецируют их в общее пространство.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод поиска изображений.

1. Система получает поисковый запрос по изображениям.
2. Определяются числовые эмбеддинги (Pair Numeric Embeddings) для множества пар "изображение + страница". Ключевой момент: эти эмбеддинги получаются путем доступа к индексной базе (accessing an index database), где они уже были предварительно сгенерированы с помощью Pair Embedding Neural Network.
3. Признаки запроса обрабатываются с помощью Image Search Query Embedding Neural Network для генерации Query Numeric Embedding в том же пространстве.
4. Система идентифицирует первые результаты-кандидаты как подмножество пар, чьи эмбеддинги наиболее близки к эмбеддингу запроса.
5. Результаты ранжируются и предоставляются пользователю.

Критическое уточнение в Claim 1: Определяет метод обучения. Pair Embedding Neural Network и Image Search Query Embedding Neural Network обучаются совместно (trained jointly) для минимизации функции потерь (loss function), которая зависит от скалярного произведения (dot product) между эмбеддингами тренировочного запроса и тренировочной пары.

Claim 3 и 4 (Зависимые от 1): Уточняют цель обучения и источник данных.

Обучение настраивает параметры сетей так, чтобы скалярное произведение было выше для положительных примеров, чем для отрицательных. Положительный пример идентифицируется, когда пользователь взаимодействовал (interacted with) с результатом поиска (т.е. клики).

Claim 5 и 6 (Зависимые от 1): Описывают совместное использование параметров.

Две нейронные сети могут разделять (использовать общие) параметры (share at least some parameters). Это особенно актуально для признаков, взятых из одного словаря (например, текстовые признаки в запросе и текстовые признаки на странице).

Claim 9-12 (Зависимые от 1): Определяют основные признаки, используемые для генерации эмбеддинга пары.

Признаки пары являются комбинацией признаков страницы и признаков изображения.

• Признаки страницы: текст заголовка, важные термины (salient terms) на странице, текст URL, домен страницы.
• Признаки изображения: пиксельные данные (pixel data) или эмбеддинг изображения (embedding of the image), текст URL изображения, домен изображения.

Claim 13-16 (Зависимые от 1): Определяют дополнительные признаки пары.

Упоминаются критически важные дополнительные признаки:

• Дата обновления страницы (date the respective landing page was updated) (Claim 14).
• Контекст изображения на странице (context of the respective image) (Claim 15).
• Локация (расположение) изображения на странице (location of the respective image within the respective landing page) (Claim 16).

Где и как применяется

Изобретение затрагивает этапы индексирования и ранжирования (на стадии отбора кандидатов).

INDEXING – Индексирование и извлечение признаков
Основная часть работы происходит на этом этапе офлайн. Система извлекает признаки из изображений и посадочных страниц (текст, URL, дата обновления, контекст размещения изображения). Затем Pair Embedding Neural Network используется для генерации Pair Numeric Embedding для каждой пары. Эти эмбеддинги сохраняются в индексной базе данных, готовые для быстрого поиска.

QUNDERSTANDING – Понимание Запросов
При получении запроса система извлекает его признаки (текст, местоположение и т.д.). Затем Image Search Query Embedding Neural Network в реальном времени генерирует Query Numeric Embedding.

RANKING – Ранжирование (L1 Retrieval / Отбор кандидатов)
Это основное применение патента в реальном времени. Вместо традиционного поиска по инвертированному индексу (по ключевым словам), система выполняет быстрый поиск ближайших соседей (часто Approximate Nearest Neighbor, ANN) в пространстве эмбеддингов. Это позволяет эффективно сократить миллионы потенциальных изображений до небольшого набора семантически релевантных кандидатов.

Входные данные (Онлайн):

• Признаки поискового запроса.
• Индексная база данных предварительно вычисленных Pair Numeric Embeddings.

Выходные данные (Онлайн):

• Набор кандидатов (First candidate image search results), отобранных на основе векторной близости.

На что влияет

• Типы контента: Влияет исключительно на поиск изображений и представление изображений в универсальной выдаче.
• Специфические запросы: Наибольшее влияние оказывается на длинные (long-tail), сложные или неоднозначные запросы, где точное совпадение ключевых слов менее вероятно, но семантический интент ясен.
• Мультиязычность: Патент упоминает, что система может улучшить работу с мультиязычными запросами, используя изображения как язык-независимый сигнал для связывания контента на разных языках.

Когда применяется

Алгоритм применяется при обработке запросов в системе поиска изображений. Он используется на начальном этапе поиска (Retrieval) для быстрого отбора кандидатов. Патент указывает, что эта система (embedding-based retrieval) может использоваться совместно с традиционной системой Term-based retrieval для обеспечения максимального охвата (Recall).

Пошаговый алгоритм

Процесс А: Обучение модели (Офлайн)

1. Сбор данных: Сбор обучающих данных, включающих запросы и результаты поиска, с которыми взаимодействовали пользователи (положительные примеры, Claim 4).
2. Генерация примеров: Формирование положительных и отрицательных обучающих пар (запрос, изображение+страница).
3. Извлечение признаков: Извлечение признаков из запросов, изображений и страниц.
4. Совместное обучение (Joint Training): Обучение Image Search Query Embedding Neural Network и Pair Embedding Neural Network одновременно. Цель — минимизировать функцию потерь (например, sampled softmax loss), чтобы скалярное произведение эмбеддингов для положительных пар было высоким, а для отрицательных — низким (Claim 3).

Процесс Б: Индексирование (Офлайн)

1. Обработка пар: Для каждой пары "изображение + страница" извлекаются признаки (текст, контекст, пиксели, даты и т.д.).
2. Генерация эмбеддингов пар: Обученная Pair Embedding Neural Network обрабатывает признаки и генерирует Pair Numeric Embedding.
3. Сохранение в индексе: Эмбеддинги сохраняются в индексной базе данных, оптимизированной для векторного поиска (Claim 1).

Процесс В: Обработка запроса и поиск (Онлайн)

1. Получение запроса: Система получает запрос от пользователя.
2. Генерация эмбеддинга запроса: Обученная Image Search Query Embedding Neural Network обрабатывает признаки запроса и генерирует Query Numeric Embedding.
3. Векторный поиск: Система выполняет поиск ближайших соседей в индексной базе, сравнивая Query Numeric Embedding с сохраненными Pair Numeric Embeddings.
4. Отбор кандидатов: Идентифицируется подмножество пар (Top-K), чьи эмбеддинги наиболее близки к эмбеддингу запроса.
5. Ранжирование и выдача: Отобранные кандидаты передаются на следующие этапы ранжирования, после чего формируется выдача.

Какие данные и как использует

Данные на входе

Система использует широкий спектр признаков для генерации эмбеддингов.

Признаки запроса (Query Features):

• Текстовые факторы: Текст запроса (упоминаются униграммы и биграммы).
• Географические факторы: Данные о местоположении, откуда был отправлен запрос (location features).

Признаки пары (Pair Features) - Изображение:

• Мультимедиа факторы: Пиксельные данные изображения (pixel data) или предварительно вычисленный эмбеддинг контента изображения.
• Технические факторы: Текст из URL изображения (униграммы/биграммы), домен изображения.

Признаки пары (Pair Features) - Посадочная страница:

• Контентные факторы: Текст заголовка страницы (title), важные термины на странице (salient terms). Также упоминаются ключевые слова, характеризующие контент, и язык страницы.
• Технические факторы: Текст из URL страницы, домен страницы.
• Временные факторы: Дата первого сканирования или обновления страницы (date the page was first crawled or updated) (Claim 14).
• Авторские факторы: Данные, характеризующие автора страницы.

Признаки пары (Pair Features) - Контекст изображения на странице:

• Структурные факторы (Локация): Расположение изображения на странице (Claim 16). Упоминаются пиксельные координаты, идентификатор на основе HTML/XML DOM (XPATH-like), CSS-селектор.
• Структурные факторы (Значимость): Заметность (prominence) изображения на странице, измеряемая через относительный размер отображения.
• Контентные факторы (Описание): Текстовые описания изображения на странице, включая alt-text (alt-text labels) и текст, окружающий изображение (text surrounding the image).

Поведенческие факторы (Для обучения):

• Данные о взаимодействии пользователей с результатами поиска (клики) используются для определения положительных и отрицательных обучающих примеров (Claim 4).

Какие метрики используются и как они считаются

• Векторная близость: Основная метрика для поиска. Измеряется как близость в Embedding Space. Конкретно упоминается Dot Product (скалярное произведение) между Query Numeric Embedding и Pair Numeric Embedding.
• Функция потерь (Loss Function): Используется при обучении для оптимизации параметров модели. Упоминаются softmax with cross-entropy loss, sampled softmax loss и contrastive loss functions.
• Метрики признаков: Внутри нейронных сетей признаки (например, текст) преобразуются в векторы с помощью встраиваемых подсетей (embedding subnetworks) или таблиц поиска (look-up table).

1. (Изображение + Страница) как единое целое: Ключевой вывод — Google не ранжирует изображение изолированно. Система генерирует единый эмбеддинг (Pair Numeric Embedding), объединяя признаки изображения и его контекста на странице (тема страницы, окружающий текст, расположение, заметность). Это подчеркивает важность сильной тематической связи между визуальным и текстовым контентом.
2. Семантическое понимание в поиске изображений: Патент подтверждает переход Google от сопоставления ключевых слов к глубокому семантическому пониманию (Embedding-based retrieval). Система стремится понять смысл запроса и контента с помощью векторных представлений.
3. Архитектура Two-Tower для эффективности: Использование модели "Две Башни" позволяет предварительно вычислять эмбеддинги для всех изображений офлайн. В реальном времени вычисляется только эмбеддинг запроса, что обеспечивает высокую скорость поиска (Retrieval) с помощью методов ближайших соседей (ANN).
4. Обучение на основе взаимодействий пользователей: Модели обучаются совместно (trained jointly) на основе реальных пользовательских взаимодействий (кликов). Система адаптируется к тому, что пользователи считают полезным.
5. Важность технических и структурных факторов: Патент явно указывает на использование структурных данных о размещении изображения (локация) и его заметности (prominence). Это говорит о важности технической оптимизации и UX для интерпретации контекста изображения.
6. Свежесть как сигнал: Дата обновления страницы (Claim 14) явно указана как один из признаков, используемых для генерации эмбеддинга пары, что подтверждает важность актуальности контента.

Best practices (это мы делаем)

• Обеспечение сильной семантической согласованности: Убедитесь, что изображение, его непосредственный контекст (alt-текст, подпись, окружающий текст) и общая тема посадочной страницы тесно связаны семантически. Система должна понять, что эта страница является лучшим контекстом для этого изображения.
• Оптимизация контекста размещения изображения: Размещайте наиболее важные изображения на видном месте (prominence) и в релевантном текстовом окружении. Патент учитывает расположение (location) и окружающий текст как признаки для эмбеддинга.
• Использование высококачественных и уникальных изображений: Поскольку система использует визуальные признаки (пиксельные данные или эмбеддинги контента изображения), качество, уникальность и информативность изображения играют роль в формировании итогового Pair Numeric Embedding.
• Поддержание актуальности контента: Поскольку дата обновления страницы используется как признак (Claim 14), регулярное обновление и актуализация посадочных страниц с важными изображениями может положительно влиять на их эмбеддинги.
• Техническая оптимизация URL: Используйте описательные URL для страниц и файлов изображений. Текст из URL страницы и изображения явно указан как входной признак для нейронной сети.

Worst practices (это делать не надо)

• Размещение нерелевантных изображений (Image Stuffing): Добавление изображений на страницу, которые семантически не связаны с ее контентом. Это приведет к формированию "размытого" эмбеддинга пары, который не будет соответствовать конкретным запросам.
• Оптимизация только Alt-текста: Фокусировка исключительно на ключевых словах в alt-тексте при игнорировании окружающего контента. Система анализирует гораздо более широкий контекст для понимания релевантности.
• Использование вводящих в заблуждение контекстов: Размещение изображения в окружении текста, который не соответствует его содержанию (например, кликбейт). Это может привести к плохому взаимодействию пользователей, что в дальнейшем негативно повлияет на обучение модели (поскольку обучение основано на кликах).
• Игнорирование технических сигналов и UX: Скрытие изображений с помощью CSS, размещение их в самом низу страницы или в неинформативных блоках (футер, сайдбар) может снизить их значимость при расчете эмбеддинга из-за низких показателей location и prominence.

Стратегическое значение

Этот патент подтверждает, что Google Images функционирует как полноценная семантическая (векторная) поисковая система. Стратегия SEO должна рассматривать пару "изображение + посадочная страница" как единое целое. Успех зависит от способности создавать контент, где визуальные и текстовые элементы дополняют друг друга, формируя четкий семантический сигнал. Развитие тематического авторитета (Topical Authority) сайта положительно влияет на поиск изображений, так как авторитетная страница обеспечивает более сильный контекстуальный сигнал для размещенных на ней изображений.

Практические примеры

Сценарий: Оптимизация карточки товара E-commerce

Задача: Улучшить ранжирование основного изображения товара "Кроссовки Nike Air Max 270 Black" в Google Images.

1. Анализ текущего состояния: Традиционный подход фокусируется на alt="Кроссовки Nike Air Max 270 Black".
2. Применение инсайтов патента: Система генерирует Pair Numeric Embedding, учитывая:
   • Изображение: Высокое качество, четкое изображение кроссовок (pixel data/визуальный эмбеддинг).
   • Контекст: Изображение размещено на видном месте, вверху страницы (prominence, location).
   • Посадочная страница: Заголовок H1 содержит название модели, в тексте присутствуют релевантные термины (salient terms) — "амортизация Air", "черный цвет", "мужская обувь". Дата обновления страницы актуальна (date updated).
3. Действия: Разместить изображение как основной элемент первого экрана. Убедиться, что текст вокруг изображения (например, блок с характеристиками) содержит семантически связанные термины. Обновить контент страницы, добавив свежий отзыв или обзор для актуализации даты.
4. Ожидаемый результат: Pair Embedding Neural Network генерирует более сильный и точный эмбеддинг для этой пары. Когда пользователь ищет "Nike Air Max 270 Black", Query Numeric Embedding будет иметь высокую близость (Dot Product) к эмбеддингу этой пары, улучшая её позиции на этапе Retrieval.