Как Google использует нейросетевые эмбеддинги (Embedding-Based Retrieval) для семантического поиска изображений

Описание

Какую задачу решает

Патент решает ограничения традиционных систем поиска изображений. Существующие методы часто полагаются на поиск по ключевым терминам (term-based retrieval), что неэффективно для длинных, сложных или неоднозначных запросов. Кроме того, традиционные подходы часто оценивают сигналы изображения и сигналы посадочной страницы раздельно, а затем объединяют их с использованием фиксированных весов. Это не позволяет уловить сложные семантические взаимосвязи между контентом изображения и его контекстом на странице.

Что запатентовано

Запатентована система поиска изображений, основанная на эмбеддингах (Embedding-Based Retrieval или EBR). Используется архитектура нейронной сети, состоящая из двух отдельных моделей (часто называемая «Two-Tower Model»). Одна модель (Image Search Query Embedding Neural Network) обрабатывает запрос, а другая (Pair Embedding Neural Network) обрабатывает пару «изображение-посадочная страница» (image-landing page pair). Обе модели проецируют свои входные данные в общее семантическое пространство (Embedding Space), где релевантность определяется близостью этих векторов.

Как это работает

Система функционирует следующим образом:

• Офлайн-обработка (Индексирование): Для пар «изображение-посадочная страница» заранее вычисляются эмбеддинги (Pair Numeric Embedding). Нейронная сеть анализирует как признаки изображения (визуальный контент), так и признаки страницы (текст, заголовок, контекст вокруг изображения).
• Обработка запроса (Онлайн): При получении запроса вторая нейронная сеть вычисляет его эмбеддинг (Query Numeric Embedding) в том же векторном пространстве.
• Поиск (Retrieval): Система выполняет быстрый поиск ближайших соседей (nearest neighbors), находя пары, чьи эмбеддинги наиболее близки к эмбеддингу запроса.
• Кандидаты: Найденные пары становятся кандидатами для последующего ранжирования.

Актуальность для SEO

Крайне высокая. Embedding-Based Retrieval (EBR) является современным стандартом в информационном поиске, активно вытесняя или дополняя традиционные методы. Этот патент описывает фундаментальную архитектуру применения EBR к поиску изображений, что критически важно для понимания того, как Google интерпретирует изображения и их контекст в 2025 году.

Важность для SEO

Влияние на SEO изображений критическое (85/100). Патент описывает механизм перехода от поиска по ключевым словам к глубокому семантическому пониманию изображений. Он четко указывает, что Google не рассматривает изображение изолированно, а оценивает пару «изображение + страница» как единое целое. Это требует от SEO-специалистов комплексной оптимизации всех сигналов — визуального контента, его технической реализации и текстового контекста на странице — для обеспечения их семантического соответствия.

Детальный разбор

Термины и определения

Embedding Space (Пространство эмбеддингов)

Многомерное векторное пространство, в котором семантически схожие элементы (запросы, изображения, страницы) расположены близко друг к другу.

Embedding-Based Retrieval (EBR) (Поиск на основе эмбеддингов)

Метод информационного поиска, при котором кандидаты отбираются на основе близости их векторных представлений (эмбеддингов) к векторному представлению запроса.

Image-Landing Page Pair (Пара изображение-посадочная страница)

Единица индексации в данной системе, состоящая из изображения и веб-страницы (landing page), на которой оно размещено.

Image Search Query Embedding Neural Network

Нейронная сеть («башня»), отвечающая за преобразование признаков запроса в Query Numeric Embedding.

Joint Training (Совместное обучение)

Процесс одновременного обучения двух нейронных сетей для оптимизации общей целевой функции, гарантирующий, что они генерируют эмбеддинги в одном и том же Embedding Space.

Pair Embedding Neural Network

Нейронная сеть («башня»), отвечающая за преобразование признаков пары (изображение + страница) в Pair Numeric Embedding.

Prominence (Значимость/Заметность)

Признак, характеризующий визуальную важность изображения на странице, например, его относительный размер при отображении.

Salient Terms (Значимые термины)

Ключевые термины или сущности, извлеченные из контента посадочной страницы, которые лучше всего описывают ее тематику.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод поиска изображений.

1. Система получает запрос на поиск изображений.
2. Система генерирует (или получает доступ к ранее сгенерированным) Pair Numeric Embedding для множества пар «изображение-посадочная страница». Каждый эмбеддинг создается с помощью Pair Embedding Neural Network на основе признаков изображения И признаков посадочной страницы.
3. Система обрабатывает признаки запроса с помощью Image Search Query Embedding Neural Network для генерации Query Numeric Embedding в том же Embedding Space.
4. Ключевое условие: Обе нейронные сети были обучены СОВМЕСТНО (jointly trained) на обучающем наборе данных.
5. Система идентифицирует кандидатов (first candidate image search results), находя подмножество пар, чьи эмбеддинги НАИБОЛЕЕ БЛИЗКИ (closest) к эмбеддингу запроса в Embedding Space.
6. Система предоставляет результаты для отображения.

Ядром изобретения является применение архитектуры «двух башен» для мультимодального поиска, где отбор кандидатов основан на семантической близости в векторном пространстве, а не на совпадении ключевых слов.

Claim 3 (Зависимый): Уточняет механизм идентификации кандидатов.

Идентификация кандидатов включает определение расстояния в Embedding Space между эмбеддингом запроса и каждым из эмбеддингов пар.

Claims 8 и 9 (Зависимые): Уточняют интеграцию с другими системами.

Система может также использовать Term-based Retrieval System для получения дополнительного набора пар на основе ключевых терминов и объединять (merge) результаты из обеих систем (EBR и Term-based) перед предоставлением пользователю. Это указывает на гибридный подход к поиску.

Где и как применяется

Изобретение является фундаментальным изменением в архитектуре поиска изображений и затрагивает этапы индексирования и ранжирования (в части отбора кандидатов).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная офлайн-работа системы:

1. Извлечение признаков изображения (Image Features) и посадочной страницы (Landing Page Features).
2. Обработка этих признаков с помощью Pair Embedding Neural Network для генерации Pair Numeric Embedding.
3. Сохранение этих эмбеддингов в индексной базе данных (Index Database), оптимизированной для быстрого векторного поиска.

RANKING – Ранжирование (L1 — Retrieval / Отбор кандидатов)
Это основное применение патента в реальном времени. Вместо (или в дополнение к) традиционному поиску по инвертированному индексу, система использует EBR:

1. Запрос обрабатывается Image Search Query Embedding Neural Network для получения Query Numeric Embedding.
2. Система выполняет поиск ближайших соседей в Embedding Space, сравнивая эмбеддинг запроса с сохраненными эмбеддингами пар.
3. Этот процесс позволяет быстро сократить миллионы потенциальных результатов до небольшого набора семантически релевантных кандидатов (first candidate image search results).

Входные данные:

• Признаки запроса (текст, локация).
• Предварительно вычисленные Pair Numeric Embeddings из индекса.

Выходные данные:

• Набор кандидатов (first candidate image search results), отобранных на основе семантической близости.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на длинные (long-tail), сложные или неоднозначные запросы, где прямое совпадение ключевых слов отсутствует или не отражает интент пользователя. EBR позволяет лучше понять семантику запроса.
• Типы контента: Влияет на все типы изображений (продукты, иллюстрации, фотографии и т.д.).
• Языковые ограничения: Патент упоминает потенциальное преимущество: возможность одновременного обучения пространства эмбеддингов для запросов и пар на разных языках. Изображения могут служить «мостом» между языками, позволяя системе находить релевантный контент кросс-лингвально, используя визуальное сходство.

Когда применяется

Алгоритм применяется при обработке запросов в системе поиска изображений. Он может использоваться как основной механизм отбора кандидатов или работать параллельно с Term-based Retrieval System для обеспечения большего охвата (Recall). Система объединяет результаты из разных источников поиска для формирования финального набора кандидатов для ранжирования.

Пошаговый алгоритм

Процесс А: Офлайн-индексирование (Предварительная обработка)

1. Сбор данных: Идентификация пар «изображение-посадочная страница».
2. Извлечение признаков: Извлечение Image Features (визуальный контент, URL) и Landing Page Features (текст, заголовок, контекст изображения, структура).
3. Генерация эмбеддингов пар: Обработка признаков с помощью обученной Pair Embedding Neural Network для создания Pair Numeric Embedding.
4. Индексирование: Сохранение эмбеддингов в базе данных, оптимизированной для быстрого поиска ближайших соседей (например, ANN).

Процесс Б: Обработка запроса в реальном времени (Retrieval)

1. Получение запроса: Получение запроса на поиск изображений от пользователя.
2. Извлечение признаков запроса: Извлечение Query Features (текст, локация).
3. Генерация эмбеддинга запроса: Обработка признаков запроса с помощью обученной Image Search Query Embedding Neural Network для создания Query Numeric Embedding.
4. Поиск ближайших соседей (Nearest Neighbor Search): Сравнение эмбеддинга запроса с предварительно вычисленными эмбеддингами пар в Embedding Space.
5. Отбор кандидатов: Идентификация Топ-K пар, чьи эмбеддинги наиболее близки к эмбеддингу запроса (first candidate image search results).
6. Ранжирование: Передача кандидатов (возможно, объединенных с результатами из Term-based retrieval) в систему ранжирования для финальной сортировки.
7. Предоставление результатов: Формирование выдачи изображений.

Какие данные и как использует

Данные на входе

Система использует широкий спектр признаков для генерации эмбеддингов. Это критически важно, так как нейронная сеть обучается комбинировать эти сигналы оптимальным образом.

Признаки Запроса (Query Features):

• Контентные/Текстовые факторы: Текст запроса (упоминаются униграммы и биграммы).
• Пользовательские/Географические факторы: Данные о местоположении, откуда был отправлен запрос.

Признаки Изображения (Image Features):

• Мультимедиа факторы: Пиксельные данные изображения (pixel data) или предварительно вычисленный эмбеддинг контента изображения.
• Технические факторы: Домен изображения, текст из URL изображения (униграммы/биграммы).

Признаки Посадочной Страницы (Landing Page Features):

• Контентные/Текстовые факторы: Текст заголовка (Title) страницы, «значимые термины» (salient terms), появляющиеся на странице, текст, окружающий изображение, текстовые описания изображения (например, alt-text).
• Технические факторы: Текст из URL страницы, домен страницы, язык страницы.
• Структурные факторы (Контекст изображения): Местоположение изображения на странице (например, с использованием пиксельных координат, XPATH или CSS-селектора). Заметность (prominence) изображения на странице (например, относительный размер).
• Факторы E-E-A-T: Данные, характеризующие автора посадочной страницы.

Какие метрики используются и как они считаются

• Closeness/Distance in Embedding Space (Близость/Расстояние в пространстве эмбеддингов): Основная метрика для отбора кандидатов. Определяет, насколько близки Pair Numeric Embedding и Query Numeric Embedding. В патенте упоминается использование скалярного произведения (dot product) как меры близости в Prediction Layer.
• Joint Training и Loss Function (Совместное обучение и Функция потерь): Система совместно обучает обе нейронные сети для минимизации функции потерь. Цель обучения — сделать скалярное произведение выше для позитивных примеров и ниже для негативных.
• Позитивные примеры: Определяются как пара (запрос, результат), с которой пользователь взаимодействовал (user interacted).
• Типы функций потерь: Упоминаются softmax with cross-entropy loss, sampled softmax loss, contrastive loss functions.

Выводы

1. Семантический поиск как основа Image Search: Патент подтверждает переход Google к Embedding-Based Retrieval (EBR) для поиска изображений. Это означает, что семантическое соответствие становится важнее точного совпадения ключевых слов. Система стремится понять смысл запроса и смысл контента.
2. «Изображение + Страница» как единое целое: Ключевым аспектом является то, что система индексирует и ищет не просто изображения, а Image-Landing Page Pairs. Эмбеддинг генерируется на основе комбинации визуального контента и всего контекста страницы (текст, структура, URL). Изображение не может быть релевантным без релевантного контекста.
3. Раннее слияние сигналов (Early Fusion): В отличие от старых систем, эта модель использует нейронную сеть для слияния всех признаков (визуальных, текстовых, структурных) на раннем этапе генерации эмбеддинга. Это позволяет модели изучать сложные нелинейные взаимодействия между различными факторами.
4. Обучение на основе поведения пользователей: Совместное обучение моделей основано на пользовательских взаимодействиях (кликах). Это означает, что система обучается приводить в соответствие запросы и результаты, которые пользователи считают релевантными.
5. Критическая важность контекстуальных сигналов: Патент явно перечисляет контекстуальные сигналы, такие как расположение изображения на странице (location), его заметность (prominence), окружающий текст и salient terms страницы. Эти факторы напрямую влияют на генерацию эмбеддинга пары.

Практика

Best practices (это мы делаем)

• Обеспечение сильной семантической связи (Image-Context Alignment): Критически важно, чтобы контент изображения строго соответствовал теме посадочной страницы. Все элементы контекста — заголовок страницы (Title), окружающий текст, salient terms страницы — должны быть семантически связаны с изображением. Это напрямую влияет на качество Pair Numeric Embedding.
• Оптимизация всех текстовых элементов, связанных с изображением: Необходимо оптимизировать alt-text, подписи, URL изображения (filename) и окружающий текст. Эти элементы являются входными признаками для Pair Embedding Neural Network и должны точно и семантически описывать изображение.
• Стратегическое размещение изображений (Image Placement and Prominence): Поскольку система учитывает местоположение (location) и заметность (prominence) изображения на странице, размещайте наиболее важные изображения на видных местах (например, в первом экране) и в релевантном текстовом окружении.
• Использование оригинального и качественного визуального контента: Хотя система сильно зависит от контекста, визуальные признаки (пиксели или эмбеддинг контента изображения) также являются частью входа. Качественные и уникальные изображения, лучше отвечающие на запрос, будут генерировать более релевантные эмбеддинги.

Worst practices (это делать не надо)

• Несоответствие изображения и контекста (Image Mismatch): Размещение изображений, которые не соответствуют теме страницы (например, использование общих стоковых фото). Система, анализируя пару целиком, определит семантическое расхождение.
• Оптимизация только Alt-text: Полагаться только на оптимизацию атрибута alt без учета остального контента страницы неэффективно, так как Pair Embedding Neural Network анализирует гораздо более широкий набор признаков.
• Игнорирование технических аспектов URL и домена: Использование неинформативных URL изображений (например, img12345.jpg) упускает возможность предоставить дополнительный текстовый сигнал (unigrams/bigrams из URL) для генерации эмбеддинга.
• Манипуляции с ключевыми словами (Keyword Stuffing): Перенасыщение окружающего текста или alt-text ключевыми словами. Поскольку система использует EBR, она ищет семантическое соответствие, а не плотность терминов.

Стратегическое значение

Этот патент демонстрирует, что поиск изображений Google функционирует на основе передовых принципов машинного обучения (глубокие нейронные сети, EBR). Стратегия SEO для изображений должна быть интегрирована в общую контент-стратегию сайта. Для успешного ранжирования в Image Search необходимо не просто иметь картинку с правильным alt-текстом, а иметь авторитетную страницу, на которой эта картинка размещена в максимально релевантном контексте.

Практические примеры

Сценарий: Оптимизация карточки товара в E-commerce

Цель: Улучшить ранжирование главного изображения товара «Красное бархатное платье миди» в поиске по картинкам.

1. Анализ Визуального Контента (Image Feature): Убедиться, что изображение качественное, четко показывает товар. Нейросеть проанализирует пиксели или визуальный эмбеддинг.
2. Оптимизация Технических Признаков (Image Feature): Использовать URL: /images/krasnoe-barhatnoe-platie-midi.jpg.
3. Оптимизация Контекста (Landing Page Feature):
   • Заголовок страницы (H1/Title): «Красное бархатное платье миди [Бренд]».
   • Alt-text: «Девушка в красном бархатном платье миди от [Бренд], вид спереди».
   • Размещение и Значимость: Изображение должно быть главным (высокая prominence), расположено вверху страницы (приоритетный location/XPATH).
   • Окружающий текст (Описание): Текст рядом с изображением должен содержать семантически связанные термины (salient terms): «вечернее платье», «бархат», «длина миди», «насыщенный красный цвет».
4. Результат: Pair Embedding Neural Network обработает все эти сигналы вместе. Сильная семантическая согласованность между всеми элементами приведет к генерации точного Pair Numeric Embedding, который будет близок к Query Numeric Embedding для соответствующих запросов.

Вопросы и ответы