Как Google объединяет изображения и текст в мультимодальном поиске для уточнения визуальных запросов

Термины и определения

Image Embedding Space (Пространство эмбеддингов изображений)

Многомерное векторное пространство, в котором изображения представлены в виде эмбеддингов (векторов). Близость между векторами в этом пространстве отражает визуальное или семантическое сходство изображений.

Ground Truth Image Embedding (Эмбеддинг целевого/эталонного изображения)

Эмбеддинг изображения, которое является идеальным результатом для комбинации исходного изображения и текстового уточнения. Используется в процессе обучения как цель, к которой должен стремиться уточненный эмбеддинг.

Machine-Learned Query Refinement Model (Машинно-обученная модель уточнения запросов)

Основная модель патента (например, Трансформер), обученная принимать эмбеддинг изображения и текстовое уточнение и генерировать новый, уточненный эмбеддинг изображения.

Machine-Learned Image Encoding Model (Модель кодирования изображений)

Модель, которая обрабатывает исходное изображение для генерации его эмбеддинга (Query Image Embedding).

Machine-Learned Text Encoding Model (Модель кодирования текста)

Модель, которая обрабатывает текстовое уточнение для генерации его латентного представления (например, Token Embeddings).

Query Image Embedding (Эмбеддинг изображения запроса)

Векторное представление (латентная репрезентация) исходного изображения, предоставленного пользователем.

Refined Image Embedding (Уточненный эмбеддинг изображения)

Выходные данные Query Refinement Model. Это новый эмбеддинг, который инкорпорирует текстовое уточнение в исходный эмбеддинг изображения. Используется для поиска финальных результатов.

Textual Query Refinement (Текстовое уточнение запроса)

Текст, предоставленный пользователем для модификации или уточнения результатов визуального поиска.

Token Embeddings (Токенные эмбеддинги)

Векторные представления слов или токенов в текстовом уточнении, используемые как вход для Query Refinement Model.

Ключевые утверждения (Анализ Claims)

Патент содержит два основных независимых пункта, описывающих процесс применения (Inference) и процесс обучения (Training).

Claim 1 (Независимый пункт) – Процесс применения (Inference): Описывает метод использования системы для мультимодального поиска.

1. Система получает эмбеддинг для изображения запроса (Query Image), предоставленного пользователем визуального поиска.
2. Система получает от пользователя текстовое уточнение (Textual Query Refinement). Уточняется, что этот текст вводится в ответ на предоставление начальных результатов поиска по исходному изображению.
3. Система обрабатывает эмбеддинг изображения и текстовое уточнение с помощью Machine-Learned Query Refinement Model.
4. В результате получается уточненный эмбеддинг изображения (Refined Image Embedding), который инкорпорирует текстовое уточнение.
5. Система определяет один или несколько уточненных результирующих изображений на основе этого Refined Image Embedding.

Claim 2 (Зависимый от 1): Уточняет механизм определения результатов (шаг 5 из Claim 1).

Определение уточненных результатов включает в себя поиск одного или нескольких эмбеддингов в пределах порогового расстояния (threshold distance) от Refined Image Embedding в пространстве эмбеддингов. Затем выбираются изображения, соответствующие этим найденным эмбеддингам. Это стандартный механизм поиска ближайших соседей (k-NN или ANN) в векторном пространстве.

Claim 4 (Зависимый от 1): Уточняет обработку текста.

Текстовое уточнение преобразуется в один или несколько токенных эмбеддингов (Token Embeddings). Query Refinement Model обрабатывает именно эти токенные эмбеддинги вместе с эмбеддингом изображения.

Claim 10 (Независимый пункт) – Процесс обучения (Training): Описывает метод обучения Query Refinement Model.

1. Система получает тренировочную пару: Query Image Embedding и связанный с ним Textual Query Refinement.
2. Модель обрабатывает эту пару для получения Refined Image Embedding.
3. Система оценивает функцию потерь (loss function), которая измеряет расстояние между Refined Image Embedding и Ground Truth Image Embedding в пространстве эмбеддингов.
4. Параметры модели модифицируются на основе этой функции потерь (для минимизации расстояния).

Claim 14 (Зависимый от 10): Определяет источник тренировочных данных.

Данные берутся из корпуса данных поиска изображений (corpus of image search data). Этот корпус включает: (i) результаты поиска, предоставленные пользователям в ответ на запрос, и (ii) уточненные результаты поиска, предоставленные после выбора элементов уточнения запроса (query refinement elements). Исходное изображение, текст уточнения и целевое изображение выбираются из этих данных.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, связанных с обработкой мультимодальных запросов и извлечением визуального контента.

INDEXING – Индексирование и извлечение признаков
На этом этапе система обрабатывает изображения для создания их векторных представлений. Machine-Learned Image Encoding Model используется для генерации эмбеддингов всех изображений в индексе. Эти эмбеддинги сохраняются в Image Embedding Space для быстрого поиска.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Когда пользователь предоставляет мультимодальный запрос (изображение + текст):

1. Исходное изображение обрабатывается (если еще не обработано) Image Encoding Model для получения Query Image Embedding.
2. Текстовое уточнение обрабатывается Text Encoding Model для получения Token Embeddings.
3. Machine-Learned Query Refinement Model обрабатывает эти два типа эмбеддингов и модифицирует представление запроса, генерируя Refined Image Embedding.

RANKING – Ранжирование (Этап Retrieval)
На этапе отбора кандидатов (L1 Retrieval) система использует Refined Image Embedding для выполнения поиска в Image Embedding Space. Система ищет эмбеддинги, находящиеся в пределах порогового расстояния (Claim 2), чтобы быстро извлечь визуально и семантически релевантные изображения.

Входные данные (Inference):

• Изображение запроса (Query Image).
• Текстовое уточнение запроса (Textual Query Refinement).

Выходные данные (Inference):

• Уточненные результирующие изображения (Refined Result Images).

На что влияет

• Конкретные типы контента: В первую очередь влияет на изображения, особенно те, где важны визуальные атрибуты, которые пользователи могут захотеть изменить или уточнить (товары, одежда, дизайн, автомобили, рецепты).
• Специфические запросы: Мультимодальные запросы (комбинация визуального и текстового ввода).
• Конкретные ниши или тематики: Критически важно для E-commerce, моды, дизайна интерьера и любых ниш, где продукт ищут по внешнему виду и атрибутам.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда пользователь инициирует визуальный поиск (например, через Google Lens) и затем предоставляет дополнительное текстовое уточнение (Claim 1).
• Итеративность: Система поддерживает итеративное уточнение. Пользователь может предоставить второе текстовое уточнение после получения первых уточненных результатов (Claim 7). Это второе уточнение может применяться либо к исходному эмбеддингу (Claim 8), либо к уже уточненному эмбеддингу (Claim 9).

Пошаговый алгоритм

Процесс А: Обработка мультимодального запроса (Inference)

1. Получение исходного запроса: Система получает изображение запроса от пользователя.
2. Кодирование изображения: Machine-Learned Image Encoding Model обрабатывает изображение для получения Query Image Embedding.
3. Первичный поиск (Опционально): Система может выполнить поиск по исходному эмбеддингу и предоставить начальные результаты пользователю.
4. Получение уточнения: Пользователь просматривает начальные результаты и вводит Textual Query Refinement.
5. Кодирование текста: Machine-Learned Text Encoding Model обрабатывает текст для получения Token Embeddings.
6. Уточнение эмбеддинга (Multimodal Fusion): Machine-Learned Query Refinement Model обрабатывает Query Image Embedding и Token Embeddings.
7. Генерация результата: Модель выводит Refined Image Embedding.
8. Поиск в векторном пространстве: Система выполняет поиск ближайших соседей (в пределах порогового расстояния) для Refined Image Embedding в Image Embedding Space.
9. Извлечение результатов: Система извлекает изображения, соответствующие найденным эмбеддингам (Refined Result Images), и предоставляет их пользователю.

Процесс Б: Обучение модели (Training)

1. Сбор данных: Система анализирует корпус данных поиска изображений, включая логи запросов, предоставленные результаты, выбранные пользователями уточнения (например, фильтры или чипсы) и результаты после уточнения (Claim 14).
2. Генерация тренировочных примеров: На основе анализа взаимодействий формируются тройки: [Исходное изображение (наиболее кликабельный результат до уточнения), Текст уточнения (выбранный фильтр), Целевое изображение (наиболее кликабельный результат после уточнения)].
3. Кодирование примеров: Изображения и текст кодируются в соответствующие эмбеддинги.
4. Прямой проход (Forward Pass): Модель уточнения обрабатывает исходный эмбеддинг и текст, генерируя Refined Image Embedding.
5. Расчет потерь (Loss Calculation): Вычисляется функция потерь, измеряющая расстояние между Refined Image Embedding и Ground Truth Image Embedding.
6. Обратное распространение (Backpropagation): Параметры модели обновляются для минимизации функции потерь.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке данных на уровне эмбеддингов.

• Мультимедиа факторы (Изображения): Пиксельные данные изображений (Query Image, Ground Truth Image) используются для генерации эмбеддингов с помощью Image Encoding Model.
• Контентные факторы (Текст): Текстовые данные (Textual Query Refinement) используются для генерации Token Embeddings с помощью Text Encoding Model.
• Поведенческие факторы: Логи взаимодействий пользователей с поиском изображений (запросы, клики на результаты, использование уточнений/фильтров) используются для создания тренировочных данных (Claim 14).

Какие метрики используются и как они считаются

• Loss Function (Функция потерь): Метрика, используемая при обучении. Она оценивает расстояние между сгенерированным Refined Image Embedding и Ground Truth Image Embedding в векторном пространстве (Claim 10). Конкретный тип расстояния (например, косинусное расстояние, L2 норма) в патенте не указан.
• Threshold Distance (Пороговое расстояние): Метрика, используемая при поиске (Inference). Определяет максимальное расстояние в Image Embedding Space, в пределах которого эмбеддинги считаются релевантными результатами для Refined Image Embedding (Claim 2).

1. Мультимодальность как стандарт поиска: Патент подтверждает, что Google рассматривает поиск как мультимодальную задачу. Система спроектирована для интерпретации интента пользователя, выраженного через комбинацию различных типов данных (изображение и текст).
2. Манипуляция в латентном пространстве: Ключевой механизм заключается не в традиционном ранжировании, а в модификации самого запроса в латентном пространстве. Текстовое уточнение используется для "перемещения" исходного эмбеддинга изображения в другую область Image Embedding Space.
3. Зависимость от качества эмбеддингов: Эффективность системы напрямую зависит от качества базовых моделей кодирования (Image Encoding Model и Text Encoding Model). Если эти модели плохо понимают визуальные атрибуты или язык, модель уточнения также будет работать неточно.
4. Обучение на поведении пользователей: Источник тренировочных данных критически важен. Система учится тому, как пользователи уточняют поиск и какие результаты они ожидают увидеть, анализируя массовые данные взаимодействий с результатами поиска и фильтрами (Claim 14).
5. Итеративный поиск: Система явно поддерживает возможность последовательных уточнений (Claims 7-9), что позволяет пользователям вести диалог с поисковой системой для достижения цели.

Best practices (это мы делаем)

• Оптимизация качества и четкости изображений: Убедитесь, что основные объекты на изображениях (особенно товарах) четкие, хорошо освещенные и находятся в фокусе. Это необходимо для того, чтобы Image Encoding Model могла создать точный и детальный эмбеддинг, который затем может быть эффективно уточнен.
• Предоставление визуальных вариаций: Если продукт доступен в разных цветах, размерах или стилях, предоставьте высококачественные изображения для каждой вариации. Это увеличивает вероятность того, что ваш контент будет соответствовать Refined Image Embedding, когда пользователь ищет конкретную вариацию.
• Согласованность визуальных и текстовых данных: Убедитесь, что текстовый контент, окружающий изображение (alt-текст, заголовки, описания товаров), точно описывает визуальные атрибуты. Хотя эта модель работает на уровне эмбеддингов, согласованность данных помогает базовым моделям Google лучше интерпретировать контент и строить связи между языком и визуальными образами.
• Использование структурированных данных (Product Schema): Используйте разметку Schema.org для товаров, указывая атрибуты, такие как цвет, бренд, материал. Это помогает Google стандартизировать понимание атрибутов, которые пользователи часто используют в Textual Query Refinement.

Worst practices (это делать не надо)

• Использование вводящих в заблуждение изображений (Clickbait): Использование изображений, которые не соответствуют содержанию страницы или характеристикам продукта. Система визуального поиска ищет соответствие на основе визуальных признаков в эмбеддинге.
• Изображения низкого качества или с водяными знаками: Изображения, которые затрудняют распознавание объекта. Это может привести к созданию неточного эмбеддинга, из-за чего изображение не будет найдено ни по исходному визуальному запросу, ни по уточненному.
• Игнорирование визуального поиска: Отношение к изображениям как к декоративному элементу, а не как к основному способу поиска контента. В контексте мультимодального поиска изображение является запросом.

Стратегическое значение

Этот патент подчеркивает переход Google от поиска по ключевым словам к поиску на основе сущностей и их представлений (эмбеддингов). Стратегическое значение для SEO заключается в необходимости оптимизации визуальных активов для машинного восприятия. В e-commerce это означает, что управление каталогом изображений становится критически важной частью SEO-стратегии. Способность вашего контента быть извлеченным через мультимодальный поиск (например, Google Lens) может стать значительным конкурентным преимуществом, поскольку пользователи все чаще используют камеру как инструмент поиска.

Практические примеры

Сценарий: Поиск товара с изменением атрибута (E-commerce)

1. Действие пользователя: Пользователь видит синее платье на улице и фотографирует его с помощью Google Lens (Query Image).
2. Начальный результат: Google показывает похожие синие платья.
3. Уточнение пользователя: Пользователь добавляет текст "красное в горошек" (Textual Query Refinement).
4. Работа системы: Query Refinement Model берет эмбеддинг синего платья и эмбеддинг текста "красное в горошек". Она генерирует новый Refined Image Embedding, соответствующий красному платью в горошек того же фасона.
5. Ожидаемый результат для SEO: Если интернет-магазин продает такое красное платье в горошек и предоставил его качественное изображение, которое было проиндексировано и точно закодировано в Image Embedding Space, это изображение будет найдено и показано пользователю.