Как Google использует несколько изображений в одном запросе для уточнения визуального поиска через общие атрибуты и проекции эмбеддингов

Термины и определения

Multi-image query (Мульти-изображенческий запрос)

Поисковый запрос, включающий два или более изображения в качестве входных данных.

Shared attributes (Общие атрибуты)

Признаки, которые присутствуют в двух или более входных изображениях. Могут включать текстовые метки, метаданные, визуальные признаки (цвет, текстура, узор), классификации объектов или изображений, а также ассоциации с общими сущностями (entities).

Embedding model (Модель эмбеддингов)

Машинно-обученная модель, обученная обрабатывать изображения (или другие данные) и генерировать векторные представления (эмбеддинги), описывающие признаки этого изображения.

Embedding space (Пространство эмбеддингов)

Векторное пространство, в котором располагаются эмбеддинги. Модель обучается так, чтобы похожие изображения располагались близко друг к другу в этом пространстве.

First/Second/Third Embedding (Первый/Второй/Третий Эмбеддинг)

Векторные представления входных изображений (Первый и Второй) и вычисленное представление (Третий), используемое для поиска. Третий эмбеддинг может быть средним значением или проекцией.

Embedding average (Усредненный эмбеддинг)

Эмбеддинг, вычисленный как среднее (в том числе взвешенное) значение двух или более входных эмбеддингов. Используется для поиска результатов, находящихся «между» входными изображениями.

Projection prediction / Projection embedding (Прогнозирование проекции / Проекционный эмбеддинг)

Механизм определения третьего эмбеддинга на основе тренда (траектории) изменения от первого эмбеддинга ко второму, особенно когда они вводятся последовательно. Используется для предсказания эволюции интента пользователя.

User interaction time (Время взаимодействия пользователя)

Временная метка, связанная с вводом или выбором изображения пользователем. Используется для определения последовательности ввода и активации механизма проекции.

Ensemble search (Ансамблевый поиск)

Поиск комбинации деталей из разных изображений (например, объект из первого изображения с узором из второго).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основную систему мульти-изображенческого поиска, комбинирующую анализ атрибутов и временную проекцию эмбеддингов.

1. Система получает запрос с Первым и Вторым изображением.
2. Определяются общие атрибуты (shared attributes) между ними.
3. Первое и Второе изображения обрабатываются моделью эмбеддингов для генерации Первого и Второго Эмбеддингов.
4. Система определяет Третий Эмбеддинг. Ключевое условие: он вычисляется на основе Первого и Второго Эмбеддингов И на основе определения того, что время взаимодействия (user interaction time) с Первым изображением предшествовало времени взаимодействия со Вторым.
5. Результаты поиска определяются на основе как общих атрибутов, так и Третьего Эмбеддинга.

Ядро изобретения в Claim 1 заключается в использовании последовательности взаимодействия пользователя (временных данных) для вычисления Третьего Эмбеддинга, что подразумевает анализ направления или эволюции поискового намерения.

Claim 11 (Независимый пункт, Метод): Детализирует метод поиска на основе эмбеддингов с фокусом на временной последовательности.

1. Получение Первого и Второго изображений и генерация их Эмбеддингов.
2. Получение временных данных о взаимодействии пользователя с каждым изображением (T1 и T2).
3. Определение, что T1 предшествует T2.
4. Вычисление Третьего Эмбеддинга на основе Эмбеддингов 1 и 2 и факта, что T1 < T2.
5. Определение результатов поиска путем нахождения эмбеддингов результатов, ассоциированных с Третьим Эмбеддингом.

Claim 12 (Зависимый от 11): Уточняет, как именно вычисляется Третий Эмбеддинг при последовательном вводе.

Третий Эмбеддинг определяется на основе вычисленной проекции (determined projection) от Первого Эмбеддинга ко Второму. Третий Эмбеддинг является продолжением (continuation) этой проекции. Это математическое описание того, как система предсказывает следующий шаг пользователя в векторном пространстве, следуя тренду, заданному переходом от первого изображения ко второму.

Claim 16 (Независимый пункт): Описывает процесс уточнения поиска (Search Refinement) с использованием механизма проекции.

1. Получение первого запроса (Изображение 1) и генерация первого набора результатов.
2. Получение выбора пользователем конкретного результата из этого набора (Изображение 2).
3. Генерация Эмбеддингов 1 и 2.
4. Вычисление Третьего Эмбеддинга на основе Эмбеддингов 1 и 2 И того факта, что время первого запроса предшествовало времени выбора результата.
5. Определение второго (уточненного) набора результатов на основе Третьего Эмбеддинга.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, в основном фокусируясь на интерпретации сложных визуальных запросов и ранжировании.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна предварительно обработать контент (изображения) для извлечения признаков, которые используются в патенте:

• Извлечение атрибутов: Идентификация визуальных признаков, классификация объектов, извлечение связанных текстовых меток и метаданных.
• Генерация эмбеддингов: Обработка изображений с помощью Embedding model для создания векторных представлений и их сохранение в индексе (вероятно, векторном индексе для быстрого поиска ближайших соседей).

QUNDERSTANDING – Понимание Запросов
Это ключевой этап применения патента. Система интерпретирует мульти-изображенческий ввод для определения истинного намерения пользователя.

• Анализ ввода: Определение, являются ли входные данные мульти-изображенческим запросом.
• Определение сценария: Анализ контекста (например, временных меток взаимодействий) для выбора стратегии обработки: поиск по общим атрибутам, усреднение эмбеддингов или проекция поиска.
• Вычисление интента: Определение shared attributes и/или вычисление Third Embedding (усредненного или проекционного). Это формирует внутреннее представление запроса.

RANKING – Ранжирование
На этапе ранжирования (вероятно, L1 Retrieval или L2) система использует вычисленное представление запроса для поиска кандидатов.

• Векторный поиск: Использование Третьего Эмбеддинга для выполнения поиска ближайших соседей (k-nearest neighbors) в векторном индексе.
• Поиск по атрибутам: Фильтрация или ранжирование кандидатов на основе соответствия shared attributes.

Входные данные:

• Два или более изображения (First Image Data, Second Image Data).
• Временные данные о взаимодействии пользователя с этими изображениями (User interaction time).
• Дополнительный контекст (опционально): текст, данные о выборе области на изображении.

Выходные данные:

• Набор поисковых результатов (Search Result(s)), релевантных комбинации входных изображений.
• (Внутренне) Вычисленные общие атрибуты и/или Третий Эмбеддинг.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на E-commerce (одежда, мебель, товары для дома), дизайн, искусство и любые другие ниши, где визуальные характеристики являются определяющими. Патент позволяет искать сложные визуальные концепции, стили и эстетику.
• Специфические запросы: Влияет на уточняющие запросы (refinement queries), запросы на поиск вдохновения (inspirational queries) и запросы, направленные на комбинирование характеристик («хочу такой же диван, но с этим узором»).

Когда применяется

Алгоритмы применяются при следующих условиях:

• Триггер активации: Пользователь предоставляет два или более изображения в рамках одного поискового сеанса или запроса. Это может быть одновременная загрузка, последовательный выбор (уточнение поиска) или выбор из коллекции пользователя.
• Условия для проекции: Механизм Projection prediction активируется, когда система обнаруживает последовательное взаимодействие (время T1 раньше времени T2), что указывает на эволюцию интента.
• Условия для усреднения: Механизм Embedding average может применяться, когда изображения вводятся одновременно или когда не требуется предсказание следующего шага, а нужно найти компромиссный вариант.

Пошаговый алгоритм

Описаны два основных варианта работы системы.

Вариант А: Поиск по общим атрибутам (Claim 1)

1. Получение ввода: Система получает мульти-изображенческий запрос (Изображение 1 и Изображение 2).
2. Определение атрибутов: Изображения обрабатываются (возможно, с помощью ML-моделей) для извлечения атрибутов (метки, классификации, визуальные признаки).
3. Сравнение и выявление общих черт: Система сравнивает наборы атрибутов и определяет shared attributes.
4. Формулирование запроса: Внутренний поисковый запрос фокусируется на этих общих атрибутах.
5. Выполнение поиска и предоставление результатов: Поиск результатов, соответствующих общим атрибутам.

Вариант Б: Поиск с проекцией эмбеддингов (Claims 1, 11, 12, 16)

1. Получение ввода и временных данных: Система получает Изображение 1 (и время взаимодействия T1) и Изображение 2 (и время взаимодействия T2). Это может быть последовательный ввод или уточнение поиска.
2. Проверка условий проекции: Система определяет, что T1 предшествует T2.
3. Генерация эмбеддингов: Изображения 1 и 2 обрабатываются Embedding model для генерации Эмбеддинга 1 (E1) и Эмбеддинга 2 (E2).
4. Вычисление траектории: Система определяет вектор изменения (проекцию) в пространстве эмбеддингов от E1 к E2. Это отражает направление интереса пользователя.
5. Генерация Третьего Эмбеддинга (E3): Система вычисляет E3 как продолжение этой проекции от E2. (Например, E3 = E2 + (E2 - E1)).
6. Выполнение поиска: Система выполняет поиск (например, k-nearest neighbors) в векторном индексе, используя E3 в качестве точки запроса.
7. Предоставление результатов: Возвращаются результаты, чьи эмбеддинги наиболее близки к E3.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке визуальных данных и контекста взаимодействия.

• Контентные факторы (Визуальные): Пиксельные данные входных изображений. Они являются основным источником для извлечения визуальных признаков, атрибутов и генерации эмбеддингов.
• Временные факторы (Контекст взаимодействия): User interaction time. Время ввода или выбора каждого изображения критически важно для определения последовательности и активации механизма проекции поиска.
• Метаданные (Опционально): Система может использовать метаданные изображений или текст с веб-ресурсов, откуда были взяты изображения, для определения shared attributes (например, текстовых меток).
• Пользовательские факторы (Опционально): Пользователь может предоставлять дополнительные входные данные, такие как выделение области (кроппинг) на изображении или текстовые уточнения, которые используются для фокусировки анализа атрибутов или генерации эмбеддингов.

Какие метрики используются и как они считаются

• Эмбеддинги (Embeddings): Векторные представления изображений, генерируемые с помощью Embedding model.
• Сходство/Расстояние в пространстве эмбеддингов: Метрики расстояния (например, косинусное расстояние, Евклидово расстояние) используются для определения близости между эмбеддингами запроса (E1, E2 или E3) и эмбеддингами результатов. Используется в поиске ближайших соседей (k-NN).
• Вектор проекции (Projection vector): Разница между последовательными эмбеддингами (например, E2 - E1), используемая для определения направления поиска.
• Веса для усреднения (Weights): При вычислении взвешенного среднего эмбеддинга используются веса, которые могут базироваться на контекстных данных (время, качество изображения, порядок ввода, явный ввод пользователя).
• Совпадение атрибутов (Attribute matching): Метрика для определения наличия общих визуальных признаков, классификаций или меток между изображениями.

1. Визуальный интент как траектория: Ключевая инновация патента — интерпретация последовательных визуальных взаимодействий как траектории в векторном пространстве. Google не просто ищет совпадения, а пытается понять направление, в котором развивается интерес пользователя (Projection prediction), и предсказать следующий шаг.
2. Время как фактор ранжирования: Время взаимодействия пользователя (User interaction time) используется не просто для логирования, а как прямой сигнал для выбора алгоритма обработки запроса (усреднение vs. проекция). Последовательность ввода определяет интерпретацию интента.
3. Многогранность общих атрибутов: Shared attributes могут быть как явными (одинаковая классификация объекта), так и абстрактными (общий стиль, эстетика, узор). Система стремится выявить ключевую точку интереса пользователя на основе того, что общего у выбранных изображений.
4. Векторный поиск как основа: Патент подтверждает центральную роль векторного поиска и моделей эмбеддингов в современных системах визуального поиска. Ранжирование основано на близости в Embedding space.
5. Гибкость интерпретации: Система поддерживает различные сценарии использования: уточнение поиска, комбинирование признаков (Ensemble search) и исключение признаков (Negative search), что делает визуальный поиск гораздо более мощным инструментом.

Best practices (это мы делаем)

• Обеспечение четкости визуальных атрибутов: Изображения товаров и контента должны четко демонстрировать ключевые атрибуты (цвет, материал, узор, форма). Это помогает моделям эмбеддингов корректно позиционировать контент в векторном пространстве и упрощает определение shared attributes.
• Предоставление разнообразных изображений для одного продукта: Разные ракурсы, крупные планы деталей и фото в контексте использования помогают системе лучше понять продукт. Это увеличивает вероятность того, что ваш продукт будет найден при различных сценариях мульти-изображенческого поиска (например, при поиске по объекту или по детали).
• Оптимизация метаданных и окружающего текста: Хотя поиск визуальный, патент упоминает, что текстовые метки и метаданные могут использоваться для определения shared attributes. Убедитесь, что ALT-тексты, заголовки и описания точно соответствуют визуальному контенту.
• Создание визуально связанного контента (Коллекции): Группировка товаров в коллекции или создание контента, демонстрирующего сочетания продуктов (например, «с этим товаром покупают», lookbooks), помогает пользователям находить связанные товары и может способствовать тому, что ваши товары будут участвовать в сессиях уточнения поиска (Search Refinement).

Worst practices (это делать не надо)

• Использование стоковых или шаблонных изображений: Уникальный визуальный контент лучше позиционируется в пространстве эмбеддингов. Шаблонные изображения могут сливаться или некорректно кластеризоваться.
• Изображения с визуальным шумом или водяными знаками: Элементы, перекрывающие основной объект или усложняющие его восприятие, могут негативно повлиять на генерацию эмбеддинга и определение атрибутов.
• Игнорирование качества и разрешения изображений: Низкое качество затрудняет извлечение тонких визуальных признаков (например, текстуры материала), что снижает эффективность работы Embedding model.
• Несоответствие изображений и текстовых описаний: Если визуальные и текстовые данные противоречат друг другу, это может привести к некорректной интерпретации атрибутов системой.

Стратегическое значение

Патент подтверждает переход Google к более интуитивным и сложным методам поиска, выходящим за рамки ключевых слов и простых изображений. Стратегическое значение заключается в понимании того, что оптимизация теперь включает в себя управление тем, как ваш контент представлен в векторном пространстве. Для E-commerce SEO это означает, что необходимо думать не только о том, как пользователь найдет конкретный товар, но и о том, как он может прийти к нему через цепочку визуальных уточнений или комбинирование визуальных концепций. Построение сильного визуального бренда и обеспечение согласованности визуальных атрибутов становится фактором ранжирования.

Практические примеры

Сценарий 1: Уточнение поиска через проекцию (Search Refinement & Projection)

1. Действие пользователя: Пользователь ищет по фотографии минималистичного деревянного стула (Изображение 1, Время T1).
2. Результаты: Система выдает похожие стулья.
3. Уточнение: Пользователь выбирает из результатов стул, у которого более темный оттенок дерева и чуть более изогнутые ножки (Изображение 2, Время T2).
4. Анализ системы: Система фиксирует T1<T2. Она вычисляет вектор изменения от Эмбеддинга 1 к Эмбеддингу 2 (тренд: темнее дерево, более изогнутые формы).
5. Проекция: Система генерирует Третий Эмбеддинг, продолжая этот тренд.
6. Результат: Пользователь получает выдачу стульев, которые еще темнее и имеют еще более выраженные изгибы, предсказывая его следующий шаг.

Сценарий 2: Поиск по общим атрибутам (Shared Attributes)

1. Действие пользователя: Пользователь загружает одновременно фото красного платья в горошек и фото красных туфель на высоком каблуке.
2. Анализ системы: Система анализирует оба изображения и определяет shared attributes: Цвет (Красный), Стиль (Ретро/Элегантный).
3. Результат: Система выдает результаты, соответствующие обоим атрибутам – это могут быть другие красные платья и туфли в похожем стиле, или изображения готовых образов (lookbooks), сочетающих эти элементы.