Как Google использует выделение деталей на изображении для уточнения визуального поиска и комбинирования результатов

Термины и определения

Free-form user input (Произвольный пользовательский ввод)

Способ взаимодействия пользователя с интерфейсом для выбора части изображения. Включает рисование петли (line drawn in a loop), выделение полупрозрачным цветом (swathe of translucent color) или выбор подмножества пикселей (subset of pixels).

Particular sub-portion (Конкретная часть)

Часть объекта на изображении, выбранная пользователем. Содержит интересующие визуальные признаки (visual features).

Visual Embeddings (Визуальные эмбеддинги)

Векторные представления визуальных характеристик изображений или их частей. Используются для оценки сходства и идентификации результатов как на уровне объекта в целом, так и на уровне его отдельных частей.

Object overall (Объект в целом)

Целостное представление или категория объекта на изображении (например, «платье»).

Combined set of content (Комбинированный набор контента)

Итоговый набор результатов поиска, сформированный путем объединения результатов, связанных с object overall, и результатов, связанных с particular sub-portion.

Input mode toggle (Переключатель режима ввода)

Элемент интерфейса, позволяющий переключиться с автоматических предложений системы на режим произвольного выбора (free-form user selection mode).

Ключевые утверждения (Анализ Claims)

Патент содержит несколько ключевых независимых пунктов, описывающих разные аспекты изобретения.

Claim 1 (Независимый пункт): Описывает базовый метод взаимодействия.

1. Система отображает изображение.
2. Система получает free-form user input, выбирающий particular sub-portion объекта. В этом пункте ввод конкретизирован как "линия, нарисованная в виде петли вокруг конкретной части объекта тактильным объектом".
3. Система отправляет визуальный запрос, содержащий эту выбранную часть.
4. Система получает и предоставляет результаты, релевантные визуальным признакам этой части.

Claim 21 (Независимый пункт): Описывает продвинутый метод выбора части изображения.

1. Система отображает изображение.
2. Система получает free-form user input в виде выбора подмножества пикселей. Ключевое уточнение: это подмножество включает как минимум две группы выбранных пикселей, которые отделены друг от друга и не являются смежными (non-adjacent). Это позволяет выбирать несколько несвязанных элементов одновременно (например, узор на воротнике и узор на подоле).
3. Система отправляет визуальный запрос на основе этой выборки и предоставляет результаты.

Claim 10 (Независимый пункт): Описывает критически важный механизм обработки запроса и сохранения контекста.

1. Система получает визуальный запрос с выделенной пользователем частью объекта.
2. Система обращается к visual embeddings кандидатов, чтобы идентифицировать:
   • Первый набор результатов, связанных с объектом в целом (object overall).
   • Второй набор результатов, связанных с выделенной частью (particular sub-portion).
3. Система выбирает combined set of content, включающий результаты из обоих наборов.
4. Система возвращает этот комбинированный набор.

Claim 12 и 13 (Зависимые от 10): Детализируют гибкость ранжирования комбинированного набора.

• Claim 12: Ранжирование происходит сначала по сходству с объектом в целом, а затем по сходству с выделенной частью (Приоритет контекста).
• Claim 13: Ранжирование происходит сначала по сходству с выделенной частью, а затем по сходству с объектом в целом (Приоритет детали).

Где и как применяется

Изобретение применяется в системах визуального поиска (например, Google Lens, Google Images) и затрагивает несколько этапов поисковой архитектуры.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна предварительно вычислить и сохранить visual embeddings для изображений в индексе. Критически важно, что эти эмбеддинги должны характеризовать как объект в целом (object overall), так и его различные визуальные признаки или части, чтобы обеспечить возможность гранулярного поиска.

QUNDERSTANDING – Понимание Запросов
Ключевой этап применения. Система интерпретирует сложный ввод, состоящий из изображения и данных о free-form user input (например, координат обводки или маски пикселей). Происходит трансформация сырого ввода в структурированное намерение, определяя фокус поиска (particular sub-portion) и контекст (object overall).

RANKING – Ранжирование (Retrieval)
На этапе отбора кандидатов система реализует механизм из Claim 10. Она выполняет поиск (вероятно, в пространстве visual embeddings) для идентификации Первого и Второго наборов результатов.

RERANKING – Переранжирование / METASEARCH – Смешивание
На этом этапе система формирует combined set of content из двух наборов. Происходит финальное ранжирование с использованием гибких приоритетов (Claims 12 и 13) или взвешенного среднего.

Входные данные:

• Исходное изображение (запрос).
• Данные free-form user input (координаты петли, маска выделения, выбранные пиксели).
• База данных visual embeddings кандидатов.

Выходные данные:

• Combined set of content – ранжированный список визуальных результатов поиска.

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент, где визуальные атрибуты играют ключевую роль: товары (одежда, мебель, декор), искусство, дизайн. Особенно актуально для страниц товаров (PDP) в e-commerce.
• Специфические запросы: Влияет на уточняющие визуальные запросы, где пользователь ищет не точное совпадение, а похожий стиль, паттерн или элемент.
• Конкретные ниши или тематики: E-commerce (Fashion, Home & Garden), дизайн интерьеров.

Когда применяется

• Триггеры активации: Когда пользователь инициирует визуальный поиск И использует функцию произвольного выбора (free-form selection) для уточнения запроса (например, обводит элемент на экране).
• Условия работы: Система может сначала предложить автоматически распознанные признаки (initial visual feature suggestions), но позволяет пользователю переключиться в режим свободного выбора (Claim 22).

Пошаговый алгоритм

Процесс А: Обработка взаимодействия пользователя

1. Отображение: Предоставление изображения в пользовательском интерфейсе.
2. Инициализация (Опционально): Предложение начальных визуальных признаков. Пользователь может активировать переключатель режима для перехода к свободному выбору.
3. Получение ввода: Получение free-form user input (петля, выделение цветом или выбор несмежных групп пикселей), который определяет particular sub-portion объекта.
4. Формирование запроса: Создание визуального поискового запроса, который включает данные о выбранной части объекта.

Процесс Б: Обработка запроса в поисковой системе (Комбинированный поиск)

1. Получение запроса: Получение уточненного визуального запроса (результат Процесса А).
2. Доступ к эмбеддингам (Двойной поиск): Доступ к visual embeddings кандидатов для идентификации:
   • Первого набора результатов (связанных с object overall).
   • Второго набора результатов (связанных с particular sub-portion).
3. Выбор комбинированного набора: Выбор combined set of content, включающего результаты из обоих наборов (например, поиск пересечения или комбинирование оценок сходства).
4. Ранжирование: Ранжирование комбинированного набора. Приоритет может отдаваться либо Первому набору (Claim 12), либо Второму набору (Claim 13), либо использоваться взвешенное среднее.
5. Возврат результатов: Возвращение комбинированного набора пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке визуальных данных и взаимодействии пользователя.

• Мультимедиа факторы (Изображения): Исходное изображение запроса и изображения-кандидаты. Анализируются визуальные признаки (цвет, форма, паттерн, текстура).
• Пользовательские факторы (Взаимодействие): Free-form user input (данные о взаимодействии с интерфейсом – касания, свайпы, координаты выделения).
• Системные данные (Машинное обучение): Предварительно вычисленные visual embeddings для изображений в индексе.

Какие метрики используются и как они считаются

• Сходство визуальных эмбеддингов: Основная метрика для поиска результатов. Система вычисляет сходство между эмбеддингами запроса и эмбеддингами кандидатов. Используются два типа сходства:
  • Сходство с object overall.
  • Сходство с particular sub-portion.
• Ранжирование комбинированного набора: Система использует метрики сходства для финального ранжирования. Патент явно указывает на возможность различной приоритизации (последовательное ранжирование по одному признаку, затем по другому) или взвешивания. В описании патента упоминается возможность использования среднего значения сходства (average), которое может быть взвешено в пользу общего объекта или выделенной части.

1. Гранулярность визуального поиска: Google развивает способность понимать визуальные запросы не только на уровне целых объектов, но и на уровне их конкретных визуальных признаков и деталей. Это позволяет системе точнее интерпретировать сложный визуальный интент.
2. Сохранение контекста критически важно (Claim 10): Ключевым механизмом является не просто поиск по выделенной детали, а комбинирование результатов по детали (particular sub-portion) и по объекту в целом (object overall). Система стремится найти баланс (например, найти "платье с такими рукавами", а не просто "такие рукава").
3. Гибкость ранжирования (Claims 12, 13): Система может динамически изменять приоритеты ранжирования, решая, что важнее в конкретном запросе — общий тип объекта или конкретный выделенный признак.
4. Поддержка сложных запросов (Claim 21): Возможность выбора нескольких несмежных областей (non-adjacent pixels) указывает на высокую сложность системы. Она может обрабатывать запросы, включающие комбинацию признаков, расположенных в разных частях изображения.
5. Зависимость от Visual Embeddings: Эффективность этого метода напрямую зависит от качества и детализации Visual Embeddings, которые Google рассчитывает на этапе индексирования. Это подчеркивает важность того, как модели машинного обучения интерпретируют визуальный контент.

Best practices (это мы делаем)

• Обеспечение четкости визуальных признаков: Изображения товаров должны быть высокого качества, с хорошим освещением и контрастом, чтобы ключевые детали (узоры, текстуры, фурнитура, элементы дизайна) были четко различимы. Это поможет системам машинного зрения корректно извлечь Visual Embeddings для этих деталей.
• Использование разнообразных ракурсов и крупных планов: Предоставляйте не только общие фотографии товара, но и крупные планы важных деталей. Если пользователь выделит деталь на исходном изображении, наличие у вас в индексе четкого изображения этой же детали увеличивает шансы на совпадение в particular sub-portion поиске.
• Оптимизация для контекста (Object Overall): Убедитесь, что общий объект легко идентифицируется. Используйте чистый фон и правильное кадрирование. Механизм комбинирования (Claim 10) требует корректного распознавания object overall для сохранения контекста.
• Тестирование в Google Lens: Регулярно проверяйте, как ваши товары распознаются в системах визуального поиска. Используйте функции уточнения (выделение области), чтобы увидеть, какие результаты система считает релевантными для отдельных частей вашего товара.

Worst practices (это делать не надо)

• Использование изображений низкого качества или с «шумом»: Фотографии с плохим освещением, агрессивным сжатием, водяными знаками или отвлекающим фоном могут ухудшить распознавание отдельных визуальных признаков и генерацию качественных Visual Embeddings.
• Игнорирование деталей товара: Размещение только одной общей фотографии товара, на которой не видны его уникальные характеристики. Это не позволит вашему товару ранжироваться по запросам, сфокусированным на этих деталях.
• Чрезмерная стилизация в ущерб информативности: Изображения, которые слишком стилизованы (например, необычные фильтры или экстремальные углы съемки), могут затруднить для системы идентификацию как объекта в целом, так и его деталей.

Стратегическое значение

Этот патент подтверждает, что визуальный поиск становится все более точным, интерактивным и гранулярным. Для E-commerce это означает смещение фокуса с текстовой оптимизации на оптимизацию под машинное зрение. Способность Google интерпретировать сложный визуальный интент делает качество, детализацию и представление продуктовых изображений одним из ключевых факторов ранжирования в визуальном поиске. Долгосрочная стратегия должна включать инвестиции в качественный визуальный контент, оптимизированный для распознавания как целых объектов, так и их атрибутов.

Практические примеры

Сценарий: Оптимизация карточки товара (Дизайнерское платье с уникальным узором)

1. Задача: Увеличить трафик из визуального поиска на платье с уникальным цветочным узором.
2. Действия на основе патента:
   • Добавить фотографии платья общим планом на модели и отдельно для распознавания object overall (платье определенного фасона).
   • Добавить 1-2 фотографии крупным планом (макро), где четко видна текстура ткани и детали узора при хорошем освещении. Это оптимизирует распознавание particular sub-portion (узор).
3. Ожидаемый результат: Когда пользователь видит похожий узор на другом предмете одежды и выделяет его (используя Free-form Input), система Google анализирует Visual Embeddings. Благодаря наличию четких изображений узора, эмбеддинги вашего товара будут иметь высокую степень совпадения. Система сформирует Combined Set of Content. Если система применит ранжирование с приоритетом детали (Claim 13), ваш товар может появиться в выдаче, даже если фасон платья отличается от исходного изображения.