Как Google разбирает изображения на части для визуального поиска товаров (e.g., Google Lens)

Термины и определения

Alignment (Выравнивание)

Процесс нормализации сегментированного изображения, приведение объекта к каноническому виду (ориентации) для облегчения анализа и извлечения признаков.

CBIR (Content-based Image Retrieval)

Поиск изображений, основанный на визуальном содержимом, а не на текстовых метаданных.

CSH (Color Spatial Histogram)

Гистограммы пространственного распределения цвета. Локальный дескриптор, который фиксирует не только цветовые вариации, но и расположение цветов относительно ключевой точки/региона.

EHD (Edge Histogram Distributions)

Дескриптор распределения границ. Представляет локальное распределение границ (вертикальных, горизонтальных, диагональных) в подизображениях. Используется для захвата формы и текстуры.

Feature Distance (Дистанция признака)

Числовое значение, измеряющее несходство между двумя изображениями относительно конкретного визуального признака (например, цвета или формы).

Feature Extraction (Извлечение признаков)

Процесс идентификации и представления визуальных характеристик изображения (цвета, формы, текстуры) в виде данных (часто векторов или текста), отдельных от самого изображения.

Global Features (Глобальные признаки)

Признаки, описывающие изображение объекта в целом (например, доминирующий цвет, общая форма).

HOG (Histogram of Oriented Gradients)

Гистограммы ориентированных градиентов. Дескриптор формы, основанный на градиентах изображения в локальных регионах.

Image Data (Данные изображения)

Данные, соответствующие дискретным частям захваченного изображения (например, пикселям) или данные, определенные на основе пикселей (например, визуальные сигнатуры или признаки).

Key Points/Regions (Ключевые точки/регионы)

Характерные области изображения с высокой автокорреляцией, которые надежно обнаруживаются даже при изменении угла съемки. Используются как основа для извлечения локальных признаков.

Local Features (Локальные признаки)

Признаки, локализованные в определенной части или регионе сегментированного изображения.

Manual Enrichment (Ручное обогащение)

Процесс использования человеческого труда (операторов/редакторов) для подтверждения, исправления или дополнения программно определенных данных (например, результатов сегментации или классификации).

Segmentation (Сегментация)

Процесс разделения изображения на передний план (объект) и фон.

Signature (Сигнатура)

Векторное (количественное) представление набора признаков для конкретного объекта или его части. Используется для идентификации объекта или описания его характеристик.

Ключевые утверждения (Анализ сути изобретения)

Примечание: Поскольку полный текст раздела Claims (Формула изобретения) отсутствует в предоставленном PDF, анализ основан на Abstract и Detailed Description, которые описывают ядро изобретения.

Ядро изобретения 1: Поиск по частям объектов.

Система позволяет выполнять поиск по частям (portions) объектов на изображениях. Это достигается путем программного анализа коллекции изображений для определения визуальных характеристик, которые представляют одну или несколько частей объекта на каждом изображении. Пользователю предоставляется возможность указать критерии поиска, включающие Image Data (т.е. визуальный ввод или выбор региона), и система определяет результат поиска на основе изображений, содержащих объект, часть которого удовлетворяет пороговому значению, определяемому критериями поиска.

Ядро изобретения 2: Извлечение и использование локальных признаков.

Система реализует механизм Feature Extraction, который определяет как Global Features, так и Local Features. Для извлечения локальных признаков система идентифицирует регионы изображения (Image Regions) или ключевые точки (Key Points) и вычисляет дескрипторы (например, HOG, CSH) вокруг этих точек/регионов. Эти локальные дескрипторы фиксируют форму, цвет или текстуру в конкретной области и используются для измерения сходства (Similarity Measurement) между выбранным регионом запроса и регионами изображений в базе данных.

Ядро изобретения 3: Пользовательский интерфейс для визуального поиска и обратной связи.

Система включает пользовательский интерфейс, позволяющий пользователю уточнять визуальный поиск. Это включает возможность выбора локального региона (Local Region Selection) на изображении запроса (например, обвести часть объекта). Также предоставляются механизмы обратной связи (Relevance Feedback), такие как слайдеры (Sliders) для изменения весов различных признаков (цвет, форма, текстура) и инструменты выбора цвета (Color Picker), позволяющие пользователю модифицировать результаты поиска в реальном времени.

Где и как применяется

Изобретение охватывает несколько ключевых этапов поисковой архитектуры, фокусируясь на глубоком анализе изображений и обеспечении визуального поиска.

CRAWLING – Сканирование и Сбор данных
Модуль Procurement отвечает за сбор контента (Content Items), включающего изображения, текст и метаданные, с различных источников, включая e-commerce сайты, блоги и медиа-ресурсы. Также обрабатываются загрузки пользователей и триггеры с внешних сайтов.

INDEXING – Индексирование и извлечение признаков
Это основная фаза применения патента. Система (Content Analysis System) выполняет глубокую обработку собранного контента:

1. Сегментация и Выравнивание: Image Segmentizer отделяет объект от фона. Alignment приводит объект к каноническому виду.
2. Определение объекта: Object Determinator классифицирует объект, используя анализ текста/метаданных (Text/Metadata Analysis) и анализ изображения (Object Image Data Analysis).
3. Извлечение признаков (Feature Extraction): Извлекаются Global Features (цвет, форма, текстура) и Local Features. Для локальных признаков определяются Key Points/Regions и вычисляются дескрипторы (HOG, CSH).
4. Генерация данных: Признаки квантуются в векторы/сигнатуры (Vectorization/Signatures) и переводятся в текст (Text Translate).
5. Индексирование: Indexer генерирует Index Data для хранения в индексе.

На этом этапе также применяется Manual Enrichment через Editor Interface для контроля качества сегментации и классификации.

QUNDERSTANDING – Понимание Запросов
Query Generator на фронт-энде интерпретирует вводимые пользователем данные. Это может быть текст, загруженное изображение (unprocessed image), выбор существующего изображения (processed image), выбор части изображения или указание визуальных атрибутов (image value input). Если вводится необработанное изображение, оно проходит анализ для извлечения признаков.

RANKING – Ранжирование (Визуальный поиск)
Модуль Search выполняет поиск по сходству (Similarity Search) в индексе. Он сравнивает сигнатуру запроса с сигнатурами в базе данных, используя метрики расстояния (Distance functions). Патент описывает использование взвешенных комбинаций расстояний по разным признакам (цвет, форма, текстура, метаданные) для расчета общей оценки несходства (Total Distance).

RERANKING – Переранжирование
Механизмы обратной связи (слайдеры, выбор цвета) позволяют пользователю изменять веса признаков, что функционирует как механизм переранжирования в реальном времени (часто на стороне клиента).

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на изображения товаров в электронной коммерции (одежда, обувь, аксессуары, ювелирные изделия, мебель). Патент явно ориентирован на поиск и идентификацию предметов торговли (items of commerce or merchandise).
• Специфические запросы: Влияет на визуальные поисковые запросы (поиск по изображению) и запросы, где пользователь хочет найти "что-то похожее на это", особенно когда пользователь уточняет поиск по конкретной части объекта.
• Конкретные ниши или тематики: Критически важно для ниш Fashion, Home Decor, Jewelry и других сфер, где внешний вид товара является определяющим фактором выбора.

Когда применяется

• Триггеры активации (Индексирование): Активируется при обнаружении нового контента краулером, по расписанию или при получении триггера (например, при загрузке страницы пользователем, если используется активация контента на лету на сторонних сайтах).
• Триггеры активации (Поиск): Активируется, когда пользователь инициирует визуальный поиск: загружает изображение, выбирает существующее изображение в качестве запроса или использует инструменты интерфейса для уточнения поиска по визуальным атрибутам (слайдеры, выбор цвета, выбор региона).

Пошаговый алгоритм

Процесс А: Индексирование и анализ контента (Офлайн)

1. Сбор данных: Система получает элементы контента (изображения, текст, метаданные).
2. Предварительная классификация: Анализ текста и метаданных для определения категории объекта (например, "обувь"). Используется токенизация текста и сравнение с эталонными записями категорий.
3. Сегментация изображения: Применение программного статистического анализа распределения пикселей (например, с использованием смеси Гауссовых моделей или Markov Random Field) для отделения объекта от фона.
4. Ручное подтверждение (Опционально): Результаты сегментации могут быть представлены операторам (Manual Enrichment) для подтверждения качества.
5. Выравнивание: Приведение объекта к каноническому виду на основе правил, специфичных для его классификации (например, с помощью Principal Component Analysis или Hough transform).
6. Извлечение глобальных признаков: Анализ всего объекта для определения доминирующих цветов (например, через k-means clustering), формы (например, EHD) и текстуры (например, фильтры Габора).
7. Идентификация регионов и извлечение локальных признаков: Нормализация изображения, определение ключевых точек или регионов. Вычисление дескрипторов вокруг этих точек (например, HOG или CSH).
8. Генерация индекса: Квантификация признаков в визуальные сигнатуры, перевод признаков в текст и сохранение данных в индексе.

Процесс Б: Обработка визуального поискового запроса (Онлайн)

1. Получение ввода: Пользователь предоставляет ввод (текст, изображение, часть изображения, атрибуты).
2. Анализ ввода (если необходимо): Если введено необработанное изображение, выполняются шаги сегментации и извлечения признаков на лету.
3. Генерация запроса: Формирование поискового запроса. Если выбрана часть изображения, в запросе используются локальные признаки этой части.
4. Поиск по сходству (Similarity Search): Сравнение сигнатуры запроса с индексом. Вычисление расстояний (feature distances) между признаками запроса и признаками в базе (используя L1, L2 метрики и т.д.).
5. Ранжирование: Расчет общей оценки несходства (Total Distance) путем взвешенной комбинации расстояний по разным признакам.
6. Возврат результатов: Отображение ранжированного списка похожих изображений.
7. Уточнение поиска (Relevance Feedback): Пользователь может использовать инструменты интерфейса (слайдеры, выбор цвета) для изменения весов признаков. Результаты пересчитываются и обновляются.

Какие данные и как использует

Данные на входе

• Контентные факторы (Визуальные): Пиксельные данные изображений в различных цветовых пространствах (RGB, HSV, CIE-L*a*b*). Используются для сегментации, выравнивания и извлечения всех визуальных признаков (цвет, форма, текстура).
• Контентные факторы (Текст и Метаданные): Текст из описаний товаров, заголовков, ключевых слов. Метаданные о бренде, цене, категории товара. Используются для классификации объекта (Object Determinator) и извлечения Metadata Features. Также используется информация об источнике (домене) контента.
• Пользовательские данные (Обучение/Обогащение): Ввод от операторов для подтверждения сегментации (Manual Enrichment) и для сбора данных о субъективном восприятии сходства (perceptual similarity judgments) для обучения моделей ранжирования.

Какие метрики используются и как они считаются

Система использует набор метрик для представления признаков и расчета сходства.

Представление признаков (Метрики):

• Dominant Colors (Доминирующие цвета): Определяются через k-means clustering в цветовом пространстве. Результат — список доминирующих цветов и их весов.
• EHD (Edge Histogram Distributions): Изображение делится на блоки, и для каждого блока строится гистограмма типов границ (вертикальные, горизонтальные и т.д.).
• Texture Descriptors (Дескрипторы текстуры): Вычисляются с использованием набора сверточных фильтров (например, фильтров Габора) для захвата различных характеристик текстуры.
• HOG (Histogram of Oriented Gradients): Гистограммы ориентированных градиентов в локальных регионах. Используются как локальные дескрипторы формы.
• CSH (Color Spatial Histogram): Цветовые гистограммы, вычисленные для ячеек в локальном регионе. Фиксируют цвет и его пространственное расположение.

Расчет сходства (Метрики расстояния):

• Color Distance: Расстояние между двумя цветами может включать L2 расстояние между RGB векторами и угол между векторами (для нечувствительности к освещению).
• Feature Distance: Расстояние между двумя изображениями по конкретному признаку. Могут использоваться метрики L1, L2 (Евклидово расстояние), L-infinity, коэффициент Бхаттачарьи.
• IDF (Inverse Document Frequency): Используется для оценки важности терминов в метаданных. $IDF(term) = log(\frac{\text{Общее число элементов}}{\text{Число элементов, содержащих термин}})$.
• Total Distance (Общее расстояние): Метрика общего несходства между запросом (Q) и изображением в базе (D). Рассчитывается как взвешенная сумма дистанций отдельных признаков: $\text{TotalDistance}(Q,D) = \sum_{i=1}^{N} (\text{Distance}(Q,D,i) * w(i))$. Веса w(i) могут определяться с помощью машинного обучения (например, Linear Discriminant Analysis, LDA) на основе человеческих оценок сходства.

1. Визуальные признаки как сигналы ранжирования: Патент демонстрирует детальный конвейер для преобразования визуальных характеристик (цвет, форма, текстура) в индексируемые и ранжируемые сигналы (Signatures). Для e-commerce это означает, что внешний вид продукта напрямую влияет на его видимость в визуальном поиске.
2. Важность сегментации и качества изображений: Успешное извлечение признаков (Feature Extraction) критически зависит от качества сегментации (отделения объекта от фона) и выравнивания (Alignment). Изображения с четкими границами и чистым фоном имеют преимущество в этой системе.
3. Локальные признаки и поиск по частям: Ключевая возможность системы — индексировать признаки на уровне частей объекта (Local Features), используя ключевые точки или регионы. Это позволяет выполнять узкоспециализированные запросы (например, поиск по узору на сумке или форме каблука), что открывает новые пути для поиска товаров.
4. Комбинированный подход к сходству: Релевантность (Similarity) определяется не одним признаком, а взвешенной комбинацией глобальных, локальных признаков и метаданных. Веса для этой комбинации могут обучаться на основе пользовательских оценок сходства.
5. Интерактивное уточнение поиска: Патент подчеркивает важность обратной связи (Relevance Feedback). Пользовательские интерфейсы (слайдеры, выбор цвета, выбор региона) позволяют динамически изменять веса признаков в запросе, делая визуальный поиск интерактивным процессом.
6. Роль метаданных остается критичной: Несмотря на фокус на визуальном анализе, текст и метаданные (Metadata Features) играют важную роль в классификации объектов и как один из компонентов в расчете общего сходства (используя IDF).

Best practices (это мы делаем)

• Обеспечение высокого качества и чистоты изображений: Используйте высококачественные фотографии товаров на контрастном или чистом фоне. Это критично для успешной Segmentation, которая является основой для всего последующего анализа.
• Демонстрация товара с разных ракурсов и крупным планом: Предоставляйте несколько изображений товара, показывая его с разных сторон и делая акцент на ключевых деталях (фурнитура, текстура материала, логотипы). Это позволит системе извлечь максимум Local Features, увеличивая шансы показа товара при поиске по части объекта.
• Оптимизация метаданных и текстовых описаний: Убедитесь, что заголовки, описания и атрибуты (alt text) точно описывают визуальные характеристики товара. Система использует эти данные (Metadata Features) для классификации и как один из факторов сходства. Используйте релевантные "buzzwords" (ключевые фразы, описывающие стиль), так как патент упоминает их важность.
• Использование структурированных данных (Schema.org/Product): Внедряйте микроразметку для товаров, чтобы четко передать поисковой системе метаданные (цвет, материал). Это помогает модулю Object Determinator корректно классифицировать товар.
• Поддержание консистентности стиля фотографий: Старайтесь использовать стандартные ракурсы для основных фотографий товаров. Это помогает процессу выравнивания (Alignment) привести объект к каноническому виду для более точного сравнения.

Worst practices (это делать не надо)

• Использование сложных, "шумных" фонов (Cluttered backgrounds): Размещение товаров на фоне других объектов или сложных узоров затрудняет Segmentation. Система может ошибочно принять часть фона за часть объекта.
• Изображения низкого качества: Размытые, плохо освещенные или изображения с низким разрешением не позволят системе надежно определить ключевые точки и извлечь точные дескрипторы (HOG, EHD).
• Использование крупных "водяных знаков" и наложений: Размещение логотипов или текста поверх изображения товара может нарушить процесс Feature Extraction и негативно повлиять на расчет визуального сходства, так как система может принять их за часть текстуры или формы объекта.
• Игнорирование Image SEO в пользу только текстового SEO: Полагаться только на текстовые описания опасно, так как визуальный поиск становится все более важным каналом трафика в e-commerce. Внешний вид товара теперь является фактором ранжирования.

Стратегическое значение

Этот патент подчеркивает стратегическую важность визуального контента в поиске, особенно для электронной коммерции. Он закладывает основу для того, как Google интерпретирует и индексирует мир физических товаров с помощью технологий компьютерного зрения. Долгосрочная SEO-стратегия должна рассматривать изображения не просто как дополнение к тексту, а как основные объекты для поиска. Инвестиции в качество и организацию фотоконтента становятся прямой инвестицией в SEO, обеспечивая видимость в платформах визуального поиска (Google Images, Google Shopping, Google Lens).

Практические примеры

Сценарий: Оптимизация карточки товара для визуального поиска (на примере кроссовок)

1. Действие (Основное изображение): Разместить фотографию кроссовка в профиль на белом фоне в высоком разрешении.
2. Обоснование (Патент): Это облегчает Segmentation (отделение от фона) и Alignment (приведение к стандартному виду), что является базой для корректного извлечения Global Features (общей формы и цвета).
3. Действие (Дополнительные изображения): Добавить крупные планы (close-up) текстуры материала, подошвы, шнурков и логотипа.
4. Обоснование (Патент): Это позволяет системе извлечь Local Features из этих ключевых регионов. Если пользователь будет искать через Google Lens, выделив только подошву (Local Region Selection), система сможет сопоставить этот запрос с вашим товаром.
5. Действие (Текстовое описание): Включить в описание фразы: "Белые кожаные кроссовки с красной вставкой на пятке и резиновой подошвой".
6. Обоснование (Патент): Система извлекает Metadata Features и использует их для классификации и ранжирования. Точное описание визуальных атрибутов помогает системе сопоставить текстовые данные с визуальными признаками.