Как Google использует компьютерное зрение для анализа, сегментации и визуального поиска товаров в E-commerce

Термины и определения

Alignment (Выравнивание)

Процесс нормализации ориентации сегментированного изображения для приведения его к каноническому виду (canonical view).

CBIR (Content-Based Image Retrieval)

Поиск изображений на основе их визуального содержания (признаков), а не текстовых метаданных.

Content Item (Контентная единица)

Файл или запись (например, о товаре), содержащая изображение, а также связанный текст и/или метаданные.

CSH (Color Spatial Histogram)

Дескриптор локальных признаков, фиксирующий распределение цветов в пространстве вокруг ключевой точки.

EHD (Edge Histogram Distributions)

Дескриптор гистограммы границ. Представляет локальное распределение границ (вертикальных, горизонтальных) в изображении. Используется для описания формы и текстуры.

Feature (Признак)

Визуальная характеристика объекта (цвет, форма, текстура), которая извлекается и представляется в виде данных (вектора или текста).

Feature Distance (Расстояние между признаками)

Числовая метрика, измеряющая несходство между двумя изображениями относительно конкретного визуального признака.

Global Features (Глобальные признаки)

Признаки, описывающие объект в целом (например, доминирующий цвет, общая форма).

HOG (Histogram of Oriented Gradients)

Гистограмма ориентированных градиентов. Дескриптор локальных признаков, используемый для определения формы.

Local Features (Локальные признаки)

Признаки, локализованные в определенной части объекта (key points/regions).

Manual Enrichment (Ручное обогащение)

Процесс использования людей-операторов для подтверждения или исправления программно определенных данных (например, результатов сегментации).

Object Determinator (Определитель объекта)

Модуль, который определяет информацию об объекте (например, классификацию) путем анализа данных изображения, текста и метаданных.

Segmentation (Сегментация)

Процесс разделения изображения на передний план (объект) и фон.

Signature (Сигнатура)

Количественное представление (например, вектор) набора извлеченных признаков. Используется для индексации и сравнения.

Ключевые утверждения (Анализ Claims)

Примечание: Полный текст Claims (Формулы изобретения) отсутствует в предоставленном фрагменте PDF, который обрывается на странице 46. Анализ основан исключительно на Abstract, Detailed Description и схемах, представленных в документе.

Направление 1: Система анализа изображений и ручного обогащения (Основано на FIG. 1, FIG. 4A/B)

Защищается система для создания коллекции распознанных изображений. Ключевые компоненты:

1. Модуль анализа изображений для программного анализа коллекции изображений.
2. Интерфейс редактора (Editor Interface), который отображает результаты анализа в виде множества панелей (plurality of panels, grouped presentation).
3. Механизм, позволяющий редакторам взаимодействовать с панелями для исправления или удаления неверно определенной информации (Manual Enrichment).

Это защищает архитектуру, сочетающую автоматический анализ с эффективной системой ручной проверки для контроля качества данных.

Направление 2: Применение визуального анализа в E-commerce (Основано на Abstract, FIG. 11, FIG. 21)

Защищается метод предоставления товаров:

1. Получение изображения товара (merchandise item).
2. Программный анализ изображения для определения информации о нем. Это включает сегментацию, извлечение признаков и классификацию.
3. Использование этой информации для генерации представления (presentation) товара, например, в результатах визуального поиска.

Это защищает применение технологий CBIR для автоматического понимания и каталогизации товаров.

Направление 3: Методы извлечения признаков и поиска по сходству (Основано на FIGS. 7-10, FIG. 14)

Защищаются технические методы анализа и сравнения:

1. Извлечение глобальных признаков (цвет, форма, текстура) и локальных признаков (вокруг ключевых точек с помощью дескрипторов типа HOG, CSH).
2. Количественная оценка сходства с помощью функций расстояния (distance functions).
3. Использование взвешенной комбинации расстояний отдельных признаков (Total Distance), где веса определяются на основе машинного обучения (например, LDA) и человеческих оценок сходства.

Где и как применяется

Изобретение охватывает ключевые этапы поисковой архитектуры, формируя основу для систем визуального поиска (Visual Search).

CRAWLING – Сканирование и Сбор данных
Модуль Procurement (105, 1130) сканирует сайты E-commerce или получает фиды для сбора Content Items (изображений товаров и метаданных).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Система Content Analysis (1140) выполняет глубокую обработку:

• Сегментация и Выравнивание: Image Segmenter (110) и Align/Pre-process (115) изолируют объект от фона и нормализуют его вид.
• Извлечение Признаков (Feature Extraction): Модуль (120) вычисляет Global Features и Local Features (HOG, CSH).
• Классификация: Object Determinator (140) анализирует изображение и метаданные для классификации товара.
• Генерация Сигнатур: Quant/Vectorization (132) создает визуальные сигнатуры (Signatures 128).
• Контроль Качества: Editor Interface (160) используется для Manual Enrichment.
• Индексация: Indexer (160) сохраняет данные в Index (164).

QUNDERSTANDING – Понимание Запросов
Когда пользователь предоставляет ввод через User-Interface (1110) – будь то новое изображение, выбор региона или спецификация атрибута (цвет) – Query Generator (1330) формирует запрос на основе визуальных критериев. Если изображение новое (unprocessed), оно анализируется на лету.

RANKING – Ранжирование
Модуль Search (1120) выполняет Similarity Search. Он сравнивает сигнатуру запроса с индексом, используя distance functions для количественной оценки визуального сходства и ранжирования.

Входные данные:

• Content Items (Изображения товаров, текст, метаданные).
• Пользовательский ввод (изображения, выбор регионов, атрибуты).
• Данные от операторов (для Manual Enrichment и обучения моделей).

Выходные данные:

• Индекс визуальных сигнатур и метаданных (Index Data 162).
• Результаты поиска (Search Result Presentation 1128) визуально похожих товаров.

На что влияет

• Типы контента и ниши: В первую очередь E-commerce, особенно ниши, зависимые от визуального восприятия: мода (одежда, обувь, аксессуары), ювелирные изделия, мебель, декор.
• Специфические запросы: Запросы визуального поиска ("найти похожее") или запросы, инициированные через изображение (Google Lens, Image Search).

Когда применяется

• При индексации: При обработке новых или обновленных изображений товаров из источников E-commerce.
• При поиске: Когда пользователь инициирует визуальный поиск или использует функции уточнения результатов по визуальным атрибутам (цвет, форма).

Пошаговый алгоритм

Процесс А: Backend (Индексация и Анализ Товаров)

1. Сбор данных: Получение Content Items.
2. Предварительная классификация: Анализ метаданных для определения категории товара (используя Object Determinator).
3. Сегментация изображения: Отделение объекта от фона (например, с помощью статистического анализа пикселей или MRF).
4. Выравнивание: Нормализация ориентации объекта в канонический вид (например, с помощью PCA).
5. Извлечение Глобальных Признаков: Определение цвета (k-means clustering), формы (EHD, PCA), текстуры (фильтры Габора).
6. Извлечение Локальных Признаков: Определение ключевых точек/регионов и вычисление дескрипторов (HOG, CSH) вокруг них.
7. Генерация Сигнатуры: Векторизация признаков в компактную визуальную сигнатуру.
8. Ручное Обогащение (Опционально): Проверка результатов операторами через Editor Interface.
9. Индексация: Сохранение сигнатур и метаданных.

Процесс Б: Frontend (Обработка Запроса и Поиск)

1. Получение ввода: Пользователь предоставляет изображение или выбирает атрибуты.
2. Анализ запроса: Извлечение признаков из ввода (если это новое изображение) или использование существующих.
3. Поиск по сходству: Сравнение сигнатуры запроса с индексом. Вычисление feature distances.
4. Ранжирование: Сортировка результатов на основе общего расстояния (Total Distance), которое является взвешенной суммой расстояний отдельных признаков. Веса определяются моделью (например, LDA).
5. Отображение результатов: Возврат результатов.
6. Интерактивное уточнение (Relevance Feedback): Пользователь использует слайдеры или Color Picker для изменения весов признаков, результаты обновляются (возможно, на стороне клиента).

Какие данные и как использует

Данные на входе

• Контентные/Мультимедиа факторы (Изображения): Пиксельные данные изображений (RGB, HSV, CIE-L*a*b*). Источник для сегментации и извлечения визуальных признаков.
• Текстовые и Структурные факторы (Метаданные): Название, описание, бренд, цена, категории источника, ключевые слова (buzzwords). Используются для классификации (Object Determinator) и как отдельные признаки (Metadata Features).
• Пользовательские факторы (Данные от операторов): Ввод через Editor Interface для контроля качества. Оценки сходства (similarity judgments) для обучения моделей ранжирования.

Какие метрики используются и как они считаются

• Feature Distance (Расстояние признака): Измеряет несходство по конкретному признаку. Используются метрики L1, L2 (Евклидово расстояние), Bhattacharya coefficient, KL divergence.
• Расстояние цвета: Может включать L2 расстояние между RGB векторами и угол между векторами (для устойчивости к изменению освещения).
• IDF (Inverse Document Frequency): Используется для оценки важности текстовых терминов (buzzwords) в метаданных.