Как Google анализирует одежду на изображениях для визуального поиска, игнорируя лица и фон

Термины и определения

Clothing Subsection / Extracted Subsection (Подраздел одежды / Извлеченный подраздел)

Часть изображения, которая остается после удаления лица, фона и участков кожи. Представляет собой изолированный предмет одежды.

Color Histogram (Цветовая гистограмма)

Характеристика, представляющая распределение цветов в выделенном фрагменте. Генерируется модулем Color analysis module.

Convolutional Neural Network (CNN) (Сверточная нейронная сеть)

Тип нейронной сети, используемый для распознавания узоров. Состоит из сверточных слоев, нелинейных слоев (Tanh) и слоев субдискретизации (Max-pooling).

Fixed Size Patch (Патч фиксированного размера)

Небольшой фрагмент (например, 32x32 пикселя), извлекаемый из Clothing Subsection для анализа нейронной сетью.

Haar-wavelets (Вейвлеты Хаара)

Упомянутый метод для обнаружения объектов, в данном случае — лиц.

Learning Network (Обучаемая сеть)

Система машинного обучения (CNN, MLP), обученная классифицировать входные патчи по категориям узоров.

LSH (Locality Sensitive Hashing)

Метод хеширования, упоминаемый как эффективный способ для быстрого сравнения гистограмм в Similarity Engine.

Max-pooling (Максимальный пулинг)

Техника в CNN для уменьшения размерности данных путем выбора максимального значения в заданной области.

Pattern Category Histogram / Feature Record (Гистограмма категорий узоров / Запись признаков)

Выходные данные нейронной сети, характеризующие узор (например, полосы, цветы). Вектор чисел, указывающих на степень присутствия каждой категории.

Similarity Engine (Система оценки сходства)

Компонент, который сравнивает гистограммы (узора и цвета) исходного изображения с базой данных для поиска совпадений.

Watershed method (Метод водораздела)

Упомянутый алгоритм сегментации изображений, используемый для удаления фона.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс характеризации изображения и поиска похожих изображений одежды.

1. Поддержание данных характеризации (characterization data) для множества изображений, включая feature record с категориями узоров (pattern categories).
2. Получение запроса с входным изображением.
3. Генерация characterization data для входного изображения, включающая строгую последовательность шагов:
   1. Идентификация лица на изображении.
   2. Извлечение фрагмента одежды (clothing subsection). Этот шаг требует удаления фона, удаления лица И удаления других участков кожи.
   3. Определение размера лица.
   4. Масштабирование (rescaling) фрагмента одежды на основе размера лица (Нормализация масштаба).
   5. Извлечение одного или нескольких патчей фиксированного размера (fixed size patches).
   6. Преобразование в оттенки серого (gray scaling) патчей (удаление цвета).
   7. Обработка ТОЛЬКО патчей в оттенках серого с помощью learning network для генерации feature record (характеристики узора).
4. Выбор похожих изображений на основе сравнения данных характеризации.
5. Предоставление похожих изображений пользователю.

Ядром изобретения является специфический конвейер нормализации и характеризации. Ключевые моменты: использование размера лица для стандартизации масштаба, агрессивная сегментация для изоляции одежды и использование специализированной нейронной сети, которая анализирует узор независимо от цвета (color-blind pattern recognition).

Claims 17-18 (Зависимые): Уточняют, что система также генерирует Color Histogram, и поиск учитывает как узор, так и цвет.

Claims 19-20 (Зависимые): Уточняют, что система может определять расстояние между лицом и одеждой (face to clothing distance) и использовать это при выборе похожих изображений (позволяет классифицировать тип одежды).

Где и как применяется

Патент описывает инфраструктуру системы визуального поиска (например, Google Lens, Google Images), затрагивающую этапы индексирования и ранжирования.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения. Когда система индексирует изображения (из фидов товаров или веба), она применяет описанный конвейер. Происходит обнаружение лиц, сегментация, масштабирование, обработка CNN и анализ цвета. Полученные Pattern category histogram и Color histogram сохраняются в базе данных (Image Database) как метаданные (characterization data).

RANKING – Ранжирование (Retrieval)
Когда пользователь выполняет визуальный поиск, входное изображение проходит через тот же конвейер извлечения признаков в реальном времени. Полученные гистограммы затем используются Similarity engine для быстрого поиска (Retrieval) и ранжирования предварительно обработанных изображений из индекса, которые имеют схожие характеристики.

Входные данные:

• Изображение (например, каталожная фотография товара).

Выходные данные:

• Pattern category histogram (Feature record).
• Color histogram.
• Опционально: класс одежды (на основе face to clothing distance), возраст/пол модели.

На что влияет

• Конкретные типы контента: Изображения, содержащие людей в одежде — каталожные фото, фотографии модных товаров.
• Конкретные ниши или тематики: E-commerce, мода, розничная торговля.
• Определенные форматы: Результаты визуального поиска в Google Images, Google Lens, Google Shopping (блоки "похожие товары").

Когда применяется

• Триггеры активации: Алгоритм, описанный в Claim 1, активируется при обнаружении лица на изображении. Наличие лица необходимо для нормализации масштаба и определения тона кожи.
• Исключения: В описании патента (не в Claims) упоминается альтернативный метод (S112-S118), если лицо не обнаружено, основанный на обнаружении краев, но он считается менее точным.

Пошаговый алгоритм

Процесс обработки изображения (Индексирование или Запрос)

1. Получение изображения и Сегментация:
   1. Применение маски для удаления фона (например, Watershed method).
   2. Обнаружение лиц (например, Haar-wavelets).
2. Анализ тона кожи (если лицо найдено):
   1. Определение диапазона тонов кожи на основе пикселей лица (например, кластеризация в HSV).
   2. Создание маски тона кожи для удаления других открытых участков тела (руки, ноги).
   3. Фильтрация (медианный фильтр) для очистки маски от "пятен" на одежде.
3. Извлечение фрагмента (Subsection Extraction): Идентификация самого большого оставшегося сегмента (предполагается, что это одежда).
4. Нормализация масштаба (Rescaling):
   1. Определение размера обнаруженного лица.
   2. Масштабирование извлеченного фрагмента одежды на основе размера лица.
5. Извлечение признаков узора (Pattern Feature Extraction):
   1. Извлечение множества патчей фиксированного размера (например, 32x32) из масштабированного фрагмента.
   2. Преобразование патчей в оттенки серого (Gray scaling).
   3. Ввод патчей в обучаемую сеть (CNN).
   4. Агрегация выходных данных в Pattern Category Histogram.
6. Извлечение признаков цвета (Color Feature Extraction): Ввод цветного фрагмента в Color Analysis Module для генерации Color Histogram.
7. Поиск сходства (при поиске): Сравнение гистограмм с базой данных с помощью Similarity Engine (например, используя LSH).

Какие данные и как использует

Данные на входе

Система использует исключительно данные, содержащиеся в самом изображении.

• Мультимедиа факторы: Пиксельные данные изображения. Система анализирует значения пикселей в различных цветовых пространствах:
  • RGB/HSV: Используется для удаления фона, обнаружения кожи (упоминается анализ в пространстве HSV и кластеризация k-means) и генерации Color Histogram.
  • Grayscale/YUV: Изображение преобразуется в оттенки серого (упоминается использование компонента Y в YUV) перед подачей в нейронную сеть для анализа узора.

Какие метрики используются и как они считаются

• Размер лица: Вычисляется в процессе обнаружения лиц и используется как коэффициент нормализации для масштабирования.
• Кластеры тонов кожи: Определяются с помощью алгоритма k-means в пространстве HSV для идентификации и удаления участков кожи.
• Mean Color Distance (MCD): Метрика, используемая в анализе тонов кожи для определения вариативности цвета внутри кластера.
• Pattern Category Histogram: Вектор (например, из 22 чисел, согласно примеру в патенте), где каждое число представляет степень выраженности определенной категории узора. Сумма чисел обычно равна единице.
• Color Histogram: Табличное представление частоты встречаемости различных цветов во фрагменте.
• Face to Clothing Distance: Расстояние между лицом и фрагментом одежды, используемое для классификации типа одежды (Claim 19).
• Алгоритмы машинного обучения: Использование Сверточных нейронных сетей (CNN) для анализа узоров и Многослойных персептронов (MLP) для классификации.

1. Приоритет продукта над окружением: Патент демонстрирует, что для визуального поиска товаров Google активно изолирует сам продукт (одежду), игнорируя нерелевантные элементы: модель (лицо, кожу) и фон.
2. Нормализация масштаба по лицу: Система использует размер лица как эталон для стандартизации масштаба анализируемого объекта. Это позволяет сравнивать узоры (например, ширину полос) на фотографиях, сделанных с разного расстояния.
3. Разделение анализа узора и цвета: Критически важный вывод — анализ узора выполняется нейронной сетью на основе патчей в оттенках серого (grayscaled patches). Анализ цвета выполняется отдельно. Система распознавания узоров является "цветонезависимой" (color-blind).
4. Анализ на основе патчей: Система не анализирует изображение целиком. Она строит общую характеристику на основе анализа множества небольших фрагментов фиксированного размера (fixed-size patches), что делает анализ устойчивым к складкам и позам.
5. Значение для E-commerce Image SEO: Этот патент описывает фундаментальный подход к визуальному сходству в E-commerce, определяя ключевые визуальные признаки (узор и цвет), используемые для ранжирования в визуальном поиске.

Best practices (это мы делаем)

• Использование моделей для контекста и масштаба: Описанный метод использует обнаружение лица для нормализации масштаба и точной сегментации. Наличие модели на фото помогает работе именно этого алгоритма, поэтому для одежды предпочтительны фотографии с моделями, где лицо четко видно.
• Четкие изображения продукта и текстур: Обеспечьте, чтобы узор, текстура и цвет изделия были ясно видны. Система полагается на извлечение чистых, репрезентативных патчей (patches). Узоры должны быть достаточно четкими, чтобы даже небольшой патч (32x32 пикселя) был репрезентативным.
• Контраст с фоном: Используйте фон, который контрастирует с цветом продукта. Хотя система пытается удалить фон (Watershed method), чистый контраст облегчает точную сегментацию и изоляцию clothing subsection.
• Точная цветопередача: Поскольку Color Histogram является отдельным фактором для поиска, цвета на фотографии должны точно соответствовать реальному товару.

Worst practices (это делать не надо)

• Затенение или перекрытие продукта: Изображения, где основной узор сильно затенен или перекрыт реквизитом, будут менее эффективны, так как система не сможет извлечь качественные патчи.
• Отсутствие лица или его обрезание (для одежды): Если лицо обрезано или скрыто, система не сможет применить точную нормализацию масштаба и определение кожи, описанные в Claim 1.
• Сложные и "шумные" фоны: Очень сложные фоны или фоны, цвет которых совпадает с цветом продукта, могут затруднить процесс сегментации и привести к ошибкам в изоляции объекта.
• Низкое качество изображений: Изображения низкого разрешения могут привести к тому, что fixed-size patches будут содержать артефакты сжатия, а не реальный узор, что ухудшит характеризацию.

Стратегическое значение

Патент подтверждает, что для SEO изображений в E-commerce визуальные характеристики (узор, цвет) являются основными факторами для определения сходства в системах визуального поиска (Google Lens). Он подчеркивает важность оптимизации под машинное зрение. Стратегия должна фокусироваться на том, чтобы помочь Google легко изолировать и проанализировать сам товар на фотографии.

Практические примеры

Сценарий: Оптимизация изображения полосатого платья для визуального поиска

1. Действие: Загрузить фотографию высокого разрешения, на которой модель носит платье. Фотография сделана на простом фоне. Лицо модели четко видно. Полосы на платье находятся в фокусе.
2. Обработка системой (согласно патенту): Google обнаруживает лицо модели. Система удаляет фон и кожу модели, изолируя платье. Используя размер лица, система масштабирует изображение платья до стандартного размера (нормализация). Извлекаются сотни маленьких черно-белых патчей полос. CNN обрабатывает их и классифицирует узор как "полосатый". Отдельно анализируются цвета платья.
3. Ожидаемый результат: Платье будет появляться в результатах визуального поиска по запросам о похожих полосатых товарах того же цвета, независимо от того, кто является моделью или какой был фон на исходном фото.