Как Google использует категорийно-специфичное распознавание и визуальные сигнатуры для поиска похожих товаров (Visual Search)

Описание

Какую задачу решает

Патент решает проблему поиска изображений на основе их визуального содержания, а не только текстовых метаданных. Это критически важно в E-commerce, где пользователи часто хотят найти товары, визуально похожие на те, что они видят. Изобретение позволяет реализовать функции визуального поиска (Visual Search) и подбирать контекстную рекламу на основе изображений, просматриваемых пользователем.

Что запатентовано

Запатентована система анализа и индексации изображений, которая идентифицирует объекты, определяет их категории и извлекает набор признаков, специфичных для данной категории (category-specific features). На основе этих признаков формируется Signature Value (визуальная сигнатура). Система использует эти сигнатуры для выполнения поиска по сходству (similarity comparison), позволяя находить визуально похожие товары и предоставлять ссылки на сайты продавцов.

Как это работает

Система функционирует в двух режимах:

• Индексация (Офлайн): Image Analysis Sub-system обрабатывает коллекцию изображений. Для каждого изображения она определяет категорию объекта, отделяет объект от фона (сегментация) и вычисляет Signature Value на основе признаков, специфичных для этой категории (например, форма каблука для обуви). Сигнатура и метаданные сохраняются в Index.
• Поиск (Онлайн): Пользователь предоставляет входное изображение. Search Component анализирует его, вычисляет его Signature Value и выполняет операцию сравнения схожести (similarity operation) с индексом. Система возвращает визуально похожие товары со ссылками для покупки.

Актуальность для SEO

Критически высокая. Патент принадлежал компании Like.com, которую Google приобрел в 2010 году. Описанные технологии лежат в основе современных систем визуального поиска, таких как Google Lens, Google Images (функции поиска похожих) и Google Shopping. Визуальный поиск является стратегическим направлением в E-commerce.

Важность для SEO

Патент имеет высокое значение (8.5/10) для E-commerce SEO. Он описывает фундаментальные механизмы, определяющие, как Google понимает и сравнивает товары на основе их изображений. Понимание процессов сегментации, категоризации и извлечения визуальных признаков (Signature Value) критически важно для оптимизации изображений товаров и обеспечения их видимости в Google Lens и Google Shopping.

Детальный разбор

Термины и определения

Category-specific features (Признаки, специфичные для категории)

Набор характеристик, уникальных или важных для определенной категории объектов. Например, для категории «обувь» это могут быть форма каблука, наличие пряжки (buckle) или молнии (zipper).

Feature Vector (Вектор признаков)

Числовое представление конкретного визуального признака (цвет, форма, узор). Является компонентом Signature Value.

Image Analysis Sub-system (Подсистема анализа изображений)

Компонент, отвечающий за офлайн-обработку изображений: распознавание, категоризацию, сегментацию и извлечение признаков.

Index (Индекс)

Структура данных (например, similarity database), хранящая информацию об изображениях, включая их местоположение, категории объектов и Signature Values.

Segmentation (Сегментация)

Процесс отделения объекта интереса (передний план) от фона на изображении. Критически важен для точного анализа признаков объекта.

Signature Value (Сигнатурное значение / Визуальная сигнатура)

Количественное значение или набор значений (агрегация Feature Vectors), которые характеризуют внешний вид объекта и позволяют отличать его от других объектов той же категории. Используется для сравнения схожести.

Similarity Operation (Операция сравнения схожести)

Процесс сравнения Signature Value запроса с сигнатурами в индексе для поиска похожих объектов. Может использовать weighted distance matching.

Weighted Distance Matching (Взвешенное сопоставление расстояний)

Метод расчета степени схожести между двумя Signature Values, где разным признакам (например, цвету, форме) могут присваиваться разные веса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод выбора изображений с фокусом на E-commerce.

1. Система выполняет анализ коллекции изображений.
2. Анализ включает: (i) идентификацию объектов, (ii) определение категории объекта, (iii) идентификацию набора признаков, специфичных для этой категории (category-specific features), (iv) определение информации (Signature Value), характеризующей объект на основе этих признаков. Эта информация позволяет отличать объект от других в той же категории.
3. Информация сохраняется в хранилище данных.
4. Система определяет критерии поиска на основе входных данных (текст или изображение).
5. Выполняется поиск в хранилище.
6. Применение к E-commerce: Если входные данные указывают на товарный объект (merchandise object), поиск выбирает изображения похожих (similar) товарных объектов.
7. Система предоставляет ссылку (link) с выбранными изображениями, позволяющую пользователю купить товар на сайте продавца.

Ядро изобретения — использование категорийно-специфичных признаков для точного визуального сравнения товаров и интеграция с коммерческими платформами.

Claim 7 (Зависимый от 6): Уточняет механизм сравнения.

Информация, сохраненная в индексе, является Signature Value, основанной на количественной характеристике признаков. Поиск использует Signature Value из входного изображения для выполнения сравнения по сходству (similarity comparison) с сигнатурами объектов в коллекции.

Claim 15 (Независимый пункт — Система): Описывает архитектуру системы.

Система включает:

• Image analysis sub-system, настроенную на идентификацию объектов, определение категорий, назначение различных наборов признаков для разных категорий и вычисление Signature Value на основе этих специфичных признаков.
• Search component, который анализирует входное изображение, определяет критерии и использует сохраненные Signature Values для выбора похожих товарных объектов и предоставления ссылок на покупку.

Где и как применяется

Изобретение охватывает полный цикл визуального поиска, от сбора данных до ранжирования.

CRAWLING – Сканирование и Сбор данных
Система использует процессы агрегации (aggregation processes) или веб-краулеры для сбора изображений товаров из интернет-магазинов и других источников.

INDEXING – Индексирование и извлечение признаков
Это основной этап работы системы, выполняемый офлайн. Image Analysis Sub-System выполняет:

• Категоризацию (Category Mapping): Определение типа объекта (например, с помощью анализа метаданных или ML).
• Сегментацию (Segmentation): Отделение объекта от фона (например, используя Mixture of Gaussian models).
• Извлечение признаков (Feature Extraction): Вычисление визуальных признаков (цвет, форма, узор) и, что критично, category-specific features.
• Вычисление Signature Value: Агрегация признаков в визуальную сигнатуру.
• Индексирование: Сохранение Signature Value, метаданных и ссылок на продавцов в Index.

QUNDERSTANDING – Понимание Запросов
Когда пользователь предоставляет входное изображение, Search Component анализирует его в реальном времени: определяет категорию и вычисляет его Signature Value, формируя критерии поиска.

RANKING – Ранжирование (Retrieval)
На этапе отбора кандидатов система выполняет Similarity Operation. Signature Value входного изображения используется для быстрого поиска в индексе визуально похожих объектов с помощью weighted distance matching.

METASEARCH / RERANKING – Метапоиск и Переранжирование
Результаты поиска ранжируются по степени визуального сходства и представляются пользователю вместе со ссылками на покупку.

На что влияет

• Конкретные ниши или тематики: Критическое влияние на E-commerce, особенно в нишах, где визуальный выбор доминирует: мода (одежда, обувь, аксессуары), мебель, декор.
• Конкретные типы контента: Изображения товаров (Merchandise Objects).
• Специфические запросы: Запросы, инициированные изображением (например, через Google Lens или загрузку фото).

Когда применяется

• Триггеры активации: Активируется, когда пользователь инициирует визуальный поиск или когда система предлагает похожие товары на основе просматриваемого изображения.
• Условия работы: Требуется наличие предварительно созданного индекса визуальных сигнатур. Эффективность зависит от качества сегментации и точности категоризации.
• Пороговые значения: Система использует порог (designated threshold) при сравнении Signature Values для определения, является ли объект достаточно похожим.

Пошаговый алгоритм

Процесс А: Офлайн-индексирование (Подготовка данных)

1. Сбор данных: Получение изображений товаров и их метаданных.
2. Категоризация (Category Mapping): Определение категории объекта (например, с помощью анализа текста или ML).
3. Сегментация (Segmentation): Отделение объекта от фона.
4. Извлечение визуальных признаков (Feature Extraction): Вычисление признаков (цвет, форма, узор), специфичных для определенной категории. Формирование векторов визуальных признаков.
5. Извлечение признаков метаданных: Обработка текста, например, с использованием IDF (Inverse Document Frequency) для оценки важности слов.
6. Формирование Signature Value: Создание визуальной сигнатуры объекта на основе извлеченных признаков.
7. Индексирование (Indexing): Сохранение признаков в индексе (similarity database), возможно с использованием древовидных алгоритмов для кластеризации похожих элементов.

Процесс Б: Онлайн-поиск (Обработка запроса)

1. Получение входных данных: Пользователь предоставляет изображение товара.
2. Анализ входного изображения: Выполнение шагов 2-6 из Процесса А для входного изображения.
3. Формирование критериев поиска: Использование Signature Value входного изображения.
4. Операция поиска по сходству (Similarity Operation): Выполнение запроса к индексу. Применяется weighted distance matching между признаками входного изображения и изображениями в индексе.
5. Получение и презентация результатов: Возвращение изображений похожих товаров со ссылками на сайты продавцов.
6. Уточнение (Опционально): Пользователь может уточнить результаты через обратную связь (например, изменить веса цвета/формы с помощью слайдеров или выбрать ключевой регион на изображении).

Какие данные и как использует

Данные на входе

• Контентные/Мультимедиа факторы (Изображения): Пиксельные данные (Image data). Качество, контрастность и фон критичны для сегментации.
• Текстовые факторы (Метаданные): Текст, описывающий изображение, URL. Используются для категоризации и как metadata features.
• Данные о продавце: Ссылки на сайты продавцов для интеграции функции покупки.

Какие метрики используются и как они считаются

• Signature Value (Визуальная сигнатура): Основная метрика, состоящая из набора векторов признаков. Включает:
  • Визуальные признаки (Visual features): Метрики цвета, формы, границы и узора.
  • Категорийно-специфичные признаки: Дополнительные метрики, зависящие от типа объекта (например, наличие пряжки, молнии, форма каблука).
  • Признаки метаданных (Metadata features): Метрики из текста, например, с использованием IDF.
• Weighted Distance Matching (Взвешенное сопоставление расстояний): Метрика для расчета степени схожести между двумя Signature Values. Веса могут корректироваться, в том числе пользователем.
• Similarity Threshold (Порог сходства): Значение расстояния, в пределах которого объекты считаются похожими.

Выводы

1. Основа Визуального Поиска в E-commerce: Патент детально описывает архитектуру системы визуального поиска товаров, интегрированную с коммерческой функциональностью (ссылки на покупку). Это подтверждает стратегическую важность Visual SEO.
2. Ключевая роль Category-Specific Features: Инновация заключается в использовании признаков, специфичных для категории. Система не просто сравнивает общие визуальные характеристики, а анализирует детали, релевантные для конкретного типа товара (например, фасон платья или тип каблука), что повышает точность поиска.
3. Критичность Сегментации: Точность извлечения признаков напрямую зависит от качества отделения объекта от фона (Segmentation). Это имеет прямые последствия для требований к фотографиям товаров.
4. Signature Value как комплексная метрика: Визуальное сходство определяется количественно через сравнение Signature Values, которые могут включать как визуальные, так и текстовые (метаданные) признаки.
5. Интерактивное уточнение поиска: Патент предусматривает возможность для пользователя корректировать веса различных визуальных атрибутов (цвет, форма, паттерн) в реальном времени для уточнения результатов.

Практика

Best practices (это мы делаем)

• Обеспечение идеальных условий для сегментации: Используйте высококачественные фотографии товаров на чистом, контрастном фоне (предпочтительно белом). Это критически важно для того, чтобы система могла точно отделить объект от фона и корректно вычислить Signature Value.
• Демонстрация категорийно-специфичных признаков: Убедитесь, что ключевые детали товара (Category-Specific Features) хорошо видны. Используйте несколько ракурсов и крупные планы (close-ups) для демонстрации текстуры материала, фурнитуры (пряжки, молнии), формы каблука или уникального узора.
• Оптимизация метаданных для точной категоризации: Предоставляйте точные текстовые описания и используйте структурированные данные (Schema.org/Product). Это помогает системе на этапе Category Mapping. Правильная категоризация определяет, какой набор специфичных признаков будет извлекаться.
• Использование уникальных изображений: По возможности используйте собственные уникальные фотографии вместо стандартных стоковых изображений, чтобы дифференцировать ваши товары в визуальном поиске.

Worst practices (это делать не надо)

• Использование «шумных» или сложных фонов: Фотографии товаров в интерьере или на моделях со сложным фоном затрудняют сегментацию, что приводит к неточному вычислению Signature Value и ухудшению ранжирования в визуальном поиске.
• Изображения низкого разрешения: На низкокачественных изображениях невозможно точно определить важные детали и текстуры, что снижает качество извлеченных признаков.
• Скрытие ключевых деталей товара или перекрытие графикой: Если специфичные признаки товара не видны или перекрыты водяными знаками/логотипами, система не сможет использовать их для вычисления сигнатуры и поиска по сходству.
• Неточное описание в метаданных: Ошибки в категоризации товара в метаданных могут привести к тому, что система применит неверный набор признаков для анализа, сделав товар невидимым для релевантных визуальных запросов.

Стратегическое значение

Этот патент имеет фундаментальное значение для E-commerce SEO. Он описывает переход от анализа текста к глубокому анализу визуального контента для понимания товаров. Технологии Like.com, интегрированные в Google, стали основой для Google Lens и Shopping. Стратегия SEO для E-commerce обязана включать оптимизацию визуальных активов с учетом машинного зрения, гарантируя, что товары могут быть легко «увидены», классифицированы и сравнены системой.

Практические примеры

Сценарий: Оптимизация карточки товара для магазина обуви

1. Задача: Улучшить видимость новой модели туфель в результатах поиска похожих товаров (Google Lens/Shopping).
2. Действия на основе патента:
   • Улучшение сегментации: Переснять туфли на идеально белом фоне, чтобы система могла точно определить границы объекта.
   • Демонстрация признаков (Category-Specific Features): Добавить крупные планы, показывающие форму и высоту каблука, текстуру материала и фурнитуру (пряжку). Сделать фото сбоку, спереди и сзади.
   • Оптимизация метаданных: Убедиться, что в структурированных данных и тексте товар точно классифицирован как «Женские туфли-лодочки» для помощи этапу Category Mapping.
3. Ожидаемый результат: Система более точно вычисляет Signature Value туфель. Когда пользователи ищут похожие модели с помощью фото, эти туфли с большей вероятностью будут показаны в топе выдачи, так как сравнение по сходству будет более точным и детальным.

Вопросы и ответы