Как Google использует визуальный поиск (Google Lens) для идентификации товаров по фотографиям и обеспечения мгновенной покупки

Описание

Какую задачу решает

Патент решает проблему сложности идентификации и сравнительного анализа цен на физические товары, которые пользователи видят в реальном мире или медиа. Он устраняет разрыв между обнаружением интересующего товара и поиском места его покупки в интернете, особенно когда сложно сформулировать текстовый запрос для его описания (например, «металлический шарф»).

Что запатентовано

Запатентована система, которая использует методы распознавания изображений (анализ визуальных признаков и OCR) для идентификации товаров на фотографиях, загружаемых пользователями. Система сравнивает входящее изображение с Image Library (библиотекой известных изображений товаров), извлекает связанные метаданные (теги) из наилучшего совпадения и использует эти теги для поиска онлайн-продавцов. Ключевой особенностью является интеграция с механизмом оформления заказа (Checkout System) для мгновенной покупки.

Как это работает

Механизм работает как конвейер визуального поиска:

• Захват и загрузка: Пользователь фотографирует товар (например, с помощью смартфона) и отправляет изображение на сервер.
• Извлечение признаков: Сервер анализирует изображение, извлекая Feature Points (визуальные признаки, такие как границы, цвета, текстуры) и текст с помощью OCR.
• Сравнение и идентификация: Извлеченные признаки сравниваются с признаками изображений в Image Library. Система находит ближайшее совпадение.
• Извлечение тегов: Система берет Metadata Tags (например, бренд, модель), связанные с найденным изображением в библиотеке.
• Поиск товаров: Эти теги используются как запрос к поисковой системе (например, Google Product Search).
• Отображение и покупка: Пользователю показываются результаты поиска с ценами от разных продавцов и кнопками для прямой покупки (one-button-to-buy).

Актуальность для SEO

Чрезвычайно высокая. Этот патент описывает фундаментальные механизмы современных инструментов визуального поиска, таких как Google Lens, особенно его функции покупок. Использование распознавания изображений в коммерции является центральным элементом стратегии Google в 2025 году.

Важность для SEO

Патент имеет высокое значение (8.5/10) и критически важен для SEO в сфере E-commerce. Он подчеркивает первостепенную важность наличия высококачественных, четких изображений товаров и необходимость того, чтобы эти изображения вместе с точными метаданными были доступны Google (через сканирование или фиды) для наполнения Image Library, используемой для распознавания.

Детальный разбор

Термины и определения

Checkout System (Система оформления заказа)

Платежный сервер (например, Google Checkout/Pay), который обрабатывает транзакцию между покупателем и продавцом, часто без передачи платежных данных пользователя продавцу.

Feature Points (Ключевые признаки/точки)

Отличительные визуальные характеристики изображения, используемые для распознавания объектов. Это могут быть области с резкими изменениями цвета или яркости, границы объектов, текстуры.

Image Comparator (Компаратор изображений)

Компонент системы, который сравнивает Feature Points входящего изображения с признаками изображений, хранящихся в Image Library.

Image Library (Библиотека изображений)

База данных проиндексированных изображений товаров. Для каждого изображения хранятся предварительно вычисленные Feature Points и связанные с ним Metadata Tags.

Metadata Tags (Теги метаданных)

Описательная информация, связанная с изображением в Image Library (например, производитель, название модели, категория товара, GTIN). Эти теги используются как поисковый запрос после идентификации изображения.

One-button-to-buy (Покупка в один клик)

Интерфейс, позволяющий пользователю инициировать покупку непосредственно из результатов поиска, используя предварительно сохраненную платежную информацию.

Optical Character Recognition (OCR) (Оптическое распознавание символов)

Технология извлечения текста из изображения (например, чтение названия бренда, модели или UPC/ISBN кода с упаковки товара на фотографии).

Ключевые утверждения (Анализ Claims)

Анализ основан на пунктах формулы изобретения, начиная с 21 (пункты 1-20 отменены в предоставленном документе).

Claim 21 (Независимый пункт): Описывает основной конвейер визуального поиска.

1. Система получает изображение объекта, содержащее Feature Points.
2. Система извлекает Feature Points из полученного изображения.
3. Происходит сравнение извлеченных признаков с признаками изображений в Image Library (где хранятся изображения с предварительно полученными признаками и Metadata Tags).
4. Идентифицируется изображение-кандидат из библиотеки, которое соответствует объекту.
5. Metadata Tags из изображения-кандидата ассоциируются с объектом.
6. Эти теги используются для проведения online search (онлайн-поиска) информации об объекте.
7. Информация выводится для отображения на устройстве пользователя.
8. Система получает ответ на отображенную информацию и выполняет действие.

Ядро изобретения — это процесс использования визуального сопоставления для извлечения текстовых метаданных из известного источника (Image Library) и последующее использование этих метаданных для стандартного поиска.

Claim 25 (Зависимый от 21): Детализирует применение для электронной коммерции.

1. Отображаемая информация включает товар для покупки, соответствующий объекту на фото.
2. Выполняемое действие включает аутентификацию покупателя, идентификацию продавца, отправку страницы оформления заказа (checkout page), получение подтверждения и инициирование покупки.

Этот пункт защищает интеграцию визуального поиска с платежной системой, позволяя совершать мгновенные транзакции на основе визуальной идентификации.

Claim 26 (Зависимый от 21): Уточняет методы идентификации.

• Получение Feature Points включает выполнение Optical Character Recognition (OCR) на тексте, связанном с объектом.

Система использует не только визуальные формы, но и активно читает текст (например, названия брендов, модели, UPC/ISBN) с изображения для повышения точности идентификации.

Где и как применяется

Изобретение затрагивает практически все этапы поисковой архитектуры, трансформируя процесс поиска товаров.

CRAWLING – Сканирование и Сбор данных
Система должна активно собирать изображения товаров и связанные с ними метаданные из интернета (веб-сайты E-commerce) или получать их напрямую (например, через фиды Google Merchant Center).

INDEXING – Индексирование и извлечение признаков
Критически важный этап. На этом этапе строится Image Library. Система должна обработать собранные изображения: извлечь Feature Points, провести OCR и сохранить эти данные вместе с Metadata Tags (полученными из структурированных данных страницы или фида).

QUNDERSTANDING – Понимание Запросов
Здесь система обрабатывает визуальный ввод (изображение) вместо текста. Процесс понимания заключается в извлечении признаков/OCR из загруженного пользователем изображения и сопоставлении их с Image Library для идентификации объекта и извлечения релевантных тегов.

RANKING – Ранжирование
Идентифицированные Metadata Tags используются как запрос к индексу товаров (например, Google Shopping). Ранжирование результатов (предложений от разных продавцов) происходит на основе стандартных алгоритмов этого индекса.

METASEARCH – Метапоиск и Смешивание
Результаты поиска форматируются для отображения пользователю, включая интеграцию элементов интерфейса one-button-to-buy, связанных с Checkout System.

Входные данные:

• Цифровое изображение от пользователя.
• Потенциальные данные о местоположении пользователя (GPS).
• Данные учетной записи пользователя (для оформления заказа).

Выходные данные:

• Список идентифицированных товаров с информацией о продавцах, ценах и кнопками покупки.
• Запрос на дополнительную информацию или повторную съемку, если идентификация не удалась.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние на E-commerce и любые физические товары, которые можно четко сфотографировать: одежда, электроника, книги, товары в упаковке, мебель. Меньшее влияние на услуги или абстрактные концепции.
• Специфические запросы: Влияет на запросы, которые лучше выражаются визуально, чем текстуально (например, поиск конкретного стиля одежды без знания терминологии).

Когда применяется

• Триггеры активации: Алгоритм активируется, когда пользователь явно использует интерфейс визуального поиска (например, Google Lens, Поиск по картинке) и загружает изображение с намерением идентифицировать объект или совершить покупку.
• Ограничения: Качество входящего изображения (освещение, разрешение, фокус) критично. В патенте упоминается возможность запросить у пользователя лучшее изображение, если текущее недостаточно для анализа. Также система ограничена содержимым своей Image Library; она не может распознать то, что не было предварительно проиндексировано.

Пошаговый алгоритм

Процесс обработки визуального запроса и покупки:

1. Получение изображения: Система получает изображение от клиентского устройства.
2. Извлечение признаков: Feature Point Generator анализирует изображение для выявления визуальных признаков. Параллельно может применяться OCR для извлечения текста.
3. Сравнение с библиотекой: Image Comparator сравнивает извлеченные признаки с Image Library.
4. Идентификация совпадений: Определяются изображения-кандидаты с наивысшей оценкой визуального сходства.
5. Извлечение метаданных: Из наилучшего совпадения извлекаются Metadata Tags (бренд, модель и т.д.).
6. Поиск товаров: Теги отправляются в поисковую систему (Commerce Server/Search Engine) для поиска соответствующих товаров у продавцов.
7. Формирование выдачи: Результаты поиска (список продавцов, цены) компилируются в интерфейс с опциями one-button-to-buy.
8. Передача результатов: Интерфейс отправляется на устройство пользователя.
9. Взаимодействие с пользователем: Пользователь может выбрать покупку, запросить больше информации (Info Command) или отправить новое изображение (Reimage).
10. Обработка покупки (если выбрано):
    1. Система аутентифицирует пользователя (через Authentication Server).
    2. Payment Server идентифицирует пользователя и продавца.
    3. Пользователю отправляется страница подтверждения заказа (Checkout Page).
    4. После подтверждения транзакция выполняется (дебет счета пользователя, кредит счета продавца, уведомление продавца о доставке).

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Цифровое изображение является основным вводом. Качество, разрешение, освещенность и фокусировка изображения критически важны для успешного извлечения Feature Points.
• Контентные факторы (извлекаемые из изображения): Текст, извлеченный с помощью OCR. Это могут быть названия брендов, номера моделей, ISBN или UPC коды, присутствующие на товаре или его упаковке.
• Географические и Пользовательские факторы: В патенте упоминается использование GPS-данных мобильного устройства. Это может использоваться для локализации результатов (например, поиск товара в ближайших магазинах) или для контекстной идентификации (например, сопоставление изображения с каталогом магазина, в котором находится пользователь). Данные учетной записи пользователя используются для Checkout System.

Какие метрики используются и как они считаются

Патент фокусируется на архитектуре системы, но ссылается на известные методы компьютерного зрения для вычисления метрик:

• Оценка сходства признаков (Feature Similarity Score): Метрика, определяющая, насколько близки Feature Points входящего изображения к признакам изображений в библиотеке. Для этого могут использоваться различные алгоритмы, такие как SIFT (Scale-Invariant Feature Transform), упомянутые в ссылках патента.
• Оценка уверенности в совпадении (Confidence Score): (Подразумевается). Система должна оценивать надежность найденного совпадения. Если оценка низкая, система может запросить новое изображение или показать несколько вариантов.

Выводы

1. Визуальный поиск как основной метод ввода для коммерции: Патент подтверждает стратегию Google по превращению камеры в инструмент поиска, особенно для покупок. Это меняет путь пользователя к покупке, минуя необходимость формулировать текстовые запросы.
2. Зависимость от индексации изображений (Image Library): Ключевое ограничение и возможность для SEO. Система работает путем сопоставления входящего изображения с ближайшим известным изображением в своей базе данных. Если изображение товара не проиндексировано, не обработано и не связано с точными метаданными, товар не может быть распознан.
3. Метаданные критичны для поиска: Визуальное распознавание само по себе не ищет товар. Оно лишь идентифицирует объект, чтобы извлечь связанные с ним Metadata Tags. Именно эти теги затем используются как запрос для поиска продавцов. Точность метаданных в индексе определяет релевантность результатов.
4. OCR как важный компонент идентификации: Система активно использует распознавание текста на изображении (Claim 26). Это подчеркивает важность наличия читаемого текста (логотипы, названия моделей) на самих товарах или их упаковке на фотографиях.
5. Цель — бесшовная коммерция: Интеграция с Checkout System (one-button-to-buy) направлена на максимальное сокращение пути от идентификации товара до его покупки.

Практика

Best practices (это мы делаем)

• Приоритет индексации и качества изображений: Обеспечьте сканирование и индексацию всех изображений товаров. Используйте высококачественные, четкие изображения с хорошим освещением. Это необходимо для корректного извлечения Feature Points.
• Оптимизация для извлечения признаков: Используйте чистый фон, чтобы помочь системе отличить товар от окружения. Предоставляйте изображения с разных ракурсов, чтобы увеличить вероятность совпадения с фотографией пользователя.
• Использование структурированных данных и фидов: Активно используйте Schema.org/Product и Google Merchant Center. Это основной способ предоставить Google точные Metadata Tags (GTIN, бренд, модель) и связать их с вашими изображениями для наполнения Image Library.
• Оптимизация под OCR: Убедитесь, что ключевая информация (логотип бренда, название модели, штрих-код) четко видна и читаема на изображениях товара или его упаковки. Это напрямую помогает системе идентифицировать товар, как описано в Claim 26.
• Мониторинг Visual Search (Google Lens): Тестируйте, как Google Lens распознает ваши товары. Если распознавание неверное, это сигнал о проблемах с качеством изображений или неточностью метаданных в индексе Google.

Worst practices (это делать не надо)

• Использование некачественных изображений: Размытые, темные, маленькие изображения или изображения с «шумным» фоном затрудняют извлечение Feature Points.
• Водяные знаки и наложения: Крупные водяные знаки или рекламные баннеры поверх товара могут искажать визуальные признаки и мешать распознаванию.
• Блокировка индексации изображений: Использование robots.txt для запрета сканирования изображений товаров исключает их из Image Library и, следовательно, из визуального поиска.
• Несоответствие изображений и метаданных: Если изображение товара не соответствует связанным с ним структурированным данным или описанию, это приведет к неверной идентификации при визуальном поиске.

Стратегическое значение

Патент демонстрирует, что для E-commerce SEO оптимизация визуальных активов так же важна, как и текстовая оптимизация. Визуальный поиск создает альтернативный канал обнаружения товаров. Стратегия должна включать управление цифровыми активами (DAM) и обеспечение синергии между качеством изображений, структурированными данными и доступностью для индексации, чтобы гарантировать присутствие в Image Library Google.

Практические примеры

Сценарий: Оптимизация изображений новой модели кроссовок для визуального поиска

1. Задача: Убедиться, что новая модель кроссовок корректно идентифицируется через Google Lens.
2. Действия (основанные на патенте):
   • Качество и ракурсы: Создать набор высококачественных фотографий на белом фоне (для четких Feature Points). Включить ракурсы сверху, сбоку, сзади и подошвы.
   • Оптимизация для OCR: Сделать отдельное фото, где четко виден логотип бренда и ярлык с названием модели/артикулом (использование OCR для идентификации).
   • Структурирование данных: Заполнить фид Google Merchant Center и разметку Schema.org, указав точные Metadata Tags (Бренд, Модель, GTIN) и ссылки на все подготовленные изображения.
   • Индексация: Добавить изображения в Image Sitemap и убедиться, что они доступны для Googlebot.
3. Ожидаемый результат: Google индексирует изображения, извлекает признаки и связывает их с метаданными. Когда пользователь фотографирует кроссовки, система находит совпадение в Image Library и предлагает купить их на оптимизированном сайте.

Вопросы и ответы