Как Google заложил основу визуального поиска (Google Lens), превращая изображения с камеры в поисковые запросы

Термины и определения

Attribute Detectors (Детекторы атрибутов)

Алгоритмы или модели, обученные на примерах изображений для распознавания специфических графических характеристик (атрибутов) объекта в анализируемом изображении.

Confidence Value (Значение уверенности)

Числовая оценка, выдаваемая детектором атрибутов, которая показывает, насколько хорошо он распознает свой атрибут в изображении.

Object Recognition Program / Image Recognition System (Программа распознавания объектов / Система распознавания изображений)

Программное обеспечение на сервере, которое анализирует входящие изображения, используя детекторы атрибутов, и сопоставляет их с эталонными данными.

Reference Images / Training Images (Эталонные / Обучающие изображения)

База данных изображений, используемая для обучения детекторов атрибутов и для сопоставления во время распознавания. Каждое эталонное изображение связано с symbolic identifier.

Symbolic Description / Indexing / Identifier (Символьное описание / Индексирование / Идентификатор)

Результат работы системы распознавания. Преобразование графической информации в символьный формат (например, текст или идентификатор сущности), который может быть использован в качестве запроса для поисковой системы.

Threshold Value (Пороговое значение)

Заранее определенный порог. Если сумма Confidence Values от всех детекторов атрибутов превышает этот порог, система считает, что объект распознан.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовую архитектуру системы визуального поиска.

1. Терминал с камерой и сетевым подключением.
2. Серверный компьютер с программой распознавания объектов (object recognition program), которая анализирует входящие изображения и присваивает им символьное индексирование (symbolic indexing).
3. Поисковая система, которая использует это индексирование для поиска информации и отправляет ее обратно на терминал.

Claim 11 (Независимый пункт): Детализирует процесс распознавания и запроса.

1. Сервер получает входящее изображение (input image).
2. Система распознавания изображений:
   1. Определяет графические атрибуты изображения.
   2. Сопоставляет входящее изображение с эталонными изображениями (reference images) на основе этих атрибутов. (Каждое эталонное изображение имеет связанный symbolic identifier).
   3. Присваивает symbolic identifier входящему изображению на основе совпавшего эталонного изображения.
3. Система обработки запросов:
   1. Получает symbolic identifier.
   2. Передает его поисковой системе в качестве запроса.
   3. Получает результаты поиска и передает их на устройство пользователя.

Claim 18 (Независимый пункт): Описывает метод, аналогичный системе в Claim 11, фокусируясь на шагах обработки данных на сервере (получение изображения, определение атрибутов, сопоставление с эталонами, присвоение идентификатора, выполнение поиска, отправка результатов).

Claim 26 (Зависимый от 18): Конкретизирует механизм распознавания (сопоставления).

1. Определение графических атрибутов во входящем изображении с помощью обученных детекторов атрибутов (trained attribute detectors).
2. Агрегация значений уверенности (confidence values), полученных от детекторов.
3. Определение совпадения, если агрегированные значения уверенности превышают заданный порог (predetermined threshold value).

Claims 28, 29, 31 (Независимые пункты): Описывают применение метода для конкретных задач: распознавание промышленных товаров (Claim 28), зданий (Claim 29) и человеческих лиц (Claim 31). Процесс идентичен: получение изображения -> распознавание -> получение специфического symbolic identifier (например, название продукта, адрес здания, имя человека) -> поиск информации.

Claim 30 (Независимый пункт): Описывает метод для перевода текста на основе изображения (OCR и перевод).

1. Получение изображения.
2. Обработка системой распознавания символов (character recognition system) для получения текстовых данных на первом языке.
3. Передача текста и указания второго языка в систему перевода.
4. Получение перевода и отправка его пользователю.

Где и как применяется

Изобретение охватывает несколько этапов поиска, формируя отдельный конвейер обработки визуальных запросов.

CRAWLING & INDEXING – Сканирование и Индексирование
Система требует предварительной подготовки данных. На этом этапе происходит сбор обучающих изображений (Training Images), обучение детекторов атрибутов (Attribute Detectors) и формирование базы эталонных изображений (Reference Images), связанных с символьными идентификаторами (сущностями). Это формирование визуального индекса Google.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Входящее изображение интерпретируется как запрос. Система распознавания изображений выполняет роль модуля понимания запроса: она анализирует пиксели, распознает объект и преобразует визуальный запрос в symbolic identifier, понятный поисковой системе.

RANKING & METASEARCH – Ранжирование и Метапоиск
После того как визуальный запрос преобразован в символьный, он обрабатывается стандартной поисковой системой. Система ранжирования ищет и сортирует информацию, релевантную этому symbolic identifier.

Входные данные:

• Цифровое изображение (Digital Image) с устройства пользователя.
• Опционально: Позиционная информация (например, GPS-координаты) устройства пользователя.

Выходные данные:

• Symbolic Identifier (передается внутри системы от модуля распознавания к поисковой системе).
• Набор результатов поиска (Information About the Object Shown), отправляемый пользователю.

На что влияет

• Конкретные типы контента и ниши:
  • E-commerce: Критическое влияние. Распознавание продуктов (Claim 28) позволяет пользователям находить товары, просто фотографируя их.
  • Локальный поиск и путешествия: Высокое влияние. Распознавание зданий, достопримечательностей и произведений искусства (City and Museum Guides, Claim 29).
  • Перевод и OCR: Распознавание и перевод текста с вывесок, меню, документов (Claim 30).
  • Социальные функции: Распознавание лиц (Claim 31).
• Типы запросов: Влияет на информационные и коммерческие запросы, инициированные визуально (например, «что это за здание?» или «где купить это платье?»).

Когда применяется

• Триггеры активации: Алгоритм активируется, когда система получает на вход изображение вместо текстового запроса (например, через интерфейс Google Lens).
• Пороговые значения: Распознавание происходит только тогда, когда агрегированные Confidence Values превышают заранее определенный Threshold Value. Если уверенность низкая, система может не распознать объект или предложить несколько вариантов.
• Особые случаи: При распознавании зданий система может использовать позиционную информацию (GPS) пользователя, чтобы ограничить поиск только близлежащими объектами, что повышает точность распознавания.

Пошаговый алгоритм

Процесс А: Обучение системы (Офлайн)

1. Сбор данных: Сбор набора обучающих изображений (Training Images) для различных объектов.
2. Обучение детекторов: Использование обучающих изображений для создания детекторов атрибутов (Attribute Detectors), адаптированных к каждому объекту или классу объектов.
3. Формирование базы: Создание базы эталонных изображений (Reference Images) и связывание их с соответствующими Symbolic Identifiers.

Процесс Б: Обработка визуального запроса (Реальное время)

1. Получение данных: Получение входящего изображения (Input Image) и, опционально, данных о местоположении от пользователя.
2. Предварительная обработка: Применение ограничений, если доступны данные о местоположении (например, ограничить базу эталонов только объектами поблизости).
3. Детектирование атрибутов: Применение обученных Attribute Detectors к входящему изображению.
4. Расчет уверенности: Каждый детектор генерирует Confidence Value, указывающий на наличие его атрибута в изображении.
5. Агрегация и сравнение с порогом: Суммирование Confidence Values и сравнение с Threshold Value.
6. Распознавание объекта: Если порог превышен, определяется совпадение с эталонным изображением.
   1. Если НЕТ: Запросить у пользователя дополнительную информацию или вернуть ошибку распознавания.
   2. Если ДА: Перейти к шагу 7.
7. Генерация идентификатора: Извлечение Symbolic Identifier, связанного с распознанным эталонным изображением. (В случае OCR — генерация текстовых данных).
8. Выполнение поискового запроса: Передача Symbolic Identifier в поисковую систему в качестве запроса. (В случае перевода — передача текста в систему перевода).
9. Возврат результатов: Получение результатов поиска (или перевода) и отправка их пользователю.

Какие данные и как использует

Данные на входе

Система использует ограниченный набор входных данных, фокусируясь на визуальной информации.

• Мультимедиа факторы: Основные данные — это пиксельные данные входящего цифрового изображения (Digital Image). Качество, освещение и ракурс съемки влияют на процесс распознавания.
• Географические факторы: Позиционная информация (например, GPS). Патент явно упоминает использование этих данных для поддержки распознавания изображений, ограничивая рассмотрение только близлежащими объектами.
• Системные данные (внутренние):
  • База эталонных изображений (Reference Images).
  • Обученные детекторы атрибутов (Attribute Detectors).
  • Связи между эталонными изображениями и Symbolic Identifiers.

Какие метрики используются и как они считаются

• Confidence Value (Значение уверенности): Метрика, рассчитываемая каждым Attribute Detector. Патент не детализирует формулу расчета, но указывает, что она отражает, насколько хорошо детектор распознает свой атрибут в изображении.
• Aggregated Confidence Values (Агрегированные значения уверенности): Сумма или взвешенная сумма Confidence Values от всех примененных детекторов.
• Threshold Value (Пороговое значение): Фиксированное значение, используемое для принятия решения о распознавании. Объект распознан, если $Aggregated Confidence Values > Threshold Value$.

1. Визуальный поиск как преобразование запроса: Ключевой вывод заключается в том, что система визуального поиска функционирует как сложный механизм понимания запроса (Query Understanding). Она преобразует визуальные данные (пиксели) в символьные идентификаторы (текст или сущности), которые затем используются стандартной поисковой системой.
2. Зависимость от качества распознавания: Эффективность системы напрямую зависит от точности распознавания объектов. Механизм Attribute Detectors и Confidence Values является ядром этого процесса. Если объект не распознан (порог уверенности не достигнут), поиск не состоится.
3. Важность визуального индекса: Система полагается на обширную базу эталонных изображений (Reference Images), связанных с сущностями. Чтобы объект можно было найти через визуальный поиск, он должен присутствовать в этой базе и быть корректно аннотирован.
4. Контекст улучшает распознавание: Патент подчеркивает важность контекстуальных сигналов, в частности местоположения (GPS), для повышения точности распознавания, особенно в локальном поиске (здания, достопримечательности).
5. Специализированные вертикали: Патент четко разделяет различные типы визуального поиска: продукты, локации, текст (OCR и перевод) и лица. Это предполагает использование специализированных моделей распознавания для каждой вертикали.

Best practices (это мы делаем)

• Оптимизация изображений для распознавания (E-commerce): Обеспечьте наличие высококачественных, четких изображений продуктов с разных ракурсов. Изображения должны быть легко интерпретируемыми Attribute Detectors. Это повышает вероятность того, что продукт будет корректно распознан и связан с правильным Symbolic Identifier при поиске через Google Lens.
• Обеспечение индексации визуального контента: Убедитесь, что все важные изображения (продукты, логотипы, фасады зданий) доступны для сканирования и индексации Google. Используйте Image Sitemaps и фиды Merchant Center для предоставления Google эталонных изображений ваших товаров.
• Связывание изображений с сущностями (Structured Data): Используйте микроразметку (Schema.org Product, LocalBusiness, ImageObject) для явного связывания изображений на вашем сайте с конкретными сущностями. Это помогает Google формировать корректные связи между Reference Image и Symbolic Identifier.
• Локальное SEO и визуализация: Для локального бизнеса критически важно иметь актуальные и качественные фотографии фасада, интерьера и вывесок в Google Business Profile. Это облегчает распознавание здания (Claim 29) и использование GPS-данных для подтверждения локации.
• Мониторинг распознавания текста (OCR): Если на изображениях присутствует важный текст (например, на упаковке продукта или инфографике), убедитесь, что он читаем и может быть корректно извлечен системами OCR (Claim 30).

Worst practices (это делать не надо)

• Использование изображений низкого качества: Размытые, плохо освещенные или слишком маленькие изображения затрудняют работу Attribute Detectors, снижают Confidence Value и делают невозможным распознавание объекта.
• Блокировка индексации ключевых изображений: Скрытие изображений продуктов или локаций от краулеров (например, через robots.txt или сложный JavaScript) не позволит им попасть в базу Reference Images.
• Использование исключительно стилизованных или абстрактных изображений: Если основное изображение продукта слишком абстрактно или сильно отличается от того, как продукт выглядит в реальности, система может не сопоставить его с запросами пользователей, сделанными в реальных условиях.
• Игнорирование визуального поиска как канала: Рассмотрение изображений только как элемента дизайна, а не как самостоятельной точки входа для поиска.

Стратегическое значение

Этот патент подтверждает, что визуальный поиск является стратегическим направлением развития Google. Для SEO это означает необходимость перехода от оптимизации текста к оптимизации сущностей и их визуальных представлений. Визуальный поиск стирает границы между онлайн и офлайн, особенно в ритейле и локальном поиске. Долгосрочная стратегия должна включать в себя управление визуальными активами бренда и обеспечение их максимальной «узнаваемости» алгоритмами машинного зрения Google.

Практические примеры

Сценарий 1: Оптимизация карточки товара для Google Lens (E-commerce)

1. Задача: Увеличить трафик на сайт интернет-магазина кроссовок через визуальный поиск.
2. Действия:
   • Размещение 5-7 высококачественных фотографий кроссовок на белом фоне (для индексации как Reference Image) и в контексте использования (lifestyle фото).
   • Внедрение микроразметки Schema.org/Product с указанием всех атрибутов (бренд, модель, цвет) и ссылок на изображения в поле image.
   • Загрузка фида в Google Merchant Center с этими же изображениями.
3. Ожидаемый результат: Когда пользователь фотографирует эти кроссовки в реальной жизни, система Google Lens применяет Attribute Detectors, распознает модель (достигает Threshold Value), генерирует Symbolic Identifier (например, «Nike Air Max 270 Black») и показывает ссылку на карточку товара магазина в результатах поиска.

Сценарий 2: Оптимизация локального ресторана для визуального распознавания

1. Задача: Сделать так, чтобы ресторан распознавался при фотографировании фасада.
2. Действия:
   • Загрузка в Google Business Profile четких фотографий фасада и вывески, сделанных в разное время суток и при разном освещении (как указано в патенте для распознавания зданий).
   • Обеспечение читаемости названия на вывеске для систем OCR.
3. Ожидаемый результат: Пользователь фотографирует ресторан. Система использует изображение и GPS-координаты пользователя. Комбинация визуального распознавания фасада/вывески и подтверждения локации позволяет системе точно идентифицировать ресторан и показать пользователю информацию о нем (меню, отзывы, часы работы).