Как Google заложил основы Визуального Поиска (Google Lens), используя контекст (время, местоположение) и мультимодальное распознавание

Термины и определения

Visual Mobile Search (VMS)

Название сервиса мобильного поиска на основе изображений, описанного в патенте.

Visual Recognition Server (Сервер визуального распознавания)

Сервер, который принимает изображение, выполняет распознавание с помощью нескольких движков и взаимодействует с Медиа-сервером. Также называется oR (object recognition) server.

Media Server (Медиа-сервер)

Сервер, который хранит контент (URL, текст, аудио), связанный с Object ID, и доставляет его клиенту после успешного распознавания.

Feature Vectors (Векторы признаков)

Числовое описание локальной структуры изображения вокруг интересующей точки. В патенте упоминаются SIFT, Gabor wavelets и learned features.

Parameterized Feature Vectors (Параметризованные векторы признаков)

Векторы признаков, которые хранятся с учетом параметров окружающей среды, таких как условия освещения (illumination condition) или ракурс.

View Fusion (Объединение видов)

Механизм для поддержки распознавания объектов с разных точек обзора. Он связывает (feature linking) наборы признаков из нескольких обучающих изображений одного и того же объекта.

Linked Feature Vectors (Связанные векторы признаков)

Наборы векторов признаков, объединенные механизмом View Fusion, представляющие объект с разных углов обзора.

Integrator Module (Модуль интеграции)

Компонент сервера, который получает оценки уверенности (confidence values) от нескольких движков распознавания (OCR, лица, объекты) и определяет финальный результат (Object ID).

Confidence Values (Оценки уверенности)

Метрики, возвращаемые каждым движком распознавания, указывающие на вероятность правильного совпадения.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Определяет основную систему поиска информации на основе изображений с акцентом на освещение.

1. База данных хранит изображения, связанные с представлениями объектов (object representations) и текстовыми идентификаторами.
2. Представления объектов состоят из векторов признаков (feature vectors).
3. Ключевое утверждение: Векторы признаков как минимум для одного изображения параметризованы в соответствии с соответствующими условиями освещения (parameterized according to a corresponding illumination condition).
4. Система сервера распознавания принимает изображение, сопоставляет его, используя эти векторы признаков, и передает соответствующий текстовый идентификатор на медиа-сервер.

Ядром изобретения является использование векторов признаков, которые учитывают условия освещения для более надежного сопоставления.

Claim 2 (Зависимый от 1): Детализирует мультимодальную архитектуру сервера распознавания.

1. Сервер включает специализированные движки: OCR, распознавание объектов и распознавание лиц.
2. Каждый движок генерирует свою оценку уверенности (confidence value).
3. Integrator module получает эти оценки и идентифицирует текстовый идентификатор.
4. Как минимум один из движков использует параметризованные векторы признаков.

Это подтверждает мультимодальный подход, при котором изображение анализируется разными специализированными системами, а результаты объединяются.

Claim 14 (Зависимый от 1): Добавляет использование контекста местоположения.

Изображения в базе данных хранятся также в связи с местоположением (locations), где они были созданы. Система сервера распознавания сопоставляет полученное изображение, частично используя эти данные о местоположении.

Claim 15 (Независимый пункт): Описывает метод распознавания объекта с учетом угла обзора и времени суток (контекст освещения).

1. Хранение для объектов набора связанных векторов признаков (linked feature vectors), представляющих изображения объекта с разных углов обзора (механизм View Fusion).
2. Хранение, в связи с этими векторами, времени суток (times of day), когда изображения были созданы.
3. Получение нового изображения объекта.
4. Распознавание объекта путем: (i) нахождения наиболее близкого набора связанных векторов признаков И (ii) сравнения времени суток, связанного с этими векторами, со временем суток полученного изображения.

Этот метод явно использует как инвариантность к углу обзора (через связанные векторы), так и адаптацию к условиям освещения (через сравнение времени суток) для распознавания.

Где и как применяется

Этот патент описывает систему Визуального Поиска (например, Google Lens), которая функционирует параллельно традиционному веб-поиску.

INDEXING – Индексирование и извлечение признаков (Изображений)
На этом этапе формируется база данных для визуального поиска (Database of Learned Objects). Происходит извлечение ключевых признаков:

• Извлечение Feature Vectors (Gabor wavelets, SIFT).
• Параметризация векторов с учетом условий освещения (Claim 1).
• Процесс View Fusion: связывание векторов признаков одного объекта с разных ракурсов (Claim 15).
• Сохранение контекстных метаданных: время суток (Claim 15) и местоположение (Claim 14).

QUNDERSTANDING – Понимание Запросов (Визуальных)
Система получает входные данные от мобильного клиента: само изображение и контекст (текущее время, текущее местоположение пользователя). Может происходить предварительное извлечение признаков на стороне клиента для оптимизации.

RANKING – Ранжирование (Визуальный Поиск / Retrieval)
Это основной этап применения патента.

• Контекстная Фильтрация: Система использует местоположение и время суток, чтобы сузить базу данных до релевантного подмножества (например, искать только среди объектов поблизости или снятых в схожих условиях освещения).
• Мультимодальное Распознавание: Специализированные движки (OCR, Face Recognition, Object Recognition) параллельно обрабатывают изображение (Claim 2).
• Сопоставление: Сравнение извлеченных признаков с индексированными Parameterized Feature Vectors и Linked Feature Vectors.
• Оценка: Генерация Confidence Values для кандидатов.

METASEARCH – Метапоиск / RERANKING – Переранжирование
Integrator Module объединяет результаты от разных движков для выбора финального Object ID. Затем система извлекает связанный контент с Media Server.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние на контент, где визуальная идентификация является ключевой:
  • E-commerce: Товары, продукты, упаковка.
  • Local SEO: Достопримечательности, фасады зданий, рестораны, магазины.
  • Медиа: Печатная продукция, постеры, реклама (OCR, логотипы).
  • Образование: Произведения искусства, книги.
• Специфические запросы: Запросы, инициированные через визуальный поиск (Google Lens), направленные на идентификацию объектов или извлечение информации из физического мира.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда пользователь явно инициирует визуальный запрос, отправляя изображение в систему VMS (например, используя Google Lens).
• Условия работы: Работает в реальном времени при обработке запроса пользователя. Процессы индексирования, параметризации и View Fusion происходят офлайн.

Пошаговый алгоритм

Процесс А: Индексирование и View Fusion (Офлайн)

1. Сбор изображений: Получение изображений объекта с разных ракурсов и при разном освещении.
2. Извлечение и параметризация: Извлечение Feature Vectors и их параметризация по условиям освещения (Claim 1). Запись времени суток (Claim 15) и местоположения (Claim 14).
3. Связывание признаков (View Fusion): Сопоставление признаков между разными изображениями одного объекта. Если найдено совпадение, наборы признаков связываются, формируя Linked Feature Vectors (Claim 15).
4. Сохранение в базе данных: Сохранение связанных и параметризованных представлений объекта.

Процесс Б: Обработка визуального запроса (Онлайн)

1. Получение данных: Система получает изображение-запрос и контекстные данные (текущее время, местоположение).
2. Извлечение признаков: Из изображения извлекаются Feature Vectors (может происходить на клиенте или сервере).
3. Контекстная фильтрация (Сокращение пространства поиска):
   1. Фильтрация по местоположению: Приоритет отдается объектам поблизости (Claim 14).
   2. Фильтрация по времени: Приоритет отдается изображениям в базе, снятым в схожее время суток для учета освещения (Claim 15).
4. Параллельное распознавание: Обработка запроса несколькими движками (OCR, Face, Object) (Claim 2).
5. Сопоставление признаков: Сравнение признаков запроса с индексированными данными, используя Linked Feature Vectors и Parameterized Feature Vectors.
6. Расчет оценок уверенности: Каждый движок вычисляет Confidence Values.
7. Интеграция и выбор: Integrator Module анализирует Confidence Values и выбирает финальный результат (Object ID).
8. Получение и возврат контента: Object ID отправляется на Media Server, который возвращает связанный контент пользователю.

Какие данные и как использует

Данные на входе

Система активно использует контекстные данные наряду с визуальными:

• Мультимедиа факторы (Визуальные): Пиксельные данные изображения-запроса. Основной источник для извлечения Feature Vectors.
• Географические факторы (Контекст): Местоположение мобильного устройства (GPS, триангуляция). Используется для сужения пространства поиска до объектов поблизости (Claim 14).
• Временные факторы (Контекст): Время суток, когда был сделан запрос. Используется для сравнения с временем создания индексированных изображений, чтобы лучше соответствовать условиям освещения (Claim 15).
• Пользовательские факторы (Контекст): Патент упоминает возможность использования профиля пользователя или недавних транзакций в качестве дополнительного контекста для сужения поиска.

Какие метрики используются и как они считаются

• Feature Vectors (Векторы признаков): Основная метрика для описания локальной структуры изображения. Рассчитываются с использованием SIFT, Gabor Wavelets или других методов.
• Parameterized Feature Vectors: Векторы признаков, дополненные данными об условиях освещения (Claim 1).
• Linked Feature Vectors / View Fusion: Сети взаимосвязанных векторов признаков, представляющие объект с разных ракурсов (Claim 15).
• Similarity Score (Оценка схожести): Метрика, рассчитываемая при сравнении векторов признаков запроса и индексированных векторов.
• Confidence Values (Значения уверенности): Итоговая оценка от каждого движка распознавания, указывающая на надежность совпадения.
• Вспомогательные дескрипторы: Цветовые гистограммы (color histograms) и дескрипторы текстур (texture descriptors) могут использоваться для быстрой предварительной фильтрации.

1. Фундамент Визуального Поиска (Google Lens): Патент описывает архитектуру и ключевые технологии, которые лежат в основе современных систем визуального поиска Google. Это система идентификации объектов по изображению, а не алгоритм ранжирования веб-страниц.
2. Контекст критически важен (Время и Место): Патент явно демонстрирует (Claim 14 и 15), что местоположение и время суток используются для улучшения распознавания. Местоположение сужает поиск до ближайших объектов, а время суток помогает сопоставлять изображения с похожими условиями освещения.
3. Мультимодальный подход к распознаванию: Google использует набор специализированных движков (Объекты, Лица, Текст/OCR), результаты которых объединяются Integrator Module (Claim 2). Это позволяет эффективно обрабатывать разнообразные визуальные запросы.
4. Продвинутая обработка визуальных вариаций: Система разработана для учета изменений во внешнем виде объектов. View Fusion (Linked Feature Vectors) обеспечивает инвариантность к углу обзора (Claim 15), а Parameterized Feature Vectors учитывают различные условия освещения (Claim 1).
5. Связь физического мира с цифровым: Конечная цель системы — идентифицировать объект (получить Object ID) и вернуть связанный с ним цифровой контент (часто URL), эффективно создавая гиперссылки из физических объектов.

Best practices (это мы делаем)

Рекомендации направлены на улучшение видимости в системах визуального поиска, таких как Google Lens (Visual Search Optimization - VSO).

• (E-commerce) Предоставление разнообразных ракурсов: Поскольку система использует View Fusion (Claim 15) для построения полной модели объекта, критически важно предоставлять изображения продукта с разных углов обзора (360 градусов). Это увеличивает вероятность успешного распознавания при запросе пользователя с нестандартного ракурса.
• (Local SEO) Загрузка фотографий в разное время суток: Патент явно указывает на использование времени суток для сопоставления условий освещения (Claim 15). Для Local SEO необходимо загружать в Google Business Profile качественные фотографии фасада и интерьера, сделанные как днем, так и вечером. Это улучшит распознавание бизнеса независимо от того, когда пользователь делает запрос.
• (Image SEO) Сохранение метаданных (EXIF): Патент подчеркивает важность местоположения и времени (Claim 14, 15). Необходимо следить, чтобы при оптимизации изображений не удалялись важные EXIF-данные, особенно GPS-координаты и временные метки, так как они помогают Google связать изображение с сущностью и контекстом.
• Оптимизация качества и четкости изображений: Используйте высококачественные, четкие и хорошо освещенные изображения. Это облегчает извлечение надежных feature vectors, которые являются основой распознавания.

Worst practices (это делать не надо)

• Использование только одного студийного фото: Это не дает системе достаточно данных для View Fusion и не учитывает вариативность освещения в реальном мире, что может привести к сбоям при распознавании.
• Удаление всех метаданных: Стирание EXIF-данных лишает поисковую систему важных контекстных сигналов (время и местоположение), которые используются для фильтрации и повышения точности распознавания.
• Полагаться только на ALT-теги для Image SEO: Системы визуального поиска, описанные в патенте, в первую очередь анализируют пиксельные данные (feature vectors), а не текстовые описания. ALT-теги важны, но не являются основным фактором для визуальной идентификации объекта в Google Lens.
• Использование стоковых или низкокачественных изображений: Затрудняет извлечение признаков и уникальную идентификацию вашего продукта или бизнеса.

Стратегическое значение

Патент подтверждает долгосрочную стратегию Google по превращению камеры в основной инструмент поиска и глубокой интеграции цифрового и физического мира. Для SEO это означает, что оптимизация визуальных ассетов (VSO) является неотъемлемой частью стратегии, особенно для E-commerce и локального бизнеса. Понимание того, что контекст (время/место) и разнообразие визуальных данных напрямую влияют на распознавание, позволяет адаптироваться к современным поисковым паттернам.

Практические примеры

Сценарий 1: Оптимизация карточки товара E-commerce для Визуального Поиска

1. Задача: Улучшить распознавание товара через Google Lens.
2. Действия на основе патента: Вместо 1-2 фото, загрузить 5-8 фотографий с разных ракурсов (для поддержки View Fusion, Claim 15). Также добавить фото товара в реальной среде при разном освещении (для учета параметризации по illumination condition, Claim 1).
3. Ожидаемый результат: Google строит более полную визуальную модель товара, что повышает вероятность его корректного распознавания при запросах пользователей с разных углов и при разном свете.

Сценарий 2: Улучшение распознавания ресторана в Local SEO

1. Задача: Обеспечить точную идентификацию ресторана при фотографировании фасада.
2. Действия на основе патента: Загрузить в Google Business Profile актуальные фотографии фасада, сделанные днем и вечером (соответствует фильтрации по времени суток, Claim 15). Проверить, что в метаданных (EXIF) корректно указаны GPS-координаты (соответствует фильтрации по местоположению, Claim 14).
3. Ожидаемый результат: Когда пользователь фотографирует ресторан вечером, система с большей вероятностью сопоставит его запрос с вечерними фотографиями в базе данных (из-за схожего освещения) и использует геолокацию для подтверждения, что гарантирует точное распознавание.