Как Google распознает и связывает объекты на изображении с результатами поиска (Архитектура Google Lens)

Термины и определения

Visual Query (Визуальный запрос)

Изображение (фотография, скан, скриншот, кадр видео), которое отправляется в поисковую систему в качестве запроса.

Parallel Search Systems / Image Search Components (Параллельные поисковые системы / Компоненты поиска изображений)

Несколько специализированных систем, которые одновременно обрабатывают визуальный запрос. Примеры: Face Recognition Search System (распознавание лиц), OCR Search System (распознавание текста), Image-to-Terms Search System (распознавание объектов/категорий), распознавание штрихкодов, продуктов.

Front End Visual Query Processing Server (Внешний сервер обработки визуальных запросов)

Центральный компонент системы, который получает запрос, распределяет его по параллельным системам, агрегирует результаты и создает интерфейс.

Interactive Results Document (Интерактивный документ результатов)

Пользовательский интерфейс, создаваемый системой для представления результатов. Может включать исходное изображение с наложенными интерактивными элементами или структурированную страницу выдачи.

Sub-portion / Region (Подобласть / Область)

Конкретная область или регион исходного визуального запроса, в котором был распознан объект, текст или лицо.

Visual Identifier (Визуальный идентификатор)

Элемент интерфейса, который выделяет sub-portion и содержит кликабельную ссылку на результаты поиска. Может быть реализован как Bounding Box, Label или Thumbnail image.

Bounding Box (Ограничивающая рамка)

Визуальный идентификатор в виде рамки (прямоугольной или повторяющей контур объекта), окружающей распознанную подобласть.

Thumbnail image (Миниатюра)

Уменьшенное изображение, связанное с определенной областью запроса, используемое для иллюстрации результата на странице выдачи (согласно Claim 1).

Term Query Server System (Система сервера текстовых запросов)

Система для выполнения традиционного поиска по тексту. Используется для поиска дополнительной информации о распознанных сущностях или тексте из визуального запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод генерации страницы результатов поиска (SERP) для визуального запроса, фокусируясь на структуре выдачи (Col. 27-28).

1. Система получает результаты от как минимум двух разных компонентов поиска изображений (first and second image search components / Parallel Search Systems), которым был отправлен запрос.
2. Выбираются конкретные ресурсы (результаты) от первого и второго компонентов.
3. Определяются области (region / sub-portion) исходного изображения, которые ассоциированы с каждым из этих результатов.
4. Генерируется страница результатов поиска (Image Search Results Page), которая включает:
   • В первой области SERP (связанной с первым компонентом): интерактивный результат, включающий thumbnail image (миниатюру), связанную с определенной областью исходного запроса, и ссылку на найденный ресурс.
   • Во второй (отличной от первой) области SERP (связанной со вторым компонентом): аналогичный интерактивный результат с миниатюрой и ссылкой.
   • В третьей области SERP: область, связанная с исходным запросом.

Claim 1 описывает структурированную выдачу (как на FIG. 15 патента), где результаты от разных движков представлены в разных секциях SERP и используют миниатюры, вырезанные из исходного запроса, для иллюстрации того, что было найдено.

Claim 2 (Зависимый от 1): Уточняет, что представление определенной области включает bounding box (ограничивающую рамку), которая очерчивает границу распознанной сущности в подобласти исходного изображения.

Claim 4 (Зависимый от 2): Описывает визуальное форматирование bounding box (например, цвет, стиль) на основе идентифицированного типа сущности (например, продукт, лицо, текст).

Claim 5 (Зависимый от 1): Описывает интеграцию с текстовым поиском. Если область изображения содержит текстовый элемент, метод включает получение дополнительных результатов от term query search component на основе этого текста и добавление их на страницу.

Claim 6 (Зависимый от 1): Описывает обработку лиц. Если область изображения содержит изображение лица, метод включает идентификацию атрибутов, связанных с человеком (например, имя, контактная информация, согласно описанию патента), и добавление этих атрибутов на страницу результатов.

Где и как применяется

Патент описывает архитектуру системы визуального поиска (например, Google Lens), которая функционирует параллельно основному веб-поиску.

INDEXING – Индексирование (Предпосылка)
Параллельные поисковые системы (Parallel Search Systems) полагаются на собственные специализированные индексы (например, Facial Image Database, Image Search Database), которые должны быть предварительно созданы и наполнены данными на этапе индексирования.

QUNDERSTANDING – Понимание Запросов (Визуальных)
Front End Visual Query Processing Server получает визуальный запрос и распределяет его. Также сюда относится опциональная предварительная обработка на стороне клиента (Local image analysis) для распознавания типов контента (например, обнаружение лиц или штрихкодов).

RANKING – Ранжирование (Визуальное)
Каждая из параллельных поисковых систем независимо обрабатывает запрос, извлекает кандидатов из своего индекса и ранжирует их, вычисляя оценки релевантности (relevancy score).

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Front End Server агрегирует результаты от всех параллельных систем. Модули Results Filtering и Results Ranking & Formatting фильтруют и определяют итоговый порядок результатов. На этом этапе происходит создание пользовательского интерфейса (Interactive Results Document / Image Search Results Page) и смешивание результатов разных модальностей.

Входные данные:

• Визуальный запрос (изображение).
• Опционально: результаты предварительного анализа на клиенте.
• Опционально: Геолокационные данные клиента (для распознавания мест).

Выходные данные:

• Страница результатов поиска, которая может включать Interactive Results Document (изображение с интерактивными наложениями) и/или категоризированный список результатов поиска с миниатюрами (thumbnails).

На что влияет

• Типы контента и ниши: Влияет на все области, где применим визуальный поиск. Особенно сильно влияет на E-commerce (распознавание продуктов, штрих-кодов), локальный поиск (распознавание достопримечательностей, текста на вывесках) и информацию (распознавание объектов, логотипов, лиц).
• Специфические запросы: Применяется к запросам, поданным через интерфейсы визуального поиска (например, загрузка фото, Google Lens).

Когда применяется

• Условия работы: Алгоритм активируется при получении визуального запроса от пользователя.
• Триггеры активации: Генерация интерактивного документа или структурированной выдачи происходит, когда система обнаруживает одну или несколько распознаваемых сущностей в рамках одного изображения, и результаты для них превышают пороговые значения релевантности.

Пошаговый алгоритм

Процесс обработки визуального запроса

1. Получение запроса: Клиент получает изображение от пользователя.
2. (Опционально) Предварительная обработка на клиенте: Локальный анализ изображения для распознавания типов (например, обнаружение лиц, штрихкодов).
3. Отправка на сервер: Визуальный запрос отправляется на Front End Server.
4. Параллельная обработка: Сервер отправляет запрос одновременно нескольким специализированным поисковым системам (OCR, распознавание лиц, объектов и т.д.).
5. Агрегация результатов: Сервер собирает ответы и оценки релевантности от параллельных систем. Система определяет, какая конкретная sub-portion исходного изображения соответствует каждому результату.
6. Ранжирование и фильтрация: Результаты фильтруются и ранжируются. Может вычисляться category weight для упорядочивания групп результатов.
7. (Опционально) Дополнение текстовым поиском: Распознанный текст или сущности могут инициировать поиск в Term Query Server System.
8. Форматирование выдачи (SERP):
   1. Создание структурированного списка (согласно Claim 1): Генерация списка, организованного по категориям (компонентам), с использованием миниатюр (thumbnails) распознанных областей.
   2. Создание Interactive Results Document (согласно описанию и зависимым Claims): Генерация Visual Identifiers (рамок или меток) для идентифицированных подобластей. Применение визуального кодирования типа сущности (например, цвет рамки).
9. Отправка пользователю: Результаты отправляются на клиент.
10. Обработка взаимодействия: Когда пользователь выбирает визуальный идентификатор или миниатюру, система выделяет или показывает связанные с ним результаты.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Пиксельные данные изображения (Visual Query). Система анализирует паттерны для распознавания текста, лиц, объектов, логотипов и т.д.
• Географические факторы: GPS или другие данные о местоположении клиента могут использоваться для помощи в распознавании мест (place recognition).
• Пользовательские факторы: Данные о пользователе и его социальные связи (Social Network Database) могут использоваться в контексте системы распознавания лиц для идентификации людей и предоставления информации о них (имя, контакты, текущее местоположение связанного устройства, согласно описанию и Claim 6). Тип клиентского устройства (мобильное или настольное).

Какие метрики используются и как они считаются

• Relevancy Score / Match Quality Score (Оценка релевантности / Качества совпадения): Каждая параллельная система вычисляет собственные оценки для ранжирования своих результатов.
• Confidence Value (Оценка уверенности): Может использоваться при предварительной обработке на клиенте для оценки вероятности того, что подобласть содержит определенный тип объекта (лицо, текст).
• Category Weight (Вес категории): Метрика для упорядочивания категорий результатов на SERP. В патенте указано, что это может быть комбинация весов N лучших результатов в этой категории.
• Пороговые значения (Thresholds): Используются для фильтрации результатов с низкой релевантностью. Если система не находит релевантных совпадений, она возвращает null value.
• Методы анализа: Патент явно перечисляет методы, реализуемые параллельными системами: OCR, Facial Recognition, Product recognition, Bar code recognition, Object-or-object-category recognition, Color recognition, Named Entity Recognition.

1. Мультимодальная архитектура визуального поиска: Патент демонстрирует, что Google обрабатывает визуальные запросы не одним алгоритмом, а набором параллельных специализированных систем (Parallel Search Systems). Это ключевой аспект архитектуры визуального поиска.
2. Декомпозиция изображений: Система анализирует изображения не как единое целое, а как совокупность подобластей (sub-portions). Google стремится идентифицировать отдельные сущности (текст, лица, объекты) внутри одного изображения.
3. Интерактивный UI как ключевой элемент (Google Lens): Основной фокус патента — это пользовательский интерфейс (Interactive Results Document и структурированный SERP), который напрямую связывает результаты поиска с конкретным местом на изображении с помощью визуальных идентификаторов (рамок, меток или миниатюр).
4. Различение и классификация типов сущностей: Система способна классифицировать распознанные объекты по типам и использовать эту информацию для визуального кодирования (например, разный цвет рамок) и организации выдачи по категориям.
5. Интеграция визуального и текстового поиска: Система активно связывает визуальные данные с текстовыми через OCR и Image-to-Terms, автоматически запуская текстовые запросы для обогащения выдачи.

Best practices (это мы делаем)

Рекомендации направлены на оптимизацию под визуальный поиск (Visual Search Optimization), так как патент описывает именно эту систему (например, Google Lens).

• Оптимизация изображений для распознавания объектов: Используйте четкие, высококачественные изображения продуктов, логотипов и лиц. Патент подтверждает, что система стремится изолировать и идентифицировать каждый объект (object recognition). Четкость повышает вероятность корректного распознавания специализированными движками.
• Обеспечение читаемости текста на изображениях (OCR): Если на изображении есть текст (например, на упаковке продукта или инфографике), он должен быть максимально четким и контрастным. OCR Search System работает параллельно, и четкий текст может стать отдельным вектором поиска и источником данных для Term Queries.
• Создание визуальной ясности: Убедитесь, что доминирующие объекты на изображении имеют четкие границы и не сливаются с фоном. Это поможет системе корректно применить Bounding Box и создать точную миниатюру (thumbnail).
• Использование микроразметки (Schema.org): Активно применять разметку для продуктов (Product). Это помогает связать распознанное изображение с сущностью в Knowledge Graph, что позволяет Google предоставлять "действенные результаты" (actionable search results), такие как опция покупки продукта или информация о персоне, упомянутые в патенте.

Worst practices (это делать не надо)

• Использование перегруженных или низкокачественных изображений: Изображения низкого разрешения, с плохим освещением или где объекты сливаются друг с другом, затрудняют системе выделение отдельных sub-portions и снижают вероятность распознавания.
• Агрессивное наложение водяных знаков: Наложение элементов поверх основного объекта или важного текста может помешать корректному распознаванию этих элементов соответствующими параллельными системами.
• Игнорирование потенциала визуального поиска для E-commerce: Недооценка того, что пользователи могут искать товары через визуальный поиск. Если изображения продукта не оптимизированы для распознавания, сайт теряет потенциальный трафик из Google Lens.

Стратегическое значение

Патент раскрывает техническую основу и философию интерфейсов типа Google Lens. Это подтверждает стратегический фокус Google на развитии визуального поиска как альтернативы текстовому. Для SEO это означает возрастающую важность оптимизации визуального контента (Image SEO). Бренды и ритейлеры должны учитывать, что изображения на их сайтах должны быть оптимизированы для максимальной распознаваемости системами Product recognition и OCR.

Практические примеры

Сценарий: Оптимизация изображения товара для E-commerce под визуальный поиск

1. Цель: Убедиться, что при визуальном запросе система корректно распознает товар, бренд и текст на упаковке.
2. Действие: Разместить на сайте высококачественную фотографию товара на контрастном фоне. Убедиться, что название товара (для OCR), логотип бренда (для Logo Match) и сам продукт (для Product Recognition) четко видны. Добавить микроразметку Schema.org/Product.
3. Ожидаемый результат (согласно патенту): Когда пользователь использует это изображение как Visual Query, система Google задействует несколько параллельных систем. Она сгенерирует Image Search Results Page. Согласно Claim 1, она покажет структурированный список с отдельными областями для "Product Match" и "Logo Match", используя миниатюры (thumbnails) распознанных элементов. Пользователю предлагается результат, ведущий на оптимизированную карточку товара с опцией покупки (actionable search result).