Как Google разбирает визуальные запросы, отправляя их одновременно в несколько специализированных поисковых систем (OCR, распознавание лиц, объектов)

Термины и определения

Visual Query (Визуальный запрос)

Изображение (фотография, скан, скриншот, кадр видео), отправленное в поисковую систему в качестве запроса.

Parallel Search Systems (Параллельные поисковые системы)

Множество специализированных систем, которые одновременно обрабатывают визуальный запрос. Каждая система реализует отдельный процесс поиска (например, OCR, распознавание лиц, объектов, штрихкодов).

Front End Visual Query Processing Server (Фронтенд-сервер обработки визуальных запросов)

Центральный компонент, который принимает запрос от клиента, рассылает его параллельным системам, а затем агрегирует, ранжирует и форматирует результаты.

Interactive Results Document (Интерактивный документ результатов)

Формат выдачи, который отображает исходный визуальный запрос с наложенными визуальными идентификаторами распознанных подобластей. Эти идентификаторы являются ссылками на результаты поиска.

Visual Identifier (Визуальный идентификатор)

Элемент интерфейса в Interactive Results Document, который выделяет распознанную подобласть запроса. Примеры: Bounding Box (рамка) или Label (метка).

OCR (Optical Character Recognition)

Оптическое распознавание символов. Процесс извлечения текста из изображения.

Image-Match Process (Процесс сопоставления изображений)

Общий термин для всех процессов визуального поиска, кроме OCR (например, распознавание лиц, продуктов, объектов, цветов).

Query & Annotation Database (База данных запросов и аннотаций)

Хранилище, куда записываются визуальные запросы и обратная связь пользователя (выбор результатов, аннотации, исправления). Используется для улучшения системы.

User Annotations (Пользовательские аннотации)

Обратная связь от пользователя относительно релевантности результатов (выбор корректного результата, исправление ошибки OCR, комментарии). Критически важны для машинного обучения системы (Claim 1).

Term Query Server System (Серверная система текстовых запросов)

Стандартная поисковая система. Используется для дополнения визуальных результатов (например, поиск по распознанным через OCR сущностям).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки визуального запроса, содержащего несколько объектов разного типа, и использование обратной связи для улучшения поиска.

1. Система получает визуальный запрос, содержащий как минимум два объекта разных типов (типы выбраны из: текст/OCR символы, лицо человека, нечеловеческий объект, штрихкод).
2. Запрос разделяется (partitioning) на регионы, где каждый регион содержит один из объектов.
3. Запрос обрабатывается путем одновременного (concurrently) получения результатов поиска для первого объекта и для второго объекта.
4. Результаты форматируются для одновременного отображения (concurrent display) обоих наборов результатов пользователю.
5. Система получает пользовательские аннотации (user annotations) к конкретному результату. Аннотация указывает на действие пользователя, определяющее релевантность (или ее отсутствие) результата запросу.
6. Система получает второй визуальный запрос.
7. В ответ на второй запрос система генерирует результаты, основываясь как минимум на одной аннотации, полученной ранее.

Ядром изобретения является комбинация трех элементов: 1) сегментация сложного изображения на компоненты разных типов; 2) их одновременное распознавание параллельными системами; 3) использование обратной связи пользователя (аннотаций) для влияния на результаты будущих поисков (машинное обучение).

Зависимые пункты (например, 3, 6): Уточняют природу аннотаций. Это может быть пользовательское описание, отзыв (user review), исправление результата (user correction) или явное выделение пользователем области изображения с идентификацией объекта.

Где и как применяется

Эта архитектура является фреймворком для визуального поиска (например, Google Lens) и затрагивает несколько слоев поисковой архитектуры.

INDEXING – Индексирование и извлечение признаков
Архитектура предполагает наличие предварительно созданных специализированных баз данных для каждого типа поиска (Facial Image Database, Image Search Database). Процессы индексирования наполняют эти базы данных визуальными признаками.

QUNDERSTANDING – Понимание Запросов
Весь процесс направлен на интерпретацию визуального ввода. Система трансформирует пиксели в структурированные данные (текст, лицо, продукт). Это включает разделение (partitioning) изображения на регионы интереса.

RANKING – Ранжирование (Специализированное)
Каждая из параллельных систем (Parallel Search Systems) — например, OCR Search System или Product Recognition System — выполняет собственный поиск и ранжирование в своей специализированной базе данных.

METASEARCH – Метапоиск и Смешивание
Front End Visual Query Processing Server действует как оркестратор (Metasearch). Он агрегирует результаты из разных специализированных "вертикалей" (OCR, Лица, Объекты) и смешивает их в единый ответ. Это может включать создание Interactive Results Document.

RERANKING – Переранжирование
После сбора результатов Front End Server выполняет финальное ранжирование и фильтрацию. На этом этапе также применяются данные, полученные из предыдущих пользовательских аннотаций (как указано в Claim 1), для корректировки результатов.

Входные данные:

• Визуальный запрос (изображение).
• Опционально: данные геолокации (GPS) для помощи в распознавании мест.
• Опционально: данные предварительной обработки с клиента (например, "здесь вероятно штрих-код").
• Базы данных аннотаций от предыдущих запросов.

Выходные данные:

• Список ранжированных результатов (текст из OCR, идентифицированные объекты/продукты).
• Опционально: Interactive Results Document с визуальными идентификаторами (Bounding Boxes или Labels) и ссылками.

На что влияет

• Конкретные типы контента: Критически влияет на изображения продуктов (e-commerce), локальные объекты (вывески, достопримечательности), документы и изображения с текстом.
• Специфические запросы: Влияет на все запросы, поданные через интерфейсы визуального поиска.
• Конкретные ниши: Наибольшее влияние в E-commerce, Travel и Local Search, где визуальная идентификация является ключевой.

Когда применяется

Алгоритм применяется каждый раз, когда пользователь отправляет визуальный запрос в систему, поддерживающую данную архитектуру.

• Триггеры активации: Получение изображения в качестве поискового запроса. Согласно Claim 1, ключевые механизмы агрегации и интерактивности активируются, когда в запросе распознано два или более объекта разных типов (например, текст и объект).

Пошаговый алгоритм

Процесс А: Обработка визуального запроса

1. Получение запроса и Предобработка (Опционально): Клиент отправляет изображение на Front End Server. Клиент может предварительно выполнить локальный анализ (например, обнаружение лиц или штрихкодов) и отправить эти данные вместе с запросом.
2. Распределение запроса: Сервер отправляет визуальный запрос одновременно множеству Parallel Search Systems (OCR, Распознавание лиц, Объектов, Продуктов и т.д.).
3. Специализированный поиск: Каждая система выполняет свой процесс. Например, OCR извлекает текст, система распознавания продуктов ищет совпадения в каталоге.
4. Сбор результатов: Сервер получает результаты от параллельных систем. Если система не находит релевантных результатов, она возвращает нулевое значение (null).
5. Ранжирование и Фильтрация: Собранные результаты ранжируются на основе оценок уверенности и фильтруются.
6. Создание Интерактивного Документа (Опционально): Система идентифицирует подобласти изображения, создает визуальные идентификаторы (Bounding Boxes или Labels) и встраивает ссылки на соответствующие результаты.
7. Отправка ответа: Сервер отправляет результаты и/или интерактивный документ клиенту.

Процесс Б: Обработка обратной связи (Claim 1)

1. Получение обратной связи: Пользователь взаимодействует с результатами, выбирая конкретные результаты или предоставляя аннотации (исправления, отзывы, идентификацию объектов).
2. Сохранение и обработка: Сервер сохраняет эту информацию в Query & Annotation Database.
3. Улучшение поиска: Информация из базы данных аннотаций используется для улучшения будущих поисковых операций (например, путем влияния на переранжирование или обновления моделей распознавания).

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Основной ввод — это сам визуальный запрос (пиксельные данные изображения или видеокадра). Анализируются паттерны, формы, цвета.
• Географические факторы: Упоминается использование информации о геолокации (например, GPS) для помощи в распознавании мест (place recognition).
• Пользовательские/Технические факторы: Данные предварительной обработки с клиентского устройства (например, информация о том, что клиент распознал область как лицо).
• Поведенческие факторы (Обратная связь): Пользовательские аннотации (user annotations) и выбор результатов (selection). Включает исправления результатов, отзывы, выделение областей пользователем. Это критически важный вход для обучения системы (Claim 1).

Какие метрики используются и как они считаются

Патент фокусируется на архитектуре, а не на конкретных метриках ранжирования, но упоминает следующие концепции:

• Search Score / Relevance Score (Оценка поиска/релевантности): Каждая параллельная система возвращает результаты вместе с оценкой уверенности или релевантности. Front End Server использует эти оценки для финального ранжирования.
• Pre-defined minimum score (Предопределенная минимальная оценка): Используется для фильтрации. Результаты ниже порога могут быть исключены.
• Confidence value (Оценка уверенности): Может использоваться на этапе предварительной обработки на клиенте для указания вероятности распознанного типа контента.
• Category Weight (Вес категории): При форматировании результатов категории (например, "Продукты", "Текст") могут упорядочиваться по весу, который зависит от оценок релевантности лучших результатов в этой категории.

1. Принцип "Разделяй и властвуй" в визуальном поиске: Google не использует единую модель для интерпретации изображений. Вместо этого применяется архитектура параллельной обработки, где специализированные движки (OCR, объекты, лица, продукты) работают одновременно для анализа разных аспектов изображения.
2. Изображение как набор сущностей: Система стремится разобрать (partitioning) изображение на составляющие его сущности (текст, продукт, логотип) и найти информацию по каждой из них независимо.
3. Интерактивность для уточнения интента: Interactive Results Document с кликабельными областями (Bounding Boxes) является ключевым механизмом, позволяющим пользователю уточнить свой интент, если изображение содержит несколько объектов интереса.
4. Критическая роль обратной связи (Аннотации): Патент (в Claim 1) явно подчеркивает важность сбора пользовательских аннотаций и их использования для машинного обучения и улучшения качества последующих поисков.
5. Интеграция визуального и текстового поиска: Система тесно связывает визуальное распознавание с текстовым поиском (Term Query Server System), например, распознавая текст через OCR и автоматически связывая его с результатами текстового поиска (Compound Search Result).

Best practices (это мы делаем)

Рекомендации направлены на оптимизацию под визуальный поиск (VSO), основанную на этой архитектуре параллельной обработки.

• Обеспечение визуальной четкости и сегментации: Компонуйте изображения так, чтобы ключевые объекты (продукты, логотипы) были четкими, хорошо освещенными и визуально отделенными от фона. Это облегчает системе задачу сегментации (partitioning) и распознавания специализированными движками (Product Recognition).
• Оптимизация текста на изображениях (OCR): Если изображение содержит текст (например, инфографика, упаковка), убедитесь, что он легко читается машиной. Используйте стандартные шрифты и достаточный контраст, чтобы OCR Search System корректно его обработал и извлек сущности.
• Использование стандартных визуальных идентификаторов: Убедитесь, что штрихкоды на продуктах соответствуют стандартам и легко считываются, так как Barcode Recognition является одной из параллельных систем. Логотипы должны быть четкими для распознавания.
• Оптимизация для локального поиска: При публикации фотографий бизнеса убедитесь, что вывеска и фасад четко видны. Система может использовать геолокацию пользователя и OCR вывески для точной идентификации места (place recognition).
• Создание визуально уникальных активов: Для брендов и продуктов важно иметь визуально отличимые элементы (упаковка, дизайн), которые могут быть однозначно идентифицированы системами распознавания.

Worst practices (это делать не надо)

• Использование визуально зашумленных или перегруженных изображений: Размещение основного объекта в сложном фоне или сильное перекрытие объектов затрудняет их выделение (сегментацию) и распознавание специализированными движками.
• Игнорирование читаемости текста на картинках: Использование слишком стилизованных, мелких или низкоконтрастных шрифтов приведет к ошибкам OCR, из-за чего система не сможет извлечь текстовую информацию из изображения.
• Блокировка важных визуальных элементов: Размещение крупных водяных знаков или других элементов поверх ключевых объектов (например, поверх логотипа или штрихкода) может помешать корректному распознаванию.
• Ставка только на ALT-текст: Полагаться только на текстовые атрибуты неэффективно. Архитектура Google направлена на анализ пикселей, поэтому само визуальное содержимое имеет первостепенное значение для VSO.

Стратегическое значение

Этот патент подтверждает критическую важность Визуальной Поисковой Оптимизации (VSO) и является основой для Google Lens. По мере роста популярности поиска через камеру, оптимизация визуальных активов становится неотъемлемой частью SEO. Стратегия должна учитывать, как машины "видят" и категоризируют объекты, и фокусироваться на создании контента, который легко интерпретируется различными параллельными поисковыми системами Google.

Практические примеры

Сценарий: Оптимизация карточки товара для визуального поиска (E-commerce)

1. Действие: SEO-специалист обеспечивает наличие нескольких типов фотографий продукта (например, кроссовка): (1) Четкое фото на белом фоне. (2) Фото упаковки с видимым названием модели и штрихкодом.
2. Как работает система (согласно патенту): Пользователь делает снимок этого кроссовка в магазине через Google Lens. Запрос попадает в описанную архитектуру.
   • Product Recognition System анализирует форму и цвета, идентифицируя модель.
   • OCR Search System считывает название модели и бренд с упаковки.
   • Barcode Recognition System считывает штрихкод.
3. Ожидаемый результат: Front End Server агрегирует эти сильные сигналы от разных систем. Пользователю возвращается Interactive Results Document с рамками вокруг кроссовка и штрихкода. В результатах с высокой вероятностью будет ссылка на оптимизированную карточку товара, так как система точно идентифицировала продукт по нескольким параметрам.