Как Google комбинирует визуальные признаки и распознанный текст (OCR) внутри изображения для улучшения визуального поиска

Термины и определения

Rendered Document (Отображаемый/Визуализированный документ)

Документ в форме, воспринимаемой человеком. Включает как печатные материалы (бумага, упаковка, реклама), так и контент на дисплее.

Characteristics of the image (Характеристики изображения)

Визуальные признаки, особенности или сигнатуры, извлеченные из изображения (например, формы, цвета, объекты, векторы признаков), используемые для визуального сопоставления (Image Matching).

Text within the contents of the image (Текст в содержимом изображения)

Текстовые элементы, которые являются визуальной частью самого изображения. Этот текст извлекается системой, например, с помощью OCR.

Disambiguation (Устранение неоднозначности)

Процесс уточнения результатов поиска. В данном патенте текст используется для устранения неоднозначности среди визуально похожих результатов.

Signature (Сигнатура)

Представление захваченных данных после процесса распознавания. Может состоять из текста, визуальных признаков или набора возможных текстовых транскрипций.

Context Analysis (Контекстный анализ)

Процесс использования дополнительной информации (например, местоположения пользователя или идентификации исходного документа) для уточнения (constrain) результатов поиска.

Markup (Разметка)

Дополнительная функциональность или данные, связанные с документом или его частью (оверлей). Определяет действия (actions), которые система может предпринять при взаимодействии с этим фрагментом.

Ключевые утверждения (Анализ Claims)

Анализ основан на Abstract (Аннотации), Detailed Description (Подробном описании) и доступных Claims патента.

Claim 1 (Независимый пункт): Описывает основной метод поиска электронного контента с помощью мобильного устройства.

1. Мобильное устройство захватывает изображение из rendered document.
2. Выполняется поиск электронной версии захваченного изображения.
3. Ключевое условие: Поиск использует И (i) характеристики изображения (characteristics of the image), И (ii) текст в содержимом изображения (text within the contents of the image).
4. Устройство получает результат, основанный на комбинации (i) и (ii).

Ядро изобретения — обязательное использование мультимодального ввода (визуальные признаки + встроенный текст) для поиска изображения, инициированного мобильным устройством.

Claim 2 и 4 (Зависимые): Уточняют механизм извлечения текста. Текст (ii) получается путем применения OCR к захваченному изображению.

Claim 5 (Зависимый): Описывает инфраструктуру. Поиск включает запрос к индексу, который поддерживает как текстовые запросы, так и сопоставление изображений (image matching).

Это требует наличия мультимодального индекса, где для изображений хранятся и визуальные признаки, и распознанный текст.

Claim 7 (Зависимый): Детализирует механизм поиска. Он включает выполнение поиска изображения (Image Search) и использование текста для дальнейшего устранения неоднозначности (further disambiguate) и идентификации совпадений.

Claims 8 и 9 (Зависимые): Вводят использование контекста. Поиск может быть ограничен (constrained) на основе контекста (Context Analysis), который может включать идентификацию документа, из которого было захвачено изображение, что позволяет ограничить корпус поиска.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, обеспечивая работу визуального поиска.

CRAWLING – Сканирование и Сбор данных (В контексте пользователя)
В данном патенте этот этап реализуется на стороне пользователя: захват изображения из rendered document с помощью портативного устройства (камеры телефона).

INDEXING – Индексирование и извлечение признаков
Применяется двояко:

1. На стороне сервера: Индексирование корпуса изображений. Это включает извлечение текста (OCR) из изображений в индексе и расчет их визуальных сигнатур для создания мультимодального индекса.
2. На стороне клиента/шлюза: Обработка захваченного пользователем изображения в реальном времени — выполнение OCR и извлечение визуальных сигнатур для формирования запроса.

QUNDERSTANDING – Понимание Запросов
Когда пользователь инициирует визуальный поиск, система интерпретирует входящие данные как мультимодальный запрос. Происходит конструирование сложного запроса (query construction), объединяющего визуальные и текстовые данные.

RANKING – Ранжирование (Retrieval)
Система выполняет поиск по мультимодальному индексу. Алгоритмы ранжирования оценивают релевантность кандидатов на основе комбинированного совпадения визуальных характеристик и распознанного текста. Текст используется для валидации и уточнения результатов.

RERANKING – Переранжирование
Результаты поиска могут уточняться с использованием контекста (Context Analysis) для ограничения поиска (constrain) и повышения точности.

Входные данные:

• Пиксельные данные захваченного изображения.
• Опционально: контекстные данные (местоположение, история пользователя, предполагаемый источник).

Выходные данные:

• Идентифицированная электронная версия изображения или связанный контент/действия (Actions).

На что влияет

• Конкретные типы контента: Изображения, содержащие текст: инфографика, рекламные баннеры, фотографии вывесок, упаковка товаров, скриншоты, логотипы с текстом.
• Специфические запросы: Визуальные поисковые запросы (Visual Search), инициированные камерой пользователя (например, функциональность Google Lens).
• Конкретные ниши или тематики: E-commerce (поиск товара по фото), Local SEO (идентификация бизнеса по вывеске), реклама (взаимодействие с печатными материалами).

Когда применяется

• Условия работы: Алгоритм применяется, когда пользователь инициирует визуальный поиск, используя изображение, которое содержит как значимые визуальные элементы, так и распознаваемый текст (OCR-friendly).
• Триггеры активации: Запрос от устройства захвата (например, мобильного телефона).

Пошаговый алгоритм

Детальное описание процесса обработки захваченного контента:

1. Захват данных (Capture): Получение оптических данных из rendered document.
2. Предварительная обработка (Data Processing): Улучшение качества сигнала, удаление артефактов захвата.
3. Распознавание и извлечение признаков (Параллельный процесс):
   1. Визуальный анализ: Извлечение визуальных характеристик или сигнатур из изображения (Image Characteristics).
   2. Текстовый анализ: Выполнение OCR для конвертации данных в текст. Может включать генерацию набора возможных текстовых транскрипций (упоминается в описании как Uncertain OCR).
4. Конструирование запроса (Query Construction): Формирование мультимодального поискового запроса, включающего извлеченный текст И визуальные характеристики.
5. Поиск и контекстный анализ (Search & Context Analysis): Отправка запроса поисковым системам. Идентификация документов-кандидатов. Использование контекста для ограничения поиска (constrain).
6. Уточнение (Disambiguation): Использование текста для устранения неоднозначности между визуально похожими результатами.
7. Ретривинг и Действия (Retrieval/Actions): Получение доступа к идентифицированному электронному документу и выполнение связанных действий (на основе Markup Analysis).

Какие данные и как использует

Данные на входе

Система использует следующие типы данных:

• Мультимедиа факторы (Визуальные данные): Захваченное изображение. Из него извлекаются image characteristics — визуальные признаки, используемые для сопоставления (формы, цвета, объекты, логотипы).
• Контентные факторы (Текстовые данные): Текст, извлеченный из изображения с помощью OCR (text within the contents of the image). Это могут быть названия, слоганы, ключевые слова.
• Пользовательские и Контекстные факторы: Данные об учетной записи пользователя (user and account info), история захватов, время и местоположение захвата (используются в Context Analysis для ограничения поиска).

Какие метрики используются и как они считаются

Патент не приводит конкретных формул, но описывает использование следующих метрик и подходов:

• Оценка визуального совпадения (Image Matching Score): Метрика схожести визуальных характеристик запроса и изображений в индексе.
• Оценка текстового совпадения (Text Matching Score): Метрика релевантности распознанного текста и текста, ассоциированного с изображениями в индексе. Может учитывать вероятности из Uncertain OCR.
• Комбинированная оценка (Combined Score): Итоговая метрика, которая объединяет оценки визуального и текстового совпадения. Система использует текст для disambiguation (устранения неоднозначности) визуальных результатов.

1. Визуальный поиск является мультимодальным: Ключевой вывод — Google не рассматривает изображения исключительно как визуальные объекты. Текст, физически присутствующий на изображении (в пикселях), активно извлекается (OCR) и используется как неотъемлемая часть поискового запроса наравне с визуальными признаками.
2. Текст как средство устранения неоднозначности (Disambiguation): Основная роль встроенного текста в этом механизме — устранение неоднозначности. Если визуальные характеристики находят несколько похожих изображений, именно текст помогает системе точно идентифицировать искомый контент (Claim 7).
3. Критичность машиночитаемости текста на изображениях: Чтобы система могла использовать текст как сигнал, он должен быть разборчивым для алгоритмов OCR. Это напрямую влияет на подходы к дизайну веб-графики и маркетинговых материалов (OCR-friendly design).
4. Требование к мультимодальному индексу: Реализация технологии требует сложной инфраструктуры индексирования, способной хранить и обрабатывать как визуальные, так и текстовые данные для одного и того же объекта (изображения).
5. Контекст повышает точность: Система может использовать знание контекста (например, источник изображения, местоположение пользователя) для ограничения области поиска (constrain) и повышения релевантности результатов (Claims 8 и 9).

Best practices (это мы делаем)

• Оптимизация текста на изображениях для OCR: При создании визуального контента (инфографики, баннеров, фотографий товаров) убедитесь, что весь ключевой текст легко читается машиной. Используйте четкие шрифты, высокий контраст между текстом и фоном и достаточный размер текста.
• Стратегическое использование текста в графике: Размещайте важную информацию (УТП, ключевые слова, названия моделей, бренды) в виде текста на ключевых изображениях. Этот текст предоставит Google дополнительные сигналы через OCR для идентификации контента в визуальном поиске.
• Тестирование в Google Lens: Проверяйте, как ваши основные изображения распознаются инструментами визуального поиска. Убедитесь, что текст корректно считывается и интерпретируется. Если ключевой текст не распознается, необходимо скорректировать дизайн.
• Обеспечение согласованности визуальных и текстовых элементов: Убедитесь, что текст на изображении семантически релевантен визуальному содержанию. Согласованность усиливает мультимодальный сигнал, так как система ищет совпадения по обоим параметрам.
• Оптимизация визуальной уникальности: Поскольку поиск использует и визуальные характеристики, важно создавать уникальные или брендированные изображения. Это поможет системе точнее идентифицировать ваш контент при комбинированном поиске.

Worst practices (это делать не надо)

• Использование сложных и нечитаемых шрифтов: Применение декоративных, рукописных, искаженных или слишком мелких шрифтов на изображениях. Это затрудняет работу OCR и мешает системе извлечь текстовые сигналы.
• Низкий контраст и сложный фон: Размещение текста поверх активного фона или использование цветов с низким контрастом значительно ухудшает качество распознавания текста.
• Игнорирование текста на изображении как фактора: Рассматривать Image SEO только как оптимизацию alt-тегов и окружающего текста. В контексте данного патента, игнорирование текста внутри самого изображения является упущением возможности улучшить видимость в визуальном поиске.
• Низкое качество изображений: Использование размытых, низкокачественных изображений затрудняет как извлечение надежных визуальных характеристик, так и распознавание текста.

Стратегическое значение

Патент подтверждает стратегический приоритет Google в развитии мультимодального поиска и технологий типа Google Lens. Для SEO это означает, что оптимизация визуальных активов становится критически важной. Патент доказывает, что текст, встроенный в изображения, активно индексируется и используется для поиска и ранжирования. Стратегия создания контента должна учитывать, как пользователи ищут информацию через камеры своих устройств, особенно в E-commerce и локальном поиске.

Практические примеры

Сценарий: Оптимизация карточки товара в E-commerce для визуального поиска

1. Задача: Улучшить видимость нового смартфона через Google Lens и поиск по изображениям.
2. Действие (на основе патента): При подготовке фотографий продукта убедиться, что на главном изображении (например, фото упаковки) четко и крупно видно название модели и бренд. Добавить инфографику, где ключевые характеристики (например, "108MP Camera") написаны контрастным, чистым шрифтом.
3. Механизм работы: Google индексирует изображения, извлекая визуальные признаки смартфона и успешно распознавая название модели и характеристики с помощью OCR.
4. Ожидаемый результат: Пользователь, использующий Google Lens для сканирования продукта в физическом магазине или в печатной рекламе, инициирует мультимодальный запрос. Система точно идентифицирует товар благодаря совпадению визуальных признаков и текста, направляя пользователя на нужную страницу интернет-магазина.