Как Google использует гибридную классификацию и OCR для извлечения ответов из личных фотографий пользователя

Термины и определения

Image Category (Категория изображения)

Классификация изображения на основе его содержания (например, «пейзаж», «чек», «меню», «документ»). Определяется с помощью распознавания объектов и/или текста.

Image Query Processing System (Система обработки запросов к изображениям)

Основная система, описанная в патенте, которая классифицирует изображения и отвечает на текстовые запросы, используя их контент.

Object Classification System (Система классификации объектов)

Компонент, который анализирует изображение на основе изображенных на нем объектов (визуальных признаков) для определения начальной категории изображения (Initial Image Category).

Optical Character Recognition (OCR) Device (Устройство оптического распознавания символов)

Компонент, используемый для идентификации и извлечения текста, изображенного на картинке.

Output Type (Тип вывода)

Тип запрашиваемого контента, определяемый из запроса (например, «изображение», «аннотированное изображение», «общая стоимость», «текстовая сводка», «аудиоответ»). Определяет, как должен быть представлен ответ.

Query Processing System (Система обработки запросов)

Компонент, который анализирует входящий текстовый запрос для определения Image Category, Output Type и ключевых фраз (Key Phrases).

Results Presentation System (Система представления результатов)

Компонент, который форматирует результаты для отображения или озвучивания, включая обрезку (cropping) или выделение релевантных частей изображений.

Text Classification System (Система классификации текста)

Компонент, который анализирует изображение на основе слов, извлеченных с помощью OCR, и их расположения для уточнения категории изображения (Second Image Category).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс ответа на текстовый запрос с использованием изображений.

1. Определение Image Category и Output Type на основе текстуального запроса.
2. Выбор подмножества изображений из базы данных, которые принадлежат к этой Image Category (используя предварительно сохраненные связи).
3. Анализ данных выбранных изображений для определения тех, которые отвечают на запрос.
4. Определение ответа на запрос с использованием этих изображений.
5. Предоставление ответа для презентации, используя Output Type.

Claim 3 (Зависимый от 1): Детализирует механизм визуального представления ответа.

1. Определение ответа включает выбор части (portion) изображения, которая содержит данные, релевантные запросу.
2. Предоставление ответа включает генерацию инструкций для UI, который акцентирует (emphasizes) эту выбранную часть (например, путем обрезки или выделения).

Claim 20 (Независимый пункт): Описывает офлайн-процесс классификации изображений (гибридный подход).

1. Анализ изображения с использованием распознавания объектов (Object Recognition) для определения начальной категории (Initial Image Category).
2. Проверка, входит ли начальная категория в определенную группу (т.е. является ли она достаточно точной и не требующей анализа текста, например, «пейзаж»).
3. Если ДА: Использовать начальную категорию как финальную.
4. Если НЕТ (например, категория «текст» или «документ»): Анализ изображения с использованием распознавания текста (Text Recognition/OCR) для определения второй категории (Second Image Category).
5. Определение финальной категории с использованием начальной и второй категорий.
6. Сохранение связи изображения и категории в базе данных.

Claim 22 (Независимый пункт): Описывает процесс генерации аудиоответа.

Процесс аналогичен Claim 1 и 3 (определение категории, выбор подмножества, анализ, выбор релевантной части изображения). Финальный шаг — генерация инструкций для звукового представления (audible presentation) извлеченных данных и предоставление этих инструкций динамику.

Где и как применяется

Изобретение применяется в системах поиска по личным коллекциям изображений (например, Google Photos).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка и классификация изображений (Офлайн-процесс). Object Classification System и, при необходимости, Text Classification System (OCR) анализируют изображения для определения их категорий. Результаты сохраняются в базе данных.

QUNDERSTANDING – Понимание Запросов
Query Processing System анализирует входящий текстовый запрос в реальном времени для определения Image Category, Output Type и Key Phrases.

RANKING – Ранжирование (Отбор кандидатов)
Система использует определенную Image Category для быстрого отбора подмножества изображений. Это радикально сокращает поисковое пространство.

RERANKING / METASEARCH – Переранжирование / Представление
Система анализирует отобранное подмножество для поиска точного ответа. Results Presentation System форматирует вывод: определяет область ответа (Bounding Box), обрезает изображение (cropping) или генерирует аудиоответ.

Входные данные:

• Коллекция изображений пользователя (пиксельные данные и метаданные).
• Текстовый запрос пользователя.

Выходные данные:

• Ответ на запрос (текстовая сводка, обрезанное/выделенное изображение или аудиосообщение).

На что влияет

• Конкретные типы контента: Наибольшее влияние на изображения, содержащие фактическую или структурированную информацию: чеки, меню, документы, визитные карточки, презентации, вывески.
• Специфические запросы: Влияет на информационные запросы, направленные на извлечение фактов из личной коллекции изображений (например, «Сколько я потратил...?», «В какой ресторан я ходил...?»).

Когда применяется

• Условия работы: Применяется, когда пользователь отправляет текстовый запрос к системе, имеющей доступ к проиндексированной и классифицированной коллекции изображений этого пользователя.
• Триггеры активации: Запрос, который подразумевает поиск фактической информации, которая может содержаться в изображениях (Information Extraction intent).

Пошаговый алгоритм

Процесс А: Офлайн-классификация изображений (Индексирование)

1. Получение данных изображения.
2. Анализ объектов: Object Classification System анализирует изображение для определения начальной категории (Initial Image Category).
3. Проверка категории: Система определяет, является ли начальная категория достаточно определенной (входит ли в «особую группу», например, «пейзаж»).
4. Условие:
   • Если ДА: Начальная категория используется как финальная. Переход к шагу 6.
   • Если НЕТ (например, обнаружен текст или документ): Переход к шагу 5.
5. Анализ текста: Text Classification System и OCR анализируют текст и его структуру на изображении для определения второй категории (Second Image Category, например, «чек», «меню»). Финальная категория определяется на основе начальной и второй.
6. Сохранение: Связь между изображением и его категорией сохраняется в базе данных.

Процесс Б: Обработка запроса в реальном времени

1. Получение текстуального запроса.
2. Анализ запроса: Query Processing System определяет Image Category, Output Type и Key Phrases.
3. Отбор кандидатов: Система выбирает подмножество изображений, соответствующих Image Category.
4. Анализ подмножества: Система анализирует данные отобранных изображений (используя ключевые фразы, метаданные, текст OCR), чтобы найти изображения, отвечающие на запрос.
5. Извлечение и Локализация: Для релевантных изображений система идентифицирует конкретные данные и определяет часть изображения, содержащую эти данные (например, с помощью Bounding Box).
6. Генерация ответа: Results Presentation System генерирует инструкции для презентации. Это может включать:
   • Обрезку (cropping) изображения для акцентирования ответа.
   • Генерацию текстовой сводки (summary), если найдено несколько результатов.
   • Генерацию аудиоответа.
7. Предоставление ответа: Инструкции отправляются на дисплей или динамик.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке изображений и запросов в контексте персонального поиска.

• Мультимедиа факторы: Пиксельные данные изображений. Используются для распознавания объектов (Object Classification).
• Контентные факторы (Текст): Текст, извлеченный с помощью OCR. Используется для классификации текста (Text Classification) и поиска ответа на запрос.
• Структурные факторы (внутри изображения): Расположение текста (layout) и границы объектов. Используются для классификации (например, определение «чека» по структуре) и для определения области обрезки.
• Временные и Географические факторы: Метаданные изображения (временные метки, GPS-координаты) могут использоваться для фильтрации изображений (например, при запросе «на прошлой неделе»).
• Пользовательские факторы: Текстуальные запросы пользователя.

Какие метрики используются и как они считаются

• Image Category / Output Type: Метки классификации, присваиваемые изображению и запросу соответственно.
• Bounding Box (Ограничивающий прямоугольник): Координаты области на изображении, содержащей релевантные данные. Используется для обрезки и выделения.
• Classification Accuracy (Точность классификации): В описании упоминается как критерий для принятия решения. Если точность распознавания объектов удовлетворяет пороговому значению, OCR может не использоваться.
• Output Format (Формат вывода): Определяется на основе количества результатов и Output Type (например, одиночный результат или сводка — summary).

1. Фокус на персональном поиске: Ключевой вывод — этот патент описывает систему для поиска информации в личных коллекциях изображений пользователя (например, Google Photos). Прямых выводов для ранжирования веб-сайтов в Google Search он не дает.
2. Гибридная и эффективная классификация: Запатентован конкретный метод экономии ресурсов: сначала используется распознавание объектов. Ресурсоемкий процесс OCR активируется только при необходимости (если изображение похоже на документ), а не для всех изображений (например, пейзажей).
3. Эффективность за счет категоризации: Предварительная классификация изображений по категориям используется для радикального сокращения поискового пространства при обработке запроса в реальном времени.
4. Извлечение фактов, а не поиск картинок: Система нацелена на Information Extraction. Цель – извлечь конкретный факт (имя, сумму, дату) из изображения для прямого ответа на вопрос.
5. Адаптивная презентация результатов: Система динамически форматирует ответ. Она может агрессивно обрезать (cropping) изображение, чтобы выделить ответ, или предоставить аудиоответ вместо визуального.

Практическое применение в SEO

ВАЖНО: Этот патент является инфраструктурным и описывает процессы Google для персонального поиска изображений. Он не дает прямых практических рекомендаций для SEO-продвижения веб-сайтов.

Тем не менее, он демонстрирует возможности Google в области анализа изображений (Computer Vision, OCR), которые также используются в Google Images и Google Lens. Понимание этих возможностей полезно для общей стратегии работы с визуальным контентом.

Best practices (это мы делаем)

• Обеспечение читаемости текста на изображениях (OCR-Ready): Патент подтверждает, что Google активно использует OCR для классификации изображений и извлечения данных. Текст на изображениях (инфографика, схемы, фотографии товаров с этикетками, баннеры) должен быть четким, контрастным и легко распознаваемым.
• Четкий визуальный контекст для классификации: Система использует распознавание объектов для первичной классификации. Убедитесь, что изображения на сайте имеют ясный визуальный фокус и что ключевые объекты легко идентифицируются, чтобы облегчить их корректную классификацию.
• Структурирование данных на изображениях: Для изображений, содержащих данные (например, прайс-листы, характеристики), используйте четкую структуру (например, табличную). Это поможет системам извлечения информации корректно интерпретировать контент.

Worst practices (это делать не надо)

• Использование сложных шрифтов для важной информации: Использование декоративных, рукописных или слишком мелких шрифтов для критически важной информации (например, цен, артикулов) может помешать OCR корректно извлечь данные.
• Низкое качество и контрастность: Размытые изображения или низкоконтрастный текст на шумном фоне затрудняют как распознавание объектов, так и работу OCR.
• Сокрытие важной информации только в изображениях: Полагаться только на изображение для передачи важной информации рискованно. Всегда дублируйте ключевую информацию в HTML-тексте или микроразметке.

Стратегическое значение

Патент подтверждает высокий уровень развития технологий Google в области машинного зрения и извлечения информации (Information Extraction). Он демонстрирует способность системы не только классифицировать изображения по объектам, но и понимать их функциональный тип (чек, меню) и извлекать конкретные текстовые данные. Это подчеркивает важность оптимизации под визуальный поиск (Visual Search) и Google Lens, где изображения рассматриваются как источник структурированных данных.

Практические примеры

Практических примеров для SEO нет, так как патент описывает поиск по личным данным. Примеры из патента иллюстрируют работу с личными фотографиями.

Пример из патента (Персональный поиск):

1. Индексирование: Пользователь фотографирует чек. Система классифицирует его: Object Classification определяет «текст/документ», затем OCR и Text Classification уточняют категорию до «чек».
2. Запрос: Пользователь спрашивает: «Сколько я потратил в ресторане Extravaganza?».
3. Обработка: Система определяет Image Category = «чек» и Output Type = «общая стоимость».
4. Поиск: Система ищет среди чеков упоминание «Extravaganza» и извлекает итоговую сумму.
5. Вывод: Система показывает пользователю обрезанную часть чека с итоговой суммой или озвучивает ответ: «€29.63».