Как Google использует OCR, шаблоны и метаданные для индексации и поиска по личным документам (сканам, PDF)

Термины и определения

Access Conditions (Условия доступа)

Правила безопасности, назначаемые документу, которые определяют, кто может получить к нему доступ и какая аутентификационная информация (пароль, PIN, биометрия) для этого требуется.

Confidence Level (Уровень уверенности)

Метрика, определяемая OCR-системой, которая указывает на вероятность того, что изображение документа было точно преобразовано в текстовую версию.

Document Capture System (Система захвата документов)

Компонент (сканер или программный модуль), отвечающий за получение или импорт изображений документов.

Document Image (Изображение документа)

Входные данные системы. Скан бумажного документа или цифровой файл (PDF, TIFF, JPEG и т.д.), не обязательно содержащий машиночитаемый текст.

Metadata Element (Элемент метаданных)

Поисковая информация (теги, категории, даты), связанная с текстовым документом или его частью для облегчения поиска. Может назначаться вручную или автоматически через шаблон.

OCR (Optical Character Recognition) (Оптическое распознавание символов)

Процесс преобразования изображения текста в машиночитаемый текст.

Template (Шаблон)

Предопределенная структура с инструкциями для обработки документа. Шаблон может указывать, какие области изображения распознавать, какие метаданные назначить этим областям и каков минимально допустимый Confidence Level для разных областей.

Text Document (Текстовый документ)

Результат процесса OCR; поисковая текстовая версия исходного изображения документа.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы архивирования.

1. Получение изображения документа (Document Image).
2. Преобразование изображения в текстовый документ (Text Document).
3. Идентификация как минимум одного элемента метаданных (Metadata Element), связанного с текстовым документом.
4. Сохранение текстового документа и метаданных для последующего поиска на основе содержимого текста или метаданных.

Claim 6 (Зависимый от 1): Детализирует процесс преобразования с использованием шаблона.

• Система извлекает шаблон (Template), который включает инструкции для преобразования частей изображения документа в текст.
• Преобразование выполняется на основе этого шаблона.

Claim 10 и 11 (Зависимые): Описывают механизм контроля качества OCR.

• Шаблон может определять минимальный уровень уверенности (minimum conversion confidence level) для части текста (Claim 10).
• Система определяет фактический уровень уверенности. Если он не достигает минимального, система повторно преобразует (reconverting) соответствующую часть изображения документа (Claim 11).

Claim 13 (Зависимый от 1): Детализирует автоматическое назначение метаданных.

• Система извлекает шаблон, включающий инструкции для назначения элемента метаданных определенной части текста.
• Метаданные ассоциируются с этой частью текста на основе шаблона.

Claim 20 (Зависимый от 1): Описывает управление безопасностью.

• Система назначает уровень доступа (Access Level) текстовому документу перед его сохранением.

Claim 35 (Независимый пункт): Описывает полный процесс, включающий сканирование, OCR, ассоциацию метаданных с частями текста, назначение индикации уровня доступа (access level indication) с требованиями аутентификации и сохранение данных.

Где и как применяется

Этот патент не описывает архитектуру веб-поиска Google (Crawling, Indexing, Ranking и т.д.). Он описывает отдельную систему или приложение для архивирования и управления документами (например, функциональность Google Drive).

Применение в контексте системы архивирования:

CRAWLING / Сбор данных (Data Acquisition)
На этом этапе Document Capture System получает изображения. Это может быть оптическое сканирование, загрузка файлов пользователем или автоматическое извлечение электронных документов с удаленных устройств (например, загрузка банковских выписок с веб-сайта банка).

INDEXING / Обработка и Индексирование
Основной этап работы системы. Происходит обработка изображения с помощью OCR software. Система может использовать Template для определения областей интереса и автоматического извлечения структурированного текста и метаданных. Вычисляется Confidence Level. Назначаются Access Conditions. Текст и метаданные сохраняются в базе данных (Document Database) и индексируются.

SEARCHING / Поиск и Извлечение
Система позволяет пользователям искать сохраненные документы, используя как содержимое Text Document, так и связанные Metadata Elements. При запросе документа система проверяет Access Conditions.

Входные данные:

• Document Image (скан, PDF, JPEG, TIFF и т.д.).
• Template (опционально).
• Пользовательский ввод (правки текста, добавление метаданных, настройки доступа).
• Аутентификационная информация.

Выходные данные:

• Text Document, сохраненный в базе данных.
• Связанные Metadata Elements.
• Назначенные Access Conditions.

На что влияет

В контексте системы архивирования патент влияет на:

• Типы контента: Любые документы, которые можно оцифровать. В патенте явно упоминаются банковские выписки, счета, квитанции, письма.
• Форматы контента: Обработка нетекстовых или частично текстовых форматов: PDF, TIFF, JPEG, PNG, BMP, GIF.

Патент не влияет на конкретные типы веб-контента, специфические запросы в веб-поиске, ниши (YMYL) или тематики в контексте SEO.

Когда применяется

Алгоритм применяется каждый раз, когда пользователь добавляет новый документ (изображение) в систему архивирования.

Триггеры активации:

• Запуск сканирования или загрузка файла пользователем.
• Автоматическое получение документа по расписанию.
• Логика шаблонов активируется, если для данного типа документа найден соответствующий Template.
• Пересканирование активируется, если Confidence Level ниже установленного порога (predetermined threshold).

Пошаговый алгоритм

Процесс архивирования документа (на основе FIG. 5):

1. Захват изображения: Система захватывает изображение документа (сканирование или импорт).
2. Генерация текстового документа: Выполняется OCR для создания текстовой версии. Этот шаг может использовать Template для определения областей распознавания.
3. Определение уровня уверенности: Система определяет Confidence Level для сгенерированного текста.
4. Проверка порога уверенности: Сравнивается Confidence Level с предопределенным порогом.
   • Если НЕТ (уровень низкий): Процесс возвращается к шагу 1 для повторного захвата (возможно, с повышенным разрешением).
   • Если ДА (уровень достаточный): Переход к шагу 5.
5. Представление для ручной проверки: Текстовый документ представляется пользователю для просмотра.
6. Получение модификаций: Система принимает правки текста от пользователя (исправление ошибок OCR).
7. Ассоциация метаданных: Элементы метаданных связываются с документом или его частями (автоматически на основе Template или вручную).
8. Редактирование метаданных: Система принимает правки метаданных от пользователя.
9. Назначение условий доступа: Документу назначаются Access Conditions (уровень безопасности, совместный доступ).
10. Сохранение: Изображение, текстовая версия и метаданные сохраняются в базе данных документов.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Изображения документов (Document Images) в различных форматах (сканы, PDF, JPEG, PNG, BMP, GIF, TIFF). Текст, распознанный внутри этих изображений.
• Технические факторы: Разрешение изображения (resolution). Упоминается, что повторный захват может выполняться с повышенным разрешением для улучшения точности OCR. Шаблоны (Templates), определяющие структуру документа.
• Пользовательские факторы: Информация, вводимая пользователем для ручной коррекции текста, добавления Metadata Elements, настройки доступа. Аутентификационная информация (authentication information), такая как логин/пароль, PIN-код или биометрические данные.

Какие метрики используются и как они считаются

• Confidence Level (Уровень уверенности): Метрика, вычисляемая во время OCR, которая оценивает точность преобразования изображения в текст. Патент не детализирует формулу расчета.
• Predetermined Threshold / Minimum Conversion Confidence Level (Предопределенный порог / Минимальный уровень уверенности): Пороговое значение для Confidence Level. Если метрика ниже порога, активируется процесс повторного захвата или преобразования. Пороги могут быть разными для разных областей документа в зависимости от их важности и могут задаваться в Template.
• Access Level (Уровень доступа): Индикатор, присваиваемый документу для определения требуемой аутентификации при его извлечении.

1. Патент не связан с веб-поиском и SEO: Патент описывает инфраструктуру системы управления и архивирования личных или корпоративных документов, а не алгоритмы ранжирования веб-страниц в поиске Google.
2. Отсутствие практических выводов для SEO: Он не дает практических выводов или рекомендаций для SEO-специалистов, работающих над продвижением сайтов.
3. Фокус на структурировании данных: Основная цель изобретения — преобразование неструктурированных графических данных (сканов, изображений) в структурированный, доступный для поиска текст.
4. Роль шаблонов в автоматизации: Система использует Templates для автоматизации оцифровки. Шаблоны определяют макет документа, что позволяет системе автоматически извлекать данные из нужных областей и назначать им релевантные метаданные.
5. Контроль качества OCR: Внедрен механизм контроля качества через измерение Confidence Level и возможность повторного сканирования или ручной проверки при низких показателях точности.
6. Управление доступом: Архитектура включает управление безопасностью (Access Conditions) и совместным доступом к документам на уровне системы хранения.

ВАЖНО: Патент является инфраструктурным и описывает систему архивирования документов. Он не дает практических выводов для SEO-продвижения сайтов в веб-поиске.

Best practices (это мы делаем)

Информация о Best Practices для SEO в патенте отсутствует.

Worst practices (это делать не надо)

Информация о Worst Practices для SEO в патенте отсутствует.

Стратегическое значение

Патент не имеет стратегического значения для SEO. Он демонстрирует ранние разработки Google в области управления персональными данными, оцифровки документов и применения OCR. Описанные механизмы концептуально связаны с функциями, которые появились в таких продуктах, как Google Desktop Search (упомянут в патенте) или Google Drive.

Практические примеры

Практических примеров для SEO нет.

Пример использования в контексте системы архивирования:

Сценарий: Автоматическая оцифровка банковской выписки

1. Захват: Пользователь сканирует бумажную выписку или система автоматически загружает PDF с сайта банка.
2. Применение шаблона: Система распознает документ как выписку конкретного банка и применяет соответствующий Template.
3. OCR и Извлечение: Шаблон указывает системе игнорировать логотип (секция 405), извлечь данные из секции 415 и назначить им метаданные "Информация об аккаунте", извлечь данные из секции 420 и назначить метаданные "Транзакции".
4. Контроль качества: Система проверяет Confidence Level. Если текст транзакций распознан плохо, она может запросить повторное сканирование.
5. Назначение доступа: Системы автоматически назначает высокий уровень безопасности (Access Level), так как это финансовый документ.
6. Сохранение: Текст и метаданные сохраняются. Теперь пользователь может искать по запросам типа "Транзакции [Название магазина]", используя комбинацию распознанного текста и назначенных метаданных.