Как Google обрабатывает и индексирует отсканированные или нетекстовые документы для персонального архивирования и поиска

Термины и определения

Confidence Level (Уровень уверенности)

Метрика, определяемая OCR software, которая указывает на вероятность того, что изображение документа было точно преобразовано в текстовую версию.

Document Capture System (Система захвата документов)

Устройство (например, сканер) или программное обеспечение для получения изображений документов или импорта цифровых документов (PDF, TIFF, JPEG), которые могут не содержать читаемого компьютером текста.

Document Image (Изображение документа)

Захваченная версия документа до текстового распознавания (например, скан или файл изображения).

Document Management Software (Программное обеспечение для управления документами)

Приложение (упоминаются Google® Lighthouse™ или Picasa®), позволяющее вручную просматривать, редактировать текстовую версию, назначать метаданные и сохранять документ.

OCR (Optical Character Recognition / Оптическое распознавание символов)

Процесс анализа изображения документа для распознавания текста и преобразования его в текстовую версию.

Searchable Metadata Element (Поисковый элемент метаданных)

Информация, связанная с документом или его частью для облегчения последующего поиска. Примеры: дата счета, имя банка, тип транзакции («дебет», «кредит»).

Template (Шаблон)

Предварительная конфигурация для обработки однотипных документов. Шаблон может инструктировать систему, какие части документа распознавать (а какие игнорировать), а также назначать метаданные определенным разделам документа.

Text Document (Текстовый документ)

Результат процесса OCR; поисковая версия исходного изображения документа.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы архивирования.

1. Система получает изображение документа (document image).
2. Изображение преобразуется в текстовый документ (text document).
3. Система получает поисковую информацию, относящуюся к текстовому документу.
4. По крайней мере один поисковый элемент метаданных (searchable metadata element) ассоциируется с текстовым документом на основе полученной информации.
5. Текстовый документ и метаданные сохраняются для последующего извлечения на основе этих метаданных.

Claim 5 (Зависимый от 1): Уточняет метод преобразования.

Преобразование изображения в текст включает выполнение оптического распознавания символов (OCR) для распознавания текста документа.

Claim 6 (Зависимый от 1): Описывает использование шаблонов для преобразования.

1. Система извлекает шаблон (template), содержащий инструкции для преобразования *частей* изображения документа в текст.
2. Преобразование выполняется на основе этого шаблона (т.е. OCR может быть выборочным).

Claim 8 (Зависимый от 1): Описывает использование шаблонов для назначения метаданных.

1. Система извлекает шаблон, содержащий инструкции для назначения поисковых метаданных *части* текстового документа, соответствующей части изображения.
2. Ассоциация метаданных с этой частью текста выполняется на основе шаблона.

Claim 14 (Зависимый от 1): Описывает механизм контроля качества.

1. Определяется уровень уверенности (confidence level), указывающий на точность текстового документа по отношению к изображению.
2. Если уровень уверенности ниже заданного порога, изображение документа захватывается повторно (recapturing).

Где и как применяется

Этот патент не относится напрямую к архитектуре публичного веб-поиска Google (Web Search). Он описывает инфраструктуру Системы Управления Документами (Document Management System - DMS), которая может использоваться в продуктах для личного или корпоративного использования (например, Google Drive или устаревший Google Desktop Search).

В контексте DMS применение происходит на следующих этапах:

CRAWLING – Сбор данных (Data Acquisition)
На этом этапе Document Capture System получает входные данные: сканирует физический документ (банковскую выписку, квитанцию) или импортирует электронный файл из локального хранилища или сети (например, с веб-сервера банка).

INDEXING – Индексирование и извлечение признаков (Feature Extraction)
Это основной этап работы патента. Processing System выполняет OCR для извлечения текста из Document Image. Система может извлекать и применять Templates из базы данных шаблонов (Template Database Server) для определения структуры документа и автоматического назначения Searchable Metadata Elements. Также вычисляется Confidence Level и может инициироваться ручная проверка.

Входные данные:

• Изображение документа (скан, PDF, TIFF, JPEG).
• Шаблоны (Templates).
• Пользовательский ввод (для ручной проверки и редактирования).

Выходные данные:

• Текстовый документ (Text Document).
• Ассоциированные поисковые метаданные (Searchable Metadata Elements).
• Данные сохраняются в базе данных документов (Document Database).

На что влияет

Патент влияет исключительно на обработку документов внутри системы архивирования.

• Конкретные типы контента: Влияет на нетекстовые документы, загружаемые пользователем. В патенте упоминаются банковские выписки, счета кредитных карт, счета за коммунальные услуги, письма и квитанции.
• Специфические запросы, ниши, форматы: Не имеет отношения к типам веб-запросов, тематическим нишам (YMYL и т.д.) или форматам контента в публичном SEO.

Когда применяется

• Условия работы: Алгоритм применяется при добавлении нового нетекстового документа в систему архивирования.
• Триггеры активации: Загрузка файла пользователем, сканирование документа или автоматический импорт.
• Пороговые значения: Используется порог для Confidence Level. Если точность распознавания ниже порога, система инициирует повторное сканирование (возможно, с повышенным разрешением) или требует ручной проверки. Пороги могут отличаться для разных областей документа в зависимости от важности информации.

Пошаговый алгоритм

Процесс обработки и управления документами:

1. Захват изображения: Система захвата получает одно или несколько изображений, представляющих документ.
2. Генерация текста: Выполняется OCR для создания текстовой версии. Процесс может управляться шаблоном, который определяет области для распознавания и игнорирует другие (например, заголовки/футеры).
3. Определение уровня уверенности: Вычисляется Confidence Level для сгенерированного текста.
4. Проверка порога: Уровень уверенности сравнивается с заданным порогом.
   • Если НИЖЕ порога: Процесс возвращается к шагу 1 для повторного захвата изображения.
   • Если ВЫШЕ порога: Переход к шагу 5.
5. Ручная проверка: Сгенерированная текстовая версия представляется пользователю для просмотра и редактирования.
6. Получение модификаций: Принимаются изменения от пользователя (исправление ошибок OCR, удаление конфиденциальной информации).
7. Ассоциация метаданных: Searchable Metadata Elements ассоциируются с текстовой версией (всем документом или его частями). Это может происходить автоматически на основе шаблона или вручную пользователем.
8. Сохранение: Текстовая версия и связанные с ней метаданные (и опционально исходное изображение) сохраняются в базе данных документов (локально или на сервере).

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке документов в рамках системы архивирования и использует следующие данные:

• Мультимедиа факторы: Изображения документов (Document Images) в форматах PDF, TIFF, JPEG и т.д. Учитывается разрешение изображения, которое может быть повышено при повторном сканировании.
• Системные данные (Templates): Шаблоны, которые содержат инструкции по распознаванию определенных областей документа и правила назначения метаданных.
• Пользовательские факторы: Вручную внесенные исправления текста и назначенные метаданные.

Какие метрики используются и как они считаются

• Confidence Level (Уровень уверенности): Метрика, указывающая на вероятность того, что изображение документа было точно преобразовано в текст. Патент не детализирует формулу расчета.
• Пороговые значения: Предопределенный порог для Confidence Level. Используется для контроля качества и принятия решения о необходимости повторного сканирования или ручной проверки.
• Методы анализа текста: Основной метод — Optical Character Recognition (OCR).

1. Патент чисто технический и инфраструктурный: Патент описывает внутренние процессы системы управления документами (DMS) и не дает практических выводов или рекомендаций для SEO публичного веб-поиска.
2. Фокус на персональном/корпоративном поиске: Изобретение направлено на преобразование нетекстовых (отсканированных) данных в структурированный, доступный для поиска формат для использования в личных или корпоративных архивах.
3. Автоматизация через шаблоны (Templates): Шаблоны играют ключевую роль в автоматизации процесса. Они позволяют эффективно обрабатывать однотипные документы (например, счета), определяя, где находится нужная информация и какие метаданные ей соответствуют.
4. Контроль качества и ручное вмешательство: Система предусматривает строгий контроль качества через метрику Confidence Level и включает этапы повторного сканирования или ручной проверки/корректировки данных пользователем. Это подчеркивает, что система предназначена для архивирования, где важна точность данных.

Патент является инфраструктурным и описывает систему архивирования пользовательских документов. Он не дает практических выводов для SEO-специалистов, работающих над продвижением сайтов в веб-поиске.

Best practices (это мы делаем)

Практических выводов для SEO нет. Патент описывает внутренние процессы Google для архивирования документов без прямых рекомендаций для SEO веб-сайтов.

Worst practices (это делать не надо)

Не применимо к SEO веб-сайтов.

Стратегическое значение

Патент не имеет стратегического значения для SEO публичного веб-поиска. Он демонстрирует ранние усилия Google (2006 год) по индексации и организации информации за пределами интернета, фокусируясь на персональных и корпоративных документах. Это показывает технологические возможности Google в области OCR и извлечения структурированных данных, которые используются в таких продуктах, как Google Drive.

Практические примеры

Практических примеров для SEO нет.

Пример использования системы (вне SEO):

1. Сценарий: Пользователь хочет архивировать бумажные счета за электричество.
2. Действие: Пользователь сканирует счет. Система получает изображение (Document Image).
3. Обработка: Система применяет шаблон (Template) для счетов этой электрической компании. Шаблон указывает, где находятся дата, сумма и номер счета.
4. Контроль качества: Система рассчитывает Confidence Level. Если он высокий, процесс продолжается.
5. Результат: Система выполняет OCR в указанных областях, извлекает данные и автоматически назначает метаданные: "Тип: Счет", "Компания: [Название]", "Дата: [Дата]", "Сумма: [Сумма]".
6. Поиск: Позже пользователь может найти этот счет в своем архиве по запросу "Счет за электричество [Дата]".