Как Google находит оригинальный цифровой документ по фотографии текста с помощью продвинутого OCR

Термины и определения

Visual Query (Визуальный запрос)

Изображение (фотография, скан, кадр видео), отправляемое пользователем в качестве запроса в поисковую систему.

OCR (Optical Character Recognition)

Оптическое распознавание символов. Технология извлечения текста из изображения.

Canonical Document (Канонический документ)

Оригинальный, эталонный цифровой источник документа (например, файл книги в Google Books), который система пытается найти по визуальному запросу.

Text Quality Score (Оценка качества текста)

Метрика, присваиваемая отдельному символу, слову или строке, которая отражает уверенность системы в правильности распознавания.

High Quality Textual String (Высококачественная текстовая строка)

Последовательность символов, извлеченная из визуального запроса, которая получила высокую оценку качества и используется для поиска канонического документа.

Language-Conditional Character Probability (Вероятность символа, обусловленная языком)

Оценка того, насколько хорошо распознанный символ и его контекст (например, предшествующие ему символы) соответствуют статистической языковой модели.

Transition Cost (Стоимость перехода)

Параметр, используемый в алгоритме скоринга (Claim 1). Он влияет на то, насколько оценка качества символа зависит от оценок его соседей. Высокая стоимость перехода способствует сглаживанию оценок (символ с большей вероятностью получит ту же оценку качества, что и его соседи).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки визуального запроса для поиска канонического документа.

1. Система получает визуальный запрос.
2. Выполняется OCR для извлечения символов в непрерывной области изображения.
3. Производится оценка (scoring) каждого символа. Эта оценка основана на оценках качества (как высоких, так и низких) окружающих символов. Оценка частично базируется на Transition Cost, которая определяет, насколько схожей будет оценка символа с оценками соседей (чем выше стоимость, тем больше схожесть).
4. Идентифицируются один или несколько высококачественных текстовых сегментов (строк). Критерий — сегмент должен содержать множество символов с высокой оценкой.
5. Идентифицируется документ, содержащий хотя бы один из этих высококачественных сегментов.
6. Этот документ извлекается (retrieving).
7. Часть извлеченного документа отправляется клиенту.

Claim 5 (Зависимый от 1): Детализирует процесс идентификации высококачественных строк.

1. Сначала оцениваются слова на основе оценок составляющих их символов.
2. Затем идентифицируются высококачественные текстовые сегменты, состоящие из высококачественных слов.

Claim 6 (Зависимый от 1): Уточняет, что оценка символа может быть бинарной: либо символ высокого качества, либо низкого.

Claim 7 (Зависимый от 1): Уточняет, что процесс оценки символа включает генерацию Language-Conditional Character Probability — метрики, показывающей, насколько хорошо символ и предшествующие ему символы соответствуют языковой модели.

Claim 9 (Зависимый от 1): Описывает логику выбора формата возвращаемого документа в зависимости от рассчитанной оценки качества (Quality Score).

• Если оценка качества ниже определенного порога, возвращается изображение (image version) канонического документа.
• Если оценка качества равна или выше порога, возвращается машиночитаемый текст (machine readable text version) канонического документа.

Где и как применяется

Изобретение применяется в системах визуального поиска (например, Google Lens) и системах поиска по книгам (Google Books).

INDEXING – Индексирование (Подготовка)
Для работы системы необходима база данных Canonical Documents (например, оцифрованные книги, проиндексированные документы). Эта база создается на этапе индексирования.

QUNDERSTANDING – Понимание Запросов (Основное применение)
На этом этапе происходит обработка входящего Visual Query. Система выполняет OCR, проводит сложную контекстную оценку качества распознавания (Scoring) и выделяет High Quality Textual Strings. Это является ключевым процессом интерпретации визуального запроса.

RANKING – Ранжирование (Извлечение)
Выделенные высококачественные строки используются как запрос для поиска точных или близких совпадений в индексе канонических документов и извлечения соответствующего источника.

Входные данные:

• Visual Query (изображение, содержащее текст).
• Языковые модели (используются для оценки качества).

Выходные данные:

• Часть найденного Canonical Document (в формате изображения или машиночитаемого текста).

На что влияет

• Конкретные типы контента: В первую очередь влияет на контент, который часто фотографируют или сканируют с целью поиска оригинала: книги, журналы, научные статьи, официальные документы.
• Специфические запросы: Визуальные запросы, содержащие текст.
• Конкретные ниши: Издательское дело, электронные библиотеки, образование.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда пользователь отправляет визуальный запрос и система OCR обнаруживает в нем текст, который потенциально может соответствовать каноническому документу в базе данных.

Пошаговый алгоритм

1. Получение запроса: Система получает Visual Query (изображение с текстом) от клиента.
2. Выполнение OCR: Модуль OCR обрабатывает изображение для извлечения символов и генерации первичных данных распознавания.
3. Оценка качества символов (Scoring): Этот этап является ядром изобретения.
   • a. Генерация Language-Conditional Character Probability: Для каждого символа оценивается вероятность его появления в данном контексте на основе языковой модели.
   • b. Расчет Text Quality Score: Вычисляется оценка качества для каждого символа. Эта оценка зависит не только от вероятности (пункт а), но и от оценок качества соседних символов. Используется механизм сглаживания (с учетом Transition Cost), чтобы оценки соседних символов были схожими. Оценка может быть бинарной.
4. Идентификация высококачественных строк: Система выделяет High Quality Textual Strings — последовательности символов, имеющие высокую совокупную оценку качества. (В одном из вариантов реализации: сначала оцениваются слова, затем строки, состоящие из высококачественных слов).
5. Поиск канонического документа: Выделенные высококачественные строки используются как запрос для поиска совпадений в базе данных Canonical Documents.
6. Извлечение документа: Найденный канонический документ извлекается из хранилища.
7. Отправка результата: Система отправляет релевантную часть найденного документа клиенту. Формат ответа (изображение или текст) выбирается в зависимости от итоговой оценки качества (Claim 9).

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Основные данные — это само изображение (Visual Query), содержащее текст, который необходимо распознать и сопоставить.

Какие метрики используются и как они считаются

• Text Quality Score (Оценка качества текста): Метрика для символа, слова или строки. Может быть числовой или бинарной (Claim 6). Рассчитывается на основе вероятностей и контекста.
• Language-Conditional Character Probability: Вероятностная метрика, показывающая соответствие последовательности символов языковой модели (например, на основе N-грамм символов).
• Transition Cost: Параметр алгоритма скоринга, используемый для сглаживания оценок качества между соседними символами. Определяет степень влияния оценок соседних символов.
• Пороговые значения: Используются для классификации строк как High Quality и для выбора формата вывода (текст vs изображение, Claim 9).

1. Патент описывает инфраструктуру визуального поиска текста. Это техническое описание механизма, который позволяет системам типа Google Lens или Google Books находить оригинальный источник по фотографии.
2. Ключевая технология — контекстная оценка качества OCR. Изобретение фокусируется на постобработке результатов OCR. Система использует языковую модель и оценки соседних символов (сглаживание через Transition Cost), чтобы выделить наиболее надежные (High Quality) строки даже в очень шумном или искаженном изображении.
3. Цель — найти Канонический Документ. Весь процесс направлен на точное сопоставление визуального запроса с его эталонной цифровой версией (Canonical Document).
4. Адаптивный формат ответа. Система может возвращать результат в виде оригинального изображения или машиночитаемого текста в зависимости от уверенности (Quality Score) в правильности распознавания (Claim 9).
5. Отсутствие влияния на веб-ранжирование. Патент не описывает факторы ранжирования сайтов в основном поиске и имеет минимальную практическую ценность для традиционных задач SEO.

Практическое применение в SEO

Патент носит преимущественно инфраструктурный характер и описывает внутренние процессы обработки визуальных запросов. Он не дает прямых практических выводов для стандартного SEO продвижения сайтов.

Best practices (это мы делаем)

• Обеспечение доступности канонических версий. Если ваш контент существует в печатном виде (книги, каталоги, брошюры) и вы хотите, чтобы его можно было найти через визуальный поиск, убедитесь, что его цифровая версия (Canonical Document) доступна для индексации Google (например, через Google Books или в виде индексируемого PDF/HTML на вашем сайте). Это позволит системе связать визуальный запрос пользователя с вашим контентом.
• Использование четких шрифтов и контраста. Для материалов, которые могут быть сфотографированы (печатная продукция, инфографика, слайды презентаций), использование стандартных, четких шрифтов и высокого контраста повысит вероятность успешного распознавания и получения высоких Text Quality Scores при обработке OCR.

Worst practices (это делать не надо)

• Не применимо. Патент не направлен на борьбу с SEO-манипуляциями или спамом в веб-поиске.

Стратегическое значение

Патент подтверждает стратегическую важность визуального поиска как альтернативного способа доступа к информации. Google инвестирует в технологии, позволяющие преодолеть разрыв между физическим миром (печатный текст) и цифровым индексом. Для владельцев контента это подчеркивает необходимость присутствия в цифровом пространстве в качестве индексируемого канонического источника для обеспечения максимальной доступности информации.

Практические примеры

Сценарий: Продвижение книги или каталога

1. Задача: Обеспечить возможность пользователям находить цифровую версию печатного каталога.
2. Действие: Опубликовать PDF-версию каталога на сайте и убедиться, что она индексируется, или загрузить её в Google Books. Эта версия становится Canonical Document.
3. Результат: Пользователь фотографирует страницу физического каталога с помощью Google Lens. Система применяет описанный в патенте алгоритм: выполняет OCR, идентифицирует High Quality Textual Strings, находит каноническую PDF-версию в индексе Google. Пользователю предоставляется ссылка на скачивание или просмотр оригинального цифрового каталога.