Как Google идентифицирует первоисточник текста на изображении, анализируя OCR и структуру верстки (Structural Information)

Термины и определения

Canonical Document (Канонический документ)

Оригинальный, авторитетный источник контента (например, книга от издателя, официальная веб-страница). Документ, который авторитетно представляет текстовое содержание и его структуру.

High Quality Textual String (Высококачественная текстовая строка)

Строка текста, извлеченная из визуального запроса с помощью OCR, которая имеет высокую оценку надежности (Text Quality Score).

Language-Conditional Character Probability (Вероятность символа, обусловленная языком)

Метрика, указывающая, насколько символ и предшествующий ему набор символов соответствуют определенной языковой модели (которая может быть выбрана на основе местоположения пользователя).

OCR (Optical Character Recognition)

Оптическое распознавание символов. Процесс преобразования изображений текста в машиночитаемый текст.

Reference Point Elements (Опорные элементы)

Элементы на изображении (например, поля, края страницы, нетекстовые объекты, разрывы строк), относительно которых определяется положение текстовых символов в рамках Structural Information.

Structural Information (Структурная информация)

Данные, описывающие верстку и представление текста в визуальном запросе. Включает относительное расположение символов, размеры, порядок слов, количество символов, категорию шрифта, переносы строк.

Text Quality Score (Оценка качества текста)

Метрика, присваиваемая символам или строкам, которая измеряет надежность результата OCR.

Visual Query (Визуальный запрос)

Изображение (фотография, скан, скриншот), отправленное в поисковую систему в качестве запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки визуального запроса для поиска канонического источника.

1. Система получает Visual Query (изображение) от клиента.
2. Выполняется OCR для получения: (a) распознанных текстовых символов и (b) Structural Information. Структурная информация определяет позицию символов относительно опорных точек (Reference Point Elements) на изображении.
3. Выполняется оценка (скоринг) каждого распознанного символа.
4. На основе оценок идентифицируются High Quality Textual Strings.
5. Выполняется поиск и извлечение Canonical Document. Критерии извлечения: документ должен содержать эти высококачественные строки И его структура должна соответствовать (consistent with) структурной информации из визуального запроса.
6. Часть этого канонического документа отправляется клиенту.

Ядром изобретения является использование не только текста (OCR), но и его точного расположения и верстки (Structural Information) для идентификации источника. Это позволяет системе различать, например, два разных издания книги с идентичным текстом, но разной версткой.

Claim 11 (Независимый пункт): Описывает вариацию метода с условным форматом результата.

1. Процесс аналогичен Claim 1 (OCR, структурная информация, скоринг, идентификация строк, поиск канонического документа, соответствующего структуре).
2. Дополнительный шаг: вычисляется Quality Score для высококачественной строки.
3. Если оценка качества НИЖЕ порога, извлекается версия канонического документа в виде изображения (image version).
4. Если оценка качества ВЫШЕ или равна порогу, извлекается версия в виде машиночитаемого текста (machine readable text version).

Система адаптирует формат вывода. Если уверенность в точности распознавания и сопоставления высока, предоставляется текст. Если уверенность ниже, предоставляется изображение оригинала.

Где и как применяется

Изобретение применяется в рамках системы обработки визуальных запросов (например, Google Lens) и затрагивает несколько этапов поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна обрабатывать и индексировать Canonical Documents (книги, веб-страницы, PDF). Критически важно, что индексируется не только текст этих документов, но и их Structural Information (верстка, расположение текста, шрифты). Это позволяет в дальнейшем выполнять сопоставление структуры.

QUNDERSTANDING – Понимание Запросов
На этом этапе может использоваться географическое местоположение клиента (если доступно) для выбора соответствующей языковой модели, что улучшает точность OCR (например, выбор между британским и американским английским).

RANKING – Ранжирование (Точнее, Retrieval/Matching в визуальном поиске)
Это основной этап применения патента. Это не традиционное ранжирование веб-страниц, а процесс сопоставления (matching) изображения с каноническим источником.

1. Анализ запроса: Визуальный запрос анализируется модулем OCR для извлечения текста и структуры.
2. Оценка и фильтрация: Оценивается качество распознавания и выделяются надежные строки (High Quality Textual Strings).
3. Сопоставление: Выполняется поиск в базе данных, используя как текст, так и Structural Information в качестве сигналов для нахождения точного соответствия.

Входные данные:

• Визуальный запрос (изображение).
• Географическое положение клиента (опционально).

Выходные данные:

• Часть Canonical Document, соответствующая визуальному запросу (в формате изображения или машиночитаемого текста).
• Опционально: Комбинация визуального запроса с наложенным фрагментом канонического документа (для "очистки" изображения).

На что влияет

• Конкретные типы контента: В первую очередь влияет на контент, который часто фотографируют или сканируют: книги, журналы, газеты, документы, а также скриншоты веб-страниц.
• Специфические запросы: Визуальные запросы (Visual Search), целью которых является идентификация источника текста или получение цифровой версии текста с изображения.
• Географические факторы: Точность распознавания может варьироваться в зависимости от региона, так как система может использовать локализованные языковые модели.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда в поисковую систему поступает визуальный запрос, содержащий распознаваемый текст (например, через Google Lens).
• Условия применения: Применяется, если система способна извлечь Structural Information и идентифицировать High Quality Textual Strings, достаточные для сопоставления с базой данных канонических документов.

Пошаговый алгоритм

Процесс работы системы (OCR Search System) при получении визуального запроса:

1. Получение данных: Система получает визуальный запрос и, опционально, географическое положение клиента.
2. Оптическое распознавание и структурный анализ: Модуль OCR обрабатывает изображение. Извлекаются:
   • Текстовые символы.
   • Structural Information (позиционирование, размеры, шрифты, верстка относительно опорных точек).
3. Оценка символов (Scoring): Text Evaluation Engine оценивает каждый распознанный символ.
   • Генерируется Language-Conditional Character Probability (может использоваться языковая модель, выбранная на основе географии).
   • Генерируется Text Quality Score (на оценку могут влиять соседние символы).
4. Идентификация качественных строк: На основе оценок идентифицируются High Quality Textual Strings.
5. Поиск и извлечение канонического документа: Система ищет документ, удовлетворяющий двум условиям:
   • Содержит идентифицированные высококачественные строки.
   • Структура документа соответствует (consistent with) структурной информации визуального запроса.
6. Генерация результата: Система определяет формат возвращаемого результата (изображение или текст). В некоторых вариантах это зависит от итоговой оценки качества. Опционально может быть сгенерирована комбинация (наложение чистого текста/изображения поверх запроса).
7. Отправка результата: Часть найденного канонического документа отправляется клиенту.

Какие данные и как использует

Данные на входе

• Контентные/Мультимедиа факторы (Визуальный запрос): Пиксельные данные изображения, которые анализируются для распознавания текста и структуры.
• Структурные факторы (Structural Information): Ключевые данные, извлекаемые из визуального запроса: относительное расположение и размеры символов, порядок символов, категория шрифта, расположение относительно опорных точек (края страницы, разрывы строк).
• Географические факторы: Местоположение клиента. Используется для выбора наиболее подходящей языковой модели для оценки качества OCR.

Какие метрики используются и как они считаются

• Text Quality Score (Оценка качества текста): Метрика для оценки надежности OCR на уровне символов, слов или строк. Может быть бинарной или числовой.
• Language-Conditional Character Probability: Вероятностная оценка того, насколько последовательность символов соответствует языковой модели (потенциально локализованной). Учитывает контекст (предшествующие символы).
• Структурное соответствие (Consistency with Structural Information): Метрика, которая оценивает, насколько верстка канонического документа совпадает с версткой в визуальном запросе. Используется как критерий поиска и верификации.
• Quality Score (в Claim 11): Итоговая оценка качества строки, используемая для определения формата возвращаемого результата (изображение или текст).

1. Каноникализация структуры контента: Google применяет концепцию каноникализации не только к тексту, но и к его структуре (верстке). Система стремится найти источник, который соответствует как содержанию, так и точному визуальному представлению (consistent with the structural information).
2. Индексация структурной информации: Для работы этой системы Google должен индексировать и хранить данные о верстке и представлении текста (шрифты, размеры, расположение) для Canonical Documents.
3. Приоритет авторитетных источников в визуальном поиске: Цель системы — связать визуальный запрос с его авторитетным первоисточником (Canonical Document), что критически важно для атрибуции контента в визуальном поиске (например, Google Lens).
4. Продвинутый OCR с учетом локализации: Google использует сложные методы оценки качества распознавания (Text Quality Score) и применяет локализованные языковые модели (на основе географического положения пользователя) для повышения точности OCR.
5. Адаптивный формат результата и улучшение UX: Система может динамически выбирать формат ответа (текст или изображение) в зависимости от уверенности в качестве распознавания, а также может "очищать" изображение пользователя, накладывая поверх него контент из канонического источника.

Best practices (это мы делаем)

Хотя патент в большей степени описывает внутренние механизмы визуального поиска, он дает важные инсайты для SEO-стратегии в контексте индексации, каноникализации и оптимизации под визуальный поиск (VSO).

• Обеспечение статуса канонического источника: Стратегически важно, чтобы ваш сайт рассматривался Google как Canonical Document для вашего контента. Это требует предоставления высококачественного, машиночитаемого текста (HTML, качественные PDF). Это гарантирует, что при визуальном поиске вашего контента (например, через скриншот) система атрибутирует его вам.
• Использование чистой и логичной структуры контента: Применяйте стандартные шрифты и четкую, семантическую верстку. Поскольку Google индексирует Structural Information, понятная и последовательная верстка может способствовать более точной идентификации вашего контента как канонического источника.
• Оптимизация для Визуального Поиска (VSO): При создании изображений, содержащих важный текст (например, инфографика, цитаты), используйте читаемые шрифты и контрастный фон, чтобы облегчить OCR и повысить вероятность генерации High Quality Textual Strings, ведущих к вашему контенту.

Worst practices (это делать не надо)

• Публикация ключевого контента только в виде изображений: Если важный текст представлен только как изображение (без текстовой альтернативы), он не сможет эффективно служить Canonical Document для сопоставления с визуальными запросами, хотя OCR и может его прочитать.
• Использование чрезмерно сложной или нестандартной верстки: Сложные дизайнерские решения, плохо читаемые шрифты или верстка могут ухудшить качество OCR и затруднить анализ Structural Information, снижая вероятность точного сопоставления.
• Использование скриншотов чужого контента как основного: Технология позволяет Google идентифицировать первоисточник текста на изображении. Размещение чужого контента в виде картинок не скрывает его происхождение от поисковой системы.

Стратегическое значение

Патент подтверждает, что индексация Google выходит за рамки ключевых слов и охватывает представление и структуру контента. Это критически важно для эры мультимодального и визуального поиска (Google Lens). Стратегически, SEO должно учитывать не только ЧТО сказано, но и КАК это представлено. Атрибуция контента становится все более точной, и Google может идентифицировать первоисточник, даже если контент был скопирован в виде изображения.

Практические примеры

Сценарий: Атрибуция контента при визуальном поиске скриншота

1. Ситуация: Пользователь делает скриншот интересного абзаца на вашем сайте (Сайт А) и отправляет его в Google Lens для поиска источника.
2. Работа системы: Google применяет OCR и извлекает Structural Information (шрифты, переносы строк, отступы) из скриншота.
3. Сопоставление: Система ищет Canonical Document. Допустим, ваш контент также скопирован на Сайт Б, но с немного другой версткой.
4. Результат: Поскольку система ищет совпадение не только текста, но и Structural Information, она идентифицирует Сайт А как точный источник, так как его верстка соответствует скриншоту. Пользователю будет возвращена ссылка на Сайт А.