Как Google использует местоположение пользователя для улучшения распознавания текста на изображениях и поиска источника контента

Термины и определения

Visual Query (Визуальный запрос)

Изображение (например, фотография, скан документа), отправленное в поисковую систему в качестве запроса.

Geographic Location (Географическое положение)

Местоположение клиентского устройства в момент подачи визуального запроса. Используется как ключевой сигнал для выбора языковой модели.

Language Model (Языковая модель)

Статистическая модель, предсказывающая вероятность появления определенной последовательности символов или слов в конкретном языке или диалекте.

Language-conditional character likelihood/probability (Вероятность символа, обусловленная языком)

Метрика, показывающая, насколько распознанный символ и предшествующие ему символы соответствуют выбранной языковой модели.

Text Quality Score (Оценка качества текста)

Метрика, присваиваемая распознанным символам или строкам, основанная на вероятности символов и других индикаторах качества OCR.

High Quality Textual Strings (Высококачественные текстовые строки)

Строки, распознанные с высокой степенью уверенности, часто благодаря использованию локализованной языковой модели.

Canonical Document (Канонический документ)

Авторитетный, оригинальный источник контента (например, цифровая версия книги или газетной статьи), который система пытается найти по тексту, распознанному на изображении.

Structural Information (Структурная информация)

Данные о макете текста на изображении (относительные позиции, размеры, шрифт). Упоминается в патенте (например, в описании FIG. 23) как фактор, который может использоваться для точного сопоставления с источником.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки визуального запроса с учетом географии.

1. Система получает визуальный запрос и информацию о географическом положении клиента.
2. Выполняется OCR для получения текстовых данных.
3. Происходит оценка (scoring) каждого текстового символа. Ключевой аспект: оценка производится в соответствии с географическим положением клиента.
4. Детализация оценки: генерируется language-conditional character likelihood, которая показывает, насколько последовательность символов соответствует языковой модели, выбранной (!) в соответствии с географическим положением клиента.
5. Идентифицируются высококачественные текстовые строки на основе этой оценки.
6. Выполняется поиск и извлечение канонического документа, содержащего эти строки.
7. Часть канонического документа отправляется клиенту.

Ядром изобретения является использование географического положения для выбора специфической языковой модели, которая затем используется для оценки результатов OCR. Это позволяет системе адаптироваться к региональным языковым особенностям.

Claim 2 (Зависимый от 1): Дополняет метод идентификацией веб-результатов.

Система также идентифицирует веб-результаты, релевантные как визуальному запросу, так и географическому положению клиента, и отправляет их пользователю.

Claim 3 (Зависимый от 2): Детализирует процесс поиска веб-результатов.

Для поиска веб-результатов система идентифицирует географический термин в распознанном тексте и ищет результаты, связанные как с этим термином, так и с местоположением клиента. Это механизм географической дисамбигуации (например, определение, какой именно "Лондон" имеется в виду).

Claim 11 (Независимый пункт): Описывает альтернативный метод с акцентом на выбор формата ответа в зависимости от качества.

Метод повторяет шаги 1-5 из Claim 1 (получение запроса и локации, OCR, оценка с учетом географии, идентификация строк). Ключевое отличие в шаге извлечения канонического документа:

1. Рассчитывается quality score для высококачественных строк.
2. Если оценка ниже порога — извлекается версия канонического документа в виде изображения (image version).
3. Если оценка на уровне или выше порога — извлекается версия в виде машиночитаемого текста (machine readable text version).

Где и как применяется

Этот патент описывает технологию, применяемую в системах визуального поиска (таких как Google Goggles или Google Lens), где пользователь фотографирует объект, содержащий текст.

QUNDERSTANDING – Понимание Запросов
Основной этап применения патента. Система должна интерпретировать визуальный ввод. Здесь происходит интеграция географического контекста пользователя для выбора правильной языковой модели, что критически важно для точного понимания текста на изображении (OCR).

RANKING / RETRIEVAL – Ранжирование и Извлечение
После того как текст распознан и оценен, система использует эти high quality textual strings как запрос для поиска в базе данных канонических документов. Происходит ранжирование потенциальных совпадений и извлечение наиболее релевантного источника.

Входные данные:

• Визуальный запрос (изображение).
• Географическое положение клиента (например, GPS-координаты).
• База данных языковых моделей, индексированных по регионам.
• База данных канонических документов.

Выходные данные:

• Часть канонического документа (в виде текста или изображения).
• Опционально: дополнительные веб-результаты, релевантные контенту и местоположению.

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент, имеющий физическое представление и цифровую копию (книги, газеты, журналы, меню, брошюры, вывески).
• Специфические запросы: Визуальные запросы, содержащие текст, особенно если этот текст содержит географически неоднозначные термины или региональную орфографию.
• Языковые и географические ограничения: Система специально разработана для работы в регионах с различными языковыми особенностями (например, страны с разными диалектами или вариантами одного языка — UK, US, Canada, Australia).

Когда применяется

• Триггеры активации: Получение визуального запроса, содержащего распознаваемый текст, одновременно с наличием данных о местоположении пользователя.
• Условия работы: Когда система имеет доступ к различным языковым моделям для разных регионов и может выбрать подходящую на основе локации пользователя.

Пошаговый алгоритм

Процесс обработки визуального запроса с учетом географии

1. Получение данных: Система получает визуальный запрос и географическое положение от клиентского устройства.
2. Выбор языковой модели: На основе географического положения система выбирает соответствующую региональную языковую модель.
3. Оптическое распознавание (OCR): Выполняется OCR для извлечения потенциальных текстовых символов из изображения.
4. Оценка символов (Scoring):
   1. Для каждого символа генерируется language-conditional character likelihood. Эта вероятность рассчитывается на основе того, насколько символ и предшествующая ему последовательность символов соответствуют выбранной локализованной языковой модели.
   2. Генерируется Text Quality Score для каждого символа (может учитывать уверенность OCR и языковую вероятность).
5. Идентификация строк: На основе оценок качества символов система идентифицирует одну или несколько high quality textual strings.
6. Географическая дисамбигуация (Опционально): Если в строках обнаружены географические термины, система использует местоположение клиента для их уточнения.
7. Поиск канонического документа: Система ищет в базе данных canonical document, который содержит идентифицированные высококачественные строки.
8. Формирование ответа:
   1. Извлекается соответствующая часть канонического документа. Формат (текст или изображение) может зависеть от достигнутого quality score (Claim 11).
   2. Опционально генерируются дополнительные веб-результаты, релевантные тексту и локации.
9. Отправка результата: Ответ отправляется на клиентское устройство.

Какие данные и как использует

Данные на входе

• Контентные факторы (Визуальные): Данные изображения (пиксели) в визуальном запросе, которые анализируются модулем OCR.
• Географические факторы: Местоположение клиентского устройства (Geographic Location). Это критически важный входной сигнал для выбора языковой модели.
• Системные данные: Набор языковых моделей (Language Models) для разных регионов и база данных канонических документов (Canonical Documents).

Какие метрики используются и как они считаются

• Language-conditional character likelihood/probability: Статистическая метрика, рассчитываемая для каждого символа. Она определяет вероятность появления символа в контексте предшествующих символов согласно выбранной локализованной языковой модели.
• Text Quality Score: Агрегированная оценка качества для символов, слов или строк. Она может комбинировать уверенность самого OCR-движка и Language-conditional character likelihood. В патенте упоминается, что оценка может быть бинарной (высокое/низкое качество) и может зависеть от оценок соседних символов.
• Quality Score (для выбора формата ответа): Метрика, используемая в Claim 11 для определения формата возвращаемого канонического документа (текст или изображение) путем сравнения с пороговым значением.

1. Географический контекст для понимания языка: Патент демонстрирует, как Google использует физическое местоположение пользователя не только для поиска локальных бизнесов, но и для фундаментального понимания языка. Местоположение используется как сигнал для выбора конкретной языковой модели.
2. Учет региональных различий (Локализация): Система способна адаптироваться к региональным особенностям языка, таким как орфография (например, 'centre' vs 'center') и использование специфической терминологии. Это повышает точность интерпретации контента в зависимости от того, где находится пользователь.
3. Дисамбигуация сущностей: Местоположение пользователя используется для разрешения неоднозначностей географических названий, найденных в тексте (например, определение, что "Лондон" в тексте, сфотографированном в Канаде, скорее всего, относится к Лондону, Онтарио).
4. Связь физического мира с цифровым (Canonical Documents): Цель системы — не просто распознать текст, а найти его авторитетный цифровой источник (canonical document). Это подчеркивает стремление Google каталогизировать и верифицировать информацию из офлайн-источников.
5. Качество определяет формат: Система может динамически выбирать формат ответа (чистый текст или изображение источника) в зависимости от уверенности в качестве распознавания (Claim 11).

Best practices (это мы делаем)

Хотя патент описывает внутренние механизмы визуального поиска, он дает важные стратегические инсайты для SEO:

• Точная локализация контента (International SEO): Необходимо тщательно прорабатывать локализацию контента для разных регионов, используя соответствующую орфографию, лексику и идиомы (например, UK English vs US English). Патент подтверждает, что у Google есть технические средства (локализованные языковые модели) для распознавания и предпочтения регионально корректного языка.
• Обеспечение доступности канонических версий: Если ваш бизнес распространяет физические материалы (меню, каталоги, локальные публикации), убедитесь, что их цифровые канонические версии легко доступны для индексации. Google стремится связать фотографию физического объекта с его цифровым источником.
• Управление локальными сущностями: При упоминании географических названий на сайте (или в печатных материалах, которые могут быть сфотографированы) предоставляйте достаточно контекста для дисамбигуации. Однако патент показывает, что Google может использовать местоположение пользователя как дополнительный сигнал для уточнения.

Worst practices (это делать не надо)

• Игнорирование региональных языковых стандартов: Использование "универсального" английского (или другого языка) для всех регионов может снизить релевантность. Если языковая модель Google ожидает увидеть британскую орфографию для пользователя из UK, американский вариант может быть воспринят как менее качественный или менее релевантный.
• Создание контента только в виде изображений: Размещение важной информации (например, меню ресторана) только в виде изображений без текстовой канонической версии затрудняет ее использование. Хотя OCR совершенствуется, опора только на него рискованна.

Стратегическое значение

Патент подчеркивает важность контекста пользователя (в данном случае — географического положения) для интерпретации запросов. Он демонстрирует, что для Google "понимание языка" не является монолитным процессом; оно адаптируется к региональным особенностям. Стратегически это подтверждает движение в сторону гиперлокализации и персонализации поиска, где контент должен максимально соответствовать локальному контексту и языковым нормам пользователя.

Практические примеры

Сценарий: Локализация веб-сайта для Канады и США

1. Ситуация: Компания имеет два сайта: .com (для США) и .ca (для Канады).
2. Действие (на основе патента): Убедиться, что на сайте .ca используется канадский вариант английского языка (например, слова 'centre', 'honour', 'colour').
3. Обоснование: Патент показывает, что Google может применять языковую модель, специфичную для Канады, при анализе контента для канадского пользователя. Использование корректной орфографии повышает вероятность того, что контент будет воспринят как высококачественный и релевантный в этом регионе.
4. Ожидаемый результат: Повышение релевантности и потенциальное улучшение ранжирования сайта .ca в канадской выдаче.

Сценарий: Обеспечение доступности меню ресторана

1. Ситуация: Посетитель фотографирует меню ресторана с помощью Google Lens.
2. Действие (на основе патента): Ресторан должен иметь на своем веб-сайте актуальное меню в текстовом формате (HTML), которое Google может индексировать как canonical document.
3. Обоснование: Система, описанная в патенте, попытается распознать текст на фото и найти соответствующий канонический источник.
4. Ожидаемый результат: Вместо потенциально ошибочного OCR-текста пользователь получит ссылку на официальное текстовое меню на сайте ресторана.