Как Google использует OCR и визуальный анализ изображений для обновления данных о локальном бизнесе (POI)

Описание

Какую задачу решает

Патент решает проблему сбора, верификации и поддержания актуальности данных в репозитории точек интереса (POI data repository), который используется в картографических сервисах, локальном поиске и навигации. Основная сложность заключается в получении точной и структурированной информации о бизнесе (адреса, часы работы, телефоны, типы услуг), особенно в регионах с ограниченным доступом к цифровым данным (например, на развивающихся рынках). Изобретение предлагает метод автоматизации этого процесса через анализ изображений.

Что запатентовано

Запатентована система, которая обновляет базу данных точек интереса (POI) путем анализа изображений, связанных с этими точками (например, фотографий витрин, интерьеров, визитных карточек). Система использует оптическое распознавание символов (OCR) для извлечения текстовых данных (например, названия, телефона) и анализирует визуальное содержимое изображения для определения характеристик POI (например, типа бизнеса). Полученные данные используются для создания новых записей (POI listing) или обновления существующих.

Как это работает

Система работает следующим образом:

• Сбор данных: Пользователь (например, владелец бизнеса или посетитель) делает снимок, связанный с POI (например, фото интерьера или вывески с часами работы), и отправляет его на сервер через клиентское устройство (например, смартфон).
• Извлечение текста (OCR): Сервер применяет OCR для извлечения всего текста с изображения.
• Анализ и Сопоставление: Система идентифицирует, какие части извлеченного текста соответствуют полям POI field (например, номер телефона, адрес, название).
• Визуальный анализ: Система (часто с привлечением системного администратора или оператора) анализирует визуальное содержимое изображения (например, наличие столов и официантов в интерьере) для определения дополнительных полей (например, Тип POI=»Ресторан»).
• Обновление базы данных: Система ищет существующую запись POI. Если запись найдена, она обновляется новыми данными. Если нет — создается новая запись, которая может быть поставлена в очередь на модерацию.

Актуальность для SEO

Высокая. Точность и полнота данных о локальном бизнесе критически важны для Google Maps и локального поиска. Использование пользовательского контента (UGC) в виде изображений и применение технологий компьютерного зрения (OCR и визуальный анализ) для извлечения структурированных данных являются фундаментальными процессами в современных геосервисах Google.

Важность для SEO

Патент имеет высокое значение для специалистов по локальному SEO (Local SEO). Он раскрывает механизмы, с помощью которых Google может верифицировать, обновлять и классифицировать информацию о бизнесе (Google Business Profile), используя изображения как источник данных. Это подчеркивает важность визуального представления бизнеса (как экстерьера, так и интерьера) не только для пользователей, но и для алгоритмов Google, которые используют визуальные сигналы для понимания типа бизнеса и его атрибутов.

Детальный разбор

Термины и определения

POI (Point of Interest / Точка интереса)

Конкретное местоположение, которое может представлять интерес для пользователей. Примеры включают бизнесы (магазины, рестораны, офисы), достопримечательности, географические объекты.

POI data repository (Репозиторий данных POI)

База данных, хранящая информацию обо всех известных системе точках интереса. (На практике соответствует базе данных Google Maps/Google Business Profile).

POI Listing (Запись POI)

Структурированная запись в репозитории для конкретной точки интереса. Содержит различные поля с информацией о POI.

POI Field (Поле POI)

Конкретный атрибут в POI Listing. Примеры, упомянутые в патенте: Unique ID, Name, Location (адрес/координаты), Phone Number, POI Type (тип бизнеса), Related Terms (связанные термины/ключевые слова), Hours (часы работы), Website, Images.

OCR (Optical Character Recognition / Оптическое распознавание символов)

Технология, используемая для извлечения текстовых данных (textual data) из изображений.

System Administrator (Системный администратор)

Сущность, ответственная за проверку и утверждение новых POI Listings или обновлений. Может быть автоматизированным модулем или человеком-оператором (human operator).

Client Device (Клиентское устройство)

Устройство пользователя (смартфон, камера, компьютер), используемое для захвата или передачи изображения на сервер.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обновления репозитория POI, включающий как текстовый, так и визуальный анализ.

1. Система получает сообщение, содержащее изображение интерьера точки интереса.
2. Из изображения извлекаются текстовые данные (textual data).
3. Идентифицируется часть текста, соответствующая первому полю POI (POI field).
4. Репозиторий POI обновляется с использованием этой части текста.
5. Критически важный шаг: Репозиторий POI обновляется в отношении второго поля POI (second POI field) на основе содержимого, изображенного на снимке (content depicted within the image), которое связано с интерьером.

Этот пункт защищает метод, при котором Google использует не только OCR (шаги 2-4), но и анализ визуального контента интерьера (шаг 5) для понимания и классификации бизнеса. Например, OCR извлекает название, а визуальный анализ определяет тип бизнеса.

Claim 2 (Зависимый от 1): Детализирует процесс обновления базы данных.

1. Система определяет, содержит ли существующая запись POI информацию, соответствующую извлеченному тексту.
2. Если НЕТ (соответствующая запись не найдена), генерируется новая запись POI (new POI listing) на основе извлеченного текста.
3. Новая запись сохраняется в репозитории.

Claim 3 и 4 (Зависимые от 2): Уточняют процесс модерации.

Перед сохранением новой записи POI в репозиторий она предоставляется для утверждения системному администратору (system administrator), который может быть человеком-оператором (human operator).

Claim 5 (Зависимый от 2): Описывает сценарий обновления существующей записи.

Если существующая запись POI, соответствующая извлеченному тексту, найдена, система обновляет эту запись, добавляя в нее извлеченные текстовые данные.

Claim 6 и 8 (Зависимые от 5): Указывают на использование дополнительных данных.

Сообщение с изображением может также включать дополнительную информацию (например, текстовые описания, введенные пользователем, или координаты местоположения location coordinates). Эта информация также используется для обновления записи POI.

Claim 17 (Независимый пункт): Описывает процесс генерации новой записи, акцентируя внимание на комбинации источников данных.

1. Получение изображения интерьера POI.
2. Извлечение текста.
3. Идентификация текста, соответствующего первому полю POI.
4. Идентификация визуального содержимого интерьера, соответствующего второму полю POI.
5. Генерация новой записи POI на основе как текстовых данных (для первого поля), так и визуального содержимого (для второго поля).

Где и как применяется

Изобретение затрагивает этапы сбора и индексирования данных, преимущественно в контексте локального поиска и картографических сервисов.

CRAWLING – Сканирование и Сбор данных
На этом этапе система активно собирает данные из внешних источников. В данном случае источником являются пользователи (UGC), которые отправляют изображения и сопутствующие данные (например, GPS-координаты со смартфона) через клиентские устройства. Это альтернативный краулингу веба метод сбора структурированной информации о физических объектах.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Полученные изображения обрабатываются для извлечения и структурирования информации:

1. Обработка изображений: Применение OCR для извлечения текста.
2. Визуальный анализ (Feature Extraction): Анализ content depicted within the image для определения характеристик POI (типа бизнеса, атрибутов). Это может выполняться автоматически или с помощью human operator.
3. Нормализация и Структурирование: Сопоставление извлеченных данных с полями POI field.
4. Верификация и Обновление Индекса: Сравнение данных с существующим индексом (POI data repository), обновление существующих записей или создание новых (с возможной модерацией).

Входные данные:

• Изображение (интерьера, экстерьера, визитки и т.д.).
• Дополнительная информация из сообщения: GPS-координаты (location coordinates), текст, введенный пользователем.

Выходные данные:

• Обновленная или новая структурированная запись POI Listing в репозитории.
• Данные, поставленные в очередь на модерацию.

На что влияет

• Конкретные типы контента: В первую очередь влияет на профили локального бизнеса (Google Business Profile), достопримечательности и другие физические объекты, представленные в Google Maps и локальном поиске.
• Специфические запросы: Влияет на локальные запросы (коммерческие и навигационные), где требуется точная информация о местоположении, контактах, часах работы и типе бизнеса.
• Географические ограничения: Патент упоминает особую полезность в регионах, где сложно собрать данные другими способами (например, развивающиеся рынки).

Когда применяется

• Триггеры активации: Процесс активируется при получении системой коммуникации, содержащей изображение, связанное с POI. Это происходит при загрузке фотографий пользователями в Google Maps или владельцами в GBP.
• Условия работы: Алгоритм применяется для верификации данных, если информация из изображения отличается от существующей в базе, или для создания новой записи, если POI отсутствует в базе.
• Особые случаи: При создании новой записи или значительном изменении существующей может активироваться процесс модерации (review) системным администратором или оператором.

Пошаговый алгоритм

Часть 1: Обработка на стороне клиента

1. Захват изображения: Пользователь захватывает изображение, связанное с POI (например, интерьер или витрину).
2. Генерация и отправка сообщения: Клиентское устройство генерирует сообщение, включающее изображение и, опционально, дополнительные данные (GPS-координаты, введенный пользователем текст), и отправляет его на сервер.

Часть 2: Обработка на стороне сервера

1. Получение сообщения: Сервер получает сообщение от клиентского устройства.
2. Извлечение текстовых данных: Сервер применяет OCR к изображению для извлечения текста.
3. Идентификация полей POI (Текст): Сервер анализирует извлеченный текст и идентифицирует фрагменты, соответствующие структурированным полям POI (например, телефон, адрес).
4. Идентификация полей POI (Визуальный анализ): Сервер (или оператор) анализирует визуальное содержимое изображения (content depicted) для определения дополнительных характеристик (например, тип POI, атрибуты).
5. Поиск в репозитории: Сервер ищет существующие записи POI, используя извлеченные данные (текст, координаты) как ключи для поиска.
6. Принятие решения об обновлении:
   • Сценарий А (Запись найдена): Если запись найдена, сервер сравнивает существующие данные с новыми. При наличии расхождений запись обновляется новыми данными (текстом, визуальными характеристиками, координатами). Изображение также может быть добавлено в профиль POI.
   • Сценарий Б (Запись не найдена): Если запись не найдена, сервер генерирует новую запись POI Listing, используя все доступные данные.
7. Модерация (Опционально): Новая запись (или значительное обновление) может быть помещена в очередь для проверки системным администратором/оператором. Оператор может просмотреть изображение и извлеченные данные, скорректировать их и утвердить или отклонить публикацию.
8. Сохранение: Утвержденная запись сохраняется в POI data repository.

Какие данные и как использует

Данные на входе

Система использует следующие типы данных, полученных от клиентского устройства:

• Мультимедиа факторы (Изображения): Основной источник данных. Используются изображения интерьера (особо выделено в Claims), экстерьера (витрины), визитных карточек, рекламы.
• Географические факторы (Location Coordinates): GPS-координаты, полученные с устройства в момент съемки или отправки. Используются для определения местоположения POI и поиска в базе.
• Пользовательские данные (User Inputted Information): Текст или категории, введенные пользователем вручную при отправке изображения.

Какие метрики используются и как они считаются

Патент не описывает конкретные метрики или формулы ранжирования, но описывает процессы обработки данных:

• Оптическое распознавание символов (OCR): Используется для преобразования пикселей изображения в текстовые данные (textual data).
• Сопоставление данных (Matching): Сравнение извлеченного текста и координат с данными в POI data repository. Может использоваться пороговое расстояние для сопоставления координат (threshold distance).
• Визуальный анализ (Visual Indicators Analysis): Анализ объектов и сцен на изображении. Патент указывает, что это может делаться человеком-оператором, который ищет визуальные индикаторы (например, товары на полках, столы в зале) для классификации POI (например, «retail store», «restaurant») и добавления связанных терминов (Related Terms).
• Верификация (Verification): Процесс подтверждения точности данных, который может включать ручную проверку (review and approval) системным администратором.

Выводы

1. Изображения как источник структурированных данных: Google активно использует изображения (включая пользовательские фото) не просто как визуальный контент, а как источник для извлечения структурированной информации о локальном бизнесе (контакты, часы работы, название).
2. Комбинированный подход (OCR + Визуальный анализ): Ключевым элементом патента является комбинация OCR для извлечения текста и анализа визуального содержимого (content depicted) для понимания контекста. Google определяет тип бизнеса и его атрибуты, анализируя, что именно изображено на фото.
3. Важность интерьера: Патент особо выделяет анализ изображений интерьера для классификации бизнеса. Визуальные элементы внутри помещения (товары, оборудование, обстановка) служат сильными сигналами для определения категории POI.
4. Роль человеческой модерации: Патент признает важность ручной верификации. Системные администраторы или операторы (human operators) используются для подтверждения данных, извлеченных автоматически, и для анализа визуального контента, который сложно интерпретировать алгоритмам (например, определение «fine dining» по декору).
5. Верификация данных GBP: Этот механизм позволяет Google перепроверять данные, указанные владельцем в Google Business Profile, сравнивая их с информацией, извлеченной из фотографий (как владельца, так и пользователей).
6. UGC и Геоданные как факторы обновления: Пользовательский контент (фото) в сочетании с GPS-данными смартфона является триггером для обновления базы данных Google Maps.

Практика

Best practices (это мы делаем)

• Обеспечить визуальное соответствие (Visual Consistency): Убедитесь, что название бизнеса, логотип, часы работы и контактная информация четко видны и читаемы на физических носителях — вывеске, входной двери, визитных карточках, меню. Это облегчит OCR извлечение и верификацию данных, если пользователи сфотографируют их.
• Загружать качественные фото интерьера и экстерьера: Активно загружайте в Google Business Profile (GBP) фотографии, которые однозначно демонстрируют тип вашего бизнеса и предоставляемые услуги. Если вы ресторан, покажите зал, столы, кухню. Если магазин — покажите полки с товарами. Это помогает системе (и операторам) правильно классифицировать POI на основе визуального анализа.
• Управлять атрибутами через визуальные сигналы: Если вы хотите, чтобы ваш бизнес ассоциировался с определенными атрибутами (например, «уютный», «подходит для детей», «есть Wi-Fi»), убедитесь, что в интерьере есть визуальные подтверждения этого (уютный декор, детские стульчики, наклейки Wi-Fi).
• Мониторинг пользовательских фотографий (UGC): Регулярно проверяйте фотографии, которые пользователи загружают в ваш профиль GBP. Убедитесь, что они релевантны и не содержат устаревшей информации (например, старых часов работы), так как система может использовать их для обновления данных.

Worst practices (это делать не надо)

• Игнорировать физическое представление бизнеса: Полагаться только на данные в GBP, игнорируя то, как бизнес выглядит в реальности. Расхождения между данными в GBP и информацией на физической вывеске могут привести к автоматическому изменению данных в профиле или пометке о неточности.
• Использовать вводящие в заблуждение изображения: Загружать в GBP стоковые фотографии или изображения, не соответствующие реальному интерьеру или услугам. Это может привести к неправильной классификации бизнеса системой при визуальном анализе.
• Сложные шрифты и низкий контраст: Использовать нечитаемые шрифты или низкоконтрастное оформление для важной информации (часы работы, телефон) на вывесках или визитках, что затруднит работу OCR.

Стратегическое значение

Патент подтверждает стратегию Google по созданию точной модели физического мира, используя все доступные источники данных, включая компьютерное зрение и краудсорсинг. Для локального SEO это означает, что оптимизация не ограничивается цифровым пространством. Соответствие между вашим Google Business Profile и вашим физическим бизнесом (вывеска, интерьер, атмосфера) имеет решающее значение. Визуальная информация становится таким же важным сигналом для классификации и верификации, как и структурированные данные.

Практические примеры

Сценарий 1: Верификация часов работы

1. Ситуация: Владелец кафе указал в GBP часы работы до 22:00.
2. Действие пользователя: Посетитель фотографирует входную дверь, на которой висит табличка с часами работы до 21:00, и загружает фото в Google Maps.
3. Работа системы: Google применяет OCR к фотографии, извлекает текст «21:00». Система идентифицирует это как POI field: Hours.
4. Обновление: Система сравнивает извлеченные данные (21:00) с данными в базе (22:00). Обнаружив несоответствие, система может автоматически обновить часы работы в GBP до 21:00 или предложить пользователям вариант «Предложить исправление».

Сценарий 2: Классификация типа бизнеса по интерьеру

1. Ситуация: Открылся новый бизнес с нейтральным названием (например, «Квартал 12»), профиль в GBP еще не создан или не оптимизирован.
2. Действие пользователя: Пользователь загружает несколько фотографий интерьера, на которых видны стеллажи с винными бутылками, барная стойка и дегустационные столы.
3. Работа системы: OCR может не найти много полезного текста. Система переходит к визуальному анализу (возможно, с помощью оператора).
4. Анализ контента: Анализируются content depicted: винные бутылки, барная стойка.
5. Обновление: Система классифицирует POI, обновляя POI field: Type как «Винный магазин» или «Винный бар» и добавляет Related Terms: «вино», «дегустация».

Вопросы и ответы