Как Google использует текст внутри изображений (например, Street View) для индексации и ранжирования в локальном и имиджевом поиске

Термины и определения

3D Range Data (Данные о трехмерном диапазоне)

Данные о расстоянии от камеры до объектов на изображении, часто получаемые с помощью LIDAR или стереоскопических сенсоров. Используются для определения планарности (плоскости) поверхностей и фильтрации ложных срабатываний при детекции текста.

Candidate Text Region (Кандидатная текстовая область)

Область изображения, идентифицированная классификатором как потенциально содержащая текст.

Classifier (Классификатор)

Модель (часто машинного обучения), обученная отличать текстовые элементы от нетекстовых на основе анализа признаков изображения (например, краев, углов, градиентов).

Geographic Location Data (Данные о географическом местоположении)

Точные координаты (например, GPS), связанные с местом, где было сделано изображение. Критически важны для индексации извлеченного текста в контексте локального поиска.

Image Text (Текст изображения)

Текст, физически присутствующий в сцене и зафиксированный на изображении (например, вывеска).

Normalization (Нормализация)

Процесс предобработки изображения для улучшения контраста, особенно в областях с плохим освещением или тенями.

OCR (Optical Character Recognition - Оптическое распознавание символов)

Процесс преобразования пикселей, представляющих текст на изображении, в машиночитаемый текст.

Superresolution (Сверхвысокое разрешение)

Технология улучшения изображения, которая объединяет несколько снимков низкого разрешения одной и той же сцены (сделанных с небольшим смещением) для создания одного изображения с более высоким разрешением.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Определяет основную цель изобретения — использование текста из изображений в контексте геолокации.

1. Система получает изображение и данные, идентифицирующие географическое местоположение, где изображение было снято.
2. Текст извлекается из изображения.
3. Извлеченный текст индексируется вместе с данными о географическом местоположении.
4. Система получает запрос и использует индексированный текст и данные о местоположении, чтобы определить, что изображение удовлетворяет запросу.
5. Система предоставляет поисковые результаты, релевантные географическому местоположению и изображению.

Ядро изобретения — это не просто OCR, а индексация результатов OCR в привязке к точной геолокации для использования в поиске.

Claim 2 (Зависимый от 1): Детализирует технический процесс извлечения текста.

1. Изображение делится на регионы.
2. В каждом регионе детектируются признаки (features).
3. На основе признаков определяется, является ли регион Candidate Text Region.
4. Кандидатные регионы улучшаются (enhancing) для создания улучшенного изображения.
5. Выполняется OCR на улучшенном изображении.

Этот пункт описывает стандартный пайплайн для OCR в естественных сценах, включая критически важный этап улучшения качества перед распознаванием.

Claim 6 (Зависимый от 1): Уточняет применение в картографических сервисах.

1. Система предоставляет карту географического местоположения, связанного с изображением.

Подтверждает интеграцию этой технологии с сервисами типа Google Maps.

Claims 7, 8, 9 (Зависимые от 1): Описывают монетизацию технологии.

1. Система предоставляет одно или несколько рекламных объявлений вместе с изображением (Claim 7).
2. Реклама определяется на основе содержания запроса (Claim 8) или на основе извлеченного текста из представленного изображения (Claim 9).

Извлеченный текст может служить триггером для показа релевантной рекламы.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поисковой архитектуры, связывая сбор данных с индексацией и ранжированием.

CRAWLING – Сканирование и Сбор данных
На этом этапе происходит физический сбор данных. Система собирает изображения (например, с помощью автомобилей Street View), одновременно фиксируя точные Geographic Location Data (GPS) и, возможно, 3D Range Data (LIDAR).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Полученные изображения обрабатываются: текст обнаруживается, улучшается (Superresolution) и распознается (OCR). Результат — извлеченный текст — сохраняется в индексе в строгой привязке к изображению и его географическим координатам.

RANKING / METASEARCH – Ранжирование / Метапоиск
Когда пользователь вводит запрос (особенно локальный или в поиске по картинкам), система обращается к индексу, созданному на предыдущем этапе. Если ключевые слова запроса совпадают с текстом, извлеченным из изображения, это изображение или связанная с ним локация могут быть показаны в результатах поиска (например, в Google Maps или Image Search).

Входные данные:

• Цифровые изображения (панорамные, фото, видеокадры).
• Geographic Location Data (GPS координаты).
• 3D Range Data (LIDAR, опционально).
• Внешние базы данных для верификации (например, справочники бизнесов, опционально).

Выходные данные:

• Индекс, содержащий машиночитаемый текст, связанный с конкретными изображениями и географическими координатами.

На что влияет

• Конкретные типы контента и ниши: Критическое влияние на Локальный Поиск (Local SEO) и Google Maps. Влияет на все бизнесы с физическими точками (ритейл, рестораны, услуги). Также оказывает сильное влияние на Поиск по Картинкам (Image Search).
• Специфические запросы: Локальные запросы (например, «ресторан рядом со мной», поиск по названию бизнеса, поиск по адресу), а также запросы в поиске по картинкам, где объект можно идентифицировать по тексту на нем (например, поиск товара по фото упаковки).

Когда применяется

• Триггеры активации (Офлайн): Алгоритм активируется при обработке новых или обновленных изображений, поступающих в систему (например, после обновления данных Street View).
• Триггеры активации (Онлайн): Индекс, созданный алгоритмом, используется каждый раз, когда выполняется локальный поиск или поиск по картинкам.

Пошаговый алгоритм

Процесс А: Сбор и обработка изображений (Офлайн)

1. Сбор данных: Получение изображений сцены (например, улицы) с одновременной записью GPS-координат и, опционально, 3D-данных о расстоянии. Для технологии Superresolution требуется несколько кадров одной и той же сцены с небольшим смещением.
2. Предварительная обработка изображений: Применение нормализации или HDR для улучшения контрастности текста, особенно в условиях плохого освещения. Коррекция искажений перспективы.
3. Обнаружение текста: Использование обученного классификатора для анализа признаков изображения (края, углы, градиенты) и идентификации Candidate Text Regions.
4. Фильтрация ложных срабатываний: Использование 3D Range Data для удаления нетекстовых областей. Например, система может требовать, чтобы текст находился на плоской поверхности (планарность) и на определенном расстоянии от камеры.
5. Улучшение текстовых областей (Superresolution):
   1. Выбор нескольких изображений, содержащих одну и ту же кандидатную текстовую область.
   2. Масштабирование (Supersampling) каждой области.
   3. Выравнивание всех версий области на сетке высокого разрешения с точностью до субпикселя (например, с помощью block matching).
   4. Комбинирование выровненных пикселей (например, через медианное значение) для создания единого изображения сверхвысокого разрешения.
6. Распознавание символов (OCR): Применение OCR к улучшенной текстовой области. Система может использовать как нормальную, так и инвертированную версию изображения для лучшего распознавания светлого текста на темном фоне и наоборот.
7. Постобработка и Верификация: Фильтрация результатов OCR для удаления бессмысленных результатов. Возможно использование внешних баз данных (например, справочников бизнесов в данном районе) для ограничения и верификации распознанного текста.
8. Индексация: Сохранение распознанного текста в поисковом индексе в ассоциации с ID изображения и его точными географическими координатами.

Процесс Б: Обработка поискового запроса (Онлайн)

1. Получение запроса: Пользователь вводит запрос (например, название бизнеса или ключевое слово).
2. Поиск по индексу: Система ищет совпадения в индексе, включая текст, извлеченный из изображений.
3. Определение релевантности: Оценка релевантности найденных изображений или локаций на основе совпадения текста и географического контекста запроса.
4. Предоставление результатов: Отображение релевантных изображений (в Image Search) или локаций (в Google Maps/Local Pack), а также, возможно, релевантной рекламы.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Цифровые изображения. Критически важны данные пикселей, их интенсивность, цвет, градиенты.
• Географические факторы: Точные GPS-координаты места съемки. Это ключевой компонент для локальной индексации.
• Технические факторы: 3D Range Data (данные LIDAR или стерео-сенсоров). Используются для понимания геометрии сцены и расстояния до объектов.
• Внешние данные: Упоминается возможность использования баз данных (например, «желтых страниц») для помощи в распознавании (Database Assisted OCR).

Какие метрики используются и как они считаются

Патент не детализирует конкретные формулы, но описывает используемые методы и метрики:

• Метрики Классификатора: Оценка вероятности наличия текста в регионе на основе анализа признаков (горизонтальные/вертикальные производные, дисперсия, гистограммы интенсивности и градиента, наличие углов и краев (Canny edgels)).
• Планарность (Planarity): Метрика, вычисляемая на основе 3D Range Data, определяющая, лежит ли кандидатная текстовая область на плоской поверхности.
• Метрики выравнивания Superresolution: Оценка точности совмещения нескольких изображений на сетке высокого разрешения (например, точность block matching).
• Оценки OCR (OCR Confidence Scores): Вероятностные оценки точности распознавания символов и слов.

1. Конвергенция физического и цифрового мира: Google активно использует изображения реального мира как источник индексируемых данных. Физическое присутствие (вывески, знаки) напрямую транслируется в цифровые сигналы.
2. Критичность геолокации: Извлечение текста само по себе не является главной целью. Ключевая инновация — это индексация текста в строгой привязке к точным географическим координатам (GPS), что делает эти данные применимыми в Локальном Поиске.
3. Продвинутая обработка изображений для повышения точности: Google использует сложные методы, такие как Superresolution (объединение нескольких кадров) и 3D Range Data (для фильтрации шума), чтобы справиться с низким качеством текста в естественных сценах.
4. Текст внутри изображения как фактор ранжирования: Патент подтверждает, что текст, видимый на изображении, является индексируемым контентом и используется для определения релевантности как в поиске по картинкам, так и в локальном поиске.
5. Использование контекста для улучшения OCR: Система может использовать внешний контекст (например, знание о типах бизнесов в определенном районе из справочников) для повышения точности распознавания текста.

Best practices (это мы делаем)

• Оптимизация физической видимости (Local SEO): Убедитесь, что вывески бизнеса, адрес и часы работы четкие, контрастные и не загорожены препятствиями (деревьями, столбами). Это критически важно для того, чтобы системы Google (например, Street View) могли корректно распознать и проиндексировать эту информацию.
• Оптимизация изображений на сайте (Image SEO): При размещении изображений товаров, инфографики или фотографий локации на сайте убедитесь, что важный текст внутри изображения читаем. Google может извлекать этот текст и использовать его как сигнал релевантности.
• Согласованность данных (NAP Consistency): Убедитесь, что информация на физических вывесках точно соответствует информации, указанной в Google Business Profile и на сайте. Google может использовать визуальные данные для верификации текстовой информации.
• Использование текста в изображениях для подтверждения сущностей: Включайте в изображения на сайте элементы, подтверждающие бренд или ключевые характеристики продукта (например, логотип, название модели на самом продукте), так как они могут быть распознаны и проиндексированы.

Worst practices (это делать не надо)

• Игнорирование качества вывесок: Использование сложных шрифтов, низкого контраста или размещение вывесок в плохо освещенных/загороженных местах снижает вероятность того, что Google сможет прочитать и использовать эту информацию.
• Предположение, что текст в графике не читается: Размещение важной информации исключительно в виде графики без текстового дублирования рискованно. Хотя Google и может прочитать этот текст, полагаться только на это не стоит; однако следует понимать, что этот текст может быть прочитан и проиндексирован.
• Манипуляции с текстом на изображениях (Keyword Stuffing): Попытки «наполнить» изображения ключевыми словами (например, размещение неестественного текста на фоне фотографии) могут быть распознаны как спам, особенно если текст не соответствует визуальному контексту.

Стратегическое значение

Этот патент подчеркивает стратегию Google по индексации физического мира для улучшения локального поиска. Для SEO-специалистов это означает, что оптимизация больше не ограничивается только веб-сайтом и ссылками; она распространяется на то, как бизнес представлен в реальном мире и как эта информация фиксируется системами Google. Это подтверждает важность визуальных данных как источника достоверной информации о локальных сущностях и укрепляет связь между онлайн и офлайн присутствием бренда.

Практические примеры

Сценарий 1: Верификация локального бизнеса (Local SEO)

1. Ситуация: В Google Business Profile зарегистрирован новый бизнес «Аптека Ромашка».
2. Действие Google: Система Google анализирует данные Street View для указанного адреса.
3. Применение патента: Используя OCR и Superresolution, система извлекает текст «Аптека Ромашка» и номер дома с вывески на изображении.
4. Результат: Визуальные данные подтверждают существование и название бизнеса. Это повышает доверие к профилю GBP и улучшает его позиции в локальном поиске по запросам «аптека рядом».

Сценарий 2: Поиск по картинкам (Image SEO)

1. Ситуация: Пользователь ищет в Google Images «Кроссовки Nike Air Max 270 черные».
2. Действие Google: Система ранжирует изображения из интернета.
3. Применение патента: Система отдает предпочтение изображениям, где не только alt-text соответствует запросу, но и где технология OCR смогла распознать текст «Air Max 270» на самом кроссовке или на коробке, изображенной на фото.
4. Результат: Изображения, содержащие визуально подтвержденный текст, ранжируются выше, так как они считаются более релевантными запросу.