Как Google использует компьютерное зрение для сопоставления изображений, уточнения координат и извлечения данных о бизнесе из Street View

Описание

Какую задачу решает

Патент решает проблему неточности традиционных систем геокодирования (Geocoders). Стандартные геокодеры часто полагаются на интерполяцию для преобразования почтовых адресов в координаты (широта/долгота), предполагая равномерное распределение номеров домов вдоль улицы. Это приводит к ошибкам в определении фактического местоположения объекта (например, неверное расположение метки на карте). Изобретение направлено на повышение точности геолокации и автоматический сбор структурированных данных о местных организациях из физического мира.

Что запатентовано

Запатентована система, использующая компьютерное зрение для визуальной верификации и связывания почтовых адресов с точными координатами. Система сравнивает изображения, привязанные к адресу (например, фото на сайте компании), с изображениями, имеющими точные координаты (например, Street View). При визуальном совпадении система уточняет координаты адреса. Дополнительно используется оптическое распознавание символов (OCR) для извлечения текста (например, часов работы) из изображений Street View и обогащения данных листинга.

Как это работает

Система работает в несколько этапов:

• Сбор данных: Сканирование внешних источников (сайты недвижимости, сайты бизнеса) для поиска изображений, ассоциированных с почтовыми адресами (Known Address Images).
• Аппроксимация: Определение приблизительных координат адреса с помощью стандартного Geocoder.
• Выбор кандидатов: Поиск изображений Street View (Street Level Images), снятых вблизи этих приблизительных координат.
• Визуальное сопоставление: Сравнение визуальных признаков (visual features) зданий на обоих наборах изображений с использованием методов компьютерного зрения (например, SIFT).
• Уточнение координат: Если найдено совпадение, точные координаты из Street View присваиваются почтовому адресу, обновляя Geocoding Database.
• Извлечение текста (OCR): Применение OCR к совпавшему изображению Street View для извлечения текста (название, часы работы) и обновления листинга (Listing Data).

Актуальность для SEO

Высокая. Точность геолокации и полнота данных о бизнесе являются фундаментальными для качества локального поиска и Google Maps. Использование компьютерного зрения и OCR для анализа Street View и извлечения структурированных данных из реального мира является ключевой технологией Google для поддержания актуальности и точности своего локального индекса.

Важность для SEO

Патент имеет высокое значение для Локального SEO (Local SEO). Он демонстрирует, как Google объединяет цифровой и физический миры, используя Street View как источник истины для верификации местоположения и атрибутов бизнеса (NAP, часы работы). Это подчеркивает важность визуальной согласованности между онлайн-присутствием (фото на сайте, GMB) и фактическим видом физической точки (вывеска, фасад), а также то, что Google может извлекать данные напрямую с фасада здания.

Детальный разбор

Термины и определения

Geocoder (Геокодер)

Программный компонент, преобразующий местоположения из одной системы координат в другую, например, почтовые адреса в широту/долготу (latitude/longitude).

Geocoding Database (База данных геокодирования)

Хранилище известных соответствий между почтовыми адресами и координатами широты/долготы. Обновляется по результатам работы системы.

Known Address Image (Изображение с известным адресом)

Изображение (например, с сайта недвижимости или бизнеса), которое связано с определенным почтовым адресом, но не имеет точных координат.

Known Latitude/Longitude Image (Изображение с известными координатами)

Изображение, связанное с точными координатами широты/долготы. В контексте патента это, как правило, Street Level Image.

Listing Data / Listing Information (Данные листинга)

Структурированная информация о бизнесе или объекте, включающая название, категорию, адрес, координаты и дополнительные сведения (например, часы работы).

MLS (Multiple Listing Service)

Сервис мультилистинга недвижимости; упоминается как надежный источник Known Address Images.

OCR (Optical Character Recognition)

Оптическое распознавание символов. Используется для извлечения текста из изображений (например, с вывесок на Street View).

SIFT (Scale-Invariant Feature Transform)

Алгоритм компьютерного зрения для обнаружения и описания локальных признаков, устойчивый к изменениям масштаба и ракурса. Упоминается как возможный метод сравнения.

Street Level Image (Изображение уровня улицы / Street View)

Изображения географических объектов, снятые камерой на небольшой высоте параллельно земле. Связаны с точными координатами и ориентацией камеры.

Visual Features (Визуальные признаки)

Характеристики изображения (геометрические формы, края, углы, окна, двери), используемые алгоритмами компьютерного зрения для сравнения и сопоставления объектов.

Ключевые утверждения (Анализ Claims)

Патент US9286545B1 является продолжением (continuation) более ранних патентов и фокусируется на обновлении данных на основе визуального сопоставления.

Claim 1 (Независимый пункт): Описывает основной метод агрегации данных на основе визуального сравнения.

1. Система получает первое изображение из первого набора, изображающее объекты в определенном местоположении. Первый набор содержит данные об этих объектах (например, листинг с адресом).
2. Система выбирает второе изображение из второго набора, также изображающее объекты в этом местоположении (например, Street View).
3. Определяется, соответствует ли первый объект на первом изображении второму объекту на втором изображении.
4. Если объекты соответствуют, система идентифицирует данные для обновления (update data) из второго изображения, которые будут использованы для модификации данных о первом объекте в первом изображении.

Ядро изобретения — использование визуального совпадения для переноса данных (например, точных координат или извлеченного текста) между разными источниками, относящимися к одному и тому же физическому объекту.

Claim 3 (Зависимый от 1): Уточняет механизм определения соответствия.

Определение соответствия включает сравнение одного или нескольких признаков (features) объектов.

Claims 4-7 (Зависимые от 3): Детализируют критерии сравнения.

Сравнение включает определение геометрического (Claim 4) или визуального (Claim 5) соответствия, проверку порога количества совпадающих признаков (Claim 6). Признаки включают параметры, учитывающие перспективу: размер, позиция, угол камеры, вращение и искажение (skew) (Claim 7). Это указывает на использование сложных алгоритмов компьютерного зрения.

Claim 8 (Зависимый от 1): Описывает процесс извлечения текста (OCR).

1. Система идентифицирует текст, относящийся ко второму объекту на втором изображении (например, вывеску на Street View).
2. Система обновляет данные, описывающие первый объект (например, листинг бизнеса), используя этот идентифицированный текст.

Это ключевой аспект для Local SEO: извлечение структурированных данных (например, часов работы) из физического мира и обновление индекса.

Где и как применяется

Изобретение применяется преимущественно на этапах сбора и индексирования данных для улучшения качества и точности локального индекса и картографических данных.

CRAWLING – Сканирование и Сбор данных
Система активно сканирует внешние источники, такие как Multiple Listing Service, Real Estate Website и Business Website, для сбора изображений, связанных с почтовыми адресами (Known Address Images). Также к этому этапу относится физический сбор Street Level Images (Street View).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Система выполняет следующие задачи:

1. Обработка изображений: Применение компьютерного зрения для извлечения Visual Features из всех собранных изображений.
2. Геокодирование и Сопоставление: Использование Geocoder для аппроксимации координат, выборка кандидатов и выполнение визуального сравнения.
3. Обновление Базы Данных: Улучшение точности Geocoding Database путем связывания адресов с точными координатами.
4. Извлечение Текста (OCR): Применение OCR к Street Level Images для извлечения текста с вывесок.
5. Обновление Листингов: Обогащение Listing Data (Локальный индекс / Knowledge Graph) точными координатами и извлеченным текстом.

Входные данные:

• Изображения и почтовые адреса с внешних сайтов.
• Street Level Images с известными координатами и ориентацией.
• Существующая Geocoding Database.

Выходные данные:

• Обновленная Geocoding Database с более точными соответствиями.
• Обновленные Listing Data с верифицированными координатами и дополнительной информацией (например, часами работы), извлеченной через OCR.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на Локальный Поиск (Local SEO) и ниши, связанные с физическими местоположениями: недвижимость, рестораны, отели, ритейл и любые бизнесы с физическими офисами.
• Точность данных (Local Search): Влияет на точность отображения меток на картах (Map Pins) и на релевантность результатов при поиске по местоположению (фактор Proximity).
• Полнота данных: Влияет на объем и качество структурированных данных в локальной выдаче (Local Pack) и панелях знаний, за счет извлечения информации напрямую с фотографий.

Когда применяется

• Триггеры активации: Процесс активируется при обработке новых данных: когда сканируются новые изображения с внешних сайтов, когда обновляются данные Street View, или при периодической валидации существующей базы данных геокодирования.
• Временные рамки: Это фоновый процесс индексирования и обработки данных, а не корректировка ранжирования в реальном времени.

Пошаговый алгоритм

Процесс улучшения геокодирования и извлечения данных:

1. Сбор данных (Known Address Images): Сканирование внешних источников (MLS, сайты бизнеса) для поиска изображений, ассоциированных с почтовыми адресами.
2. Создание временной записи: Сохранение ассоциации между найденными изображениями и адресом в Listing Data.
3. Приблизительное геокодирование: Определение приблизительных координат (широты/долготы) для почтового адреса с помощью существующего Geocoder.
4. Выбор кандидатов (Street View): Поиск Street Level Images, чьи известные координаты находятся в пределах заданного диапазона (threshold area) от приблизительных координат.
5. Извлечение признаков: Идентификация Visual Features (геометрические формы, окна, двери) на обоих наборах изображений (например, с помощью SIFT).
6. Сравнение изображений: Сравнение признаков для поиска соответствий. Алгоритм учитывает различия в размере, вращении и искажении (skew), вызванные разными углами съемки.
7. Оценка соответствия: Расчет значения сходства (Similarity Value), например, как отношение числа совпадающих признаков к общему числу признаков.
8. Валидация: Сравнение значения сходства с пороговым значением.
   • Если НЕТ (не совпадает): Может быть увеличен диапазон поиска Street View или процесс останавливается.
   • Если ДА (совпадает): Переход к шагу 9.
9. Обновление геоданных: Ассоциация почтового адреса с точными координатами из совпавшего Street Level Image. Обновление Geocoding Database и Listing Data.
10. Извлечение текста (OCR): Анализ совпавшего Street Level Image на наличие текста (название, часы работы, номер дома).
11. Обновление листинга: Добавление извлеченного текста в Listing Data, связанного с этим адресом. Текст также может использоваться для дополнительной верификации совпадения.

Какие данные и как использует

Данные на входе

• Контентные факторы: Почтовые адреса (текст), связанные с изображениями на веб-страницах. Названия компаний и другая информация из листингов.
• Мультимедиа факторы: Изображения (Known Address Images и Street Level Images). Анализируются пиксельные данные, цвета, яркость для извлечения визуальных признаков и выполнения OCR. Street Level Images могут включать карты глубины (depth maps) для 3D-анализа.
• Географические факторы: Координаты широты/долготы и данные об ориентации камеры, связанные со Street Level Images. Существующие данные в Geocoding Database для первоначальной аппроксимации.

Какие метрики используются и как они считаются

• Visual Features (Визуальные признаки): Извлекаются с помощью алгоритмов компьютерного зрения. В патенте упоминаются методы, такие как scale-invariant feature transform (SIFT), обнаружение краев (edge detection), а также анализ геометрических форм.
• Similarity Value (Значение сходства): Ключевая метрика, указывающая на вероятность того, что два изображения показывают один и тот же объект. Может рассчитываться как количество совпадающих признаков, деленное на общее количество признаков.
• Geometric Consistency (Геометрическая согласованность): Проверка того, что совпадающие признаки согласуются с геометрическими моделями (например, аффинными или проективными преобразованиями), что подтверждает совпадение объекта при разных ракурсах съемки.
• Threshold (Порог Сходства): Минимальное значение Similarity Value, необходимое для признания изображений совпадающими (например, 75%).
• Proximity Range (Диапазон близости): Пороговое расстояние (например, в метрах) от приблизительных координат, используемое для выбора кандидатов Street Level Images.

Выводы

1. Визуальная верификация как источник истины о местоположении: Google активно использует компьютерное зрение для проверки и уточнения физического местоположения объектов. Система предпочитает визуальное подтверждение (совпадение изображений) приблизительным данным геокодирования, основанным на интерполяции.
2. Street View как инструмент сбора структурированных данных: Street Level Images являются не просто пользовательской функцией, а критически важным инструментом для сбора и верификации данных. Система способна извлекать структурированные данные (название бизнеса, часы работы, меню, номер дома) непосредственно с вывесок и фасадов зданий, используя OCR.
3. Физический мир как приоритетный источник данных: Данные, извлеченные из реального мира (Street View), могут использоваться для подтверждения, дополнения или даже опровержения информации, предоставленной онлайн (на сайте компании или в GMB).
4. Важность визуальной согласованности: Патент подчеркивает важность согласованности между тем, как бизнес представлен онлайн (фотографии), и его фактическим физическим видом. Это помогает алгоритмам машинного обучения корректно идентифицировать объект и связать данные.
5. Автоматизация обновления локального индекса: Механизм позволяет Google поддерживать актуальность локального индекса автоматически, снижая зависимость от данных, предоставляемых владельцами бизнеса или сторонними агрегаторами.

Практика

Best practices (это мы делаем)

Рекомендации критически важны для Локального SEO и управления данными о физических точках.

• Оптимизация физической вывески для OCR: Убедитесь, что фасад здания и вывески хорошо видны с улицы. Используйте четкие, крупные и контрастные шрифты для названия бизнеса, номера дома и часов работы. Это значительно увеличивает вероятность корректного извлечения информации через OCR из Street View. Думайте о вывеске как о физическом мета-теге.
• Поддержание строгой согласованности NAP (Name, Address, Phone): Название и адрес на физической вывеске должны точно соответствовать данным, указанным на сайте и в Google Business Profile (GMB). Несоответствия могут привести к проблемам с верификацией или созданию конфликтующих данных.
• Загрузка актуальных фотографий экстерьера: Регулярно обновляйте фотографии фасада и входа в GMB и на сайте. Эти фотографии используются системой (как Known Address Images) для сопоставления со Street View. Актуальные и четкие фото повышают вероятность успешного визуального совпадения и точного геокодирования.
• Мониторинг Street View и данных в GMB: Периодически проверяйте, как ваша точка выглядит в Google Street View, и мониторьте данные в GMB на предмет автоматических изменений (например, часов работы), которые могли быть внесены системой OCR.

Worst practices (это делать не надо)

• Использование нечитаемых или мелких вывесок: Сложные шрифты, низкая контрастность или слишком маленький размер текста на вывесках мешают системам OCR корректно извлекать информацию.
• Отсутствие номера дома или названия на фасаде: Отсутствие четко видимой идентификации усложняет визуальное подтверждение адреса и идентификацию бизнеса, что может приводить к ошибкам геокодирования и снижению доверия к листингу.
• Значительное расхождение брендинга (Офлайн vs Онлайн): Если физическая вывеска сильно отличается от названия, используемого онлайн, система может не распознать их как один и тот же бизнес или может попытаться изменить название в GMB.
• Публикация нерелевантных фотографий экстерьера: Использование стоковых фото, рендеров или фотографий других локаций на сайте или в GMB не поможет системе в визуальной верификации и может ввести ее в заблуждение.

Стратегическое значение

Этот патент подтверждает стратегию Google по слиянию физического и цифрового миров в своем индексе. Для Локального SEO это означает, что физическая точка (Storefront) и ее внешний вид фактически являются факторами, влияющими на данные в поиске. Google стремится автономно верифицировать информацию, и визуальные данные из реального мира являются одним из ключевых и наиболее достоверных способов достижения этой цели. Точность данных и возможность их машиночитаемого подтверждения критичны для доверия системы.

Практические примеры

Сценарий 1: Уточнение местоположения (Коррекция Map Pin)

1. Ситуация: Компания переезжает в новое здание. Стандартный геокодер ставит метку на карте неточно (например, в центре квартала).
2. Действие SEO: Компания публикует на сайте в разделе «Контакты» четкую фотографию нового фасада рядом с адресом.
3. Работа системы: Google сканирует сайт, ассоциирует фото с адресом (Known Address Image). Система сравнивает это фото со Street Level Images в предполагаемом районе.
4. Результат: Обнаружив визуальное совпадение, система обновляет Geocoding Database, привязывая адрес к точным координатам из Street View. Маркер на карте перемещается в правильное место.

Сценарий 2: Автоматическое обновление часов работы через OCR

1. Ситуация: Ресторан изменил часы работы, обновил табличку на двери, но забыл обновить информацию в GMB.
2. Работа системы: Автомобиль Street View делает новый снимок фасада. Система применяет OCR к новому снимку и извлекает текст с таблички часов работы на двери.
3. Обновление листинга: Система обновляет Listing Data ресторана новыми часами работы, потенциально переопределяя устаревшие данные из GMB.
4. Результат: В Google Maps и Локальном поиске отображаются корректные часы работы, извлеченные напрямую из физического мира.

Вопросы и ответы