Как Google использует визуальный поиск и анализ видео для определения геолокации объектов (Основа Google Lens)

Описание

Какую задачу решает

Патент решает задачу определения точного географического местоположения объекта, запечатленного на изображении или видео, особенно когда GPS или другие метаданные недоступны. Это позволяет пользователям идентифицировать свое местоположение или локацию объекта исключительно на основе визуального ввода. Также решается задача повышения точности этой идентификации при анализе серии изображений или видеопотока.

Что запатентовано

Запатентована система и метод определения геолокации путем визуального сравнения. Система извлекает визуальные признаки (Feature Points или Interest Points) из загруженного контента и сравнивает их с обширной базой данных гео-тегированных изображений (Repository of Images). Ключевой инновацией этого конкретного патента (являющегося продолжением более ранних) является метод агрегации оценок уверенности (Aggregated Confidence Score) от нескольких изображений или кадров видео для надежной валидации местоположения.

Как это работает

• Получение и Анализ: Пользователь загружает изображение или видео. Система извлекает ключевые визуальные признаки (Feature Points).
• Сравнение: Эти признаки сравниваются с базой данных изображений, имеющих известные географические координаты.
• Агрегация Уверенности: Система анализирует несколько изображений или кадров видео, вычисляет индивидуальные Confidence Scores и объединяет их в Aggregated Confidence Score для повышения точности.
• Вспомогательные сигналы: Для сужения поиска могут использоваться OCR (распознавание текста на фото) и приблизительное местоположение устройства.
• Локальный Поиск: При успешной идентификации локации система запускает Local Search и возвращает пользователю карту, адрес, локальные результаты и рекламу.

Актуальность для SEO

Крайне высокая. Патент описывает фундаментальные технологии, лежащие в основе визуального поиска (Google Lens) и систем визуального позиционирования (VPS в Google Maps). Идентификация физических объектов и их локализация по визуальным данным является ключевым направлением развития поиска.

Важность для SEO

Патент имеет высокое значение для SEO, критически влияя на Local SEO и Image SEO. Он раскрывает механизм, с помощью которого Google связывает визуальный контент с физическими локациями и бизнесами. Понимание этого процесса необходимо для оптимизации изображений на сайтах и в Google Business Profile, чтобы обеспечить видимость бизнеса в результатах визуального поиска.

Детальный разбор

Термины и определения

Aggregated Confidence Score (Агрегированная оценка уверенности)

Комбинированная метрика, основанная на оценках уверенности от нескольких изображений или кадров видео, указывающих на одну локацию. Используется для повышения надежности идентификации.

Confidence Score / Match Quality Indicator (Оценка уверенности / Индикатор качества совпадения)

Числовая метрика, отражающая вероятность того, что загруженное изображение соответствует сохраненному изображению и его геолокации.

Feature Points / Interest Points (Точки признаков / Ключевые точки)

Ключевые точки на изображении, где наблюдается значительное изменение визуальных характеристик (контраст, цвет, углы). Формируют уникальный визуальный отпечаток объекта для сравнения.

Geo-tagged Image (Гео-тегированное изображение)

Изображение, связанное с географическими координатами. Источником могут быть EXIF-данные или анализ контекста веб-страницы (например, адрес рядом с фото).

Image Analyzer / Feature Point Generator (Анализатор изображений / Генератор точек признаков)

Компонент системы, отвечающий за обработку изображений и извлечение Feature Points.

Image Comparator (Компаратор изображений)

Компонент, сравнивающий Feature Points загруженного изображения с базой данных.

Local Search Engine (Система локального поиска)

Модуль, который предоставляет поисковые результаты, релевантные идентифицированному географическому местоположению.

OCR (Optical Character Recognition) (Оптическое распознавание символов)

Технология распознавания текста на изображениях (например, вывесок, уличных знаков), используемая как дополнительный сигнал локализации.

Repository of Images (Репозиторий изображений)

База данных, хранящая большое количество гео-тегированных изображений и их извлеченные Feature Points.

Ключевые утверждения (Анализ Claims)

Примечание: Патент US9449228B1 является продолжением (continuation) более ранних патентов. Claims фокусируются на аспекте повышения точности с помощью нескольких изображений.

Claim 1 (Независимый пункт): Описывает метод использования нескольких изображений для подтверждения геолокации.

1. Определение первой оценки уверенности (first confidence score) того, что первое изображение связано с конкретной геолокацией, на основе его визуальных признаков.
2. Определение второй оценки уверенности (second confidence score) того, что второе изображение связано с той же геолокацией.
3. Генерация агрегированной оценки уверенности (aggregated confidence score) на основе первой и второй оценок.
4. Классификация первого изображения как связанного с данной геолокацией, если агрегированная оценка удовлетворяет критериям.
5. Предоставление информации, связанной с этой геолокацией.

Система повышает точность, требуя подтверждения от нескольких визуальных вводов. Если два разных изображения указывают на одну локацию, агрегация их оценок уверенности позволяет подтвердить местоположение с большей надежностью, чем при анализе одного изображения.

Claim 13 (Зависимый от 1): Уточняет, что первое и второе изображения могут быть кадрами из видео.

Система может анализировать видеопоток (например, при панорамировании местности), извлекая отдельные кадры и агрегируя Confidence Scores для точного определения местоположения.

Claim 8 и 9 (Зависимые от 1): Указывают на использование результатов для таргетинга и рекламы.

Система может определить местоположение устройства и предоставить информацию, включая целевую рекламу (Claim 9), на основе идентифицированной географической локации. Это связывает технологию с монетизацией через локальную рекламу.

Где и как применяется

Изобретение применяется в рамках инфраструктуры визуального и локального поиска, затрагивая этапы от сбора данных до выдачи результатов.

CRAWLING & INDEXING – Сканирование, Индексирование и Извлечение признаков
На этом этапе формируется Repository of Images:

• Сбор данных: Система сканирует веб-страницы (crawling publicly available web pages), содержащие изображения и текстовую информацию о местоположении (например, фото здания рядом с адресом), а также использует данные из фотохостингов.
• Извлечение локации: Извлекаются гео-данные из текста на странице или из метаданных (EXIF).
• Фильтрация: Система может анализировать изображения, чтобы определить, содержат ли они географически релевантные признаки (архитектура, ландшафт) и отфильтровать неинформативные (например, лица крупным планом, временные объекты).
• Извлечение признаков: Feature Point Generator обрабатывает релевантные изображения, извлекает Interest Points и сохраняет их в базе данных вместе с геолокацией.

RANKING (Visual Search Pipeline) – Ранжирование (Обработка Визуального Запроса)
Это основной этап применения патента при обработке запроса пользователя (например, через Google Lens):

• Image Analyzer извлекает Feature Points из загруженного изображения/видео в реальном времени.
• Image Comparator ищет совпадения в индексе. Пространство поиска может быть сужено с помощью приблизительной локации устройства.
• Рассчитываются Confidence Scores. Если используется несколько кадров, рассчитывается Aggregated Confidence Score (Claim 1).

METASEARCH – Метапоиск и Смешивание
После определения локации система активирует Local Search Engine. Происходит смешивание результатов визуальной идентификации с локальными результатами (POI, бизнес-листинги, карты, Local Ads).

На что влияет

• Типы контента и ниши: Наибольшее влияние на контент, связанный с физическими локациями: Local SEO (туризм, недвижимость, ритейл, рестораны). Влияет на видимость объектов с уникальными визуальными характеристиками.
• Специфические запросы: Влияет на визуальные запросы (Visual Search), где вводом является изображение или видеопоток.

Когда применяется

• Условия применения: Алгоритм применяется, когда система получает визуальный ввод с целью идентификации местоположения объекта.
• Триггеры активации: Запрос пользователя через интерфейс визуального поиска (например, Google Lens).
• Ограничения: Требуется наличие на изображении идентифицируемых, географически привязанных объектов, которые уже присутствуют в Repository of Images. Эффективность снижается для типовых объектов или при низком качестве изображения.

Пошаговый алгоритм

Процесс обработки запроса пользователя:

1. Прием данных: Получение изображения или видео от клиентского устройства. Если получено видео, оно разделяется на отдельные кадры.
2. Извлечение признаков: Обработка кадров с помощью Image Analyzer для создания набора Feature Points. Параллельно может запускаться OCR для поиска текста (вывесок, знаков).
3. Поиск соответствий: Image Comparator сравнивает извлеченные Feature Points с базой данных гео-тегов. Поиск может быть сужен с использованием приблизительной локации устройства (если доступна).
4. Расчет уверенности: Вычисление Confidence Score для наилучших кандидатов для каждого кадра.
5. Агрегация уверенности: Расчет Aggregated Confidence Score на основе совпадений разных кадров с одной и той же локацией (Claim 1, 13).
6. Разрешение неопределенности: Если уверенность ниже порога, система может использовать данные OCR для подтверждения или запросить у пользователя дополнительную информацию.
7. Определение локации: При достижении порогового значения уверенности система фиксирует геолокацию.
8. Локальный поиск и формирование ответа: Запуск Local Search для найденных координат. Формирование контентной страницы с картой, адресом, локальными результатами и рекламой. Возврат ответа пользователю.
9. Сохранение данных (Опционально): Загруженное изображение с подтвержденным гео-тегом может быть сохранено в репозитории.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Изображения или видео. Система анализирует пиксельные данные для извлечения Feature Points. Качество, четкость и освещенность критически важны.
• Контентные факторы (внутри изображения): Текст на изображении (вывески, указатели), извлекаемый с помощью OCR. Используется как сильный дополнительный сигнал локализации.
• Географические и Пользовательские факторы: Данные о местоположении устройства (IP-адрес, триангуляция сотовых вышек, GPS), если доступны. Используются для сужения пространства поиска.
• Технические факторы (Метаданные): EXIF-данные, которые могут содержать время съемки (используется для анализа освещения и теней) и GPS-координаты.

Какие метрики используются и как они считаются

• Interest Points / Feature Points: Извлекаются с использованием методов компьютерного зрения (патент ссылается на работы, связанные с SIFT – Scale-Invariant Feature Transform). Это дескрипторы, инвариантные к масштабу и повороту.
• Confidence Score (Match Quality Indicator): Рассчитывается путем сравнения наборов Feature Points. Определяет степень визуального сходства.
• Aggregated Confidence Score: Метрика, вычисляемая путем объединения индивидуальных Confidence Scores от нескольких изображений или видеокадров, указывающих на одну локацию.

Выводы

1. Индексация физического мира: Google активно создает визуальный индекс физического мира (Repository of Images), связывая изображения объектов с их точными координатами. Этот индекс строится путем краулинга веба и анализа пользовательского контента.
2. Компьютерное зрение как основа: Идентификация основана на анализе визуальных признаков (Feature Points). Это требует наличия качественных и узнаваемых изображений объектов в индексе.
3. Повышение точности через агрегацию (Ключ этого патента): Система использует Aggregated Confidence Score для повышения надежности распознавания, анализируя данные из нескольких фотографий или видеопотока. Это позволяет системе работать в реальном времени (например, в Google Lens).
4. Мультимодальный подход: Для повышения точности визуальный анализ дополняется другими сигналами: OCR для чтения вывесок и данными о приблизительном местоположении устройства.
5. Тесная интеграция Visual Search и Local Search: Визуальный поиск является точкой входа в локальный поиск. Успешная идентификация объекта на фото немедленно запускает Local Search для предоставления релевантной информации и локальной рекламы (Local Ads).

Практика

Best practices (это мы делаем)

• Обеспечение четкой локальной привязки изображений на сайте: При публикации фотографий бизнеса (фасад, интерьер) на сайте размещайте их рядом с четкой локальной информацией (NAP — Name, Address, Phone). Это помогает Google при краулинге корректно связать изображение с локацией и добавить его в Repository of Images.
• Фокус на качестве и уникальности визуального контента: Публикуйте четкие, высококачественные изображения в Google Business Profile (GBP) и на сайте, демонстрирующие уникальные визуальные или архитектурные особенности локации. Это облегчает извлечение надежных Feature Points.
• Публикация разнообразных ракурсов: Загружайте изображения с разных углов и при разном освещении. Это помогает системе построить более полное представление об объекте и увеличивает вероятность совпадения с фотографиями пользователей.
• Оптимизация под OCR: Убедитесь, что вывески с названием компании и уличные указатели хорошо читаемы на фотографиях. Система использует OCR как вспомогательный сигнал для подтверждения локации.
• Использование гео-тегов в метаданных: Рекомендуется встраивать точные GPS-координаты в EXIF-данные фотографий перед их загрузкой. Это прямой сигнал геолокации.
• Стимулирование UGC: Поощряйте клиентов загружать фото и видео вашего бизнеса в Google Maps. Это расширяет базу данных Google о вашей локации.

Worst practices (это делать не надо)

• Использование стоковых или нерелевантных изображений: Использование типовых стоковых фотографий для представления физической локации бизнеса бесполезно для визуального поиска и не поможет в идентификации локации.
• Изображения низкого качества: Размытые или темные фотографии, на которых невозможно надежно выделить Feature Points или прочитать вывеску, не будут эффективно работать.
• Отсутствие фотографий экстерьера: Если бизнес нельзя идентифицировать снаружи, пользователи не смогут найти его через визуальный поиск на улице.
• Блокировка индексации изображений: Препятствование сканированию изображений на сайте не позволит Google добавить их в свой визуальный индекс.

Стратегическое значение

Патент подтверждает стратегический приоритет Google в развитии визуального поиска (Google Lens) и его интеграции с локальным поиском. Для SEO это означает, что оптимизация визуального контента является неотъемлемой частью Local SEO. Компании должны гарантировать, что их визуальное представление в интернете (на сайте, в GBP) точно соответствует их физической реальности и содержит необходимые сигналы для корректной географической индексации и распознавания.

Практические примеры

Сценарий: Оптимизация отеля для Visual Search

1. Анализ: Определить уникальные визуальные особенности отеля (архитектура фасада, входная группа, вывеска).
2. Создание контента: Сделать профессиональные, четкие фотографии этих особенностей при хорошем освещении с разных ракурсов.
3. Техническая оптимизация (Сайт): Разместить фотографию фасада на странице контактов в непосредственной близости от полного адреса. Встроить координаты в EXIF-данные. Использовать микроразметку Hotel, связав ее с изображением.
4. Оптимизация (GBP): Загрузить все качественные фотографии в профиль, установив лучшее фото фасада как основное.
5. Ожидаемый результат: Google индексирует изображения и связывает их Feature Points с локацией. Когда турист фотографирует фасад отеля с помощью Google Lens, система распознает объект и предоставляет пользователю информацию об отеле, включая возможность бронирования (Local Search Results).

Вопросы и ответы