Как Google использует визуальный поиск и GPS для уточнения местоположения пользователя и показа гиперлокальных результатов (Visual Positioning System)

Термины и определения

Enhanced Location Information (Уточненная информация о местоположении)

Высокоточные координаты местоположения клиента, полученные путем визуального сопоставления запроса с базой геолоцированных изображений. Имеет более высокую точность, чем исходные Location Information.

Location Information (Информация о местоположении)

Исходные, часто неточные данные о местоположении клиента, полученные от датчиков устройства (GPS, сотовые вышки, Wi-Fi).

Location-Augmented Search System (Система поиска с дополнением местоположения)

Система (112-F), содержащая базу данных геолоцированных изображений (например, Street View). Используется для сопоставления визуального запроса и определения Enhanced Location Information.

Location-Based Search System (Система локального поиска)

Система (112-G), содержащая базу данных локальных листингов (Location Database). Используется для поиска релевантных объектов по заданным координатам.

Pinpoint Location (Точное местоположение)

Конкретные координаты, связанные с изображением в базе данных Location-Augmented Search System.

Pose (Поза/Направление)

Направление или азимут, в котором ориентировано устройство клиента (т.е. куда смотрит пользователь) в момент создания визуального запроса.

Positional Accuracy (Точность позиционирования)

Метрика, указывающая на точность координат. Применяется как к локации пользователя (Accuracy Value), так и к координатам локальных объектов в базе данных (Accuracy of Location).

Prominence Value (Значение значимости/Проминенс)

Метрика, определяющая относительную важность или известность локального листинга.

Viewing Frustum (Усеченная пирамида видимости/Поле зрения)

Модель поля зрения устройства клиента. Используется для фильтрации результатов поиска, исключая объекты, которые находятся вне поля зрения пользователя.

Visual Query (Визуальный запрос)

Изображение (фотография, кадр видео), отправленное пользователем в качестве поискового запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс гибридного поиска и визуального уточнения локации (VPS).

1. Система получает визуальный запрос (изображение объекта) и Location Information (с первым уровнем точности, в пределах первой дистанции от реального местоположения) от клиента.
2. Система определяет Enhanced Location Information (со вторым, более высоким уровнем точности, в пределах второй дистанции, которая меньше первой). Этот процесс включает:
   • Сравнение визуального запроса с изображениями, расположенными в пределах диапазона исходной локации.
   • Идентификацию совпавшего изображения (matching image).
   • Извлечение сохраненной информации о местоположении из совпавшего изображения.
   • Определение Enhanced Location клиента на основе этой сохраненной информации.
3. Получение результатов поиска на основе Enhanced Location Information.
4. Отправка результатов клиенту.

Claim 3 (Зависимый от 1): Вводит концепцию Viewing Frustum для фильтрации.

Если известны Pose (направление) и ориентация устройства (портретная/альбомная, определяемая сенсорами или соотношением сторон изображения), система конструирует Viewing Frustum (поле зрения). Длина этого поля зрения зависит от уровня точности локации. Система отправляет клиенту результаты, которые попадают внутрь этого Viewing Frustum.

Claim 5 (Зависимый от 1): Описывает балансировку близости и значимости (Prominence) в зависимости от точности.

1. Идентифицируется значение точности (accuracy value) для Enhanced Location.
2. Если точность высокая (выше порога): предпочтение (favoring) отдается результатам, которые физически ближе к клиенту.
3. Если точность низкая (ниже порога): предпочтение отдается результатам с высоким значением Prominence Value.

Claim 9 (Зависимый от 1): Вводит фильтрацию на основе точности данных самих листингов.

Система выбирает результаты (локальные листинги), которые удовлетворяют двум условиям: А) они находятся близко к Enhanced Location клиента (удовлетворяют требованию близости), и Б) их собственные координаты в базе данных имеют высокую точность (Positional Accuracy выше порога).

Где и как применяется

Изобретение интегрирует процессы визуального и локального поиска и затрагивает несколько этапов поисковой архитектуры.

CRAWLING / INDEXING – Сканирование и Индексирование
На этом этапе происходит сбор и индексация двух ключевых наборов данных:

1. Геолоцированные изображения (например, Street View), которые хранятся в Image Database системы Location-Augmented Search System. Индексируются с точными координатами (Pinpoint location).
2. Локальные листинги (бизнесы, POI), которые хранятся в Location Database системы Location-Based Search System. Индексируются с расчетом Prominence Value и верификацией Positional Accuracy.

RANKING / METASEARCH – Ранжирование и Метапоиск
Это основной этап применения патента в реальном времени. Процесс представляет собой каскад поисковых запросов:

1. Визуальное Позиционирование (VPS): Визуальный запрос и сырые координаты отправляются в Location-Augmented Search System для визуального сопоставления и получения Enhanced Location Information и Pose.
2. Локальный Запрос: Полученные точные координаты и Pose используются для запроса к Location-Based Search System для получения списка релевантных локальных объектов.

RERANKING – Переранжирование
Полученный список локальных объектов подвергается финальной обработке и фильтрации с использованием механизмов, описанных в патенте:

• Применение Viewing Frustum для исключения объектов вне поля зрения.
• Балансировка между близостью и Prominence в зависимости от точности локации (Claim 5).
• Фильтрация по Positional Accuracy самих листингов (Claim 9).

На что влияет

• Конкретные типы контента: В первую очередь влияет на локальные листинги (Local Listings) – рестораны, магазины, офисы, достопримечательности и любые объекты с физическим адресом.
• Специфические запросы: Применяется к визуальным запросам, сделанным с мобильных устройств на местности (называемые в патенте "street view visual queries"). Это интенты типа "Что это за здание?" или "Какие бизнесы здесь находятся?".
• Конкретные ниши или тематики: Максимальное влияние в нишах ритейла, общественного питания, туризма и недвижимости.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда система получает визуальный запрос (изображение) одновременно с данными о местоположении (Location Information) от клиентского устройства (например, при использовании Google Lens).
• Условия работы: Требуется наличие достаточного покрытия геолоцированными изображениями (Street View) в данной местности для возможности визуального сопоставления и уточнения локации. Исходные данные GPS должны удовлетворять минимальным критериям точности (например, не хуже 100 метров) для ограничения области поиска.

Пошаговый алгоритм

Этап 1: Получение и первичная обработка данных

1. Получение визуального запроса от клиентской системы.
2. Получение исходной Location Information (например, GPS) и, опционально, данных других сенсоров (акселерометр, магнитометр).

Этап 2: Уточнение местоположения (Visual Positioning)

3. Отправка визуального запроса и исходной Location Information в Location-Augmented Search System.
4. Система выполняет поиск совпадений в базе геопривязанных изображений (Street View) в радиусе, определенном исходной локацией.
5. Если совпадение найдено: Генерация Enhanced Location Information (с высокой точностью) и Pose. Определяется Accuracy Value.
6. Если совпадение не найдено: Система продолжает использовать исходную Location Information (с низкой точностью).

Этап 3: Локальный поиск и получение кандидатов

7. Отправка поискового запроса в Location-Based Search System, используя наиболее точную доступную локацию.
8. Получение списка начальных локальных результатов (листингов).

Этап 4: Фильтрация и ранжирование (Reranking)

Метод A: Viewing Frustum (Фильтрация по полю зрения)

9. Построение Viewing Frustum на основе Pose и ориентации устройства. Длина Frustum зависит от Accuracy Value.
10. Фильтрация результатов: исключение листингов, находящихся за пределами Viewing Frustum.

Метод B: Баланс Prominence и Proximity (Ранжирование по значимости и близости)

11. Оценка Accuracy Value локации клиента.
12. Если точность высокая: Предпочтение отдается результатам, находящимся ближе.
13. Если точность низкая: Предпочтение отдается результатам с высоким Prominence Value.

Метод C: Фильтрация по точности координат листингов

14. Идентификация Positional Accuracy для каждого листинга в базе.
15. Исключение результатов с низкой точностью координат, если они не находятся рядом с результатами, имеющими высокую точность (Claim 11).

Этап 5: Формирование и отправка ответа

16. Создание финального списка результатов и, опционально, интерактивного документа с наложением результатов (Bounding Boxes) на исходное изображение.
17. Отправка ответа на клиентское устройство.

Какие данные и как использует

Данные на входе

Система использует комбинацию данных, поступающих от пользователя в реальном времени, и данных, проиндексированных заранее.

Данные от пользователя (Real-Time):

• Мультимедиа факторы: Визуальный запрос (изображение).
• Географические факторы: Location Information (GPS, Cell ID, Wi-Fi).
• Пользовательские/Технические факторы: Данные сенсоров (акселерометр, магнитометр) для определения ориентации и Pose.

Данные из индексов (Pre-Indexed):

• Индекс изображений (Location-Augmented System): Геопривязанные изображения (Street View), их точные координаты (Pinpoint location) и точность (Accuracy value).
• Локальный индекс (Location-Based System): Координаты листингов, точность этих координат (Positional Accuracy), значение значимости (Prominence value), метаданные листингов.

Какие метрики используются и как они считаются

• Enhanced Location Information: Генерируется путем нахождения визуального соответствия между запросом пользователя и изображением в Image Database.
• Accuracy Value (Точность локации клиента): Метрика уверенности в Enhanced Location Information. Критична для выбора стратегии ранжирования (Близость vs. Проминенс) и определения длины Viewing Frustum.
• Pose (Ориентация): Определяется на основе визуального сопоставления или с помощью данных сенсоров (магнитометр).
• Prominence Value (Проминенс): Предварительно рассчитанная метрика важности локального листинга. Используется в ранжировании, особенно при низкой точности локации клиента.
• Positional Accuracy (Точность координат листинга): Предварительно рассчитанная метрика точности координат самого листинга в базе данных. Используется для фильтрации результатов.
• Viewing Frustum: Модель поля зрения. Конструируется на основе Pose и ориентации устройства. Используется как пространственный фильтр.

1. Визуальные данные как высокоточный датчик геолокации (VPS): Ключевая идея патента – использование визуального ввода (камеры) для значительного повышения точности определения местоположения пользователя (Visual Positioning System), превосходящего точность GPS.
2. Гиперлокальный контекст и ориентация: Система стремится понять не только где находится пользователь, но и куда он смотрит (Pose). Это позволяет фильтровать результаты по полю зрения (Viewing Frustum), делая выдачу максимально релевантной визуальному контексту.
3. Адаптивное ранжирование (Близость vs. Значимость): Логика ранжирования меняется в зависимости от уверенности системы в местоположении пользователя. При высокой точности приоритет отдается близости (Proximity). При низкой точности приоритет отдается значимости (Prominence).
4. Критичность качества данных в индексах: Эффективность системы зависит от качества и покрытия двух баз данных: геопривязанных изображений (Street View) и локальных листингов (Maps/GBP). Точность координат самих листингов (Positional Accuracy) также является фактором фильтрации.
5. Инфраструктура для AR и визуального поиска: Патент описывает фундаментальную технологию, позволяющую связывать физический мир с цифровым индексом, что является основой для сервисов дополненной реальности (AR) и визуального поиска (Google Lens).

Best practices (это мы делаем)

• Обеспечение абсолютной точности геоданных в GBP: Необходимо убедиться, что маркер на карте в Google Business Profile установлен максимально точно (Pinpoint Location). Метрика Positional Accuracy листинга используется системой для фильтрации результатов (Claim 9); неточные данные могут привести к исключению из выдачи визуального поиска.
• Оптимизация визуальной идентичности (Facade Optimization): Критически важно, чтобы физический облик бизнеса (витрина, вывеска, входная группа) был узнаваемым и соответствовал изображениям, доступным Google (Street View и фото в GBP). Это облегчает визуальное сопоставление и получение Enhanced Location Information.
• Мониторинг и обновление Street View: Следите за актуальностью панорам Street View для вашего адреса. Если панорамы устарели или фасад плохо виден, это затруднит визуальное сопоставление. При необходимости загружайте собственные актуальные 360-градусные панорамы через Street View Studio.
• Наращивание Prominence (Значимости): Работайте над повышением авторитетности и известности локального бизнеса (отзывы, рейтинги, локальные цитирования). Prominence используется как ключевой фактор ранжирования в ситуациях, когда система не может точно определить местоположение пользователя (низкая Accuracy Value) (Claim 5).

Worst practices (это делать не надо)

• Игнорирование точности маркера на карте: Оставлять маркер GBP в неточном месте (например, в центре здания вместо конкретного входа) рискованно, так как это снижает Positional Accuracy листинга и может привести к фильтрации.
• Отсутствие четкой визуальной идентификации: Бизнесы без четких вывесок или уникальных визуальных характеристик сложнее идентифицировать с помощью визуального поиска, что затрудняет генерацию Enhanced Location Information.
• Использование вводящих в заблуждение фотографий в GBP: Загрузка стоковых фото или изображений, не отражающих реальный вид storefront, может ухудшить визуальную обнаруживаемость и запутать систему сопоставления.
• Манипуляции с локацией: Попытки указать ложное местоположение. Система, использующая визуальное подтверждение локации (VPS), сделает такие тактики неэффективными для визуального поиска.

Стратегическое значение

Патент подтверждает стратегический курс Google на слияние цифрового и физического миров через камеру (Visual Search, AR). Для локального SEO это означает, что оптимизация включает не только веб-присутствие, но и физическую видимость и визуальную представленность бизнеса в индексах Google Maps и Street View. Технологии визуального позиционирования (VPS) становятся ключевым фактором для привлечения клиентов, использующих мобильные устройства на ходу.

Практические примеры

Сценарий 1: Приоритет близости (Высокая точность локации)

1. Ситуация: Пользователь стоит на открытой местности, использует Google Lens на здании. GPS точен, Street View актуален.
2. Действие системы: Система успешно выполняет визуальное сопоставление и получает Enhanced Location с высокой Accuracy Value.
3. Ранжирование: Активируется стратегия приоритета близости (Claim 5).
4. Результат: Пользователь видит список всех бизнесов в этом здании, даже малоизвестных (низкая Prominence), так как система уверена в их близости.

Сценарий 2: Приоритет значимости (Низкая точность локации)

1. Ситуация: Пользователь находится в плотной городской застройке. GPS слабый. Он использует Google Lens.
2. Действие системы: GPS неточен, визуальное сопоставление затруднено. Accuracy Value низкая.
3. Ранжирование: Активируется стратегия приоритета значимости (Claim 5).
4. Результат: Вместо показа ближайших, но малоизвестных кафе, система покажет самые популярные и высокорейтинговые рестораны (высокая Prominence) в общем радиусе.