Как Google использует камеры устройств для определения местоположения и ранжирования локальных бизнесов в Визуальном Поиске

Описание

Какую задачу решает

Патент решает проблему сложности и высокой ресурсоемкости традиционных методов визуального поиска, которые полагаются на точное сопоставление изображений (image matching). Существующие методы требуют значительных вычислительных мощностей и часто предполагают активное участие пользователя (например, точное кадрирование объекта). Кроме того, патент стремится сделать локальный поиск более интуитивным, устраняя необходимость ручного ввода текстовых или голосовых запросов для обнаружения ближайших точек интереса (POI).

Что запатентовано

Запатентована система локального поиска, использующая датчики изображения устройства (например, камеру смартфона) в качестве основного источника входных данных. Система обрабатывает визуальные данные для определения точного местоположения и ориентации устройства (Pose Data), как правило, с помощью Visual Positioning System (VPS). Получив Pose Data, система запрашивает базу данных карт для идентификации POI в определенном географическом радиусе и угловом диапазоне, а затем ранжирует эти POI для представления пользователю.

Как это работает

Ключевой механизм работы системы:

• Сбор данных: Датчики изображения фиксируют визуальные особенности окружающей среды (например, контуры зданий).
• Определение Позы (Pose Determination): Система сравнивает эти особенности с индексом VPS (предварительно созданным на основе снимков уровня улиц), чтобы точно определить местоположение и направление взгляда устройства.
• Определение Зоны Поиска: На основе Pose Data определяется географическая область поиска, заданная расстоянием и углом обзора (Search Angle).
• Запрос и Фильтрация POI: Система запрашивает базу данных карт для поиска POI в этой зоне и фильтрует результаты.
• Ранжирование: Для оставшихся POI рассчитываются Relevance Weights с учетом расстояния, типа заведения и рейтинга.
• Вывод: Ранжированный список POI предоставляется пользователю.

Актуальность для SEO

Высокая. Технологии визуального поиска (например, Google Lens) и дополненной реальности (AR) в навигации (например, Live View в Google Maps) активно развиваются и интегрируются в мобильную экосистему. VPS является фундаментальной технологией для обеспечения точности этих сервисов, особенно в плотной городской застройке. Патент описывает конкретную реализацию и методы ранжирования для этих систем.

Важность для SEO

Патент имеет значительное влияние на Local SEO и стратегии оптимизации под Визуальный Поиск (Visual Search). Он не влияет на ранжирование веб-страниц, но критически важен для понимания того, как локальные бизнесы (сущности) обнаруживаются и ранжируются в интерфейсах, управляемых визуальными данными (AR/Lens). Патент детально описывает факторы ранжирования (Relevance Weights), подтверждая важность расстояния, категории и репутации (рейтинга) для видимости бизнеса в этих средах.

Детальный разбор

Термины и определения

Distance Group Factor (Фактор группы расстояния)

Компонент Relevance Weight, определяемый на основе пороговых значений расстояния от устройства до POI (например, 0-50м, 50-175м).

Field of View (FOV) (Поле зрения)

Физический угол обзора датчика изображения (камеры).

Mapping Database (База данных карт)

Хранилище данных о точках интереса (POI), их местоположении, типах и метаданных (например, рейтингах).

Multi-directional query (Мультинаправленный запрос)

Стратегия поиска, используемая, когда устройство находится близко к POI. Включает поиск в широком угловом диапазоне на близком расстоянии и в более узком диапазоне на дальнем расстоянии.

One directional query (Однонаправленный запрос)

Стратегия поиска, используемая, когда устройство находится далеко от POI. Фокусируется на поиске в пределах определенного угла обзора, соответствующего направлению камеры.

POI (Point of Interest) (Точка интереса)

Локальная сущность или местоположение (например, ресторан, магазин, достопримечательность).

Pose Data (Данные о позе)

Информация, включающая точное географическое местоположение (Location) и ориентацию (Orientation) устройства в пространстве.

Rating Factor (Фактор рейтинга)

Компонент Relevance Weight, основанный на общедоступных рейтингах (отзывах) POI.

Relevance Weight (Вес релевантности)

Основная оценка ранжирования, рассчитываемая для каждого POI. Используется для сортировки результатов поиска.

Search Angle (Угол поиска)

Угловой диапазон, используемый для запроса POI. Может быть шире, чем физический FOV камеры, для компенсации неточностей наведения пользователем (pose correction for natural pointing offsets).

Type Factor (Фактор типа)

Компонент Relevance Weight, основанный на категории POI (например, музей, кафе, магазин).

VPS (Visual Positioning System) index (Индекс Системы Визуального Позиционирования)

База данных визуальных признаков, сгенерированная на основе изображений уровня улиц (например, Street View). Используется для определения Pose Data путем сопоставления признаков, полученных с камеры устройства, с индексом.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы.

1. Система обнаруживает признаки (features), захваченные датчиками устройства.
2. На основе этих признаков определяются Pose Data (местоположение и ориентация устройства).
3. Определяется набор POI в географической области, которая зависит от Pose Data. Эта область определяется либо заданным расстоянием от местоположения устройства, либо заданным угловым диапазоном, основанным на ориентации устройства.
4. Система предоставляет информацию об одном или нескольких из этих POI.

Claim 2 (Зависимый от 1): Уточняет определение углового диапазона.

Заданный угловой диапазон (Search Angle) шире, чем поле зрения (Field of View) датчиков изображения. Это ключевой момент, указывающий на то, что система намеренно ищет шире, чем видит камера, чтобы компенсировать пользовательские ошибки при наведении.

Claim 3 (Зависимый от 1): Детализирует определение географической области поиска (связано с Multi-directional query).

Географическая область включает две зоны:

1. Первая зона: определяется первым расстоянием и первым (широким) угловым диапазоном.
2. Вторая зона: определяется вторым (большим) расстоянием и вторым (узким) угловым диапазоном, основанным на ориентации устройства.

Это позволяет искать объекты как непосредственно рядом с пользователем (широкий угол), так и те, на которые он смотрит вдаль (узкий угол).

Claim 6 (Зависимый от 5): Описывает процесс запроса и фильтрации.

1. Система запрашивает базу данных карт (Mapping Database) для поиска POI в пределах определенного радиуса от местоположения устройства.
2. Полученные результаты фильтруются: исключаются POI, находящиеся за пределами углового диапазона (Search Angle), центрированного по ориентации устройства.

Где и как применяется

Описанная система функционирует вне традиционного конвейера веб-поиска. Она представляет собой специализированную систему ввода, поиска и ранжирования для локальных сущностей в контексте Визуального Поиска и Дополненной Реальности (AR).

INDEXING – Индексирование (Предварительные вычисления)
Для работы системы необходимы два ключевых индекса, которые создаются и обновляются Google заранее:

• VPS Index: Создается путем анализа изображений уровня улиц (Street View) и извлечения визуальных признаков.
• Mapping Database (Индекс Локальных POI): Поддержание актуальной базы данных о бизнесе, включая точное местоположение, категории (для Type Factor) и рейтинги (для Rating Factor).

QUNDERSTANDING – Понимание Запросов (Обработка ввода)
В данном контексте «запрос» — это не текст, а комбинация визуальных данных с камеры и данных сенсоров (GPS, акселерометр, гироскоп). Система интерпретирует этот ввод для вычисления Pose Data, что является аналогом понимания интента пользователя (намерение: понять, что находится в определенном месте и направлении).

RANKING – Ранжирование (Поиск и Оценка POI)
Система извлекает кандидатов POI из Mapping Database на основе рассчитанных Pose Data (местоположение и ориентация). Затем она оценивает этих кандидатов, вычисляя Relevance Weights.

RERANKING – Переранжирование (Фильтрация)
Происходит фильтрация кандидатов на основе Search Angle и финальная сортировка по Relevance Weights.

Входные данные:

• Данные изображения с камеры (Image data).
• Данные сенсоров (GPS, акселерометр, гироскоп).
• VPS index (используется на сервере).
• Mapping Database (используется на сервере).

Выходные данные:

• Ранжированный список POI с соответствующей метаинформацией (название, расстояние, рейтинг).

На что влияет

• Конкретные типы контента: Влияет исключительно на локальные сущности (Local Entities) – листинги бизнесов (POI), достопримечательности, общественные места. Не влияет на веб-страницы, статьи или товары.
• Специфические запросы: Визуальные запросы типа «что это за здание?» или «что находится вокруг меня?», обрабатываемые через интерфейсы типа Google Lens или AR-режимы карт.
• Конкретные ниши или тематики: Критически важно для всех ниш с физическими локациями: ритейл, рестораны, услуги, туризм, развлечения.
• Языковые и географические ограничения: Работа системы сильно зависит от наличия и качества данных VPS index. Как правило, это лучше всего работает в густонаселенных городских районах с хорошим покрытием Street View.

Когда применяется

• Условия работы алгоритма: Система применяется, когда устройство способно захватить достаточное количество визуальных признаков окружающей среды, и когда эти признаки могут быть успешно сопоставлены с VPS index для определения точных Pose Data.
• Триггеры активации: Активация пользователем функций визуального поиска (например, запуск Google Lens, активация Live View в Google Maps). В патенте также упоминается возможность пассивного (автоматического) срабатывания без явного запроса пользователя, если функция включена.

Пошаговый алгоритм

1. Сбор данных (Data Acquisition): Устройство получает данные с датчиков изображения (камеры) и вспомогательных сенсоров (GPS, акселерометр).
2. Извлечение признаков (Feature Detection): Из данных изображения извлекаются ключевые визуальные признаки (например, контуры зданий, вывески). Менее информативные или временные объекты (люди, машины, деревья) могут игнорироваться.
3. Определение Позы (Pose Determination): Извлеченные признаки отправляются на сервер и сопоставляются с VPS index. При успешном сопоставлении система вычисляет точные Pose Data (местоположение и ориентация). Данные GPS могут использоваться для определения, какую часть индекса VPS следует использовать.
4. Определение Зоны Поиска (Query Area Definition): Система определяет стратегию запроса (One directional или Multi-directional) в зависимости от предполагаемого расстояния до объектов. Определяется радиус поиска и Search Angle (который может быть шире, чем FOV камеры).
5. Запрос POI (POI Retrieval): Система отправляет запрос в Mapping Database для получения списка POI в пределах определенного радиуса от местоположения устройства.
6. Фильтрация (Filtering): Полученный список POI фильтруется, исключая те, что находятся за пределами рассчитанного Search Angle.
7. Ранжирование (Ranking Calculation): Для каждого оставшегося POI рассчитывается Relevance Weight. Расчет использует формулу, включающую Distance Group Factor, Type Factor и Rating Factor. Также могут учитываться визуальные факторы (угловой размер объекта, линия видимости).
8. Вывод результатов (Output): Отфильтрованный и отсортированный список POI отправляется на устройство пользователя для отображения (в виде списка, на карте или в виде AR-аннотаций).

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Данные изображения (Image data) с камеры. Используются для извлечения визуальных признаков для VPS.
• Технические факторы (Сенсоры): Данные GPS (для приблизительного местоположения), данные акселерометра и гироскопа (для определения ориентации устройства).
• Географические факторы: Местоположение устройства (Location), полученное от GPS и уточненное через VPS.
• Пользовательские факторы: В патенте упоминается возможность использования предыдущей истории посещенных или оцененных пользователем мест в качестве фактора ранжирования.

Какие метрики используются и как они считаются

Основная метрика ранжирования — Relevance Weight.

• Формула расчета Relevance Weight: Патент предлагает пример формулы: Weight = (Distance Group Factor * 50) + (Type Factor * 10) + (Rating Factor * 2). Весовые коэффициенты (50, 10, 2) показывают относительную важность факторов в этом примере.
• Distance Group Factor: Определяется на основе порогов расстояния. Пример: 0-50м = 3 балла; 50-175м = 2 балла; >175м = 1 балл. Пороги могут динамически меняться в зависимости от плотности застройки (город vs пригород).
• Type Factor: Основан на категории POI. Система может отдавать предпочтение определенным типам (например, Музей=4, Ресторан=3.5, Магазин=2.5). Упоминается, что эти факторы могут обновляться с помощью машинного обучения на основе того, какие типы мест пользователи запрашивают чаще всего.
• Rating Factor: Основан на общедоступных рейтингах POI (например, звезды в Google Maps).
• Normalized Distance (Нормализованное расстояние): Используется для уточнения ранжирования внутри групп. Формула: Normalized Distance = Minimum (Distance to User, Search Range) / Search Range. Это позволяет учитывать точное расстояние, но с меньшим весом.
• Визуальные метрики (Дополнительные факторы ранжирования):
  • Line of sight (Линия видимости): Предпочтение отдается POI, которые физически видны камере.
  • Normal vector (Вектор нормали): Учитывается угол между направлением камеры и фасадом здания. Меньший угол (смотрит прямо на фасад) предпочтительнее.
  • Angular size (Угловой размер): Размер объекта в поле зрения, измеренный как угол. Учитывается, какую часть кадра занимает объект.
• Прочие факторы: Наличие распродаж, специальных предложений или предстоящих событий в POI.

Выводы

1. Визуальный поиск как локальный поиск: Патент описывает систему, которая превращает визуальный ввод в структурированный локальный запрос. Это не традиционное сопоставление изображений, а система позиционирования (VPS), которая затем инициирует поиск в базе данных локальных сущностей.
2. Отдельная система ранжирования POI: Для визуального поиска используется специализированный алгоритм ранжирования, основанный на Relevance Weights. Он имеет свои собственные факторы и веса, отличные от ранжирования в стандартном поиске или даже в обычном Map Pack.
3. Ключевые факторы ранжирования: Патент явно выделяет три основных компонента ранжирования с примерными весами: Расстояние (Distance Group Factor — наибольший вес), Категория (Type Factor) и Репутация (Rating Factor). Это подтверждает фундаментальные принципы Local SEO (Proximity, Relevance, Prominence).
4. Важность визуальной заметности: Помимо стандартных факторов, учитываются визуальные метрики: находится ли объект в прямой видимости (Line of sight), насколько он велик в кадре (Angular size) и под каким углом виден фасад (Normal vector).
5. Компенсация неточности пользователя: Система спроектирована так, чтобы быть устойчивой к ошибкам пользователя. Search Angle намеренно делается шире, чем Field of View камеры, чтобы захватить объекты, на которые пользователь мог неточно навести устройство.
6. Адаптивные стратегии поиска: Система меняет логику поиска в зависимости от расстояния до объектов, используя One directional query для дальних объектов и Multi-directional query для ближних.

Практика

Best practices (это мы делаем)

Рекомендации направлены на оптимизацию локальных сущностей (POI) для видимости в системах визуального поиска (Google Lens, AR Maps).

• Обеспечение точности базовых данных (GBP): Критически важно поддерживать абсолютную точность данных в Google Business Profile (GBP). Неверное местоположение (пин на карте) или адрес могут исключить POI из поиска, а неверная категория повлияет на Type Factor.
• Оптимизация под Type Factor: Выбирайте максимально точные и релевантные основные и дополнительные категории в GBP. Это напрямую влияет на Type Factor и вероятность показа по релевантным визуальным запросам.
• Оптимизация под Rating Factor: Активно управляйте репутацией и стимулируйте получение положительных отзывов. Rating Factor является явным компонентом формулы ранжирования Relevance Weight.
• Улучшение физической (визуальной) заметности: Хотя это выходит за рамки традиционного SEO, патент указывает на важность визуальных факторов (Angular Size, Line of Sight). Четкие, крупные и хорошо освещенные вывески могут улучшить как извлечение признаков для VPS, так и повысить визуальную релевантность, если пользователь смотрит на здание.
• Использование Акций и Событий: Патент упоминает, что наличие распродаж (specials) или событий (events) может повысить ранжирование. Используйте функционал Постов, Акций и Событий в GBP, чтобы предоставить эти данные системе.

Worst practices (это делать не надо)

• Манипуляции с категориями (Category Spam): Выбор нерелевантных категорий в надежде охватить больше запросов может привести к низкому Type Factor для целевых запросов или несовпадению с визуальным контекстом.
• Игнорирование точности местоположения: Не проверять и не корректировать положение пина на карте. Если VPS определяет пользователя в одном месте, а пин бизнеса находится далеко от его реального входа, бизнес не будет показан.
• Игнорирование отзывов: Низкий рейтинг напрямую снижает Relevance Weight через Rating Factor, делая бизнес менее конкурентоспособным в визуальном поиске.

Стратегическое значение

Патент подтверждает стратегическую важность Визуального Поиска и Дополненной Реальности как интерфейсов для взаимодействия с локальной информацией. Для Local SEO это означает, что оптимизация должна учитывать не только традиционную выдачу и Map Pack, но и видимость в визуально-ориентированных средах. Алгоритм ранжирования, описанный в патенте, сильно коррелирует с основными столпами Local SEO (Близость, Релевантность/Тип, Известность/Репутация), но применяет их в контексте реального времени и визуального восприятия.

Практические примеры

Сценарий: Ранжирование в Визуальном Поиске на торговой улице

Пользователь стоит на улице и активирует Google Lens. VPS определяет его местоположение и ориентацию.

Кандидаты:

• POI A: Кафе (Type Factor=3.5). Расстояние 30м (Distance Group Factor=3). Рейтинг 4.5 (Rating Factor=4.5).
• POI B: Ресторан (Type Factor=3.5). Расстояние 60м (Distance Group Factor=2). Рейтинг 4.8 (Rating Factor=4.8).
• POI C: Магазин одежды (Type Factor=2.5). Расстояние 25м (Distance Group Factor=3). Рейтинг 4.0 (Rating Factor=4.0).

Расчет Relevance Weight (по формуле из патента): Weight = (Distance*50) + (Type*10) + (Rating*2)

• POI A: (3*50) + (3.5*10) + (4.5*2) = 150 + 35 + 9 = 194
• POI B: (2*50) + (3.5*10) + (4.8*2) = 100 + 35 + 9.6 = 144.6
• POI C: (3*50) + (2.5*10) + (4.0*2) = 150 + 25 + 8 = 183

Результат: Система отранжирует POI в порядке A, C, B. Несмотря на то, что POI B имеет самый высокий рейтинг, а POI C имеет низкий Type Factor, фактор расстояния (Distance Group Factor) оказал решающее влияние на финальный результат в этом примере.

Вопросы и ответы