Как Google создает и показывает интерактивные 3D-модели и видео локаций в Поиске и Картах

Описание

Какую задачу решает

Патент решает проблему неэффективности традиционных результатов поиска (фотографии, карты, текст) для передачи пользователю полного представления о физических локациях, таких как достопримечательности или здания. Существующие методы часто не передают масштаб, трехмерность и контекст местоположения, а также не обеспечивают достаточной интерактивности. Кроме того, патент решает техническую проблему эффективной доставки 3D-контента, избегая необходимости загружать и рендерить глобальные 3D-модели на устройстве пользователя.

Что запатентовано

Запатентована система и метод для генерации и предоставления location-specific segment (сегмента, специфичного для локации) трехмерной модели в ответ на запрос пользователя, связанный с местоположением (поисковый, навигационный, погодный и т.д.). Суть изобретения заключается в использовании методов сегментации для извлечения (изоляции) модели конкретного объекта из более крупной или глобальной 3D-реконструкции. Это позволяет эффективно доставлять пользователю интерактивную 3D-модель или предварительно отрендеренное видео именно того объекта, который его интересует.

Как это работает

Система работает в двух основных режимах: офлайн (подготовка данных) и онлайн (обработка запроса).

• Офлайн: Google создает обширные 3D-модели (например, целых городов) на основе изображений (спутниковых, уличных) и, возможно, данных LiDAR. Затем система сегментирует эти модели, идентифицируя отдельные объекты (здания, памятники). Для этих объектов могут быть созданы изолированные 3D-модели или предварительно записанные видеоролики (location-specific video) с разных ракурсов. Эти данные хранятся в Three-Dimensional Asset Database.
• Онлайн: Когда пользователь вводит запрос о локации, система идентифицирует местоположение и обращается к базе данных 3D-активов. Она извлекает соответствующую изолированную 3D-модель или видео и предоставляет ее пользователю. Система также может интегрировать situation data (погода, трафик) и использовать simulation assets для рендеринга модели в текущих условиях (например, показ Эйфелевой башни во время дождя).

Актуальность для SEO

Высокая. Патент опубликован в 2024 году и напрямую связан с текущими разработками Google в области иммерсивного пользовательского опыта, такими как Immersive View в Google Maps, интеграция AR в Поиск и развитие визуального поиска. Технология описывает инфраструктуру, необходимую для масштабирования этих функций.

Важность для SEO

Влияние на SEO оценивается как среднее-высокое (6.5/10). Этот патент не описывает алгоритмы ранжирования или оценки качества контента. Он относится к инфраструктуре и презентационному слою (Presentation Layer) поисковой системы. Однако он кардинально меняет внешний вид SERP и пользовательский опыт для запросов, связанных с локациями. Появление высокоинтерактивных 3D-моделей и видео в выдаче неизбежно повлияет на распределение внимания пользователя, CTR органических результатов и может увеличить количество zero-click поисков для определенных типов локационных запросов.

Детальный разбор

Термины и определения

Three-Dimensional Asset Database (База данных трехмерных активов)

Хранилище, содержащее трехмерные модели локаций и/или предварительно отрендеренные видео этих моделей. Эти активы могут быть сегментированы и готовы к выдаче в ответ на запросы.

Location-Specific Segment / Location-Specific Model (Сегмент/Модель, специфичный для локации)

Изолированная 3D-модель конкретного объекта (например, здания или памятника), полученная путем сегментации более крупной (например, глобальной) 3D-модели.

Location-Specific Video (Видео, специфичное для локации)

Предварительно отрендеренный видеоролик, демонстрирующий Location-Specific Segment с разных ракурсов. Используется как один из способов доставки 3D-контента.

Segmentation (Сегментация)

Процесс разделения большой 3D-модели на отдельные компоненты или изоляции конкретного объекта от окружения (других зданий, деревьев, дорог). Может использовать 3D-сегментацию или сегментацию изображений (Image Segmentation).

Situation Data (Ситуационные данные)

Данные, описывающие текущие или зависящие от времени условия в локации, такие как погода, трафик, размер толпы, положение транспорта.

Simulation Asset (Ассет для симуляции)

Данные или эффекты рендеринга (например, эффект дождя, модели автомобилей), используемые для визуализации Situation Data в 3D-модели.

Simulated Event (Смоделированное событие)

Финальный рендеринг Location-Specific Model с применением Simulation Assets, демонстрирующий локацию в определенных условиях.

Augmented Environment (Дополненная среда)

В контексте патента – это реконструированная 3D-среда, из которой были удалены лишние объекты (деревья, дороги) для изоляции целевого объекта.

Ключевые утверждения (Анализ Claims)

Примечание: В предоставленном документе Claims 1-20 отменены (canceled). Анализ основан на Claims 21-40.

Claim 21 (Независимый пункт): Описывает офлайн-процесс создания и сохранения активов в базу данных.

1. Система получает большую трехмерную модель, которая моделирует множество локаций.
2. На основе этой модели генерируются одна или несколько трехмерных сеток (meshes) для конкретной локации из этого множества.
3. Система обрабатывает одно или несколько изображений для генерации сегментированных изображений этой конкретной локации.
4. Сегментированные изображения проецируются на трехмерные сетки для создания location-specific segment (реконструированной среды).
5. На основе этого сегмента генерируется location-specific video, включающее множество различных перспективных видов этого сегмента.
6. Это видео сохраняется в three-dimensional asset database.

Ядро этого утверждения — процесс создания предварительно отрендеренного видео конкретной локации путем сегментации и обработки данных из более крупной 3D-модели и сохранения его для последующего использования.

Claim 22 (Зависимый от 21): Уточняет, что процесс включает удаление одного или нескольких объектов из реконструированной среды для создания augmented environment (т.е. очистку модели от шума и окружения).

Claim 28 (Зависимый от 21): Описывает процесс использования созданного актива в ответ на запрос пользователя.

1. Система получает поисковый запрос от пользовательского устройства.
2. Определяется, что запрос связан с конкретной локацией.
3. Система извлекает ранее созданное (согласно Claim 21) location-specific video из базы данных.
4. Видео предоставляется для отображения.

Это описывает механизм доставки предварительно подготовленного контента в ответ на запрос в реальном времени.

Где и как применяется

Изобретение затрагивает инфраструктуру подготовки данных и финальную презентацию результатов пользователю.

INDEXING – Индексирование и извлечение признаков
Основная часть работы, описанная в патенте (особенно в Claim 21 и FIG. 8), происходит на этом этапе в офлайн-режиме. Это включает сбор изображений, 3D-реконструкцию, сегментацию моделей, удаление лишних объектов и рендеринг location-specific videos. Результаты сохраняются в Three-Dimensional Asset Database.

QUNDERSTANDING – Понимание Запросов
Система должна распознать локационный интент в запросе (текстовом или визуальном) и идентифицировать конкретную сущность (местоположение), для которой следует искать 3D-актив.

METASEARCH – Метапоиск и Смешивание
На этом этапе система принимает решение о показе 3D-модели или видео в результатах поиска. Это может быть частью формирования Knowledge Panel или специального блока в универсальной выдаче. Система извлекает готовый актив из базы данных.

RERANKING – Переранжирование (Презентационный слой)
Финальное отображение результатов. Патент описывает различные способы презентации: встраивание в SERP, отображение в приложении Карт (например, Route Preview), или запуск Augmented Reality (AR) опыта.

Входные данные (Офлайн):

• Географические данные (спутниковые снимки, уличные фото, карты).
• Данные сенсоров (упоминается возможность использования LiDAR или спектральных сенсоров).
• Данные о точках интереса (POI).

Входные данные (Онлайн):

• Запрос пользователя (текст, изображение).
• Situation Data (погода, трафик в реальном времени) – если используется симуляция.

Выходные данные:

• Location-specific segment (изолированная 3D-модель) ИЛИ
• Location-specific video (предварительно отрендеренное видео).

На что влияет

• Специфические запросы: В первую очередь влияет на информационные и навигационные запросы, связанные с физическими локациями: достопримечательности, памятники, конкретные здания, адреса, а также запросы о погоде или маршрутах в этих местах.
• Типы контента: Влияет на представление визуального и картографического контента в экосистеме Google (Search, Maps, AR).
• Конкретные ниши: Наибольшее влияние в тематиках путешествий, недвижимости, локального бизнеса и архитектуры.

Когда применяется

• Триггеры активации: Обнаружение явного локационного интента в запросе пользователя.
• Условия применения: Наличие соответствующего 3D-актива (модели или видео) для данной локации в Three-Dimensional Asset Database.
• Особые случаи: Может активироваться при запросе навигации (для показа 3D-превью маршрута) или при запросе просмотра локации в режиме AR.

Пошаговый алгоритм

Процесс А: Создание базы данных 3D-активов (Офлайн) (Claim 21)

1. Реконструкция среды: Создание общей трехмерной среды (например, города) с генерацией 3D-сеток (meshes) и текстур на основе собранных данных (изображений, карт).
2. Сбор изображений: Получение множества изображений этой среды с разных ракурсов.
3. Сегментация изображений: Обработка изображений с помощью модели машинного обучения для разделения их на семантические части (например, отделение здания от неба и деревьев).
4. Проекция на 3D-сетку: Проецирование сегментированных частей изображений на созданные 3D-сетки.
5. Очистка и изоляция (Segmentation): Удаление нежелательных объектов (деревья, дороги, соседние здания) из реконструированной среды для изоляции целевого объекта. Это создает augmented environment или location-specific segment.
6. Генерация видео (Опционально): Рендеринг location-specific video, показывающего изолированный объект с разных перспектив.
7. Хранение: Сжатие и сохранение изолированной модели и/или видео в Three-Dimensional Asset Database.

Процесс Б: Обработка запроса пользователя (Онлайн) (Claim 28)

1. Получение запроса: Система получает запрос, связанный с локацией, от устройства пользователя.
2. Определение локации: Запрос обрабатывается для идентификации конкретного местоположения.
3. Доступ к базе данных: Система обращается к Three-Dimensional Asset Database для поиска актива (модели или видео), связанного с локацией.
4. Извлечение актива: Соответствующий location-specific segment или location-specific video извлекается.
5. Обработка симуляции (Опционально):
   1. Получение Situation Data (например, текущая погода).
   2. Определение и извлечение соответствующих Simulation Assets (например, эффект дождя).
   3. Генерация Simulated Event путем рендеринга 3D-модели с применением симуляции.
6. Предоставление результата: Готовая модель, видео или смоделированное событие отправляется на устройство пользователя для отображения в SERP, Картах или AR.

Какие данные и как использует

Данные на входе

Патент фокусируется на визуальных и географических данных для реконструкции и презентации.

• Мультимедиа факторы (Изображения): Критически важны. Используются Geographic imagery: спутниковые снимки, аэрофотосъемка, уличные фотографии (Street View). Они являются основой для 3D-реконструкции и сегментации.
• Географические факторы: Geographical Data, включая векторные данные (vector data) дорог и зданий, данные о точках интереса (POI data), адреса. Используются для привязки 3D-моделей к реальному миру.
• Технические факторы (Сенсоры): Упоминается возможность использования данных LiDAR (Light Detection and Ranging) и других сенсоров (например, спектральных) для улучшения точности 3D-моделей и помощи в сегментации (например, для отделения деревьев).
• Временные факторы (Ситуационные): Situation data – данные в реальном времени о погоде, трафике, размере толпы, местоположении общественного транспорта. Используются для генерации симуляций.
• Пользовательские факторы: Местоположение пользователя используется для расчета маршрутов и отображения навигации в 3D (visual route overlay).

Какие метрики используются и как они считаются

Патент не описывает метрики ранжирования (Ranking Scores) или оценки качества контента. Он описывает методы обработки визуальных данных:

• 3D-реконструкция: Используются общие методы для создания трехмерных сеток (meshes) и текстур.
• Машинное обучение: Используется machine-learned model для сегментации изображений (Image Segmentation) на семантические части.
• Проекция и Рендеринг: Стандартные графические методы для проецирования текстур на 3D-сетки и генерации финального изображения или видео.
• Сжатие: Результаты сжимаются перед сохранением в базу данных.

Выводы

1. Иммерсивный опыт как приоритет для локаций: Google активно инвестирует в инфраструктуру для замены статичных карт и фотографий интерактивными, трехмерными визуализациями для запросов, связанных с местоположением.
2. Сегментация как ключ к эффективности: Ключевым техническим решением является способность изолировать (сегментировать) конкретные объекты из глобальных 3D-моделей. Это позволяет доставлять 3D-контент быстро и с меньшими затратами ресурсов (память, процессор, трафик), чем при загрузке полной модели.
3. Офлайн-подготовка активов: Система полагается на предварительную обработку данных. 3D-реконструкция, сегментация и даже рендеринг видео (location-specific video) происходят заранее, что обеспечивает быстрый ответ на запрос пользователя.
4. Интеграция данных реального времени: Патент предусматривает наложение ситуационных данных (погода, трафик) на 3D-модели, делая визуализацию не только реалистичной, но и актуальной (Simulated Event).
5. Мультимодальная доставка: Технология универсальна и предназначена для использования в различных продуктах: стандартный Поиск (SERP), Карты (навигация и превью маршрутов) и приложения дополненной реальности (AR).
6. Влияние на экосистему Поиска: Для SEO это означает значительное изменение внешнего вида выдачи по локационным запросам, усиление роли визуального контента и потенциальное изменение поведенческих факторов (CTR) из-за появления новых интерактивных элементов.

Практика

Best practices (это мы делаем)

Хотя патент описывает внутреннюю инфраструктуру Google, он указывает на стратегические направления развития поиска, к которым необходимо адаптироваться.

• Оптимизация сущностей и локального присутствия (Local SEO/Knowledge Graph): Система должна четко идентифицировать локацию, чтобы активировать 3D-модель. Убедитесь, что ваша организация или достопримечательность корректно представлена в Google Maps и Knowledge Graph. Полные и точные данные в Google Business Profile критически важны.
• Предоставление высококачественных изображений: 3D-модели строятся на основе изображений (Street View, спутниковые снимки, фото пользователей). Для владельцев бизнеса или управляющих локациями: загружайте высококачественные, разнообразные фотографии экстерьера с разных ракурсов в Google Business Profile и поощряйте пользователей делать то же самое. Это увеличивает объем данных для 3D-реконструкции и сегментации.
• Мониторинг визуального представления в Картах: Регулярно проверяйте, как ваша локация выглядит в иммерсивных режимах Google Maps (например, Immersive View, если доступно). Это то представление, которое Google стремится интегрировать во все свои продукты.
• Анализ CTR для локационных запросов: Отслеживайте изменения в CTR и трафике по запросам, связанным с вашим местоположением. Появление крупных интерактивных 3D-блоков может снизить кликабельность стандартных органических результатов и увеличить взаимодействие с картографическими сервисами.

Worst practices (это делать не надо)

• Игнорирование визуального контента: Рассчитывать только на текстовый контент и ссылки для продвижения физической локации становится неэффективно. Визуальное представление становится основным способом взаимодействия пользователя с локацией в поиске.
• Манипуляции с изображениями локации: Загрузка фейковых или вводящих в заблуждение фотографий экстерьера может привести к некорректной 3D-реконструкции или пессимизации в локальных сервисах.
• Игнорирование Google Maps и GBP: Отсутствие оптимизированного профиля в картографических сервисах снижает вероятность корректной идентификации локации и активации для нее расширенных визуальных функций.

Стратегическое значение

Этот патент подтверждает стратегический переход Google к визуальному и иммерсивному поиску, особенно в контексте локаций. Границы между Поиском, Картами и Дополненной реальностью стираются. Для SEO-специалистов это означает, что оптимизация локального присутствия и управление визуальными активами становятся неотъемлемой частью стратегии. Технология направлена на удержание пользователя внутри экосистемы Google, предоставляя максимально полный и интерактивный ответ прямо в интерфейсе поисковой системы или Карт.

Практические примеры

Сценарий: Оптимизация визуального присутствия ресторана

1. Задача: Улучшить представление нового ресторана в Поиске и Картах, чтобы привлечь посетителей.
2. Действия на основе патента: Зная, что Google использует изображения для 3D-реконструкции (Three-Dimensional Model Reconstruction) и сегментации (Segmentation), необходимо обеспечить максимальный охват.
3. Реализация:
   1. Провести профессиональную фотосессию экстерьера здания в разное время суток и при разной погоде.
   2. Загрузить эти фотографии в Google Business Profile.
   3. Убедиться, что автомобили Google Street View имеют беспрепятственный доступ к фасаду для обновления панорам.
   4. Активно собирать отзывы с фотографиями от посетителей.
4. Ожидаемый результат: Google получает достаточно данных для создания точной 3D-модели ресторана. При поиске ресторана или маршрута к нему пользователи увидят реалистичную 3D-модель (в SERP или Route Preview), что повышает вовлеченность и облегчает навигацию.

Вопросы и ответы