Как Google индексирует, ищет и отображает интерактивные 3D-модели в результатах поиска

Термины и определения

3D object data model (Трехмерная модель данных объекта)

Цифровое представление трехмерной поверхности или объема объекта, состоящее из коллекции точек в 3D-пространстве, соединенных геометрическими элементами.

Annotated parts (Аннотированные части)

Части 3D-модели (например, «объектив» камеры), которые были идентифицированы и помечены меткой или описанием.

Candidate 3D object data model (Кандидатная 3D-модель)

Новая 3D-модель, которая обрабатывается системой для автоматического распознавания и аннотирования ее неразмеченных частей.

Canonical viewpoints (Канонические точки обзора)

Стандартные или репрезентативные ракурсы для объектов определенной категории (например, вид спереди, сзади, сверху).

Descriptor (Дескриптор)

Информация, используемая в качестве поискового запроса. Может быть изображением, полной 3D-моделью, частичной 3D-моделью или метаданными.

Moveable inline (Перемещаемый в строке / Интерактивный в выдаче)

Способ отображения 3D-модели в результатах поиска, позволяющий пользователю взаимодействовать с ней (например, вращать) непосредственно на странице выдачи, например, внутри preview pane.

Shape descriptors (Дескрипторы формы)

Векторы числовых атрибутов, кодирующие информацию о форме 3D-объекта. Используются для сравнения сходства между моделями.

Spatial-layout information (Информация о пространственном расположении)

Данные, определяющие, как различные аннотированные части объекта расположены относительно друг друга (например, расстояние и ориентация).

Ключевые утверждения (Анализ Claims)

Патент содержит 18 пунктов формулы. Основной независимый пункт — Claim 1, который фокусируется на процессе поиска с использованием изображения в качестве запроса.

Claim 1 (Независимый пункт): Описывает метод поиска 3D-моделей по изображению и способ отображения результатов.

1. Система получает поисковый запрос, содержащий дескриптор в виде изображения (image of the object) объекта определенной категории.
2. Система сравнивает дескриптор с базой данных 3D-моделей. Процесс сравнения включает:
   • Генерацию набора рендеров (set of rendered images) для хранимых 3D-моделей.
   • Сравнение изображения из запроса с этими рендерами.
   • Определение соответствующих (релевантных) 3D-моделей на основе этого сравнения.
3. Генерация результата поиска, включающего эти соответствующие 3D-модели и связанные с ними изображения.
4. Организация результата поиска таким образом, чтобы он включал: связанные изображения, соответствующие 3D-модели И исходное изображение из запроса. При этом 3D-модели должны быть moveable inline.
5. Предоставление результата поиска.

Claim 3 (Зависимый от 1): Уточняет механизм интерактивности.

Организация 3D-моделей как moveable inline включает их размещение внутри preview pane (окна предварительного просмотра) в результатах поиска, где модели могут индивидуально вращаться (individually rotatable).

Claim 5 и 7 (Зависимые от 1): Уточняют методы генерации рендеров.

Рендеры могут генерироваться на основе canonical viewpoints, специфичных для данной категории объектов (Claim 5), или на основе точек обзора, которые «существенно равномерно распределены» (substantially evenly spaced) вокруг модели (Claim 7).

Claim 9 и 10 (Зависимые от 1): Описывают процесс, когда дескриптором является 3D-модель (Claim 9) или частичная 3D-модель (Claim 10).

В этих случаях сравнение осуществляется путем сравнения shape and appearance information (информации о форме и внешнем виде) запроса и хранимых моделей.

Claim 18 (Зависимый от 1): Описывает интерактивность интерфейса.

При выборе одного из связанных изображений в результатах поиска, вид соответствующей 3D-модели корректируется в соответствии с видом на выбранном изображении.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, обеспечивая функциональность для специализированного поиска 3D-объектов.

INDEXING – Индексирование и извлечение признаков
Основной этап для подготовки данных. Система должна обработать 3D-модели. Хотя Claims фокусируются на поиске, в Detailed Description подробно описан процесс предобработки:

• Автоматическое аннотирование: Система анализирует spatial-layout information, shape и appearance частей из обучающих данных для автоматической разметки новых 3D-моделей.
• Извлечение признаков: Вычисление Shape descriptors для сравнения форм.
• Генерация рендеров: Создание изображений 3D-моделей с canonical viewpoints или равномерно распределенных ракурсов для использования в визуальном поиске.

QUNDERSTANDING – Понимание Запросов
Система должна определить тип дескриптора (текст, изображение, 3D-модель) и извлечь из него признаки для поиска в специализированной базе данных 3D-моделей.

RANKING – Ранжирование (Вертикальный поиск 3D)
Процесс отбора кандидатов из базы 3D-моделей. Ранжирование основано на сравнении дескриптора запроса с хранимыми данными. Используются метрики схожести (distance function) между изображением запроса и рендерами или между Shape descriptors.

METASEARCH – Метапоиск и Смешивание / SERP Presentation
Финальный этап формирования выдачи. Система организует результаты, включая 3D-модели и изображения. Ключевая особенность — реализация интерфейса moveable inline, позволяющего интерактивное взаимодействие с 3D-моделями внутри preview pane.

На что влияет

• Конкретные типы контента: 3D-модели (CAD-файлы, сканы объектов), изображения товаров.
• Специфические запросы: Визуальные поисковые запросы (поиск по картинке), коммерческие запросы (поиск товаров).
• Конкретные ниши или тематики: Наибольшее влияние на E-commerce (электроника, одежда, обувь, мебель, автозапчасти), где визуализация продукта критична, а также на образовательный контент.

Когда применяется

• Триггеры активации: Активируется, когда пользователь инициирует поиск в специализированном индексе 3D-моделей (например, через Google Lens) или когда система определяет интент пользователя как поиск продукта, для которого доступны 3D-модели.

Пошаговый алгоритм

Патент описывает два ключевых процесса: автоматическое аннотирование 3D-моделей (Индексация) и поиск 3D-моделей (Обработка запроса).

Процесс А: Автоматическое аннотирование 3D-модели (Индексация)

1. Сбор обучающих данных: Получение набора 3D-моделей объектов одной категории с уже аннотированными частями.
2. Анализ и Моделирование частей: Система анализирует обучающие данные для изучения формы (shape) и внешнего вида (appearance) каждой части. Также определяется spatial-layout information — как части обычно расположены относительно друг друга (например, с использованием графических моделей, таких как Байесовские сети).
3. Получение кандидата: Получение новой (кандидатной) 3D-модели той же категории с неаннотированными частями.
4. Применение аннотаций: На основе изученных моделей частей и информации о пространственном расположении система идентифицирует соответствующие части на кандидатной модели (используя методы shape matching) и применяет к ним аннотации (например, в виде call-outs).
5. Индексация: Аннотированная модель индексируется для последующего поиска.

Процесс Б: Поиск 3D-моделей по изображению (Обработка запроса, Claim 1)

1. Получение запроса: Сервер получает поисковый запрос, содержащий дескриптор (изображение) объекта.
2. Сравнение с базой данных: Дескриптор сравнивается с содержимым базы данных 3D-моделей.
   • Система использует (или генерирует) набор рендеров для 3D-моделей в базе, используя канонические (Claim 5) или равномерные (Claim 7) точки обзора.
   • Изображение из запроса сравнивается с этими рендерами для определения схожести.
3. Генерация результатов: На основе сравнения генерируется результат поиска, включающий релевантные 3D-модели и связанные изображения.
4. Организация выдачи: 3D-модели и изображения компонуются таким образом, чтобы 3D-модели были moveable inline (например, вращались внутри preview pane, Claim 3). В выдачу также включается исходное изображение запроса.
5. Предоставление результатов: Сервер предоставляет сформированный результат поиска пользователю.

Какие данные и как использует

Данные на входе

• 3D-данные (Мультимедиа/Структурные): 3D-модели объектов. Включают данные о геометрии (dense surface mesh geometry) и текстурах (color texture information). Источники: 3D-сканирование, CAD-файлы, ручное моделирование.
• Данные аннотаций (Структурные): Метки, идентифицирующие части объектов. Используются для обучения системы аннотирования.
• Данные запроса (Пользовательские): Дескрипторы: изображения, полные 3D-модели, частичные 3D-модели.
• Категоризация: Информация о принадлежности объектов к определенным категориям (например, «камеры», «обувь»).

Какие метрики используются и как они считаются

Система использует метрики для сравнения форм и внешнего вида.

• Shape Descriptors (Дескрипторы формы): Высокоразмерные векторы, кодирующие информацию о форме объекта. Патент упоминает возможные признаки: curvature features (признаки кривизны), PCA features, geodesic distance features.
• Distance Function (Функция расстояния): Используется для измерения несходства (dissimilarity) между дескриптором запроса и дескрипторами моделей в базе данных. Результаты поиска сортируются по возрастанию значения этой функции.
• Spatial-layout information (Информация о пространственном расположении): Метрики, описывающие взаимное расположение частей. Могут включать normalized geodesic distances (нормализованные геодезические расстояния) между частями и информацию об относительной ориентации поверхностей (relative surface orientation).
• Методы сравнения: Для 3D-моделей используются методы shape matching (на основе feature correspondences или global descriptors). Для сравнения изображений используется сравнение запроса с рендерами 3D-моделей.

1. Google активно развивает инфраструктуру для 3D и AR поиска. Патент подтверждает намерение Google индексировать 3D-модели в больших масштабах и интегрировать их непосредственно в пользовательский опыт поиска.
2. Автоматическое понимание структуры 3D-объектов. Система не просто хранит 3D-файлы, она стремится понять их семантику на уровне составных частей (annotated parts), используя информацию о форме, внешнем виде и взаимном расположении (spatial-layout information).
3. Интерактивность в SERP (Moveable Inline). Ключевой элемент патента — представление 3D-моделей в интерактивном формате прямо в выдаче. Это значительно повышает вовлеченность пользователя по сравнению со статичными изображениями.
4. Мультимодальность запросов. Система разработана для обработки различных типов входных данных (descriptors): изображений, полных или частичных 3D-моделей.
5. Визуальный поиск как мост к 3D. При поиске по изображению система сравнивает его с рендерами 3D-моделей, сгенерированными с канонических или равномерных ракурсов. Это позволяет связать реальные 2D-изображения с их 3D-представлениями.
6. Критичность для E-commerce. Описанные технологии напрямую применимы к онлайн-ритейлу, предоставляя пользователям возможность детально изучить товар перед покупкой.

Best practices (это мы делаем)

• Инвестировать в создание 3D-активов для товаров. Для E-commerce сайтов наличие качественных 3D-моделей становится важным фактором конкурентоспособности. Это позволит участвовать в интерактивных форматах выдачи (moveable inline), описанных в патенте.
• Использовать стандартизированные форматы и оптимизацию. Ориентироваться на веб-стандарты (например, glTF), поддерживаемые Google для 3D и AR. Модели должны быть оптимизированы для быстрой загрузки (патент упоминает сжатие и децимацию).
• Оптимизировать изображения товаров под визуальный поиск (Canonical Viewpoints). Поскольку система использует рендеры 3D-моделей с canonical viewpoints для сравнения, важно иметь высококачественные, четкие фотографии товаров с разных стандартных ракурсов (спереди, сзади, сверху). Это повышает вероятность корректного сопоставления.
• Применять микроразметку для 3D-моделей. Использовать Schema.org (например, Product и потенциально 3DModel) для предоставления поисковым системам метаданных о наличии 3D-моделей на странице, что может способствовать их индексации и отображению.
• Обеспечивать семантическую точность описаний. Точная категоризация и описание частей товара поможет системе корректно классифицировать и потенциально аннотировать 3D-модель, используя текстовые данные как дополнительные сигналы к визуальному анализу.

Worst practices (это делать не надо)

• Игнорировать 3D и AR технологии в E-commerce. Полагаться исключительно на статичные изображения товаров приведет к упущенным возможностям и потере трафика из новых интерактивных форматов поиска.
• Использовать низкокачественные или неоптимизированные 3D-модели. Тяжелые, плохо текстурированные модели будут медленно загружаться и плохо выглядеть в интерактивном просмотре (moveable inline), ухудшая пользовательский опыт и, вероятно, ранжирование.
• Предоставлять вводящие в заблуждение визуальные данные. Попытки манипулировать системой путем предоставления 3D-моделей или изображений, не соответствующих реальному товару, будут неэффективны, так как система опирается на точное визуальное и геометрическое сравнение (shape and appearance information).

Стратегическое значение

Этот патент является частью стратегического перехода Google к более визуальному, интерактивному и иммерсивному поиску, особенно в коммерческих нишах. Он закладывает основу для будущего, где взаимодействие с 3D-объектами и дополненной реальностью станет стандартом в онлайн-шопинге. Для SEO-стратегии это означает смещение фокуса с традиционной текстовой оптимизации на оптимизацию визуальных и трехмерных активов. Раннее внедрение 3D-технологий позволит бизнесу занять лидирующие позиции в этой новой экосистеме.

Практические примеры

Сценарий: Оптимизация карточки товара (кроссовки) для 3D-поиска

1. Действие: Ритейлер заказывает 3D-сканирование новой модели кроссовок и получает оптимизированную 3D-модель в формате glTF.
2. Реализация: 3D-модель встраивается в карточку товара на сайте. В микроразметку Product добавляется ссылка на файл 3D-модели. На страницу добавляются высококачественные фотографии кроссовок со всех сторон (канонические ракурсы).
3. Обработка Google (согласно патенту): Google индексирует 3D-модель. Система автоматического аннотирования может распознать части (шнурки, подошву) на основе spatial-layout information, изученной на других моделях обуви. Google генерирует рендеры этой модели с разных ракурсов и сохраняет их в индексе.
4. Результат: Когда пользователь ищет эту модель кроссовок (по тексту или через Google Lens), в результатах поиска Google может показать интерактивный сниппет. Пользователь может вращать (moveable inline) 3D-модель кроссовок прямо в SERP или активировать AR-просмотр.