Как Google синхронизирует начальный ракурс 3D-моделей в поиске с наиболее релевантными 2D-изображениями

Термины и определения

3D Model (3D-модель)

Компьютерное представление поверхности трехмерного объекта. Используется для интерактивного отображения в результатах поиска.

3D Model Index (Индекс 3D-моделей)

Специализированная база данных, хранящая 3D-модели и связанные с ними метаданные.

Candidate Representative Image (Кандидатное репрезентативное изображение)

Один из возможных видов (рендеров) 3D-модели, который система генерирует и оценивает на предмет соответствия 2D-изображениям.

Image Index (Индекс изображений)

База данных, хранящая 2D-изображения.

Initial Viewing Angle (Начальный угол обзора)

Ракурс, в котором 3D-модель изначально отображается пользователю на SERP.

Local Descriptors (Локальные дескрипторы)

Визуальные характеристики небольших участков изображения (точки интереса). Используются в компьютерном зрении для сопоставления объектов.

Representative Image (Репрезентативное изображение)

Вид 3D-модели, выбранный системой как наилучший для представления модели в SERP, совпадающий с Initial Viewing Angle.

Visual Features (Визуальные признаки)

Характеристики изображения (например, контуры, текстуры, дескрипторы), используемые для сравнения сходства.

Visual Phrases (Визуальные фразы)

Наборы совпадающих локальных дескрипторов. Упоминаются в описании патента как метод определения степени визуального сходства между видом 3D-модели и 2D-изображением.

Ключевые утверждения (Анализ Claims)

Важное замечание: Claims (Формула изобретения 1-18) фокусируются исключительно на выборе начального вида 3D-модели. Они не защищают механизм динамического обновления 2D-изображений при взаимодействии пользователя с 3D-моделью, хотя такая возможность подробно описана в разделе Description патента.

Claim 1 (Независимый пункт): Описывает основной процесс выбора репрезентативного изображения для 3D-модели.

1. Система получает запрос.
2. Система получает (i) результаты поиска 2D-изображений и (ii) результаты поиска 3D-моделей.
3. Для каждой найденной 3D-модели:
   1. Получается candidate representative image (сгенерированный вид), связанное с 3D-моделью.
   2. Определяется, соответствует ли это кандидатное изображение конкретному результату поиска 2D-изображений.
   3. На основании этого соответствия кандидатное изображение выбирается в качестве Representative Image для 3D-модели.
4. Система предоставляет SERP, идентифицирующую (i) 2D-изображения и (ii) выбранное Representative Image для каждой 3D-модели.

Ядром изобретения является метод обеспечения визуальной согласованности: система активно гарантирует, что начальный вид 3D-модели соответствует 2D-изображениям, показанным по тому же запросу.

Claim 5 (Зависимый от 1): Уточняет, какое 2D-изображение используется для сопоставления.

2D-изображение, используемое для сопоставления, является тем, которое определено как наиболее релевантный (most relevant) результат поиска по запросу.

Claim 6 (Зависимый от 1): Уточняет способ представления результата.

SERP включает 3D-модели с Initial Viewing Angle, который отображает выбранное Representative Image.

Claims 3 и 4 (Зависимые от 1): Уточняют механизм сопоставления.

Сопоставление выполняется путем определения сходства visual features. Claim 4 указывает, что выбирается тот вид, который более похож на 2D-изображение, чем другие виды той же 3D-модели, что подразумевает процесс сэмплирования нескольких видов и выбора наилучшего.

Где и как применяется

Изобретение применяется на финальных этапах формирования поисковой выдачи, используя данные из специализированных индексов.

INDEXING – Индексирование и извлечение признаков
Система сканирует и индексирует 3D-модели, сохраняя их в 3D Model Index, аналогично тому, как 2D-изображения сохраняются в Image Index. Также могут извлекаться visual features.

RANKING – Ранжирование
Система выполняет параллельное ранжирование для 2D-изображений и 3D-моделей. Критически важным является определение "наиболее релевантного" 2D-изображения, которое послужит эталоном.

METASEARCH – Метапоиск и Смешивание (Universal Search & Blending)
Это основной этап применения патента. Система принимает решение о смешивании 3D и 2D контента и запускает алгоритм сопоставления для определения способа отображения 3D-модели.

• Входные данные: Ранжированный список 2D-изображений (включая самое релевантное); Ранжированный список 3D-моделей.
• Процесс: Система сэмплирует виды 3D-модели, сравнивает visual features с топовым 2D-изображением и выбирает наилучший соответствующий вид.
• Выходные данные: 3D-модель с определенным Initial Viewing Angle и 2D-изображения, готовые к отображению в интерактивном блоке SERP.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние на результаты поиска, связанные с физическими объектами, где визуальное исследование имеет ценность. Примеры включают E-commerce (товары), архитектурные памятники (как в патенте, "Arc de Triomphe"), автомобили, недвижимость.
• Специфические запросы: Влияет на запросы, где интент пользователя предполагает визуальное исследование объекта (предметный поиск).

Когда применяется

• Триггеры активации: Когда поисковая система идентифицирует высокорелевантные результаты как в Image Index, так и в 3D Model Index для данного запроса, и принимает решение о показе комбинированного интерактивного блока (SERP Feature).
• Условие работы: Требуется наличие как минимум одной релевантной 3D-модели и качественных 2D-изображений для выполнения визуального сопоставления.

Пошаговый алгоритм

Процесс А: Выбор начального вида 3D-модели (Основное изобретение по Claims)

1. Получение результатов: Система получает запрос и извлекает ранжированные списки из Image Index и 3D Model Index.
2. Идентификация эталона: Определяется наиболее релевантное 2D-изображение из списка.
3. Сэмплирование видов 3D-модели: Система генерирует множество candidate representative images (кандидатных видов), сэмплируя различные ракурсы 3D-модели (например, равномерно обходя виртуальную сферу вокруг объекта).
4. Извлечение признаков: Для эталонного 2D-изображения и всех кандидатных 3D-видов извлекаются visual features (например, local descriptors).
5. Сопоставление (Matching): Система сравнивает визуальные признаки каждого кандидатного 3D-вида с эталонным 2D-изображением. В описании упоминается использование поиска совпадающих visual phrases и нормализация для учета геометрических трансформаций.
6. Выбор лучшего вида: Выбирается 3D-вид, который демонстрирует наибольшее сходство (например, самая большая visual phrase) с эталонным 2D-изображением.
7. Установка начального ракурса: Этот выбранный вид устанавливается как Representative Image и как Initial Viewing Angle для интерактивной 3D-модели.
8. Отображение SERP: Пользователю предоставляется страница результатов, содержащая 2D-изображения и 3D-модель в выбранном начальном ракурсе.

Процесс Б: Динамическое обновление изображений (Опционально, из Description патента)

1. Получение данных взаимодействия: Система получает View selection data от клиента, когда пользователь манипулирует 3D-моделью.
2. Определение нового вида: Система определяет новый ракурс 3D-модели.
3. Сопоставление вида с изображениями: Система ищет 2D-изображения в индексе, которые соответствуют этому новому виду.
4. Обновление SERP: Система предоставляет обновленный набор 2D-изображений клиенту для отображения рядом с 3D-моделью в новом ракурсе.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы:
  • Данные 3D-модели (геометрия, текстуры), необходимые для рендеринга различных видов. Поддерживаются различные форматы (в патенте упомянуты 3DS, KMZ, OBJ и др.).
  • Данные 2D-изображения (пиксели), используемые для визуального сопоставления.
• Системные данные: Ранги (relevance scores) 2D-изображений, используемые для выбора эталона (most relevant search result).
• Пользовательские факторы (Опционально): View selection data (данные о взаимодействии пользователя с 3D-моделью) используются для интерактивных функций, описанных в Description.

Какие метрики используются и как они считаются

• Ranking Score (Оценка релевантности): Используется для ранжирования 2D-изображений и определения эталона.
• Visual Features Similarity (Сходство визуальных признаков): Метрика, определяющая, насколько хорошо вид 3D-модели соответствует 2D-изображению.
• Методы анализа (Computer Vision): Патент упоминает конкретные техники для расчета визуального сходства (описанные в разделе Description):
  • Идентификация local descriptors (локальных дескрипторов).
  • Нормализация изображений для учета геометрических трансформаций.
  • Идентификация соответствующих visual phrases (визуальных фраз).
  • Критерий выбора вида: Максимизация размера совпадающей visual phrase (например, наибольшее количество дескрипторов в ней).

1. Приоритет визуальной консистентности в Universal Search: Патент демонстрирует, что Google алгоритмически обеспечивает визуальную согласованность между различными типами медиа (2D и 3D). Система не просто показывает 3D-модель, она активно выбирает её начальный ракурс.
2. 2D-изображения как анкорь для 3D-представления: Ключевой вывод — начальный вид (Initial Viewing Angle) 3D-модели специально подбирается так, чтобы соответствовать наиболее релевантному (топовому) 2D-изображению по тому же запросу.
3. Использование Computer Vision для смешивания результатов: Система полагается на продвинутые методы компьютерного зрения (анализ visual features, local descriptors, visual phrases) для преодоления разрыва между 2D и 3D данными на этапе смешивания (Blending).
4. Инфраструктура для 3D-поиска: Подтверждается наличие специализированного индекса (3D Model Index) и механизмов для его интеграции в основной поиск.
5. Различие между Описанием и Claims: Важно понимать, что юридически защищенные пункты (Claims) конкретно защищают только синхронизацию начального вида. Возможность динамической синхронизации (обновление 2D-изображений при вращении 3D-модели) описана в патенте, но не является его защищенным ядром.

Best practices (это мы делаем)

Рекомендации актуальны для E-commerce, недвижимости, авто, дизайна и т.д.

• Оптимизация эталонных 2D-изображений (Image SEO): Это критически важно. Поскольку начальный вид 3D-модели подстраивается под наиболее релевантное 2D-изображение, ваши основные 2D-изображения (например, главная фотография товара) должны быть высококачественными, четкими и показывать объект с канонического (наиболее узнаваемого) ракурса. Необходимо добиться их высокого ранжирования в Image Search.
• Создание и оптимизация 3D-активов: Создавайте высококачественные 3D-модели продуктов/объектов. Обеспечьте их доступность для индексации (например, используя стандартные форматы типа gLTF/USDZ и микроразметку 3DModel или через Google Merchant Center).
• Консистентность медиа активов: Убедитесь, что ваши 3D-модели точно соответствуют вашим 2D-фотографиям (цвет, форма, детали). Система ищет визуальное соответствие (visual features similarity). Несоответствия могут помешать алгоритмам корректно связать модель и изображение.
• Обеспечение разнообразия 2D-изображений: Предоставляйте фотографии объекта с разных ракурсов. Если механизм динамического обновления (описанный в Description) активен, это позволит системе показывать релевантные 2D-фото при вращении 3D-модели пользователем.

Worst practices (это делать не надо)

• Низкое качество основных 2D-изображений: Если основное изображение низкого качества или показывает объект с нетипичного ракурса, и оно станет наиболее релевантным, это приведет к выбору неудачного начального вида для 3D-модели, ухудшая UX.
• Несоответствие 3D-модели и 2D-фото: Использование 3D-моделей, которые не соответствуют реальному объекту или фотографиям, приведет к плохому пользовательскому опыту и ошибкам визуального сопоставления.
• Игнорирование 3D формата: Отсутствие 3D-моделей в нишах, где Google активирует такие функции (например, товары), приведет к снижению привлекательности сниппетов и потере CTR по сравнению с конкурентами, использующими 3D.

Стратегическое значение

Патент подтверждает стратегическое движение Google в сторону более иммерсивных, визуальных и интерактивных результатов поиска, включая Visual Search и AR. Для e-commerce долгосрочная стратегия должна включать инвестиции в 3D-визуализацию как стандарт представления продукта, наравне с традиционными фотографиями. Наличие индексируемых 3D-моделей становится важным фактором для обеспечения максимальной видимости и вовлеченности.

Практические примеры

Сценарий: Контроль представления 3D-модели товара через Image SEO

1. Задача: Добиться, чтобы 3D-модель нового дивана в SERP показывалась с наиболее привлекательного ракурса (например, вид спереди-сбоку).
2. Анализ: Текущее топовое 2D-изображение в поиске — это вид дивана строго спереди. 3D-модель показывается также строго спереди.
3. Действия SEO-специалиста:
   1. Подготовить высококачественное 2D-изображение дивана в целевом ракурсе (спереди-сбоку).
   2. Оптимизировать это изображение (Alt-текст, контекст, внутренние ссылки), чтобы оно стало most relevant search result по данному запросу, вытеснив старое изображение.
4. Процесс Google (согласно патенту): Google идентифицирует новое 2D-изображение как наиболее релевантное. Система анализирует 3D-модель, перебирает ракурсы (candidate representative images) и находит тот, который визуально совпадает с новым эталоном.
5. Ожидаемый результат: В SERP 3D-модель дивана теперь изначально отображается с целевого ракурса (спереди-сбоку), что улучшает презентацию товара.