Как Google использует 3D-модели объектов для понимания контекста изображений и переписывания поисковых запросов

Термины и определения

3D Object Data Model (3D-модель данных объекта)

Цифровое представление объекта. Включает данные, характеризующие геометрию поверхности (surface geometry) и текстуру (texture) объекта в 3D-пространстве.

Database of 3D object data models (База данных 3D-моделей)

Хранилище, содержащее множество 3D-моделей, их аннотации и предварительно сгенерированные виртуальные виды.

Annotation Module (Модуль аннотирования)

Компонент, отвечающий за связывание информации с 3D-моделью (например, производитель, URL, описание, размеры).

Updated Search Query (Обновленный поисковый запрос)

Переписанный исходный запрос, обогащенный контекстуальной информацией, полученной из анализа 3D-модели. Включает данные об окружении (environment), ориентации (orientation), положении (position) или идентификацию других объектов.

Virtual View / One or More Images (Виртуальный вид / Одно или несколько изображений)

Двумерное изображение (рендер), сгенерированное из 3D-модели с определенной точки зрения и при заданных условиях освещения. Используется для сопоставления с входными изображениями.

Input Image (Входное изображение)

Изображение, предоставленное в поисковом запросе (например, при визуальном поиске).

Depth Information (Информация о глубине)

Данные о расстоянии до точек объекта, которые могут присутствовать во входном запросе (например, с 3D-камеры) и сравниваться с 3D-моделью.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает фундаментальный метод.

1. Сервер получает поисковый запрос об объекте.
2. Система обращается к базе данных 3D-моделей (содержащих геометрию и текстуру).
3. Система идентифицирует соответствующую 3D-модель и получает связанную с ней сохраненную информацию.
4. На основе этой информации система определяет updated search query.
5. Обновленный запрос включает контекст: окружение, ориентацию, положение объекта или идентификацию других объектов в окружении.
6. Система предоставляет результаты на основе этого обновленного запроса.

Claim 7 (Зависимый от 5): Детализирует процесс визуального поиска.

Если запрос содержит input image, идентификация происходит путем сопоставления (matching) этого изображения с одним из виртуальных видов (рендеров) 3D-модели (упомянутых в Claim 5).

Claim 8 (Зависимый от 7): Описывает механизм извлечения контекста.

На основе сравнения входного изображения и совпавшего виртуального вида, а также информации о 3D-модели, система определяет точную ориентацию, положение и условия освещения (lighting conditions) объекта. Результаты поиска конфигурируются с учетом этих параметров.

Claim 9 (Зависимый от 8): Описывает анализ сцены.

Система определяет масштаб (scale) входного изображения. Используя определенные ранее ориентацию, положение, освещение и масштаб, система идентифицирует другие объекты в окружении.

Claim 10 (Зависимый от 1): Описывает обработку 3D-ввода.

Если входной запрос включает depth information, система сравнивает её с соответствующей информацией 3D-модели для предоставления результатов.

Где и как применяется

Изобретение интегрировано в несколько этапов поисковой архитектуры, с акцентом на глубокое понимание запросов.

INDEXING – Индексирование и извлечение признаков
На этом этапе формируется База данных 3D-моделей. Это включает:

• Сбор 3D-моделей (сканирование, получение от производителей, CAD-файлы).
• Обработка геометрии и текстур.
• Аннотирование моделей метаданными (Annotation Module).
• Предварительный рендеринг множества виртуальных видов с различными параметрами (освещение, ракурс) для будущего сопоставления.

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Система использует 3D-данные для интерпретации входного запроса (особенно визуального).

• Сопоставление: Сравнение входного изображения с виртуальными видами 3D-моделей.
• Извлечение контекста: Определение точных параметров (освещение, поза, масштаб) на основе совпавшего вида.
• Анализ сцены: Идентификация окружения и соседних объектов.
• Переписывание запроса: Генерация Updated Search Query, инкапсулирующего этот контекст.

RANKING / RERANKING – Ранжирование и Переранжирование
Поиск выполняется на основе Updated Search Query. Поскольку запрос обогащен контекстом, результаты ранжирования будут более релевантны ситуации пользователя. На этапе RERANKING результаты могут быть упорядочены с учетом извлеченного контекста (например, приоритет изображениям с похожим ракурсом).

Входные данные:

• Исходный поисковый запрос (текст, 2D-изображение или данные с глубиной).
• База данных 3D-моделей (геометрия, текстуры, аннотации, рендеры).

Выходные данные:

• Updated Search Query (внутреннее представление).
• Результаты поиска, релевантные обновленному запросу.

На что влияет

• Конкретные типы контента: В первую очередь влияет на изображения и видео продуктов, физических объектов, контент дополненной реальности.
• Специфические запросы: Визуальный поиск (Google Lens, Image Search) и запросы о товарах.
• Конкретные ниши или тематики: Критически важно для E-commerce, дизайна интерьера, моды, автомобильной тематики – везде, где визуальное представление и контекст объекта имеют решающее значение.

Когда применяется

• Триггеры активации: Получение поискового запроса, указывающего на физический объект, особенно если это визуальный запрос.
• Условия работы: Наличие соответствующей 3D-модели в базе данных Google и успешное сопоставление объекта в запросе с этой моделью.

Пошаговый алгоритм

Процесс обработки визуального запроса

1. Получение запроса: Сервер получает входное изображение объекта.
2. Сопоставление с 3D-базой: Система сравнивает входное изображение с предварительно сгенерированными виртуальными видами (рендерами) 3D-моделей.
3. Идентификация модели и вида: Система находит наилучшее совпадение (matching) между входным изображением и конкретным виртуальным видом конкретной 3D-модели.
4. Извлечение контекста (Уровень 1): Поскольку параметры рендеринга совпавшего вида известны, система определяет ориентацию (orientation), положение (position) и условия освещения (lighting conditions) объекта на входном изображении.
5. Извлечение контекста (Уровень 2): На основе информации о 3D-модели (например, известных размеров) система вычисляет масштаб (scale) входного изображения.
6. Анализ сцены: Используя вычисленные ориентацию, масштаб и освещение, система анализирует окружение (environment) и пытается идентифицировать другие объекты на изображении.
7. Генерация обновленного запроса: Система формирует Updated Search Query. Он включает идентификацию основного объекта, его контекст и идентификацию других обнаруженных объектов. (Например, переход от [фото коробки хлопьев] к [рецепты хлопьев Бренд X на кухне]).
8. Выполнение поиска и предоставление результатов: Система выполняет поиск по обновленному запросу и предоставляет контекстуально релевантные результаты.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных, связанных с 3D-моделями, для интерпретации запросов.

• Контентные факторы (Визуальные): Пиксельные данные входного изображения (текстуры, цвета, формы).
• Технические факторы (Данные 3D-модели):
  • Surface geometry: Данные о форме объекта (полигональная сетка, облако точек).
  • Texture: Данные о цвете и текстуре поверхности.
  • Depth information: Информация о глубине модели.
• Структурные факторы (Метаданные): Информация из Annotation Module: описание, производитель, URL, размеры, бренд.
• Пользовательские факторы (Входные данные): Depth information входного изображения, если оно получено с 3D-камеры или датчика LiDAR.

Какие метрики используются и как они считаются

Патент не описывает формулы ранжирования, но определяет ключевые вычисляемые параметры контекста и методы их получения:

• Метрика сопоставления (Matching Score): Оценка степени схожести между входным изображением и виртуальными видами 3D-модели.
• Orientation (Ориентация/Поза): Вычисляется путем определения угла виртуальной камеры относительно 3D-модели для совпавшего вида.
• Lighting Conditions (Условия освещения): Определяются на основе параметров виртуальных источников света, использованных при рендеринге совпавшего вида, и анализа теней/бликов.
• Scale (Масштаб): Определяется путем сравнения размера объекта на входном изображении с известными размерами 3D-модели.
• Идентификация окружения: Классификация сцены и распознавание вторичных объектов, опирающееся на точность извлеченных параметров (масштаб, освещение).

1. Переход от распознавания объектов к пониманию сцены: Ключевая идея патента — использование 3D-данных как эталона для понимания не только идентичности объекта, но и его полного контекста (окружения, освещения, масштаба). Google интерпретирует сцену целиком.
2. Контекстуальное переписывание запросов: Система активно переписывает исходный запрос (Updated Search Query) на основе визуального контекста. Это означает, что интент запроса может быть радикально изменен в зависимости от того, как и где объект представлен (например, товар дома vs товар в магазине).
3. Важность 3D-активов как источника истины: Патент предполагает наличие обширной базы данных 3D-моделей. Наличие точной 3D-модели для продукта значительно улучшает способность Google интерпретировать любые запросы, связанные с ним.
4. Использование синтетических данных для распознавания: Система генерирует виртуальные виды (синтетические данные) для сопоставления. Это позволяет распознавать объекты в сложных условиях (необычные ракурсы, плохое освещение), которые могут отсутствовать в стандартных наборах фотографий (Training Images).
5. Идентификация вторичных объектов: Понимание параметров основного объекта (масштаб, освещение) позволяет системе лучше идентифицировать другие объекты на изображении, что еще больше обогащает понимание сцены.
6. Поддержка 3D-ввода: Система готова к обработке данных глубины (depth information) от современных устройств (LiDAR, 3D-камеры), что критично для AR-приложений.

Best practices (это мы делаем)

• Инвестиции в 3D-активы (для E-commerce): Создавайте и предоставляйте Google 3D-модели ваших продуктов (например, через Merchant Center или разметку 3DModel). Это напрямую питает базу данных, описанную в патенте, и гарантирует наиболее точное представление вашего продукта в системе.
• Предоставление высококачественных и разнообразных изображений: Загружайте изображения продуктов со всех ракурсов (360 градусов) и при различных условиях освещения. Это помогает системе сопоставлять ваш продукт с виртуальными видами и точно определять orientation и lighting conditions.
• Активное использование контекстных ("Lifestyle") фотографий: Размещайте фотографии продукта в реальном окружении (например, диван в гостиной, блендер на кухне). Это критически важно, так как Google анализирует environment и соседние объекты для переписывания запроса и определения интента.
• Точность данных о продукте: Убедитесь, что данные о размерах продукта в Schema.org и фидах точны. Эта информация используется системой для определения масштаба (scale) при визуальном поиске.

Worst practices (это делать не надо)

• Использование только одного изображения или только студийных фото: Исключительное использование изображений на белом фоне лишает систему контекста. Хотя они полезны для идентификации, они не позволяют механизмам анализа окружения работать в полной мере.
• Низкое качество изображений: Фотографии с низким разрешением или плохим освещением затрудняют анализ текстур и геометрии, что мешает точному сопоставлению с 3D-моделью и определению условий освещения.
• Вводящий в заблуждение контекст или масштаб: Размещение продукта в нереалистичном окружении или манипуляции с масштабом на фото могут привести к неправильной интерпретации сцены и генерации нерелевантного Updated Search Query.
• Игнорирование возможностей 3D и AR: Отказ от использования новых форматов представления продуктов приведет к отставанию, так как Google все больше полагается на эти данные для понимания физического мира.

Стратегическое значение

Патент подтверждает долгосрочную стратегию Google по слиянию цифрового и физического миров через компьютерное зрение (Visual Search, AR). Для SEO это означает, что оптимизация переходит от ключевых слов к оптимизации визуального представления объектов и сцен. В долгосрочной перспективе успех в продуктовом поиске будет зависеть от того, насколько хорошо Google понимает визуальные характеристики, контекст использования и физические параметры продукта.

Практические примеры

Сценарий: Оптимизация карточки товара для кухонного блендера

1. Действие 1 (3D-активы): Загрузить 3D-модель блендера. Результат: Google получает доступ к точной геометрии и текстурам для 3D Object Data Model Database.
2. Действие 2 (Разнообразие ракурсов): Добавить фото 360 градусов. Результат: Облегчает системе определение ориентации (orientation) при визуальном поиске с любого ракурса.
3. Действие 3 (Контекстуализация): Добавить "lifestyle" фото: блендер на кухонном столе рядом с фруктами.
   • Анализ Google (по патенту): Система идентифицирует блендер (используя 3D-модель), определяет масштаб, освещение и идентифицирует вторичные объекты (фрукты). Контекст определяется как "кухня".
   • Переписывание запроса: Запрос обновляется с "блендер [Бренд]" до "блендер [Бренд] использование на кухне, рецепты смузи".
   • Выдача: Google покажет не только ссылки на покупку, но и рецепты или видеообзоры, так как контекст указывает на информационный/пользовательский интент.