Как Google использует популярные веб-изображения и поведение пользователей для ранжирования 3D-моделей и выбора их превью

Описание

Какую задачу решает

Патент решает проблему поиска и ранжирования трехмерных (3D) моделей, которые часто полагаются на неточные или подверженные манипуляциям текстовые теги (tags). Изобретение предлагает метод оценки релевантности 3D-модели запросу на основе ее визуального содержания, а не только метаданных. Также решается задача автоматического выбора наилучшего двумерного (2D) ракурса (Best Representative View) для отображения 3D-модели в результатах поиска (превью/thumbnail).

Что запатентовано

Запатентована система поиска и ранжирования 3D-моделей, которая определяет визуальную релевантность модели запросу. Для этого система генерирует различные 2D-виды 3D-модели и сравнивает их с набором веб-изображений, найденных по тому же запросу. Ключевым элементом является использование данных о популярности веб-изображений (user data, click and view history) для определения того, как «должен выглядеть» объект, соответствующий запросу.

Как это работает

Система работает в несколько этапов:

• Обучение модели релевантности: Поисковая система анализирует веб-изображения, найденные по запросу, и использует поведение пользователей (клики, просмотры), чтобы определить популярные (Positive Images) и непопулярные (Negative Images) изображения.
• Анализ 3D-модели: Система генерирует множество 2D-ракурсов (Candidate Views) 3D-модели.
• Оценка релевантности: Извлекаются визуальные признаки (Image Features) из 2D-ракурсов и сравниваются с признаками популярных веб-изображений. Каждому ракурсу присваивается оценка релевантности (Relevance Score).
• Выбор превью: Ракурс с наивысшей оценкой выбирается как лучшее представление модели (Best Representative View).
• Ранжирование 3D-модели: Оценки релевантности всех (или лучших) ракурсов агрегируются (Aggregate Relevance Score) для определения общей оценки 3D-модели по данному запросу.

Актуальность для SEO

Средняя. Хотя патент сфокусирован на 3D-моделях, методы, описанные в нем (использование результатов веб-поиска для обучения моделей релевантности, использование поведенческих сигналов для определения «популярного» вида объекта, автоматический выбор превью), являются фундаментальными для поиска по мультимедиа-контенту (изображения, видео) и остаются актуальными в эпоху визуального поиска и AR/VR.

Важность для SEO

Влияние на общие SEO-стратегии умеренное (6/10), но критичное для оптимизации 3D-активов и важное для понимания Image/Video SEO. Патент раскрывает конкретный механизм, как Google использует поведенческие данные (популярность контента) из одного вертикального поиска (Image Search) для обучения и ранжирования контента в другом (3D Model Search). Это подтверждает важность визуального соответствия контента доминирующему интенту и популярным образцам в интернете.

Детальный разбор

Термины и определения

3D Model (3D-модель)

Математическое представление трехмерного объекта. Может быть представлено в виде полигональной сетки (mesh), облака точек (point cloud) или в другом формате, пригодном для рендеринга.

Candidate Views / 2D Views (Кандидатные ракурсы / 2D-виды)

Двумерные изображения, полученные путем рендеринга 3D-модели с разных точек обзора.

Best Representative View (Лучший репрезентативный вид)

2D-ракурс 3D-модели, получивший наивысшую оценку релевантности (Relevance Score) для данного запроса. Используется как превью (thumbnail) в результатах поиска.

Image Features (Признаки изображения)

Низкоуровневые визуальные дескрипторы изображения (например, цветовые гистограммы, детекторы границ, дескрипторы ключевых точек).

Feature Vector (Вектор признаков)

Фиксированное векторное представление Image Features изображения. Используется для сравнения визуального сходства.

Web Images (Веб-изображения)

Изображения, найденные в интернете (например, через Image Search) по заданному запросу.

User Data (Пользовательские данные)

Данные, связанные с веб-изображениями, указывающие на их популярность. В патенте упоминается click and view history (история кликов и просмотров).

Positive/Negative Images (Позитивные/Негативные изображения)

Классификация веб-изображений на основе User Data. Позитивные — популярные изображения (много кликов/просмотров). Негативные — непопулярные или нерелевантные изображения, которые пользователи часто пропускают.

Image Feature Scorer (Модуль оценки признаков изображения)

Обученный компонент, который присваивает Relevance Score 2D-ракурсам, сравнивая их Feature Vectors с векторами позитивных и негативных веб-изображений.

Relevance Score (Оценка релевантности)

Числовая оценка, указывающая, насколько 2D-ракурс соответствует запросу, основываясь на его сходстве с популярными веб-изображениями.

Aggregate Relevance Score (Агрегированная оценка релевантности)

Общая оценка 3D-модели для запроса, полученная путем агрегации (например, усреднения) Relevance Scores ее отдельных 2D-ракурсов.

Ключевые утверждения (Анализ Claims)

Анализ основан на активных пунктах формулы изобретения (Claims 23 и далее), указанных в документе.

Claim 23 (Независимый пункт): Описывает основной метод ответа на поисковый запрос путем выбора наилучшего превью для 3D-модели.

1. Система получает поисковый запрос.
2. Выбираются множественные, различные 2D-виды 3D-модели, которая идентифицирована как соответствующая запросу.
3. Генерируется запрос изображений (image query), содержащий термин, соответствующий термину поискового запроса.
4. Получаются изображения (веб-изображения), отвечающие этому запросу изображений.
5. Для каждого 2D-вида генерируется оценка (score) на основе сходства между этим видом и полученными веб-изображениями.
6. На основе этих оценок выбирается конкретный 2D-вид в качестве репрезентативного вида (representative view) 3D-модели.
7. Этот репрезентативный вид предоставляется в ответ на исходный поисковый запрос.

Claim 27 (Зависимый от 23): Детализирует процесс генерации оценки.

Оценка генерируется путем извлечения признаков (view features) из 2D-видов и признаков (image features) из полученных веб-изображений. Затем оценка рассчитывается на основе сравнения этих двух наборов признаков.

Claim 28 (Зависимый от 23): Детализирует процесс выбора репрезентативного вида.

Выбор осуществляется путем определения 2D-вида, имеющего наивысшую оценку. Эта наивысшая оценка указывает на то, что данный вид наиболее похож на веб-изображения, полученные в ответ на запрос.

Где и как применяется

Изобретение описывает специализированную поисковую систему для 3D-моделей, которая может функционировать как отдельная вертикаль или как часть универсального поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная предварительная обработка (preprocessing stage):

• Сбор 3D-моделей.
• Генерация (рендеринг) множества 2D-ракурсов (Candidate Views) для каждой модели.
• Извлечение визуальных признаков (Image Features) и генерация векторов признаков (Feature Vectors) для каждого 2D-ракурса.
• Извлечение текстовых метаданных (textual metadata) и тегов (tags) 3D-модели.

QUNDERSTANDING – Понимание Запросов (Офлайн-компонент)
Система заранее анализирует запросы (пользовательские или сгенерированные из метаданных 3D-моделей) для обучения моделей релевантности:

• Выполнение поиска по веб-изображениям (Web Images) для запроса.
• Сбор поведенческих данных (User Data, click and view history) для результатов поиска изображений.
• Классификация изображений на Positive Images и Negative Images на основе популярности.
• Обучение Image Feature Scorer для данного запроса.

RANKING – Ранжирование (Офлайн или Онлайн)
Применение обученной модели для оценки 3D-моделей:

• Сравнение Feature Vectors 2D-ракурсов с обученной моделью.
• Расчет Relevance Scores для ракурсов.
• Агрегация оценок для получения Aggregate Relevance Score для 3D-модели.
• Создание ранжированного списка 3D-моделей для запроса (Ranking Table).
• Идентификация Best Representative View.

RANKING / RETRIEVAL (Онлайн-компонент)
Обработка запроса пользователя в реальном времени:

• Получение запроса.
• Доступ к предварительно рассчитанной Ranking Table.
• Выбор 3D-модели с наивысшим Aggregate Relevance Score.

METASEARCH / RERANKING (Отображение результатов)

• Отображение выбранной 3D-модели с использованием ее Best Representative View в качестве превью.

На что влияет

• Конкретные типы контента: В первую очередь влияет на поиск, ранжирование и отображение 3D-моделей.
• Методологическое влияние: Механизм имеет более широкое значение для всего мультимедийного контента (изображения, видео), так как демонстрирует способ использования агрегированных поведенческих данных для определения визуальной релевантности и выбора оптимального превью.
• Валидация метаданных: Влияет на обработку тегов и метаданных. Система может деприоритезировать (demote) или удалять теги, если визуальное содержание модели им не соответствует (т.е. Relevance Score для тега низкий).

Когда применяется

• Триггеры активации: При выполнении поиска, который система интерпретирует как запрос на поиск 3D-модели (например, в специализированной вертикали или при наличии явных индикаторов типа «3D model»).
• Условия работы: Наличие достаточного количества проиндексированных 3D-моделей и наличие достаточного объема данных о веб-изображениях и поведении пользователей по соответствующему запросу для обучения Image Feature Scorer.
• Исключения: Если 3D-модель, соответствующая запросу, недоступна, система может вернуться к отображению наиболее популярного веб-изображения по этому запросу.

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов: предварительная обработка/обучение и обработка запроса в реальном времени.

Процесс А: Предварительная обработка и ранжирование (Офлайн)

1. Выбор 3D-модели и генерация ракурсов: Выбирается 3D-модель для анализа. Генерируется набор 2D-ракурсов (Candidate Views) путем сэмплирования (например, по сфере обзора).
2. Извлечение признаков ракурсов: Из каждого 2D-ракурса извлекаются визуальные признаки (Image Features) и формируются векторы признаков (Feature Vectors).
3. Выбор запроса: Выбирается запрос для анализа (например, на основе метаданных модели или из логов пользовательских запросов).
4. Сбор данных для обучения: Выполняется поиск веб-изображений по данному запросу. Собираются связанные с ними пользовательские данные (click and view history).
5. Классификация обучающих данных: Веб-изображения классифицируются на позитивные (популярные) и негативные (непопулярные) на основе пользовательских данных.
6. Извлечение признаков веб-изображений: Из позитивных и негативных изображений извлекаются Image Features и формируются Feature Vectors.
7. Обучение и оценка: Image Feature Scorer обучается на основе признаков позитивных/негативных изображений. Затем этот скорер используется для расчета Relevance Score для каждого 2D-ракурса 3D-модели путем сравнения их векторов признаков.
8. Идентификация лучшего вида: Ракурс с наивысшим Relevance Score помечается как Best Representative View.
9. Агрегация оценок: Relevance Scores отдельных ракурсов агрегируются (например, усредняются или берется взвешенное среднее топ-N ракурсов) для получения Aggregate Relevance Score всей 3D-модели по данному запросу.
10. Ранжирование и индексация: Шаги повторяются для разных запросов и разных 3D-моделей. Создается индекс (Ranking Table), где для каждого запроса хранится список 3D-моделей, отсортированных по Aggregate Relevance Score, с указанием их Best Representative View.

Процесс Б: Обработка запроса пользователя (Онлайн)

1. Получение запроса: Система получает поисковый запрос от пользователя.
2. Доступ к индексу: Система обращается к предварительно рассчитанной Ranking Table для данного запроса (или похожего).
3. Выбор модели: Выбирается 3D-модель (или набор моделей) с наивысшим Aggregate Relevance Score.
4. Отображение результатов: Выбранная 3D-модель предоставляется пользователю, при этом в качестве превью используется ее Best Representative View.

Какие данные и как использует

Данные на входе

• Контентные факторы (Визуальные): Основные данные для ранжирования. Используются визуальные характеристики 3D-модели, представленные через Image Features ее 2D-ракурсов (цветовые гистограммы, детекторы границ, ключевые точки).
• Контентные факторы (Текстовые): Текстовые метаданные (textual metadata) и теги (tags). Используются для генерации запросов для анализа и для первичного отбора кандидатов 3D-моделей.
• Поведенческие факторы: Критически важные данные для обучения. Используется User Data, связанное с веб-изображениями, в частности click and view history (история кликов и просмотров). Эти данные определяют популярность изображений.
• Данные веб-графа: Веб-изображения (Web Images), доступные в индексе поисковой системы, и их визуальные характеристики.

Какие метрики используются и как они считаются

• Популярность изображения: Метрика, рассчитываемая на основе click and view history. Используется для разделения веб-изображений на Positive и Negative.
• Feature Vector Similarity (Сходство векторов признаков): Сравнение между Feature Vector 2D-ракурса и Feature Vectors веб-изображений (или моделью, обученной на них).
• Relevance Score (Оценка релевантности ракурса): Оценка, присваиваемая 2D-ракурсу на основе его визуального сходства с популярными (Positive) веб-изображениями по запросу.
• Aggregate Relevance Score (Агрегированная оценка релевантности модели): Общая оценка 3D-модели. Рассчитывается путем агрегации оценок ее ракурсов. Методы агрегации включают среднее (average), медиану (median) или взвешенное среднее (weighted average), например, по топ-10 лучшим ракурсам.

Выводы

1. Визуальная релевантность как основа ранжирования: Для 3D-моделей (и, вероятно, других мультимедиа-активов) Google стремится ранжировать контент на основе его визуального содержания, а не только метаданных, чтобы бороться с неточными тегами и спамом.
2. Использование веб-данных для понимания визуального интента: Система использует результаты стандартного поиска по картинкам (Web Images), чтобы понять, как выглядит объект, соответствующий запросу. Это мощный механизм для определения доминирующего визуального представления объекта в интернете.
3. Поведенческие сигналы определяют «идеальный» вид: Патент явно указывает на использование click and view history для определения популярности изображений. Популярные изображения (Positive Images) формируют эталон, с которым сравниваются 3D-модели. Это подтверждает использование агрегированных поведенческих данных для тренировки моделей релевантности.
4. Автоматический выбор превью (Thumbnail Selection): Система не полагается на превью, заданное пользователем, а программно выбирает Best Representative View — ракурс, который визуально лучше всего соответствует популярным изображениям по запросу.
5. Валидация метаданных через визуальный контент: Описан механизм, позволяющий понижать или удалять теги (tags), если визуальное содержание 3D-модели им не соответствует. Текстовая релевантность должна быть подтверждена визуальной релевантностью.

Практика

Best practices (это мы делаем)

Хотя патент сфокусирован на 3D-моделях, его методология имеет важное значение для оптимизации любого визуального контента (изображения, видео).

• Соответствие доминирующему визуальному интенту: Перед созданием или оптимизацией визуального контента (изображений, видео, 3D) анализируйте выдачу Google Images по целевым запросам. Определите доминирующие визуальные паттерны (ракурсы, цвета, композиция). Ваш контент должен визуально соответствовать этим популярным образцам, так как Google использует их как эталон (Positive Images).
• Оптимизация превью (Thumbnails): Для видео и важных изображений убедитесь, что превью максимально точно отражает содержание и соответствует визуальному интенту запроса. Google может программно выбирать лучший кадр (аналог Best Representative View), поэтому важно, чтобы такие кадры присутствовали в контенте.
• Точность и релевантность метаданных: Используйте точные и релевантные теги и описания для мультимедиа-контента. Патент показывает, что Google может использовать визуальный анализ для валидации текстовых метаданных и понижения (demote) контента с нерелевантными тегами.
• Стимулирование вовлеченности (для эталонных страниц): Если ваша страница является эталоном в нише, работайте над повышением ее популярности и CTR в поиске (включая Image Search). Высокая популярность (click and view history) может сделать ваш контент «эталоном» (Positive Image), который Google будет использовать для оценки другого контента.

Worst practices (это делать не надо)

• Манипуляция тегами (Tag Stuffing): Добавление популярных, но нерелевантных тегов к изображениям или 3D-моделям. Система, описанная в патенте, предназначена для борьбы с этим путем сравнения визуального содержания с эталоном для каждого тега.
• Использование нерепрезентативных или кликбейтных превью: Использование превью, которые не соответствуют доминирующему визуальному интенту запроса. Система стремится выбрать Best Representative View, и сильное расхождение может снизить релевантность.
• Игнорирование визуального контекста: Фокус исключительно на текстовой оптимизации (alt-тексты, заголовки) без учета того, как само изображение визуально соотносится с тем, что ищут пользователи и что популярно в интернете.

Стратегическое значение

Патент подтверждает стратегию Google на глубокое понимание мультимедийного контента за пределами текстовых метаданных. Ключевое стратегическое значение для SEO заключается в подтверждении того, что Google использует кросс-модальные данные и агрегированные поведенческие сигналы для оценки релевантности. Популярность контента в одной вертикали (Image Search) используется как сигнал качества и релевантности для обучения систем в другой вертикали (3D Search). Это подчеркивает важность соответствия контента ожиданиям пользователей и доминирующим паттернам в интернете.

Практические примеры

Сценарий: Оптимизация изображения товара для E-commerce

1. Анализ визуального интента: SEO-специалист анализирует Google Images по запросу «кроссовки Nike Air Max 270 black». Он замечает, что большинство популярных изображений (эталонные Positive Images) показывают кроссовки в ракурсе 3/4 сбоку на белом фоне.
2. Создание контента: Фотограф интернет-магазина делает фотографии товара, убедившись, что основной ракурс соответствует этому доминирующему визуальному интенту.
3. Ожидаемый результат: Система Google, используя методологию, схожую с описанной в патенте, сравнивает Feature Vectors изображения магазина с эталоном. Благодаря высокому визуальному сходству, изображение получает высокий Relevance Score и лучше ранжируется в Image Search.

Сценарий: Валидация тегов 3D-модели

1. Загрузка модели: Пользователь загружает 3D-модель автомобиля и добавляет теги: «автомобиль», «спорткар» и «Эйфелева башня» (потому что на капоте есть небольшая аэрография башни).
2. Анализ системой: Система анализирует модель для каждого тега.
   • Для «автомобиль» и «спорткар»: Многие ракурсы визуально схожи с популярными изображениями авто. Aggregate Relevance Score высокий. Теги подтверждены.
   • Для «Эйфелева башня»: Только один ракурс (вид на капот) имеет слабое сходство с популярными изображениями башни. Большинство ракурсов не имеют сходства. Aggregate Relevance Score очень низкий.
3. Результат: Система понижает (demote) или удаляет тег «Эйфелева башня» для этой модели, так как модель в целом нерелевантна этому запросу, несмотря на наличие элемента на одном из видов.

Вопросы и ответы