Как Google использует мультимодальный поиск (текст + изображение) для уточнения запросов и фильтрации видеоконтента

Термины и определения

Composite Query (Составной запрос)

Новый запрос, сгенерированный путем объединения исходного текстового запроса (textual query) и текста, полученного в результате анализа визуального ввода.

Visual Input (Визуальный ввод)

Изображение или видеопоток (например, с камеры), предоставленные пользователем для уточнения поиска или при загрузке контента.

Object Identification (Распознавание объектов)

Процесс анализа визуального ввода для идентификации объектов, часто с использованием моделей машинного обучения.

Trained Machine Learned Model (ML Model) (Обученная модель машинного обучения)

Алгоритм (например, сверточная нейронная сеть, CNN), обученный распознавать объекты в изображениях и видеокадрах.

Classifiers (Классификаторы)

Метки или категории, которые модель машинного обучения присваивает распознанным объектам.

Confidence Level (Уровень уверенности)

Метрика, указывающая на вероятность точности распознавания объекта. Используется для определения степени детализации при уточнении запроса.

Semantic Query Addition (Семантическое дополнение запроса)

Процесс добавления текста, сгенерированного на основе распознавания объектов, к исходному текстовому запросу.

Textual Metadata / Semantic Information (Текстовые метаданные / Семантическая информация)

Текст или данные, сгенерированные на основе анализа визуального ввода. Используются для создания запросов, фильтрации или индексации.

Video Visual Metadata Library (Библиотека визуальных метаданных видео)

Хранилище данных, содержащее предварительно вычисленные визуальные и семантические метаданные (включая временные метки) для проиндексированного видеоконтента.

Ключевые утверждения (Анализ Claims)

Патент содержит три независимых пункта (1, 9, 18), описывающих три разных механизма системы.

Механизм 1: Генерация составного запроса (Claim 1)

Claim 1 (Независимый пункт): Описывает метод расширения запроса.

1. Система получает текстовый запрос (в момент T1).
2. После этого (в момент T2) система получает визуальный ввод.
3. Система генерирует текст на основе визуального ввода.
4. Система создает Composite Query, комбинируя исходный текст и сгенерированный текст.
5. Система генерирует результаты поиска на основе Composite Query.

Система использует ML-модель для Object Identification и Semantic Query Addition (Claim 2). Claims 5 и 6 вводят итеративное уточнение: система использует Confidence Levels для перехода от общей идентификации (например, "лампа") к специфической ("лампа [Бренд]") или контекстной ("сломанная лампа"), если уверенность превышает заданные пороги.

Механизм 2: Фильтрация результатов (Claim 9)

Claim 9 (Независимый пункт): Описывает метод фильтрации.

1. Система получает текстовый запрос и визуальный ввод.
2. Система генерирует результаты поиска по текстовому запросу.
3. Система генерирует Textual Metadata из визуального ввода.
4. Система фильтрует результаты, используя эти метаданные.

Визуальный ввод действует как пост-фильтр. Фильтрация основана на сопоставлении метаданных изображения с данными в Video Visual Metadata Library (Claim 14).

Механизм 3: Индексация контента (Claim 18)

Claim 18 (Независимый пункт): Описывает генерацию метаданных при индексации.

1. Система получает контент (например, видео).
2. Система получает связанный визуальный ввод (например, изображение от загрузчика или анализирует кадры видео).
3. Система выполняет Object Identification.
4. Система генерирует Semantic Information и сохраняет ее как метаданные контента.

Это процесс обогащения индекса, происходящий при загрузке или обработке контента.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, связывая индексирование, понимание запросов и ранжирование.

INDEXING – Индексирование и извлечение признаков
(Связано с Механизмом 3 и подготовкой данных для Механизма 2). Система анализирует контент для создания Video Visual Metadata Library. Это включает анализ кадров видео или анализ связанных изображений, предоставленных при загрузке (Claim 18). Извлекается семантическая и визуальная информация об объектах, часто с временными метками (timestamps).

QUNDERSTANDING – Понимание Запросов
(Связано с Механизмом 1). Система обрабатывает мультимодальный ввод (текст + изображение). Визуальный ввод анализируется ML-моделью (CNN) для генерации текста. Этот текст используется для уточнения исходного запроса путем создания Composite Query в реальном времени.

RANKING / RERANKING – Ранжирование / Переранжирование

• (Механизм 1): Система выполняет поиск и ранжирование на основе уточненного Composite Query.
• (Механизм 2): Система получает первый набор результатов по текстовому запросу (RANKING), а затем использует метаданные из визуального ввода для фильтрации или переранжирования этого набора (RERANKING), сопоставляя их с Video Visual Metadata Library.

На что влияет

• Конкретные типы контента: В первую очередь видеоконтент, но также применимо к товарам и инструкциям.
• Специфические запросы: Информационные ("how-to") и коммерческие запросы, связанные с физическими объектами (ремонт, идентификация товаров, обзоры).
• Конкретные ниши или тематики: DIY (сделай сам), ремонт, E-commerce, обзоры техники – ниши, где визуальная идентификация объекта критична.

Когда применяется

• Триггеры активации: Когда пользователь предоставляет и текстовый запрос, и визуальный ввод (например, используя иконку камеры в поиске).
• Пороговые значения: Применение более детального распознавания (специфического или контекстуального) зависит от того, превышает ли Confidence Level распознавания заданные пороги (First/Second Condition). Если уверенность низкая, используется только общая идентификация.

Пошаговый алгоритм

Патент описывает три ключевых алгоритма.

Алгоритм А: Расширение запроса (Composite Query)

1. Получение ввода: Получить текстовый запрос и визуальный ввод.
2. Распознавание объектов: Анализ визуального ввода с помощью ML-модели (CNN). Генерация Classifiers и Confidence Levels.
3. Генерация текста (поэтапная / прогрессивное уточнение):
   1. Генерация базового текста (Уровень 1: Общий, например, «лампа»).
   2. Проверка Confidence Level. Если выше порога 1, генерация специфического текста (Уровень 2: Специфический, например, «[брендовая] лампа»).
   3. Если выше порога 2, генерация контекстного текста (Уровень 3: Контекстный, например, «сломанная [брендовая] лампа»).
4. Создание составного запроса: Добавление выбранного текста к исходному запросу (Semantic Query Addition).
5. Выполнение поиска: Поиск по новому Composite Query.

Алгоритм Б: Фильтрация результатов (Visual Matching)

1. Получение ввода и первичный поиск: Получить текстовый запрос и сгенерировать первичные результаты.
2. Получение визуального ввода: Получить изображение.
3. Генерация метаданных: Анализ изображения и генерация Textual Metadata.
4. Сопоставление метаданных: Сравнение метаданных изображения с метаданными контента (из Video Visual Metadata Library).
5. Фильтрация: Фильтрация или переранжирование результатов на основе соответствия.

Алгоритм В: Индексация видео (Подготовка данных)

1. Получение контента: Загрузка видео.
2. Анализ: Анализ кадров видео и/или анализ связанного изображения, предоставленного загрузчиком (Claim 18).
3. Генерация метаданных: Создание визуальных метаданных (сущности, временные метки).
4. Сохранение: Сохранение данных в Video Visual Metadata Library.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные данные): Ключевые данные – это Visual Input (изображение пользователя) и кадры из индексируемых видео. Анализируются пиксельные данные для распознавания объектов и текста (например, номеров моделей).
• Контентные факторы (Текст): Исходный текстовый запрос пользователя.
• Пользовательские факторы (Контекст): В патенте упоминается возможность использования "environmental information" (местоположение, история поиска) для дополнения запроса без явного ввода пользователем.

Какие метрики используются и как они считаются

• Object Identification (Распознавание объектов): Выполняется с помощью моделей машинного обучения. В патенте детально описывается использование Сверточных нейронных сетей (CNN) для анализа изображений, извлечения признаков (feature maps) и классификации объектов.
• Classifiers (Классификаторы): Метки, присваиваемые объектам моделью ML.
• Confidence Level (Уровень уверенности): Числовая оценка, связанная с каждым классификатором, указывающая на уверенность модели в правильности распознавания.
• Пороги уверенности (Conditions/Thresholds): Предварительно заданные значения (в патенте приводятся примеры 93%, 95%), с которыми сравнивается Confidence Level. Они определяют, насколько детальная информация будет использована для уточнения поиска.
• Timestamps (Временные метки): Используются при индексации видео для привязки обнаруженных визуальных сущностей к конкретным моментам в видео.

1. Мультимодальный поиск как стандарт: Патент подтверждает стратегическое направление Google на интеграцию визуальной информации в процесс поиска. Текстовый запрос и визуальный ввод рассматриваются как взаимодополняющие сигналы для понимания намерения пользователя.
2. Визуальное понимание контента при индексации: Google активно индексирует визуальное содержимое видеоконтента, создавая Video Visual Metadata Library. Это означает, что система «видит», какие объекты присутствуют в видео, и использует это для ранжирования.
3. Два пути обработки мультимодальных запросов: Система может либо переписывать запрос (создание Composite Query), либо фильтровать результаты текстового поиска (Visual Matching).
4. Важность распознавания объектов и контекста: Система стремится идентифицировать не только категорию объекта, но и конкретную модель и ее состояние (например, «сломанный»). Точность этого распознавания (Confidence Level) напрямую влияет на релевантность результатов.
5. Обогащение индекса при загрузке (Claim 18): Патент описывает механизм использования изображений, предоставляемых создателями контента (например, превью), для улучшения индексации видео, что подчеркивает важность качественных связанных изображений.

Best practices (это мы делаем)

• Обеспечение визуальной ясности ключевых объектов (Visual SEO): При создании видеоконтента (обзоры, инструкции) убедитесь, что ключевые объекты показаны четко, с хорошим освещением и с разных ракурсов. Это поможет ML-моделям Google точно распознать объект во время индексации (Механизм 3) и присвоить ему высокий Confidence Level.
• Демонстрация идентификаторов продукта: Если контент посвящен конкретному продукту, убедитесь, что бренд, название модели или серийный номер визуально различимы в кадре. Система может распознать эту информацию (специфическая идентификация) и использовать ее как метаданные.
• Оптимизация превью (Thumbnails): Используйте высококачественные и релевантные миниатюры для видео, которые четко отображают основной объект. Согласно Механизму 3 (Claim 18), эти изображения могут быть использованы системой для генерации семантической информации о контенте.
• Структурирование видео (Key Moments): Поскольку система индексирует визуальные сущности с привязкой к временным меткам (timestamps), четкая структура видео помогает Google идентифицировать ключевые моменты, соответствующие конкретной визуальной информации, и направлять пользователя на нужный фрагмент.
• Создание контента под специфические модели: Приоритет следует отдавать контенту, ориентированному на конкретные модели продуктов. Поскольку пользователи могут искать с помощью фото конкретного продукта (мультимодальный запрос), наличие точно соответствующего контента критично.

Worst practices (это делать не надо)

• Использование размытых или низкокачественных визуалов: Видео или изображения, на которых сложно идентифицировать объекты, не будут эффективно индексироваться системой и не получат преимуществ в мультимодальном поиске.
• Игнорирование визуальной составляющей: Фокус исключительно на текстовой оптимизации (заголовки, описания) при игнорировании того, как контент выглядит и воспринимается системами машинного зрения.
• Вводящие в заблуждение визуальные элементы (Кликбейт): Использование превью, не соответствующих содержанию видео. Если система при индексации не находит соответствующих объектов в самом видео, это может негативно сказаться на ранжировании из-за несоответствия сигналов.

Стратегическое значение

Патент подчеркивает стратегический переход к мультимодальному поиску и важность Computer Vision в SEO. Для долгосрочной стратегии необходимо учитывать, что Google "видит" содержание изображений и видео. Это меняет подход к созданию контента: визуальная презентация становится фактором ранжирования (Visual SEO), так как напрямую влияет на то, как контент будет проиндексирован и насколько он будет соответствовать уточненным мультимодальным запросам пользователей.

Практические примеры

Сценарий: Оптимизация видеоинструкции по ремонту для мультимодального поиска

1. Задача: Продвинуть видео о замене фильтра в кофемашине BrandX Model 123.
2. Действия (основанные на патенте):
   • Начало видео: Четко показать кофемашину целиком, логотип BrandX и этикетку с названием Model 123. Это поможет системе индексации (Механизм 3) точно классифицировать объект с высоким Confidence Level.
   • Процесс ремонта: Крупным планом показать процесс извлечения фильтра. Система сможет извлечь контекст (Object + Context Identification).
   • Превью видео: Использовать изображение, на котором четко видна кофемашина BrandX Model 123.
3. Ожидаемый результат: Когда пользователь вводит запрос "как заменить фильтр" и фотографирует свою кофемашину BrandX Model 123, система Google распознает модель (Object Identification). Она формирует Composite Query или применяет Filtering. Оптимизированное видео с высокой вероятностью займет топовую позицию, так как его визуальные метаданные точно соответствуют запросу.