Как Google использует одновременный ввод видео и аудио (Multimodal Search) для понимания сложных запросов

Термины и определения

Audio Data (Аудиоданные)

Входные данные, полученные с микрофона устройства, связанные с видео. Могут включать голосовые команды пользователя или фоновые звуки.

Audio Signature (Аудиосигнатура)

Цифровое представление (акустический отпечаток) аудиоданных. Используется для идентификации и сопоставления неречевых звуков (например, для диагностики проблем по звуку) путем сравнения с базой данных известных сигнатур.

Automatic Speech Recognition (ASR)

Технология автоматического распознавания речи, используемая для преобразования голосовой команды в текстовый запрос (Text Query).

Frame Selection Algorithm (Алгоритм выбора кадров)

Механизм для выбора подмножества ключевых кадров из видеопотока для повышения эффективности обработки. Может основываться на равномерной выборке или данных о положении/ориентации камеры (spatial relationship).

Image Embeddings (Эмбеддинги изображений)

Векторные представления отдельных кадров видео, сгенерированные ML-моделью.

Multimodal Multitask Unified Model (MUM)

Упоминается в патенте как пример сложной ML-модели, обученной понимать информацию из различных форматов, включая видео и текст.

Polymath model

Тип ML-модели, упомянутый в патенте, способный выполнять широкий спектр задач в разных доменах. Указано, что может обучаться на обучающих видео (tutorial videos).

Temporal Information (Временная информация)

Данные, описывающие изменения и прогрессию контента во времени. Включает данные о движении объектов, последовательности действий и изменениях сцены. Важно для понимания динамики видео.

Video Embeddings (Видео-эмбеддинги)

Векторные представления всего видео (или его сегмента), кодирующие его семантическое содержание. Могут быть получены путем агрегации (например, усреднения) Image Embeddings.

Video Index (Индекс видео)

Структурированное хранилище предварительно вычисленных Video Embeddings для большого корпуса видео, позволяющее выполнять быстрый поиск по сходству.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод мультимодального поиска.

1. Система получает видеоданные (последовательность кадров) с камеры устройства.
2. Система получает связанные аудиоданные.
3. Используя ML-модели, система обрабатывает кадры для генерации Video Embeddings.
4. Система определяет один или несколько видеорезультатов на основе комбинации Video Embeddings и аудиоданных.
5. Результаты передаются на устройство пользователя.

Claim 2 (Зависимый от 1): Дополняет процесс генерацией и использованием временной информации.

• ML-модели генерируют Temporal Information, связанную с последовательностью кадров.
• Определение видеорезультатов дополнительно основывается на этой Temporal Information.

Claim 3 (Зависимый от 1): Уточняет способ обработки аудио через ASR.

• Аудиоданные обрабатываются с помощью ASR для генерации Text Query.
• Определение видеорезультатов дополнительно основывается на этом текстовом запросе.

Claim 4 и 5 (Зависимые от 1): Детализируют процесс генерации Video Embeddings.

• Используется Frame Selection Algorithm для выбора подмножества кадров (Claim 4).
• Video Embeddings могут быть получены путем усреднения (averaging) Image Embeddings выбранных кадров (Claim 5).

Claim 12 и 13 (Зависимые от 1): Описывают механизм использования аудиосигнатур (анализ звука).

1. Система генерирует входную Audio Signature из аудиоданных (Claim 12).
2. Система обнаруживает целевой объект в видео.
3. Система обращается к базе данных известных аудиосигнатур, связанных с этим объектом.
4. Система ищет совпадение, сравнивая входную сигнатуру с известными. Если оценка сравнения (comparison score) превышает порог, результаты определяются на основе совпавшей сигнатуры (Claim 13).

Claim 14 и 15 (Зависимые от 1): Описывают процесс поиска и ранжирования.

• Сгенерированные Video Embeddings сопоставляются (mapping) с индексом видео-эмбеддингов (Claim 14).
• Эмбеддинги в индексе ранжируются на основе сравнения (поиска по сходству) со сгенерированными эмбеддингами (Claim 15).

Claim 19 (Независимый пункт): Описывает метод со стороны клиентского устройства (On-Device ML).

1. Устройство захватывает видео и аудио.
2. Локальные ML-модели обрабатывают аудио и видео одновременно (concurrently) для генерации Video Embeddings.
3. Эмбеддинги передаются на сервер.
4. Устройство получает результаты от сервера и отображает их.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поисковой архитектуры, фокусируясь на взаимодействии пользователя с поиском и интерпретации сложных входных данных.

INDEXING – Индексирование и извлечение признаков
Для работы системы необходимо предварительное создание Video Index. На этом этапе существующий корпус видео (в патенте упоминаются обучающие видео на онлайн-платформах) обрабатывается мультимодальными ML-моделями для извлечения и сохранения Video Embeddings, Temporal Information и Audio Signatures.

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Система меняет способ ввода и понимания запроса. Вместо текста система получает мультимодальный поток (видео + аудио). ML-модели (Polymath model или MUM) используются для интерпретации этого потока и преобразования его в структурированное представление (эмбеддинги, текст, сигнатуры), пригодное для поиска. Обработка может происходить как на сервере, так и на устройстве пользователя.

RANKING – Ранжирование (Этап Retrieval)
На этапе отбора кандидатов система использует сгенерированные Video Embeddings для выполнения поиска по сходству (similarity search) в Video Index. Система сопоставляет эмбеддинг запроса с эмбеддингами в индексе и ранжирует их на основе сравнения.

METASEARCH – Метапоиск и Смешивание
Система может предоставлять не только видеорезультаты, но и веб-результаты (Web Results) или вывод дополненной реальности (Augmented Reality Output), что требует смешивания результатов из разных индексов на основе мультимодального запроса.

Входные данные:

• Video Data (последовательность кадров с камеры).
• Audio Data (голосовая команда или фоновый звук с микрофона).
• Данные сенсоров (позиция и ориентация камеры — могут использоваться в Frame Selection Algorithm).

Выходные данные:

• Финальный набор результатов поиска (Video Results, Web Results, Augmented Reality Output).

На что влияет

• Конкретные типы контента: Наибольшее влияние на обучающий (How-To), инструкционный контент, обзоры продуктов, диагностику и руководства по ремонту.
• Специфические запросы: Влияет на запросы, которые сложно выразить текстом, но легко показать и описать голосом. Информационные запросы, связанные с физическим миром, и запросы на обучение действиям (например, танцы, спорт).
• Конкретные ниши или тематики: Ремонт автомобилей и техники, DIY, кулинария, фитнес, образование, электронная коммерция (поиск товаров по видео, сравнение товаров на полке).

Когда применяется

• Триггеры активации: Алгоритм применяется, когда пользователь инициирует мультимодальный поиск через соответствующий интерфейс (например, приложение камеры или Google Lens), предоставляя одновременный ввод видео и аудио для формулирования сложного запроса.
• Вариативность реализации: Патент описывает два варианта архитектуры: Серверная обработка (устройство отправляет сырые данные на сервер) и Клиентская обработка (On-Device ML, устройство генерирует эмбеддинги локально и отправляет их на сервер).

Пошаговый алгоритм

Этап 1: Получение мультимодальных данных

1. Система активирует камеру и микрофон пользовательского устройства.
2. Получение потока видеоданных (последовательность кадров) и синхронизированного потока аудиоданных.

Этап 2: Обработка видео и генерация эмбеддингов

1. (Опционально) Применение Frame Selection Algorithm для выбора подмножества ключевых кадров (например, на основе равномерной выборки или движения камеры).
2. Обработка выбранных кадров с помощью ML-моделей (локально или на сервере).
3. Генерация Image Embeddings для каждого выбранного кадра.
4. Агрегация Image Embeddings (например, путем усреднения) для создания финальных Video Embeddings.
5. (Опционально) Генерация Temporal Information на основе анализа последовательности кадров (с использованием техник типа RNN, LSTM или 3D-CNN).

Этап 3: Обработка аудио

Система может использовать один или несколько подходов:

• Подход A (ASR): Обработка аудиоданных с помощью ASR для генерации Text Query.
• Подход B (Audio Signature): Обработка аудиоданных для генерации входной Audio Signature (для анализа неречевых звуков).
• Подход C (Совместная обработка): Ввод сырых аудиоданных совместно с видео в мультимодальную модель (concurrent processing).

Этап 4: Поиск и ранжирование

1. Формирование итогового поискового запроса, включающего Video Embeddings, обработанные аудиоданные и Temporal Information.
2. Сопоставление (mapping) Video Embeddings с Video Index (поиск по сходству).
3. (Если используется Audio Signature) Идентификация объекта в видео и сравнение входной сигнатуры с базой данных известных сигнатур для этого объекта. Поиск совпадения, если comparison score превышает порог.
4. Ранжирование кандидатов в индексе на основе сравнения с эмбеддингами запроса и другими сигналами.
5. Определение финального набора результатов.

Этап 5: Предоставление результатов

1. Передача результатов (видео, веб, AR) на устройство пользователя для отображения.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Видео): Последовательность кадров изображения. Система анализирует визуальное содержание, объекты, сцены, движение и действия, зафиксированные в кадрах.
• Мультимедиа факторы (Аудио): Аудиопоток. Анализируется как речь пользователя (голосовая команда), так и фоновые звуки (например, шум работающего устройства).
• Пользовательские и Технические факторы (Сенсоры): Данные о позиции и ориентации камеры могут использоваться для выбора наиболее информативных кадров (Frame Selection Algorithm) и понимания пространственного отношения к объекту (spatial relationship).

Какие метрики используются и как они считаются

Патент фокусируется на использовании векторных представлений и моделей машинного обучения:

• Video Embeddings / Image Embeddings: Многомерные числовые векторы, кодирующие семантическое значение. Генерируются моделями ML.
• Temporal Information: Метрики, фиксирующие динамику и изменения контента во времени.
• Audio Signature: Акустический отпечаток входного звука.
• Comparison Score (Оценка сравнения): Метрика сходства для аудиосигнатур. Используется пороговое значение (threshold value) для определения совпадения.
• Ранжирование на основе сходства эмбеддингов (Vector Similarity): Основной механизм поиска. Используется для определения релевантности путем сравнения расстояния между Video Embeddings запроса и эмбеддингами в Video Index.
• Алгоритмы машинного обучения: Упоминаются Polymath model и Multimodal Multitask Unified Model (MUM). Также упоминаются техники для анализа временной информации (RNN, LSTM и 3D-CNN).
• Данные для обучения: Модели обучаются на обучающих видео (tutorial videos), публично доступных на онлайн-платформах (в описании также упоминается датасет HowTo 100M).

1. Мультимодальность как стандарт ввода для сложных запросов: Google активно развивает интерфейсы, позволяющие пользователям "показать и спросить" (видео + голос). Это фундаментальный сдвиг от текстового поиска как основного интерфейса для решения практических задач.
2. Глубокое понимание видео через Embeddings и Temporal Analysis: Ключевыми механизмами понимания контента являются Video Embeddings (что показано) и Temporal Information (что происходит, последовательность действий). Поиск осуществляется путем сравнения векторов в многомерном пространстве (Vector Search).
3. Анализ аудио за пределами речи: Система гибко обрабатывает аудио: преобразует речь в текст (ASR), анализирует неречевые звуки (Audio Signature) для диагностики или использует аудио совместно с видео в мультимодальной модели.
4. Критичность инструкционного контента для ИИ: Прямое указание на обучение моделей на tutorial videos подчеркивает стратегическую важность качественного обучающего видеоконтента для Google.
5. Гибкость архитектуры (On-Device vs Server-Side): Патент предусматривает возможность выполнения ресурсоемкой генерации эмбеддингов как на сервере, так и на устройстве пользователя (Claim 19), что позволяет балансировать между качеством, скоростью и конфиденциальностью.

Best practices (это мы делаем)

• Приоритет инструкциональному видеоконтенту (How-To): Создавайте четкие, полезные видео, которые демонстрируют решение проблем или обучение. Так как модели Google обучаются на таком контенте, он имеет высокий потенциал для ранжирования в ответ на мультимодальные запросы.
• Обеспечение визуальной четкости и качества: Поскольку система полагается на Video Embeddings, генерируемые из кадров, видео должно быть высокого качества, с хорошим освещением и четким отображением объектов. Это необходимо для точного распознавания.
• Оптимизация под темпоральное понимание (Temporal Information): Структурируйте видео логично. Для инструкций показывайте четкую последовательность шагов. ML-модели, анализирующие временную информацию, лучше поймут контент с ясной прогрессией действий.
• Синхронизация аудио и видеоряда: Убедитесь, что закадровый голос или звук на видео точно соответствует тому, что показано на экране. Мультимодальные модели обрабатывают эти потоки совместно (concurrently), и соответствие между ними критично для правильной интерпретации.
• Оптимизация для распознавания звуков (Audio Signature): Если контент связан с диагностикой (например, ремонт техники), убедитесь, что ключевые объекты четко видны, а специфические звуки хорошо записываются и не перекрываются фоновой музыкой.

Worst practices (это делать не надо)

• Низкое качество продакшена: Размытое видео, плохое освещение или некачественный звук снижают способность ML-моделей генерировать точные эмбеддинги и распознавать речь/звуки.
• Хаотичная структура и визуальная неоднозначность: Видео без четкого фокуса или отсутствие ясной последовательности действий затрудняют анализ Temporal Information и генерацию качественных эмбеддингов.
• Рассинхронизация модальностей: Использование стоковых видеорядов, которые не соответствуют аудиодорожке, может привести к неправильной интерпретации контента мультимодальными моделями.
• Игнорирование Video SEO для сложных тем: Полагаться только на текстовый контент для сложных инструкциональных или диагностических тем становится рискованно, так как мультимодальный поиск может предложить более релевантные видеоответы.

Стратегическое значение

Этот патент подтверждает, что мультимодальный поиск — это фундаментальный сдвиг в том, как пользователи взаимодействуют с поиском и как Google понимает мир. Для SEO это означает необходимость перехода от оптимизации текста к оптимизации сущностей, действий и процессов, зафиксированных на видео. Долгосрочная стратегия должна включать инвестиции в качественный видеоконтент, оптимизированный для машинного понимания (векторного поиска), особенно в практических нишах.

Практические примеры

Сценарий 1: Оптимизация видео по ремонту техники (использование Audio Signature)

• Действие: Создание видео "Диагностика странного шума в стиральной машине [Бренд]".
• Реализация (по патенту):
  • Четко показать модель машины и область проблемы (для Video Embeddings и идентификации объекта).
  • Записать чистый пример шума (для генерации Audio Signature).
  • Показать процесс диагностики и ремонта (для Temporal Information).
• Ожидаемый результат: Пользователь, снимающий свою шумную машину и спрашивающий "Что это?", получит это видео в выдаче. Система сопоставит объект (машину) и звук (сигнатуру) с проиндексированным видео.

Сценарий 2: Создание обучающего спортивного контента (использование Temporal Information)

• Действие: Создание видео "Обучение технике подачи в волейболе".
• Реализация (по патенту):
  • Съемка движений с разных ракурсов, замедленное воспроизведение ключевых фаз.
  • Четкая демонстрация последовательности движений и биомеханики (для извлечения Temporal Information).
  • Голосовые инструкции, синхронизированные с действиями.
• Ожидаемый результат: Пользователь, снимающий видео чьей-то подачи и спрашивающий "Как научиться так подавать?", получит это обучающее видео, так как система распознает последовательность движений.