Как Google использует машинное обучение для анализа содержания видео и динамического выбора релевантных тамбнейлов

Термины и определения

Click-Through Module (Модуль анализа кликов)

Механизм для автоматического сбора обучающих данных. Отслеживает запросы пользователей и клики по результатам для определения ассоциаций между запросами и медиаконтентом.

Feature-Keyword Model (Модель Признак-Ключевое слово)

Модель машинного обучения, которая связывает аудиовизуальные признаки (features) медиаконтента с ключевыми словами (keywords). Может быть реализована как матрица весов (feature-keyword matrix) или набор классификаторов.

Features (Признаки)

Низкоуровневые характеристики контента. Для изображений: цвет (color features), текстура (texture features, например, LBP). Для аудио: MFCCs, спектрограммы.

Keyword Association Score (или Keyword Score)

Числовая оценка, представляющая силу связи между ключевым словом и признаками кадра/сцены. Указывает на вероятность того, что ключевое слово описывает контент.

Labeled Training Dataset (Размеченный обучающий набор данных)

Набор медиафайлов (изображения, аудиоклипы), помеченных релевантными ключевыми словами. Используется для обучения Feature-Keyword Model.

Patches (Патчи)

Небольшие сегменты изображения (например, 64x64 пикселя), используемые для извлечения локальных признаков.

Video Annotation Engine (Движок аннотирования видео)

Компонент, который аннотирует кадры или сцены видео ключевыми словами на основе их содержания, используя Feature-Keyword Model.

Video Annotation Index (Индекс аннотаций видео)

Индекс, хранящий рассчитанные Keyword Association Scores для кадров/сцен видео. Используется для поиска и выбора тамбнейлов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый): Описывает офлайн-метод создания поискового индекса видео.

1. Получение labeled training dataset (медиа + ключевые слова).
2. Извлечение признаков (features) из медиа.
3. Обучение модели (machine-learned model) для изучения корреляций между признаками и ключевыми словами.
4. Создание видеоиндекса, который связывает кадры видео с ключевыми словами, используя признаки из видео и обученную модель.

Ядро изобретения — это создание индекса для видео, основанного на содержании. Это достигается через ML-модель, которая переводит аудиовизуальные признаки в семантические ключевые слова.

Claim 10 (Зависимый): Детализирует итеративный процесс обучения feature-keyword matrix (одной из реализаций модели).

Описывается процесс обучения ранжированию. Система инициализирует матрицу, выбирает положительный пример (медиа, связанное с ключевым словом) и отрицательный пример. Рассчитываются Keyword Scores. Если оценка положительного примера не превышает оценку отрицательного на пороговое значение, веса матрицы корректируются. Это итеративный процесс оптимизации модели.

Claim 13 (Независимый): Описывает онлайн-метод представления результатов поиска видео (выбор тамбнейлов).

1. Получение видео (например, как результата поиска).
2. Выбор кадра из видео как репрезентативного, используя video annotation index (который хранит keyword association scores).
3. Предоставление выбранного кадра в качестве тамбнейла.

Ключевой аспект — выбор тамбнейла не случайным образом, а на основе рассчитанной релевантности содержания кадра.

Claims 14, 15 и 16 (Зависимые): Уточняют механизм выбора кадра и источник ключевого слова.

Выбирается целевое ключевое слово, и из индекса извлекается кадр с наивысшим keyword association score для этого слова (Claim 14). Источником целевого ключевого слова может быть заголовок видео (Claim 15) или запрос пользователя (Claim 16). Это позволяет динамически выбирать тамбнейл: либо наиболее релевантный общей теме видео, либо наиболее релевантный конкретному запросу.

Где и как применяется

Изобретение применяется в системе хостинга видео (Video Hosting System) и затрагивает этапы индексирования и ранжирования/представления результатов.

INDEXING – Индексирование и извлечение признаков (Офлайн-процессы)

• Сбор данных и Обучение: Click-Through Module собирает данные о поведении пользователей для формирования Labeled Training Dataset. Learning Engine анализирует эти данные и обучает Feature-Keyword Model.
• Индексирование видео: Video Annotation Engine обрабатывает видео. Он сэмплирует кадры, извлекает признаки и применяет обученную модель для расчета Keyword Association Scores. Результаты сохраняются в Video Annotation Index.

RANKING, RERANKING & METASEARCH (Онлайн-процессы)

• Поиск и Ранжирование: Video Search Engine может использовать Video Annotation Index для поиска видео по содержанию. Keyword Association Scores могут учитываться при ранжировании (Claim 19).
• Выбор тамбнейлов (Presentation Layer): После определения набора результатов Video Search Engine использует Video Annotation Index для выбора наиболее релевантного кадра в качестве тамбнейла. Это происходит на финальных этапах формирования выдачи (RERANKING или METASEARCH).

Входные данные:

• Обучающие данные (медиафайлы, ключевые слова, данные кликстрима).
• Видеофайлы из базы данных.
• Пользовательский запрос.
• Метаданные видео (заголовки).

Выходные данные:

• Обученная Feature-Keyword Model.
• Заполненный Video Annotation Index.
• Поисковая выдача с видеорезультатами и динамически выбранными релевантными тамбнейлами.

На что влияет

• Типы контента: Основной фокус на видеоконтенте. Изображения и аудио анализируются в составе видео и используются для обучения модели.
• Конкретные ниши: Влияет на все тематики. Особенно полезно для длинных видео с разнообразным содержанием (фильмы, обзоры, инструкции), где метаданные не могут описать все сцены.
• Дополнительные функции: Патент также описывает использование системы для:
  • Поиска конкретных сцен внутри видео, релевантных запросу (соответствует функции Key Moments).
  • Предложения похожих видео (Related Videos) на основе схожести аудиовизуального содержания.
  • Таргетинга рекламы в реальном времени на основе содержания текущего кадра во время воспроизведения.

Когда применяется

• Обучение модели: Происходит периодически или непрерывно по мере поступления новых обучающих данных (например, кликстрима).
• Индексирование (Аннотирование): При добавлении нового видео в базу данных или при периодическом переиндексировании.
• Поиск и выбор тамбнейлов: В реальном времени при каждом запросе пользователя.

Пошаговый алгоритм

Процесс А: Обучение модели (Офлайн)

1. Сбор данных: Формирование Labeled Training Dataset путем анализа кликов пользователей (какие результаты выбираются по каким запросам) или из внешних источников.
2. Идентификация ключевых слов: Определение набора наиболее часто встречающихся ключевых слов.
3. Извлечение признаков: Сегментация медиа (например, на patches для изображений). Извлечение низкоуровневых признаков (цвет, текстура, аудио).
4. Кластеризация признаков: Применение алгоритмов (например, K-means) для определения набора наиболее репрезентативных векторов признаков.
5. Обучение ассоциаций: Итеративное обучение Feature-Keyword Model (например, матрицы). Система сравнивает положительные и отрицательные примеры и корректирует веса модели так, чтобы релевантные медиа получали более высокие оценки для соответствующих ключевых слов (как описано в Claim 10).

Процесс Б: Аннотирование и Индексирование (Офлайн/Батч)

1. Сэмплирование видео: Выборка кадров из видео (периодически или на основе определения границ сцен).
2. Извлечение признаков: Генерация векторов признаков для каждого выбранного кадра.
3. Расчет оценок: Применение обученной Feature-Keyword Model к векторам признаков для получения Keyword Association Scores для каждого кадра.
4. Индексирование: Сохранение рассчитанных оценок в Video Annotation Index с привязкой к идентификатору кадра и видео.

Процесс В: Обработка запроса и Выбор тамбнейла (Онлайн)

1. Получение запроса и Поиск: Получение ключевых слов от пользователя и определение набора релевантных видео.
2. Выбор стратегии тамбнейла: Определение источника целевого ключевого слова для выбора тамбнейла:
   Вариант 1: Запрос пользователя (Claim 16).
   Вариант 2: Ключевое слово из метаданных видео, например, заголовка (Claim 15).
3. Выбор кадра: Для каждого видео выполняется поиск в Video Annotation Index кадра с наивысшим Keyword Association Score для целевого ключевого слова.
4. Отображение: Представление результатов поиска с выбранными кадрами в качестве тамбнейлов.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Аудиовизуальные): Пиксельные данные кадров видео и аудиодорожки. Эти данные являются основой для извлечения признаков.
• Контентные факторы (Текстовые): Ключевые слова в обучающих данных. Метаданные видео (заголовки, описания) — используются как источник ключевых слов для выбора тамбнейлов. Пользовательские запросы.
• Поведенческие факторы: Данные кликстрима (Click-through data). Используются для автоматического создания Labeled Training Dataset путем анализа того, какие результаты пользователи выбирают по определенным запросам.

Какие метрики используются и как они считаются

Извлечение признаков (Features):

• Color Features: Цветовые гистограммы, которые хранят распределение цветов в пределах сегмента изображения (patch).
• Texture Features: Локальные бинарные шаблоны (Local Binary Patterns, LBPs). Представляют данные о текстуре и краях путем сравнения интенсивности пикселя с его соседями.
• Audio Features: Мел-частотные кепстральные коэффициенты (MFCCs), стабилизированные слуховые образы (SAI), спектрограммы.

Методы машинного обучения:

• Кластеризация (K-means): Используется для обработки извлеченных признаков и определения наиболее репрезентативных паттернов (доминантных цветов, текстур) в обучающем наборе.
• Обучение ранжированию (Iterative Learning): Используется для обучения Feature-Keyword Model. Веса модели корректируются так, чтобы положительные примеры получали Keyword Score выше отрицательных на определенное пороговое значение (Threshold).
• Классификаторы: Упоминается возможность использования дискриминативных моделей, таких как Support Vector Machines (SVM).

Метрики:

• Keyword Association Score: Рассчитывается путем применения Feature-Keyword Model к вектору признаков кадра (например, путем умножения вектора признаков на feature-keyword matrix). Эта оценка определяет релевантность кадра ключевому слову.

1. Глубокий анализ содержания видео: Google обладает инфраструктурой для детального анализа аудиовизуального содержания видео покадрово. Система не полагается только на метаданные, а стремится понять, что изображено и что звучит в каждом кадре.
2. Перевод признаков в семантику: Ключевым элементом является использование машинного обучения (Feature-Keyword Model) для перевода низкоуровневых аудиовизуальных признаков (цвет, текстура, звук) в высокоуровневые семантические концепции (ключевые слова).
3. Обучение на поведении пользователей: Система использует данные о кликах пользователей (Click-Through data) для автоматического сбора масштабных обучающих наборов данных, что позволяет модели постоянно совершенствоваться.
4. Динамический и контекстно-зависимый выбор тамбнейлов: Тамбнейл для одного и того же видео может меняться. Система может выбрать его на основе общего содержания видео (используя заголовок) ИЛИ на основе конкретного запроса пользователя, чтобы максимизировать визуальную релевантность и CTR.
5. Поиск внутри видео (Scene Search): Описанная инфраструктура (индекс с оценками ключевых слов для кадров) позволяет искать конкретные сцены внутри длинных видео, соответствующие запросу (Key Moments).
6. Мультимодальное применение: Описанные механизмы анализа содержания применяются не только для поиска, но и для рекомендаций похожих видео и таргетинга рекламы на основе содержания.

Best practices (это мы делаем)

• Обеспечение высокого аудиовизуального качества: Четкое изображение и чистый звук помогают системе корректно извлекать признаки (features) и ассоциировать контент с релевантными ключевыми словами. Это улучшает способность системы понимать содержание видео.
• Визуальное соответствие интенту запроса: Убедитесь, что ключевые моменты видео визуально соответствуют целевым запросам. Если видео оптимизируется под запрос "как завязать галстук", в нем должны присутствовать четкие кадры этого процесса. Это увеличивает Keyword Association Scores для этих кадров.
• Создание визуально сильных и разнообразных сцен: Структурируйте видео так, чтобы ключевые моменты были визуально выражены. Так как система автоматически выбирает наиболее релевантный кадр в качестве тамбнейла, важно создавать визуально насыщенные сцены. Это повышает вероятность выбора привлекательного кадра, что положительно влияет на CTR.
• Точная оптимизация метаданных (Title/Description): Метаданные остаются важными. Патент указывает (Claim 15), что заголовок видео может использоваться как источник ключевых слов для выбора наиболее репрезентативного тамбнейла. Точные метаданные помогают системе правильно интерпретировать контекст.

Worst practices (это делать не надо)

• Кликбейт в метаданных и несоответствие контенту: Создание заголовков, которые не соответствуют фактическому содержанию видео. Если контента визуально нет в видео, система не сможет найти релевантный кадр для тамбнейла, что может привести к низким Keyword Association Scores и плохому выбору тамбнейла.
• Низкое качество продакшена: Размытое видео, плохой звук, отсутствие четкой структуры затрудняют извлечение признаков и анализ содержания, снижая потенциал ранжирования видео.
• Монотонный видеоряд: Видео, где визуальный ряд однообразен (например, статичный слайд на протяжении всего ролика), не дает системе разнообразия кадров для выбора динамических тамбнейлов под разные запросы.

Стратегическое значение

Патент подтверждает стратегическое направление Google на глубокое понимание мультимедийного контента. Для SEO-специалистов это подчеркивает важность Video SEO и необходимость оптимизации не только текстовых элементов, но и самого аудиовизуального продукта. Google стремится понять, что именно показано и сказано в видео, и использует это понимание для улучшения презентации результатов (CTR) и ранжирования.

Практические примеры

Сценарий: Оптимизация видеообзора гаджета для динамического выбора тамбнейла.

1. Задача: Продвинуть видеообзор нового смартфона по запросам, связанным с моделью и ее функциями (например, "обзор iPhone X" и "тест камеры iPhone X").
2. Действие: При съемке видео создаются разнообразные сцены: общая презентация, четкие крупные планы устройства, демонстрация работы камеры.
3. Как работает система: Video Annotation Engine анализирует кадры. Кадры с крупным планом устройства получат высокие Keyword Association Scores для "iPhone X". Кадры, демонстрирующие процесс съемки или примеры фото, получат высокие оценки для "тест камеры".
4. Результат: По запросу "обзор iPhone X" система выберет крупный план устройства. По запросу "тест камеры iPhone X" система выберет кадр, связанный с камерой. Тамбнейл динамически адаптируется под запрос, повышая релевантность и CTR.