Как Google использует параметры кодирования видео (I-Frames) для автоматического определения границ сцен и генерации Key Moments

Описание

Какую задачу решает

Патент решает проблему вычислительной сложности, неэффективности и низкой точности традиционных методов автоматического определения границ сцен в видеоконтенте. Методы, основанные на глубоком анализе движения объектов или визуальном распознавании, ресурсоемки и не всегда точны. Изобретение предлагает быстрый и масштабируемый метод сегментации видео для последующей автоматизированной обработки, такой как классификация контента и создание кратких сводок (summary videos).

Что запатентовано

Запатентована система автоматического обнаружения сцен путем анализа параметров кодирования видео. Суть изобретения заключается в использовании расположения I-frames (Intra-frames или ключевых кадров) в сжатом видеопотоке как индикаторов смены сцен. Система идентифицирует I-frames и использует их как границы, при этом применяя критически важный механизм фильтрации ложных срабатываний, вызванных ошибками кодирования (Jitter).

Как это работает

Система анализирует закодированный видеопоток, состоящий из I-frames (содержат полное изображение) и P-frames/B-frames (содержат только изменения).

• Идентификация границ: Система исходит из того, что значительное визуальное изменение (смена сцены) заставляет кодировщик вставить I-frame. Эти кадры используются как потенциальные границы сцен.
• Фильтрация Jitter: Система идентифицирует I-frames, возникшие из-за технических сбоев, ограничений битрейта или резких движений (Jitter), а не из-за смены сцены. Это делается путем анализа расстояния между соседними I-frames. Если они расположены слишком близко (меньше минимального порога промежуточных кадров), они игнорируются как границы.
• Сегментация и Обработка: После определения валидных границ видео делится на сцены. Эти сцены могут быть далее использованы для генерации видеоклипов (video clips) и сборки сводного видео (summary video).

Актуальность для SEO

Высокая. Автоматическая сегментация и понимание структуры видеоконтента являются критически важными задачами для Google (YouTube, Video Search). Этот патент описывает эффективный механизм, который может лежать в основе функций автоматического создания глав и выделения ключевых моментов (Key Moments), отображаемых непосредственно в результатах поиска (SERP).

Важность для SEO

Патент имеет значительное влияние на стратегии видео-SEO (VSEO). Он раскрывает конкретный механизм, с помощью которого Google может автоматически сегментировать видео для лучшего понимания его структуры и содержания. Понимание того, как Google определяет границы сцен (используя I-frames), позволяет оптимизаторам и создателям контента структурировать видео таким образом, чтобы облегчить автоматическую сегментацию и повысить шансы на видимость через Key Moments и автоматические превью в SERP.

Детальный разбор

Термины и определения

I-frame (Intra-frame, Ключевой кадр)

Самодостаточный кадр в сжатом видео, который кодируется независимо, без ссылок на другие кадры. Содержит полное изображение. В контексте патента используется как основной индикатор начала новой сцены.

P-frame (Predictive frame, Предсказанный кадр)

Кадр, который содержит только данные, изменившиеся по сравнению с предыдущим I-frame или P-frame. Зависит от предыдущих кадров.

B-frame (Bi-predictive inter-frame)

Кадр, который ссылается как на предыдущие, так и на будущие кадры для кодирования изображения.

Jitter (Джиттер)

В контексте патента — ошибки кодирования или технические условия (например, резкое увеличение движения, ограничения битрейта), которые приводят к появлению I-frames, не связанных с фактической сменой сцены.

Scene Boundary (Граница сцены)

Точка в видео, где заканчивается одна сцена и начинается другая. Определяется местоположением I-frame, который не был отфильтрован как Jitter.

Summary Video (Сводное видео, Краткая версия)

Укороченная версия исходного видео, созданная путем сборки видеоклипов (Video Clips), извлеченных из разных сцен.

Scene Identification Component

Ядро системы, которое анализирует расположение I-frames и определяет границы сцен, фильтруя Jitter.

Analysis Component / Inference Component

Дополнительные модули, которые могут анализировать контент, аудио или метаданные для уточнения границ сцен или выбора оптимальных клипов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основную систему обнаружения сцен и генерации клипов с акцентом на обработку ошибок кодирования (Jitter).

1. Система анализирует видео, состоящее из I-frames и P-frames.
2. Идентифицируются I-frames, которые были закодированы как таковые в результате Jitter. Критерий идентификации: два последовательных I-frames разделены менее чем минимальным количеством P-frames (minimum number of P-frames).
3. Эти «джиттерные» I-frames обрабатываются (treat) как P-frames, то есть они НЕ используются как границы сцен (boundary points).
4. Система идентифицирует N сцен в видео, используя оставшиеся I-frames (те, что не были обработаны как P-frames) в качестве границ сцен.
5. Генерируются видеоклипы из одной или нескольких идентифицированных сцен.

Claim 10 (Независимый пункт, метод): Описывает метод, повторяющий логику Claim 1, фокусируясь на процессе идентификации и характеризации (characterizing) I-frames, вызванных jitter, как P-frames.

Claim 4 (Зависимый от 1): Уточняет механизм генерации клипов. Используются M последовательных кадров из сцены, при этом I-frame (начало сцены) используется как начальный кадр клипа.

Claim 6 и 7 (Зависимые от 1): Уточняют, что выбор конкретных фрагментов кадров для генерации клипа может основываться на анализе контента (content included) или аудио (audio included) в этих фрагментах.

Где и как применяется

Изобретение применяется преимущественно на этапе обработки и анализа видеоконтента.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Во время индексирования видеофайла система выполняет анализ его структуры.

• Процесс: Scene Identification Component анализирует техническую структуру файла (типы кадров I/P). Применяется алгоритм для идентификации I-frames и фильтрации Jitter, чтобы определить границы сцен.
• Извлечение признаков (Feature Extraction): Данные о сегментации используются для дальнейших задач, таких как классификация контента на уровне сцен (Scene Classification), генерация сводок (Summary Video Generation) и идентификация автоматических Key Moments.

METASEARCH / RERANKING – Метапоиск и Переранжирование
Результаты обработки используются для отображения в SERP. Идентифицированные границы сцен могут использоваться для функции Key Moments, позволяя пользователю переходить непосредственно к интересующей его сцене, а сгенерированные превью могут отображаться пользователю.

Входные данные:

• Закодированный видеофайл или поток (последовательность I-frames, P-frames, B-frames).
• Параметры для фильтрации Jitter (минимальное количество промежуточных кадров между I-frames).

Выходные данные:

• Идентифицированные границы сцен (таймкоды или номера кадров).
• (Опционально) Сгенерированные видеоклипы или сводное видео.

На что влияет

• Конкретные типы контента: Влияет на весь видеоконтент, который подвергается стандартному сжатию с использованием I-frames и P-frames (большинство современных кодеков, таких как H.264, VP9, AV1).
• Специфические запросы: Влияет на обработку видео для любых типов запросов, особенно информационных (how-to, обзоры), где важна сегментация по шагам или темам.
• Представление в поиске: Влияет на то, как видео представляется в SERP, включая автоматическую генерацию превью и выделение Key Moments.

Когда применяется

• Условия применения: Алгоритм применяется во время индексации или переиндексирования видеоконтента.
• Пороговые значения (Jitter Threshold): Ключевым параметром является минимальное количество P-frames (и/или B-frames), которое должно разделять два I-frames, чтобы они считались границами разных сцен. Если расстояние меньше этого порога, последующий I-frame классифицируется как Jitter. Патент упоминает примеры порогов (например, 2, 5 или 10 кадров).

Пошаговый алгоритм

Процесс А: Обнаружение сцен и фильтрация Jitter (Claims 1, 10)

1. Получение Видеопотока: Система получает доступ к закодированному видеопотоку.
2. Идентификация I-frames: Scene Identification Component анализирует поток и извлекает номера кадров всех I-frames.
3. Последовательная обработка и Фильтрация Jitter: Система итеративно обрабатывает идентифицированные I-frames.
   • Сравнивается расстояние (количество P/B-frames) между текущим I-frame и предыдущим валидным I-frame (границей сцены).
   • Если расстояние меньше минимального порога: Текущий I-frame классифицируется как результат jitter. Он обрабатывается как P-frame и игнорируется как граница сцены.
   • Если расстояние больше или равно порогу: Текущий I-frame считается валидным.
4. Определение границ сцен: Валидный I-frame декларируется как начало новой сцены.
5. Итерация: Процесс повторяется до конца видеопотока.

Процесс Б: Генерация Summary Video (Алгоритм, описанный в патенте)

1. Инициализация: Итерация по идентифицированным границам сцен (валидным I-frames). Текущая граница обозначается ‘curr’.
2. Проверка последней сцены: Определение, является ли ‘curr’ последним I-frame.
3. Генерация клипа (Если последняя): Если да, генерируется клип, начинающийся с ‘curr’. Продолжительность (d) равна минимуму из предопределенной максимальной продолжительности (‘max’) или количества оставшихся кадров.
4. Анализ следующей границы (Если не последняя): Если нет, анализируется следующая граница (‘next’).
5. Проверка расстояния: Определяется, превышает ли расстояние между ‘next’ и ‘curr’ значение ‘max’ плюс допустимое значение джиттера (‘jit’) (Условие: next — curr > max + jit).
6. Генерация клипа (Если расстояние достаточное): Если да, генерируется клип, начинающийся с ‘curr’, с продолжительностью ‘d’ = ‘max’. ‘curr’ становится равным ‘next’. Повтор с шага 2.
7. Обработка короткой сцены/джиттера (Если расстояние недостаточное): Если нет, система игнорирует ‘next’ как границу для текущей итерации. ‘next’ смещается к следующему I-frame (next+1), а ‘curr’ остается прежним. Повтор с шага 5. (Это позволяет объединить слишком короткие сегменты).

Какие данные и как использует

Данные на входе

Ядро изобретения (Claim 1) основано исключительно на технических параметрах кодирования.

• Технические факторы: Типы кадров (I-frame, P-frame, B-frame) и их последовательность/расположение в видеопотоке.

В патенте (Описание и зависимые Claims 6, 7) также упоминается использование Analysis Component и Inference Component, которые могут использовать дополнительные данные для уточнения границ сцен или выбора клипов:

• Контентные факторы: Анализ изображения (изменения в движении объектов, цвете, яркости).
• Аудио факторы: Анализ аудиодорожки (изменения в музыке, диалогах, громкости).
• Метаданные: Информация о месте съемки, времени (если доступно).

Какие метрики используются и как они считаются

• Расстояние между I-frames: Вычисляется как количество P-frames (и/или B-frames) между последовательными I-frames.
• Порог Jitter (Minimum Spacing Requirement): Предопределенное значение (M). Если расстояние между I-frames < M, второй I-frame считается результатом jitter. Примеры в патенте: 2, 5 или 10 кадров.
• Длительность клипа (M или d): Количество кадров, извлекаемых из сцены.
• Maximum Clip Duration (Max) и Jitter duration (Jit): Параметры, используемые в алгоритме генерации видеоклипов для определения длины извлекаемого клипа и принятия решения об объединении коротких сегментов.

Выводы

1. Эффективность через низкоуровневые сигналы: Google использует низкоуровневые технические сигналы кодирования (I-frames) как основной и вычислительно эффективный способ обнаружения смены сцен. Это позволяет масштабируемо обрабатывать огромные объемы видеоконтента быстрее, чем при полном визуальном анализе.
2. Структура видео определяет сегментацию: То, как видео смонтировано (визуальные переходы) и закодировано, напрямую влияет на то, как Google его сегментирует. Резкие смены планов и четкие переходы способствуют вставке I-frames, что облегчает автоматическое обнаружение сцен.
3. Фильтрация шума (Jitter) критична: Ключевая часть изобретения — способность отличать реальную смену сцены от технических артефактов кодирования (Jitter) на основе анализа интервалов между кадрами (P-frame separation).
4. Сегментация как основа для Video Understanding: Обнаружение сцен — это первый шаг к более глубокому анализу. Патент указывает на использование сегментации для классификации сцен (Scene Classification) и генерации сводок (Summary Video Generation).
5. Автоматизация Key Moments: Этот механизм предоставляет техническую основу для автоматической генерации функции Key Moments в поиске, позволяя Google выделять релевантные сегменты без ручной разметки.

Практика

Best practices (это мы делаем)

• Четкая структура и монтаж видео: Создавайте видео с логичной структурой и используйте четкие визуальные переходы (например, прямые склейки/hard cuts или короткие графические перебивки) между разными темами или шагами. Это увеличивает вероятность того, что видеокодер вставит I-frame именно в момент перехода, что поможет системе Google корректно сегментировать контент.
• Оптимизация начала сцен: Поскольку I-frames (начало сцены) часто используются как начальные кадры для видеоклипов и превью (Claim 4), убедитесь, что начало каждой новой темы содержит визуально привлекательный и информативный контент.
• Использование аудио и визуальных подсказок: Система может использовать анализ контента и аудио для уточнения границ сцен (Claim 6, 7). Четкое проговаривание начала новой темы или изменение фоновой музыки в момент смены сцены может усилить сигналы для автоматической сегментации.
• Контроль качества кодирования: Используйте оптимальные настройки кодирования и достаточный битрейт. Избегайте экстремально низкого битрейта, который может увеличить количество ошибок кодирования (Jitter) и нарушить корректную сегментацию.

Worst practices (это делать не надо)

• Использование длинных и медленных переходов: Очень медленные, постепенные переходы между сценами (например, долгий cross-dissolve) могут помешать кодеру распознать необходимость вставки I-frame в нужный момент, что затруднит автоматическую сегментацию.
• Монотонный видеоряд без переходов: Публикация длинных видео без явных визуальных изменений (например, «говорящая голова» без монтажных склеек) может привести к тому, что система проиндексирует видео как одну длинную сцену.
• Чрезмерно динамичный монтаж или нестабильная съемка: Частые, быстрые склейки или «трясущаяся камера» могут увеличить вероятность возникновения Jitter или создания множества коротких, бессмысленных сцен, что ухудшит понимание контента системой.

Стратегическое значение

Патент подтверждает способность Google автоматически понимать структуру видеоконтента на техническом уровне, не полагаясь только на метаданные, предоставленные пользователем. Для VSEO это означает, что оптимизация должна включать не только метаданные, но и сам продакшн видео. Стратегия должна быть направлена на создание контента, который легко «читается» автоматическими системами сегментации. Это критически важно для улучшения видимости видео в органическом поиске, особенно через функционал Key Moments и автоматические превью.

Практические примеры

Сценарий: Оптимизация видеоинструкции (How-to video) для автоматической сегментации (Key Moments)

1. Задача: Увеличить вероятность появления автоматических Key Moments для каждого шага инструкции в SERP.
2. Анализ (на основе патента): Google ищет I-frames как индикаторы начала новой сцены (шага). I-frames чаще всего вставляются при резкой смене визуального ряда.
3. Действия при продакшене: При монтаже видео убедитесь, что переход между шагами выполнен через жесткую склейку (hard cut) или через четкий визуальный разделитель (например, слайд с названием шага).
4. Действия при кодировании: Использовать стандартные настройки кодека (например, H.264/H.265) с достаточным битрейтом, которые реагируют на эти склейки вставкой I-frame.
5. Ожидаемый результат: Система Google при индексации с большей вероятностью определит начало каждого шага как новую сцену, используя вставленные I-frames. Это позволит автоматически выделить эти шаги как Key Moments в результатах поиска.

Вопросы и ответы