Как Google использует структурные разрывы (смены сцен и тишину) для идентификации дубликатов видео и организации видео-поиска

Термины и определения

Discontinuity (Разрыв)

Точка во времени в аудиовизуальном контенте, где происходит значительное структурное изменение (например, смена сцены или начало тишины).

Endpoint (Конечная точка)

Кадр, соответствующий временному расположению разрыва.

Fingerprint (Фингерпринт / Цифровой отпечаток)

Компактное представление (например, битовая последовательность), представляющее структурные характеристики разрывов в определенном сегменте видео.

Fingerprint Sequence (Последовательность фингерпринтов)

Упорядоченный набор фингерпринтов, представляющий все видео целиком.

Locality Sensitive Hashing (LSH)

Метод хеширования, используемый на этапе индексации для эффективного поиска похожих элементов. Позволяет быстро находить похожие сигнатуры без прямого сравнения со всей базой.

Min-hash

Техника хеширования, применяемая к фингерпринту для генерации его сигнатуры (Signature). Уменьшает размерность данных, сохраняя при этом информацию о схожести.

Shot (Сцена/План)

Непрерывная последовательность видеокадров, снятая одной камерой.

Shot Boundary (Граница сцены)

Точка перехода между двумя разными сценами. Может быть резкой сменой плана (cut), затуханием (fade) или наплывом (dissolve).

Silent Point (Точка тишины)

Временная метка в аудиопотоке, где громкость падает ниже определенного порога на определенное время.

Signature / Signature Blocks (Сигнатура / Блоки сигнатуры)

Результат процесса индексации (например, min-hash). Сигнатура используется для быстрого сравнения фингерпринтов. Она может быть разделена на блоки для использования в LSH.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод создания фингерпринта для видео.

1. Идентификация множества разрывов (discontinuities) в аудиовизуальном контенте видео.
2. Генерация закодированного представления (encoded data representation) последовательности кадров. Кадры с разрывами (конечные точки) получают одно значение (например, 1), кадры без разрывов — другое (например, 0). Значения расположены в последовательности, соответствующей кадрам видео.
3. Сегментация этого представления на множество частично перекрывающихся сегментов (partially overlapping segments). Последовательные сегменты представляют контент, который перекрывается на один или более кадров.
4. Генерация фингерпринта для каждого сегмента.
5. Сохранение фингерпринтов.

Ядром изобретения является создание временного ряда, показывающего, где происходят структурные изменения, и последующее разделение этого представления на перекрывающиеся блоки (фингерпринты). Это обеспечивает устойчивость к различиям во времени начала/окончания видео.

Claim 9 (Независимый пункт): Описывает метод управления цифровой видео библиотекой. Он включает шаги из Claim 1 и добавляет индексацию.

1. (Шаги 1-4 аналогичны Claim 1: идентификация разрывов, кодирование, сегментация с перекрытием, генерация последовательности фингерпринтов).
2. Индексация последовательности видео фингерпринтов.
3. Сохранение индексированных фингерпринтов.

Этот пункт защищает применение технологии для управления большими массивами данных, что требует эффективной индексации.

Claim 12, 13, 14 (Зависимые от 9): Детализируют процесс индексации.

Индексация включает генерацию сигнатуры (signature) для фингерпринта с использованием первого процесса хеширования (Claim 12), который может быть процессом min-hash (Claim 13). Min-hash включает перестановку битов фингерпринта согласно предопределенному набору перестановок и сохранение позиции первой "1" после каждой перестановки (Claim 14). Сигнатура содержит меньше битов, чем исходный фингерпринт.

Claim 15, 16 (Зависимые от 12): Детализируют хранение сигнатуры.

Сигнатура делится на блоки (signature blocks), и каждый блок сохраняется в хеш-таблице с использованием второго процесса хеширования (Claim 15), который может быть Locality Sensitive Hashing (LSH) (Claim 16).

Claim 18 (Независимый пункт): Описывает метод идентификации дублирующегося видеоконтента.

1. (Шаги 1-5 аналогичны Claim 1: получение видео, идентификация разрывов, кодирование, сегментация с перекрытием, генерация последовательности фингерпринтов).
2. Поиск в эталонной базе данных (reference database) видео, имеющих последовательности фингерпринтов, совпадающие с последовательностью полученного видео.
3. Определение совпадающего эталонного видео.

Этот пункт фокусируется на практическом применении технологии для обнаружения дубликатов или нарушений авторских прав.

Где и как применяется

Изобретение является инфраструктурной технологией для управления видеоконтентом. Оно применяется в основном на этапах загрузки и индексации видео, а не во время ранжирования веб-страниц в реальном времени.

CRAWLING – Сканирование и Сбор данных (Ingestion)
На этом этапе Ingest Server получает новое видео от пользователя или из другого источника.

INDEXING – Индексирование и извлечение признаков (Video Processing)
Здесь происходит основная работа, описанная в патенте:

• Обработка видео: Fingerprinting Module обрабатывает сырое видео. Это включает нормализацию, обнаружение конечных точек (Endpoint Detection), кодирование и сегментацию.
• Индексация фингерпринтов: Indexing Module применяет техники хеширования (Min-hash, LSH) к сгенерированным фингерпринтам.
• Хранение: Сырое видео сохраняется в Video Library, а индексированные фингерпринты (сигнатуры) — в Reference Database.

RANKING / METASEARCH (Управление видео и Видео-поиск)
Matching Module использует индексированные данные для сравнения видео.

• Сравнение: Система сравнивает фингерпринты нового видео (или запрошенного видео) с данными в Reference Database.
• Применение результатов: Результаты сравнения используются для (1) Принудительного соблюдения авторских прав (аналог Content ID), (2) Обнаружения и удаления дубликатов, (3) Организации результатов видео-поиска путем группировки похожих видео.

Входные данные:

• Сырой видеофайл (включая видеоряд и аудиодорожку).

Выходные данные:

• Fingerprint Sequence для видео.
• Индексированные сигнатуры (Signatures) в Reference Database.
• Оценки совпадения (Matching scores) при сравнении двух видео.

На что влияет

• Типы контента: В первую очередь влияет на видеофайлы. Патент также упоминает возможность применения к чистым аудиофайлам, если используются только аудио разрывы (silent points).
• Ниши и форматы: Влияет на весь видеоконтент, независимо от тематики или длительности. Особенно критично для платформ с пользовательским контентом (UGC), где распространены проблемы дублирования и авторских прав.

Когда применяется

• Триггеры активации:
  • При загрузке нового видео на платформу (Ingestion) для проверки на дубликаты и нарушения.
  • Когда правообладатель предоставляет эталонное видео для поиска неавторизованных копий.
  • Потенциально во время фазы организации результатов видео-поиска для группировки идентичных видео (дедупликация выдачи).

Пошаговый алгоритм

Процесс А: Генерация Фингерпринта (Fingerprint Generation)

1. Нормализация (Normalization): Входящее видео конвертируется в стандартный формат. Это может включать стандартизацию частоты кадров, размера кадра и глубины цвета (например, перевод в оттенки серого) для обеспечения согласованности и повышения скорости обработки.
2. Обнаружение конечных точек (Endpoint Detection): Анализ видео и аудио потоков для идентификации разрывов.
   • Видео: Обнаружение границ сцен (shot boundaries) — резких смен плана, затуханий, наплывов. Это может быть реализовано через анализ движения (motion analysis) между кадрами.
   • Аудио: Обнаружение точек тишины (silent points), где громкость звука падает ниже определенного порога.
3. Кодирование (Encoding): Генерация представления данных о расположении разрывов. В одном из вариантов создается битовый вектор (bit vector), где каждый бит соответствует кадру; '1' указывает на конечную точку (разрыв), '0' — на отсутствие разрыва.
4. Сегментация (Segmentation): Разделение закодированных данных на множество меньших, перекрывающихся фингерпринтов. Перекрытие (например, смещение на один кадр для генерации следующего фингерпринта) обеспечивает устойчивость к различным временам начала/окончания видео.
5. Генерация последовательности: Формирование упорядоченной последовательности фингерпринтов (Fingerprint Sequence) для всего видео.

Процесс Б: Индексация (Indexing - например, Min-Hash и LSH)

1. Получение Фингерпринта: Система получает фингерпринт (битовый вектор) из Процесса А.
2. Применение перестановок (Min-Hash): К битам фингерпринта применяется фиксированный набор из P перестановок (permutations). Порядок применения всегда одинаков.
3. Сканирование позиций (Min-Hash): Для каждого переставленного вектора находится позиция первой '1'.
4. Генерация Сигнатуры (Min-Hash): Полученные P позиций формируют сигнатуру (Signature) для данного фингерпринта.
5. Разделение на блоки (LSH): Сигнатура делится на несколько блоков (Signature Blocks).
6. Хранение в хеш-таблицах (LSH): Каждый блок хешируется в соответствующую хеш-таблицу. Вместе с блоком сохраняется уникальный идентификатор видеосегмента, который сгенерировал этот блок.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Видеоряд): Последовательность видеокадров (пиксельные данные). Используется для анализа пространственных характеристик и временных изменений (движения) с целью обнаружения границ сцен (shot boundaries).
• Мультимедиа факторы (Аудиопоток): Аудиодорожка, связанная с видео. Используется для анализа уровней громкости во времени с целью обнаружения точек тишины (silent points).
• Технические факторы (Метаданные): Частота кадров, разрешение, глубина цвета. Используются на этапе нормализации для приведения видео к стандартному формату.

Какие метрики используются и как они считаются

• Метрики анализа движения: Используются внутри системы для обнаружения shot boundaries. Кадры, где относительное движение пикселей между кадрами достигает пика, определяются как границы сцен.
• Пороги громкости звука: Используются для обнаружения silent points. Метрика определяется как временной отрезок, в течение которого громкость ниже заданного порога.
• Matching Score (Оценка совпадения): Вычисляется во время сравнения. Основана на количестве совпадающих блоков сигнатуры (signature blocks) между фингерпринтом запроса и эталонными фингерпринтами, найденными через хеш-таблицы.
• Метрики совпадения последовательностей: Используются для определения общего совпадения между двумя видео:
  • Самая длинная непрерывная последовательность совпадающих фингерпринтов.
  • Механизм голосования, основанный на временных смещениях между совпадающими сегментами.

1. Структура как идентификатор: Патент демонстрирует подход Google к идентификации видео, основанный на внутренней структуре (монтаж, паузы в звуке), а не на точном содержании пикселей или хешах файлов. Время смены сцен и аудиоразрывы определяют уникальный фингерпринт видео.
2. Устойчивость важнее точности: Система разработана так, чтобы быть устойчивой к изменениям в кодировании, сжатии, разрешении, частоте кадров и небольшим правкам. Это позволяет идентифицировать контент, даже если он был перекодирован или немного изменен.
3. Перекрывающиеся фингерпринты: Ключевой особенностью является сегментация видео на перекрывающиеся фингерпринты. Это позволяет системе находить совпадения даже в тех случаях, когда видео имеют разное время начала/окончания или отсутствующие сегменты.
4. Эффективность в масштабе: Использование сложных методов индексации, таких как Min-hash и Locality Sensitive Hashing (LSH), критически важно для масштабирования этой технологии. Это позволяет быстро сравнивать миллиарды видеосегментов без необходимости прямого побитового сравнения полных фингерпринтов.
5. Инфраструктура для VSEO и управления контентом: Это инфраструктурная технология для управления видеоплатформами (такими как YouTube) и организации видео-поиска. Она фокусируется на дедупликации и обеспечении соблюдения авторских прав (Content ID).

Best practices (это мы делаем)

Примечание: Рекомендации касаются исключительно Video SEO (VSEO) и управления видеоконтентом, в частности на YouTube.

• Создание уникального контента: Убедитесь, что ваш видеоконтент является структурно уникальным. Система идентифицирует контент на основе последовательности монтажных склеек и аудиоразрывов. Оригинальный монтаж и звуковое оформление формируют уникальный фингерпринт.
• Понимание каноникализации видео: Осознавайте, что если существуют несколько версий одного и того же видео (например, в разном разрешении или с немного разным монтажом), Google, скорее всего, идентифицирует их как один и тот же контент. Система сгруппирует их или выберет каноническую версию в поиске.
• Трансформационное использование чужого контента: При использовании клипов из сторонних источников убедитесь, что они используются трансформационно (Fair Use). Простое склеивание существующего контента или компиляции будут легко обнаружены этой системой как неуникальные.

Worst practices (это делать не надо)

• Перезаливка существующего контента: Загрузка точных копий или слегка модифицированных версий существующих видео (например, добавление логотипа, изменение разрешения, ускорение/замедление) будет обнаружена. Фингерпринтинг на основе разрывов устойчив к этим изменениям.
• Нарушение авторских прав: Загрузка неавторизованного защищенного авторским правом материала. Эта технология специально разработана для поиска и маркировки такого контента и составляет основу систем типа Content ID.
• Незначительные правки для уникализации: Внесение тривиальных правок (например, обрезка первых нескольких секунд или последней минуты) не обманет систему благодаря сегментации с перекрытием (overlapping fingerprints). Система сможет сопоставить оставшуюся основную часть видео.

Стратегическое значение

Патент подчеркивает технологическую невозможность масштабирования видеостратегий, основанных на дублировании или незначительных модификациях существующего контента. Для VSEO барьером для входа является оригинальный, структурно уникальный контент. Это также объясняет, как Google управляет огромным масштабом видеоданных, обеспечивает соблюдение политики в отношении контента и организует результаты видео-поиска, минимизируя дублирование.

Практические примеры

Сценарий: Обнаружение нарушений авторских прав (Content ID)

1. Загрузка эталона: Киностудия загружает эталонную копию нового трейлера фильма в базу данных Google.
2. Генерация фингерпринта: Система генерирует последовательность фингерпринтов на основе смен сцен и аудиодорожки трейлера.
3. Индексация: Фингерпринты индексируются с использованием Min-hash и LSH.
4. Мониторинг загрузок: Система сравнивает эту последовательность со всеми видео, загружаемыми пользователями.
5. Обнаружение совпадения: Пользователь загружает копию трейлера. Даже если пользователь записал трейлер с экрана телевизора (другое разрешение, шум, артефакты) или немного изменил звук, структурные разрывы останутся прежними.
6. Результат: Система обнаруживает длинную последовательность совпадающих фингерпринтов и помечает загруженное пользователем видео как нарушение авторских прав.