Как Google использует трехэтапную систему фингерпринтинга (Content ID) для обнаружения дубликатов видео и аудио

Термины и определения

Blacklisting (Черный список)

Механизм оптимизации, при котором слишком частые LSH Keys (не помогающие различать контент) исключаются из стандартного индекса. Level 1: ключ встречается в слишком большом проценте видео. Level 2: ключ встречается слишком часто в абсолютном выражении.

Chunk (Фрагмент)

Временной отрезок входного видео (например, 10 секунд), который обрабатывается независимо на Этапах 1 и 2.

Classifier (Классификатор)

Модель машинного обучения (например, нейронная сеть), используемая на Этапе 2 для определения, является ли кандидат истинным или ложным совпадением, на основе вектора признаков.

Confidence Score (Оценка уверенности)

Метрика, выводимая классификатором, указывающая на вероятность того, что совпадение является верным.

Discriminative (Дискриминативный)

Характеристика LSH key или sub-fingerprint, указывающая на его редкость в базе данных. Наиболее дискриминативные (редкие) элементы обрабатываются первыми.

DTW (Dynamic Time Warping, Динамическая трансформация временной шкалы)

Алгоритм для выравнивания двух временных последовательностей, которые могут различаться по скорости. Используется для сопоставления видео, даже если скорость воспроизведения изменена.

Figure of Merit (Показатель качества)

Метрика на Этапе 1 для предварительного отбора эталонных видео. Рассчитывается путем суммирования количества совпадений LSH keys в окне, равном длине входного видео.

Fingerprint (Цифровой отпечаток)

Компактное представление характеристик медиафайла. Состоит из последовательности Sub-fingerprints.

LSH (Locality-Sensitive Hashing, Локально-чувствительное хеширование)

Метод для быстрого приблизительного поиска ближайших соседей. Используется для индексации фингерпринтов.

LSH Key (LSH Ключ)

Подмножество значений из Sub-fingerprint. Используется как ключ для поиска в Reverse Index Table.

Premium Content (Премиум-контент)

Контент, требующий повышенного уровня защиты (например, контент правообладателей). Для него могут применяться более низкие пороги срабатывания.

Reverse Index Table (Обратная индексная таблица)

Структура данных, которая отображает LSH Keys на список идентификаторов эталонных Sub-fingerprints (Video@Offset), содержащих этот ключ.

Sub-fingerprint (Суб-отпечаток)

Вектор значений, представляющий короткий временной сегмент медиафайла (например, 0.5-5.0 секунд).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обнаружения дубликатов видеоконтента.

1. Система хранит эталонные отпечатки (reference fingerprints), состоящие из суб-отпечатков (sub-fingerprints) для временных сегментов.
2. Система получает входной отпечаток (input fingerprint).
3. Система выбирает подмножество эталонных сегментов в качестве кандидатов на основе частичного совпадения их sub-fingerprints с входным отпечатком.
4. Система классифицирует каждого кандидата как совпадающего или несовпадающего, используя машинно обученный классификатор (machine-learned classifier).
5. Система идентифицирует совпадающее эталонное видео на основе классифицированных сегментов.

Claim 3 (Зависимый от 1): Вводит концепцию Figure of Merit.

Для каждого эталонного видео определяется figure of merit на основе временно-локализованных совпадений. Выбор кандидатов основан на этом показателе.

Claim 4 и 5 (Зависимые от 1): Описывают оптимизацию через сортировку по дискриминативности.

Эталонные суб-отпечатки (Claim 4) или ключи суб-отпечатков (Claim 5) сортируются от наиболее дискриминативных к наименее дискриминативным. Выбор кандидатов основывается на этом порядке сортировки, что повышает эффективность поиска.

Claim 6 (Зависимый от 1): Подчеркивает важность временной последовательности.

Определяются темпорально последовательные совпадения между входными и эталонными sub-fingerprints. Выбор кандидатов основан на этих последовательных совпадениях.

Claim 11 и 12 (Зависимые от 8): Описывают механизм черных списков (blacklisting) в обратном индексе.

Обратный индекс хранит специальный идентификатор для ключа, если он встречается слишком часто (превышает порог по проценту видео — Claim 11, или по абсолютному количеству — Claim 12). Это позволяет игнорировать неинформативные ключи.

Где и как применяется

Изобретение является инфраструктурным и применяется в системах идентификации контента (например, Content ID), а не в стандартном процессе ранжирования поиска.

CRAWLING – Сканирование и Сбор данных
Система получает входное видео (input video) через сервер приема (Ingest Server), например, при загрузке пользователем на YouTube.

INDEXING – Индексирование и извлечение признаков
Основной этап применения патента.

1. Фингерпринтинг (Офлайн и Онлайн): Fingerprinting Module генерирует fingerprints для эталонных и входных видео.
2. Индексация (Офлайн): Строится Reverse Index Table (LSH Table) для эталонных видео, применяется Blacklisting.
3. Сопоставление (Онлайн): Matching Module выполняет трехэтапный процесс (Генерация кандидатов, Классификация, Объединение) для сравнения входного видео с индексом.

Входные данные:

• Входной медиафайл (видео/аудио).
• База эталонных отпечатков (Fingerprint Repository).
• Обратный индекс (Reverse Index Table).
• Метаданные (например, статус Premium Content).

Выходные данные:

• Результаты совпадения (Match Results): список эталонных видео (или их частей), совпадающих с входным видео, с указанием временных меток и Confidence Scores.

На что влияет

• Типы контента: Влияет на все типы временны́х медиаданных (видео и аудио).
• Конкретные ниши: Наибольшее влияние в нишах, где критично соблюдение авторских прав (музыка, фильмы) и на платформах с пользовательским контентом (UGC).
• Форматы контента: Система устойчива к транскодированию, шуму и изменениям скорости воспроизведения (в патенте упоминается до 15%).

Когда применяется

• Условия применения: Алгоритм применяется при обработке новых медиафайлов для сравнения их с существующей базой данных.
• Триггеры активации: Загрузка нового контента пользователем или добавление нового эталонного файла правообладателем.
• Особые случаи: Для Premium Content могут применяться более низкие пороги обнаружения совпадений.

Пошаговый алгоритм

Процесс разделен на предварительную обработку и три основных этапа сопоставления.

Предварительная обработка и Индексация (Офлайн):

1. Генерация отпечатков: Эталонные видео разделяются на перекрывающиеся сегменты (0.5-5.0 сек), для каждого генерируется Sub-fingerprint.
2. Создание обратного индекса: Sub-fingerprints разбираются на LSH Keys. Создается Reverse Index Table.
3. Черный список (Blacklisting): Идентифицируются и помечаются слишком частые LSH Keys (Level 1 и Level 2).

Обработка запроса (Онлайн):

Входное видео поступает в систему и для него генерируется Input Fingerprint.

Этап 1: Генерация списка кандидатов

1. Извлечение и Поиск ключей: Уникальные LSH Keys из входного видео ищутся в Reverse Index Table.
2. Предварительный отбор: Рассчитывается Figure of Merit для эталонных видео на основе плотности совпадений ключей во времени. Формируется список начальных кандидатов.
3. Разделение на фрагменты (Chunks): Входное видео делится на Chunks (например, по 10 секунд).
4. Сортировка по дискриминативности: Внутри каждого Chunk, Sub-fingerprints и LSH Keys сортируются от наиболее редких (дискриминативных) к частым. Обработка начинается с редких.
5. Голосование (Hough Transform): Совпадения между входным (смещение X) и эталонным (смещение Y) суб-отпечатками голосуют за время начала совпадения (Y-X+1). Голоса агрегируются.
6. Финальный отбор кандидатов: Выбор наиболее поддерживаемых пар (Video, Offset) для Этапа 2 (используя, например, smeared peak picking).

Этап 2: Оценка кандидатов (Классификация)

1. Выравнивание: Определяется наилучшее временное выравнивание между входным Chunk и кандидатом (например, с помощью DTW).
2. Генерация вектора признаков: Создается векторное описание совпадения. Признаки включают: расстояние Хэмминга, процент совпавших векторов, среднеквадратичную ошибку (MSE) пути декодирования, наклон пути и т.д.
3. Оценка качества: Рассчитывается мера качества совпадения (Quality Measure).
4. Классификация: Вектор признаков подается на вход Classifier, который определяет валидность совпадения и рассчитывает Confidence Score.

Этап 3: Объединение и фильтрация кандидатов

1. Объединение во времени: Валидные совпадения из соседних Chunks объединяются в единое совпадение (Combined Match), если они консистентны по времени и смещению.
2. Фильтрация: Применяются ограничения (например, минимальная длина, среднее качество) для удаления ложных срабатываний.
3. Обработка типовых последовательностей: Система может понижать уверенность для типовых сцен (например, "говорящая голова"), если нет подтверждения по другому каналу (например, аудио).

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Основные): Непосредственно аудио и видео данные. Они преобразуются в Fingerprints, Sub-fingerprints и LSH Keys, которые кодируют пространственные, временные и структурные характеристики медиафайла.
• Метаданные (Вспомогательные):
  • Обозначение Premium Content (используется для корректировки порогов).
  • Патент упоминает возможность использования в Классификаторе (Этап 2): истории загрузок пользователя и сходства текстовых метаданных (например, anchor text).

Какие метрики используются и как они считаются

• Расстояние Хэмминга (Hamming Distance): Используется для сравнения векторов Sub-fingerprints.
• Figure of Merit: Рассчитывается как максимальная сумма количества совпадений LSH keys во временном окне, соответствующем длине входного видео (реализуется как свертка).
• Дискриминативность (Discriminative Power): Обратная величина к частоте встречаемости LSH Key или Sub-fingerprint в эталонной базе. Используется для сортировки и Blacklisting.
• Признаки для Классификатора (Classifier Features): Сложный вектор, включающий:
  • Накопленное расстояние Хэмминга.
  • Процент совпавших векторов при разных порогах (например, 80%, 60%).
  • Среднеквадратичная ошибка (MSE) и наклон (Slope) линейной аппроксимации (LSE-fit) пути декодирования DTW.
  • Статистика популяции (среднее, стандартное отклонение мер качества).
• Quality Measure (Мера качества): Рассчитывается на основе вектора признаков (например, отношение правдоподобия).
• Confidence Score (Оценка уверенности): Выходное значение классификатора.
• Алгоритмы и методы: LSH (поиск), DTW (выравнивание), Преобразование Хафа (голосование), Модели машинного обучения (Classifiers).

1. Трехэтапная архитектура для баланса скорости и точности: Патент описывает масштабируемую систему идентификации контента. Этап 1 (LSH) обеспечивает скорость, быстро сокращая пространство поиска. Этап 2 (ML Classifier) обеспечивает точность, детально анализируя кандидатов. Этап 3 обеспечивает согласованность результатов во времени.
2. Оптимизация через редкость и игнорирование шума: Система фокусируется на наиболее уникальных характеристиках контента, обрабатывая наиболее дискриминативные (редкие) ключи первыми. Одновременно она игнорирует неинформативные данные через Blacklisting частых ключей (например, тишина, черные кадры).
3. Устойчивость к модификациям (Robustness): Система устойчива к изменениям качества и скорости воспроизведения. Это достигается за счет использования устойчивых фингерпринтов и применения DTW для временного выравнивания контента.
4. Роль машинного обучения в идентификации: Решение о совпадении принимается не просто по порогу сходства, а с помощью сложного Classifier, который анализирует множество признаков качества и характера совпадения.
5. Идентификация по содержанию: Система идентифицирует медиафайлы на основе их фактического аудиовизуального содержания, а не метаданных.

Патент является инфраструктурным и не дает прямых рекомендаций по факторам ранжирования. Однако он критически важен для стратегий Video SEO и управления контентом на платформах типа YouTube.

Best practices (это мы делаем)

• Приоритет абсолютной оригинальности контента: Для VSEO критически важно создавать уникальный видео и аудио контент. Система эффективно выявляет полные и частичные совпадения. Чтобы контент считался уникальным, он должен значительно отличаться от эталонов на уровне аудиовизуальных характеристик.
• Управление правами (для правообладателей): Если вы создаете Premium Content, необходимо использовать системы типа Content ID (основанные на этом патенте) для загрузки эталонов и защиты от неавторизованного использования.
• Создание дискриминативного контента: Избегайте длинных статичных сцен, тишины или стандартных заставок. Контент с богатым и разнообразным аудиовизуальным рядом лучше идентифицируется системой.

Worst practices (это делать не надо)

• Попытки обхода систем идентификации легкими модификациями: Изменение скорости, добавление шума, зеркальное отражение, изменение кодировки или легкое кадрирование неэффективны. Система устойчива к таким модификациям благодаря DTW, устойчивым фингерпринтам и возможности генерации нескольких отпечатков (например, для зеркальных версий).
• Создание дубликатов или компиляций чужого контента: Загрузка контента, состоящего из чужих материалов, будет обнаружена. Это приведет к проблемам с монетизацией, видимостью или блокировкой на платформах типа YouTube.
• Игнорирование аудиодорожки: Система анализирует и аудио, и видео. Использование уникального видеоряда с нелицензионной музыкой приведет к обнаружению совпадения по аудиоканалу.

Стратегическое значение

Патент подтверждает способность Google анализировать медиаконтент на глубоком уровне, основываясь на его содержании. Стратегическое значение для SEO заключается в понимании, что уникальность медиаконтента является измеримой величиной. Долгосрочная стратегия в Video SEO должна быть направлена на создание оригинальных материалов. Технологии, описанные в патенте, обеспечивают приоритет оригинального контента и борьбу с дублированием.

Практические примеры

Сценарий: Попытка обойти Content ID изменением скорости музыки

1. Действие: Пользователь загружает видео, используя популярный музыкальный трек, ускоренный на 10%, чтобы избежать автоматического обнаружения.
2. Обработка системой:
   • Этап 1: LSH ключи аудиодорожки совпадают с эталоном правообладателя (Premium Content). Трек попадает в кандидаты.
   • Этап 2: Dynamic Time Warping (DTW) компенсирует ускорение на 10% и выравнивает входное аудио с эталоном. Классификатор анализирует вектор признаков.
   • Этап 3: Совпадения объединяются по всей длине трека.
3. Результат: Система идентифицирует совпадение с высоким Confidence Score. На видео поступает заявка Content ID от правообладателя.