Как Google использует фингерпринтинг и распределенные вычисления для эффективного поиска дубликатов видео и аудио в огромных масштабах

Термины и определения

Batch Manager (Менеджер пакетов)

Компонент системы, который управляет процессом сопоставления пакетов пробных видео с эталонными.

Fingerprint (Цифровой отпечаток)

Компактное представление аудио- или визуального содержимого видеофайла, созданное, например, с помощью хеш-функции.

LSH Bands (Полосы LSH - Locality Sensitive Hashing)

Небольшие части Subfingerprint, используемые для эффективного сопоставления. В одном из вариантов реализации каждая полоса содержит 4 байта данных из 100 байт Subfingerprint.

Probe Videos (Пробные видео)

Набор видео, которые проверяются на совпадения (например, загруженный пользователем контент).

Reference Videos (Эталонные видео)

Набор видео, с которыми сравниваются пробные видео (например, база данных защищенного авторским правом контента).

Sort Distributor / Sort Machine (Распределитель сортировки / Машина сортировки)

Инфраструктура для выполнения распределенной сортировки больших наборов данных (например, MapReduce или Hadoop).

Subfingerprint (Суб-отпечаток)

Сегмент полного цифрового отпечатка. В одном из вариантов реализации представляет собой около четверти секунды оригинального видео.

Time Offset (Временное смещение)

Время, когда конкретная полоса LSH появляется в видео, измеренное от начала файла.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод масштабного сопоставления пробных и эталонных видео.

1. Получение доступа к полосам LSH пробных видео (каждая имеет значение и соответствует части суб-отпечатка).
2. Сортировка полос LSH пробных видео в первый список на основе их значений.
3. Получение доступа к полосам LSH эталонных видео.
4. Сортировка полос LSH эталонных видео во второй список на основе их значений.
5. Линейное сканирование первого и второго отсортированных списков для поиска совпадений.
6. Вывод совпадений для хранения.

Защищается конкретный рабочий процесс использования отсортированных списков LSH-полос и их линейного сканирования (вместо, например, медленных запросов к базе данных) для достижения эффективности при масштабном сопоставлении медиафайлов.

Claim 5 (Зависимый от 1): Уточняет, что сортировка полос LSH как для пробных, так и для эталонных видео выполняется с помощью распределенного сортировщика (distributed sorter).

Подчеркивается использование масштабируемых технологий, таких как MapReduce, для обработки огромного объема данных.

Claim 6 (Зависимый от 1): Описывает процесс инкрементального обновления.

1. Получение новых пробных и новых эталонных видео.
2. Сопоставление новых пробных видео с набором (старых) эталонных видео.
3. Сопоставление всех пробных видео (старых и новых) с новыми эталонными видео.

Защищается эффективный метод обновления базы данных совпадений, который позволяет избежать ненужного повторного сравнения старого контента со старым контентом.

Где и как применяется

Патент описывает инфраструктурные процессы, которые не связаны напрямую с ранжированием поисковой выдачи в реальном времени, но критичны для управления медиа-контентом.

CRAWLING – Сканирование и Сбор данных
Применимо в контексте сбора данных с медиаплатформ, где загрузка пользовательского контента (Probe videos) рассматривается как этап сбора данных.

INDEXING – Индексирование и извлечение признаков
Основной этап применения. Система генерирует Fingerprints, Subfingerprints и LSH Bands для всего аудио- и видеоконтента. Сам процесс масштабного сопоставления является специализированной формой индексирования или обслуживания базы данных, направленной на выявление связей (совпадений) между файлами.

Взаимодействие с компонентами: Система взаимодействует с хранилищем отпечатков и видео ID, менеджером пакетов (Batch Manager) и инфраструктурой распределенной сортировки (Sort Distributor, Sort Machine).

Входные данные:

• Наборы пробных (Probe) и эталонных (Reference) видео.
• Предварительно вычисленные LSH Bands и идентификаторы видео (Video IDs).

Выходные данные:

• Список обнаруженных совпадений, включающий идентификаторы пробного и эталонного видео, а также временные диапазоны (Time Offset ranges), в которых обнаружено совпадение (аудио, видео или оба).

На что влияет

• Конкретные типы контента: Исключительно аудио- и видеофайлы. Не влияет на текстовый или веб-контент.
• Конкретные ниши или тематики: Наиболее актуально для видеохостингов, музыкальных стриминговых сервисов и систем управления авторскими правами.

Когда применяется

• При каких условиях работает алгоритм: При необходимости сравнения больших наборов медиафайлов для поиска дубликатов или похожих фрагментов.
• Триггеры активации: Может активироваться в момент загрузки нового контента (для проверки авторских прав) или запускаться периодически в пакетном режиме для очистки базы данных, обновления рекомендаций или инкрементального обновления индекса совпадений.

Пошаговый алгоритм

Процесс А: Масштабное сопоставление (Full Collection Matching)

1. Подготовка данных (Probe): Определение полос LSH для набора пробных видео.
2. Подготовка данных (Reference): Определение полос LSH для набора эталонных видео.
3. Распределенная сортировка (Probe): Сортировка всех полос LSH пробных видео по их значению для создания Списка 1. Выполняется с помощью Sort Distributor.
4. Распределенная сортировка (Reference): Сортировка всех полос LSH эталонных видео по их значению для создания Списка 2. Выполняется с помощью Sort Distributor.
5. Линейное сканирование: Быстрое сканирование Списка 1 и Списка 2 для выявления идентичных значений полос LSH.
6. Агрегация и пересортировка: Совпадающие полосы LSH сортируются по идентификатору пробного видео (Probe Video ID).
7. Анализ совпадений: Для каждого Probe Video ID определяются соответствующие эталонные видео. Проверяется, превышает ли количество совпадающих полос пороговое значение (например, 50) и сгруппированы ли они по временному смещению (offset).
8. Вывод результатов: Подтвержденные совпадения сохраняются в Match Storage.

Процесс Б: Инкрементальное сопоставление (Incremental Matching)

1. Получение новых данных: Прием новых пробных и/или новых эталонных видео.
2. Сопоставление (Пакет 1): Все новые пробные видео сопоставляются со всеми старыми эталонными видео (используя Процесс А).
3. Сопоставление (Пакет 2): Все пробные видео (новые и старые) сопоставляются со всеми новыми эталонными видео (используя Процесс А).
4. Объединение результатов: Совпадения из Пакета 1 и Пакета 2 добавляются к результатам предыдущего полного сопоставления (старые пробы против старых эталонов).
5. Обновление статуса: Все обработанные новые видео помечаются как «старые» для следующей итерации.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Основные используемые данные — это аудио- и визуальное содержимое видеофайлов. Эти данные не используются напрямую, а преобразуются в компактные представления — Fingerprints и LSH Bands.

Какие метрики используются и как они считаются

• LSH Band Value (Значение полосы LSH): Числовое представление полосы LSH. Является ключом для сортировки и сопоставления.
• Методы вычислений (Распределенная сортировка): Используются фреймворки типа MapReduce или Hadoop для эффективной сортировки миллиардов LSH Bands.
• Методы вычислений (Линейное сканирование): Эффективный алгоритм сравнения двух предварительно отсортированных списков.
• Match Threshold (Порог совпадения): Пороговое значение количества совпадающих LSH Bands, необходимое для подтверждения схожести между пробным и эталонным видео (в патенте упоминается примерный порог в 50 совпадений).
• Offset Clumping (Группировка по смещению): Метрика качества совпадения. Совпадение считается более сильным, если совпадающие LSH Bands сгруппированы темпорально (имеют схожие временные смещения).

1. Инфраструктурный фокус: Патент полностью посвящен инфраструктурным решениям для повышения эффективности и масштабируемости сопоставления медиафайлов. Он не описывает, как генерируются отпечатки или как определяется схожесть контента на семантическом уровне, а фокусируется на логистике сравнения огромных наборов данных.
2. Оптимизация через сортировку: Ключевая идея патента — предварительная сортировка данных (LSH Bands) позволяет заменить медленные индивидуальные запросы к базе данных на быстрое линейное сканирование. Это критически важно при работе в масштабах Google/YouTube.
3. Использование распределенных вычислений: Патент подтверждает опору Google на распределенные вычисления (MapReduce) для решения задач обработки больших данных на этапе индексирования и анализа контента.
4. Основа для Content ID и рекомендаций: Описанная технология является техническим фундаментом для работы систем контроля авторских прав (таких как Content ID), удаления дубликатов из результатов поиска и генерации рекомендаций похожего медиаконтента.
5. Отсутствие связи с ранжированием в веб-поиске: Патент не предоставляет никакой информации об алгоритмах ранжирования веб-страниц или традиционных факторах SEO.

ВАЖНО: Патент является чисто инфраструктурным и описывает внутренние процессы Google для эффективного сопоставления медиафайлов. Он не дает прямых рекомендаций для SEO-оптимизации веб-сайтов. Приведенные ниже пункты актуальны в основном для создателей контента на платформах, использующих подобные технологии (например, YouTube).

Best practices (это мы делаем)

• Понимание механизмов обнаружения дубликатов: SEO-специалисты и создатели контента должны понимать, что платформы обладают высокоэффективными инструментами для обнаружения дублирующегося или частично совпадающего аудио- и видеоконтента на основе цифровых отпечатков, независимо от метаданных.
• Фокус на оригинальности контента: Приоритет следует отдавать созданию оригинального аудиовизуального контента. Использование чужих материалов должно быть юридически обосновано, так как автоматизированные системы (построенные на этой технологии) с высокой вероятностью обнаружат совпадения.
• Управление правами: При управлении большими библиотеками контента следует использовать системы фингерпринтинга (если доступны, например, Content ID) для защиты своих материалов, загружая их как Reference videos.

Worst practices (это делать не надо)

• Загрузка дубликатов: Попытки загрузить полные дубликаты или слегка модифицированные версии существующего контента («почти дубликаты») неэффективны. Технология LSH и фингерпринтинга разработана специально для обнаружения таких случаев в огромных масштабах.
• Нарушение авторских прав: Использование защищенного авторским правом аудио или видео в своих роликах без разрешения приведет к автоматическому обнаружению совпадений с Reference videos правообладателей.

Стратегическое значение

Патент подтверждает, что Google обладает высокоразвитой инфраструктурой для анализа и сравнения мультимедийного контента на основе его содержимого, а не только метаданных. Для создателей видеоконтента это означает, что уникальность самого аудиовизуального потока имеет первостепенное значение для избежания проблем с дублированием и авторскими правами.

Практические примеры

Сценарий: Автоматическое применение Content ID на YouTube

1. Подготовка эталона: Музыкальный лейбл загружает свою музыкальную библиотеку в систему Content ID. Система обрабатывает эти файлы и сохраняет их LSH Bands как Reference videos.
2. Загрузка пользователем: Пользователь загружает видео, в котором используется трек этого лейбла. Система обрабатывает этот файл как Probe video.
3. Эффективное сопоставление: Вместо того чтобы сравнивать новый файл со всеми файлами в базе, система использует запатентованный метод: сортирует LSH Bands пробного видео и линейно сканирует их на совпадения с уже отсортированной базой эталонных LSH Bands.
4. Результат: Система быстро находит совпадение аудиодорожки, определяет временные метки и автоматически применяет политику правообладателя (монетизация, блокировка или отслеживание).