Как Яндекс использует аудио-отпечатки (Chromaprints) для быстрого поиска дубликатов аудио и видео контента

Описание

Какую задачу решает

Патент решает проблему высокой вычислительной сложности и ресурсоемкости сравнения больших аудио-отпечатков при поиске дубликатов в больших базах данных. Основная задача — значительно ускорить процесс сопоставления аудиодорожек (поиск идентичных или почти идентичных треков), сохраняя при этом высокую точность идентификации.

Что запатентовано

Запатентована двухэтапная система сопоставления аудио. Суть изобретения в разделении процесса на (1) быстрый выбор кандидатов и (2) детальную валидацию. На первом этапе используются «Short Audio Fingerprints» (короткие аудио-отпечатки) и специализированный инвертированный индекс (Pruning Index) для быстрого сужения круга поиска на основе общих «Chroma Words». На втором этапе используются «Long Audio Fingerprints» (длинные аудио-отпечатки) и побитовое сравнение для подтверждения совпадения.

Как это работает

Система генерирует два типа отпечатков (например, используя технологию Chromaprint) для каждой аудиодорожки: короткий (например, первые 21 секунда) и длинный (например, первые 120 секунд). Короткие отпечатки индексируются в Pruning Index, оптимизированный для быстрого поиска треков, содержащих идентичные компоненты (Chroma Words). Когда поступает новый трек, его короткий отпечаток используется для запроса к этому индексу. Полученный список кандидатов затем проходит валидацию: их длинные отпечатки извлекаются из Validation Index и сравниваются побитово с длинным отпечатком входящего трека, при этом система учитывает возможные временные сдвиги (time shifts).

Актуальность для SEO

Высокая (для мультимедийного поиска). Аудио-фингерпринтинг является стандартом для обнаружения дубликатов и идентификации контента на музыкальных и видео платформах (Яндекс Музыка, Яндекс Видео). Описанная двухэтапная оптимизация крайне актуальна для высоконагруженных систем.

Важность для SEO

Влияние на общее SEO умеренное (4/10), но высокое для мультимедийного/видео SEO (8/10). Этот патент не влияет на ранжирование текстового контента в веб-поиске. Однако он критически важен для понимания того, как Яндекс идентифицирует аудиодорожки внутри видео или самостоятельные аудиофайлы. Он напрямую описывает механизмы определения уникальности контента и управления дубликатами в мультимедийных вертикалях Яндекса.

Детальный разбор

Термины и определения

Audio Fingerprint (Аудио-отпечаток)

Сжатое цифровое представление аудиосигнала, используемое для идентификации аудио.

Chromaprint

Упомянутая в патенте технология для генерации аудио-отпечатков, основанная на анализе тональности (хроматизма) аудиосигнала, переводящая частоты в музыкальные ноты.

Chroma Word (Хрома-слово)

Компонент аудио-отпечатка, описывающий короткий фрагмент аудио (упоминается диапазон от 0.5 до 8 секунд). Представлен в виде последовательности байтов (например, 4 байта).

Short Audio Fingerprint (Короткий аудио-отпечаток)

Отпечаток начальной части трека. В патенте упоминается диапазон 9-27 секунд, конкретный пример — 21 секунда. Используется для быстрого выбора кандидатов.

Long Audio Fingerprint (Длинный аудио-отпечаток)

Отпечаток более длинной начальной части трека. В патенте упоминается диапазон 96-141 секунда, конкретный пример — 120 секунд. Используется для финальной валидации.

Pruning Index (Индекс отсечения)

Инвертированный индекс, построенный на основе коротких аудио-отпечатков. Оптимизирован для быстрого поиска кандидатов на совпадение.

Validation Index (Индекс валидации)

Индекс или система хранения для длинных аудио-отпечатков, используемая на этапе валидации.

Posting List (Список позиций)

Структура данных в инвертированном индексе, хранящая соответствие между Chroma Word и идентификаторами треков (Track IDs), которые его содержат.

Beginning Portion (Начальная часть Chroma Word)

Начальные байты Chroma Word, которые используются как ключи для поиска в Pruning Index.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методе повышения эффективности сопоставления аудио за счет двухэтапного процесса и специфической структуры индекса.

Claim 1 (Независимый пункт): Описывает основной двухэтапный процесс сопоставления входящего аудио трека с проиндексированным.

Этап 1: Выбор кандидата (Selection)

1. Определение первого короткого аудио-отпечатка (для входящего трека), состоящего из Chroma Words.
2. Поиск кандидата среди проиндексированных треков. Кандидат должен иметь второй короткий аудио-отпечаток, содержащий хотя бы одно Chroma Word, у которого Beginning Portion идентична начальной части Chroma Word из первого отпечатка.

Этап 2: Валидация (Validation)

1. Определение первого длинного аудио-отпечатка (для входящего трека).
2. Извлечение второго длинного аудио-отпечатка (для кандидата).
3. Важно: Длительность фрагмента для короткого отпечатка меньше, чем для длинного (короткий полностью содержится в длинном).
4. Выполнение побитового сравнения (bit-by-bit comparing) длинных отпечатков.

Claim 2 (Зависимый от 1): Определяет структуру Beginning Portion, используемую для индексации (и, следовательно, для Этапа 1).

Начальная часть Chroma Word состоит из комбинации (i) первого байта или первой многобайтовой последовательности и (ii) следующего байта или второй многобайтовой последовательности. Это описывает, как формируются ключи для Pruning Index, позволяя иерархический поиск.

Claim 16 (Зависимый): Уточняет процесс валидации (Этап 2).

Побитовое сравнение длинных отпечатков включает в себя сдвиг (shifting) первого длинного отпечатка относительно второго. Это критически важный механизм для обработки временных смещений (например, тишины в начале трека или обрезанного начала).

Claim 23 (Зависимый): Уточняет типы используемых индексов.

Используемый инвертированный индекс может быть реализован как Pruning Index (построенный для коротких отпечатков) или Validation Index (построенный для длинных отпечатков).

Где и как применяется

Изобретение относится к инфраструктуре обработки мультимедийных данных и затрагивает следующие этапы поиска:

INDEXING – Индексирование и извлечение признаков
Основное применение. Когда аудио- или видеофайл индексируется (например, в Яндекс Видео или Яндекс Музыке), система выполняет следующие действия:

1. Генерация Short Audio Fingerprint и Long Audio Fingerprint.
2. Разбиение короткого отпечатка на Chroma Words.
3. Вставка Chroma Words и соответствующих им Track IDs в Pruning Index. Структура индекса основана на байтовых последовательностях (Beginning Portion) для оптимизации скорости доступа.
4. Сохранение длинного отпечатка в Validation Index (который может быть реализован как хранилище ключ-значение, где ключ — Track ID).

RANKING – Ранжирование (Мультимедийные вертикали)
В контексте мультимедийного поиска эта система используется не столько для определения релевантности, сколько для идентификации контента и кластеризации дубликатов. Если загружается новый контент, система использует описанный метод для проверки, не является ли он дубликатом уже существующего.

Входные данные: Аудиосигнал (входящий или индексируемый).
Выходные данные: Идентификация совпадающего проиндексированного Track ID.

На что влияет

• Конкретные типы контента: Влияет исключительно на мультимедийный контент — аудиофайлы (MP3, AAC и т.д.) и видеофайлы, содержащие аудиодорожки.
• Конкретные ниши или тематики: Музыка, кино, платформы пользовательского контента (UGC).
• Система не оказывает влияния на текстовый веб-поиск.

Когда применяется

• Индексация контента: При индексации нового мультимедийного контента для проверки на наличие существующих дубликатов.
• Идентификация контента: В сервисах распознавания музыки (если Яндекс предоставляет такую услугу).
• Управление правами: Для систем контроля соблюдения авторских прав (аналог Content ID).

Пошаговый алгоритм

Процесс сопоставления входящего трека с базой данных.

1. Получение входящего трека.
2. Генерация отпечатков: Создание Первого Короткого Отпечатка (например, первые 21с) и Первого Длинного Отпечатка (например, первые 120с).
3. Инициализация выбора кандидатов: Идентификация всех Chroma Words в Первом Коротком Отпечатке.
4. Поиск в индексе (Pruning Index): Для каждого Chroma Word:
   1. Определение его Beginning Portion (например, первые 4 байта).
   2. Использование структуры Pruning Index (которая использует последовательности байтов как иерархические ключи, например, первые 3 байта как Index Key, 4-й байт как Sorting Key) для быстрого нахождения Posting List для этого Chroma Word.
   3. Извлечение Track IDs, перечисленных в Posting List.
5. Агрегация кандидатов: Сбор всех извлеченных Track IDs. Это список Кандидатских Аудио Треков. (Опционально: фильтрация кандидатов, если их длительность сильно отличается от входящего трека).
6. Инициализация валидации: Для каждого Кандидатского Трека.
7. Поиск в индексе (Validation Index): Извлечение Второго Длинного Отпечатка для кандидата, используя его Track ID.
8. Детальное сравнение: Выполнение побитового сравнения между Первым и Вторым Длинными Отпечатками.
9. Анализ сдвига (Обработка смещений): Во время сравнения система применяет сдвиг отпечатков относительно друг друга (например, в пределах +/- 20 секунд), чтобы учесть временные смещения.
10. Подтверждение совпадения: Если результат побитового сравнения (с учетом сдвига) превышает заранее определенный порог схожести, совпадение подтверждается.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Основным входом является необработанный аудиосигнал.
• Временные факторы: Используется общая длительность трека для предварительной фильтрации кандидатов. Система специфически анализирует начальные сегменты трека (например, 21с и 120с).

Какие метрики используются и как они считаются

• Анализ аудио (Chromaprint): Патент предполагает использование Chromaprint или аналогичной технологии. Это включает преобразование Фурье, конвертацию частот в музыкальные ноты (12 бинов) и применение фильтров для генерации устойчивых Chroma Words.
• Точное совпадение (Pruning): Выбор кандидатов основан на точном совпадении байтовых последовательностей (Beginning Portion) Chroma Words.
• Побитовое сравнение (Validation): Финальная валидация использует прямое сравнение длинных отпечатков. Это подразумевает использование метрики схожести, основанной на количестве совпадающих битов (например, расстояние Хэмминга).
• Временной сдвиг (Time Shifting): Механизм для расчета максимальной схожести при различных временных смещениях (в пределах +/- 20 секунд).

Выводы

1. Инфраструктурный патент для мультимедиа: Это инфраструктурный патент, фокусирующийся на эффективности идентификации мультимедийного контента. Он не дает инсайтов о ранжировании в веб-поиске.
2. Двухэтапное сопоставление: Яндекс использует двухэтапный процесс для сопоставления аудио: агрессивное отсечение (pruning) для скорости, за которым следует детальная валидация (validation) для точности.
3. Оптимизация индекса: Pruning Index высоко оптимизирован для скорости доступа, используя точные байтовые последовательности из Chroma Words в качестве ключей.
4. Устойчивость к изменениям: Система устойчива к временным смещениям (благодаря механизму сдвига) и небольшим различиям в качестве звука (благодаря природе Chromaprints и порогу схожести при побитовом сравнении).
5. Обнаружение дубликатов: Основное применение для SEO — это понимание того, как Яндекс обнаруживает дублирующийся контент в загружаемых видео и аудио файлах.

Практика

Best practices (это мы делаем)

Примечание: Рекомендации применимы исключительно к Мультимедийному SEO (Видео/Аудио).

• Обеспечение уникальности аудио в видеоконтенте: При создании оригинального видеоконтента используйте уникальную фоновую музыку или аудиодорожки. Яндекс легко определит, если аудиодорожка идентична существующему проиндексированному контенту (например, популярной музыке или стоковому аудио), что может повлиять на восприятие уникальности всего видео.
• Оптимизация для идентификации (если требуется): Если цель состоит в том, чтобы Яндекс корректно идентифицировал аудио (например, при загрузке музыкального альбома), обеспечьте высокое качество звука без чрезмерного шума или искажений в течение первых 120 секунд, так как это критически важный участок для создания отпечатков.

Worst practices (это делать не надо)

• Загрузка дублирующегося мультимедийного контента: Загрузка видео или аудиофайлов, которые уже существуют в индексе Яндекса (например, перезаливка чужого видео или популярной песни), будет очень эффективно обнаружена с помощью этой системы. Этот контент, скорее всего, будет отфильтрован как дубликат.
• Незначительные модификации аудио для обхода обнаружения: Простые манипуляции, такие как небольшое ускорение трека или добавление короткой тишины в начале (до 20 секунд), скорее всего, НЕ позволят обойти обнаружение из-за устойчивости Chromaprints и явного механизма «сдвига» во время валидации.

Стратегическое значение

Патент подтверждает наличие у Яндекса сложных возможностей в анализе мультимедиа, сравнимых с Google Content ID. Он подчеркивает необходимость оригинальности для создателей контента, стремящихся ранжироваться в Яндекс Видео. Уникальность проверяется не только по метаданным или визуальному анализу, но и путем глубокого анализа аудиосигнала.

Практические примеры

Сценарий: Обнаружение дубликата видео

1. Действие: Пользователь загружает видеоклип трейлера фильма с русской озвучкой.
2. Процесс системы: Яндекс генерирует Chromaprint аудиодорожки. Система быстро определяет (используя Pruning Index и Validation), что эта аудиодорожка (озвучка и фоновая музыка) совпадает с 50 другими видео, уже проиндексированными в системе.
3. SEO Результат: Новая загрузка помечается как дубликат и, вероятно, кластеризуется с существующими версиями, при этом в результатах поиска будет показана наиболее авторитетная версия.

Вопросы и ответы