Как Яндекс индексирует и находит дубликаты аудио и видео контента с помощью акустических отпечатков (Chromaprints)

Описание

Какую задачу решает

Патент решает задачу эффективного и масштабируемого индексирования больших объемов аудиоданных для быстрого поиска дубликатов (Audio Matching). В отличие от распознавания коротких фрагментов (Audio Recognition), поиск дубликатов требует сравнения более длинных участков аудио, что является ресурсоемкой задачей. Изобретение предлагает оптимизированную структуру инвертированного индекса и двухэтапный процесс поиска для снижения вычислительной нагрузки при сравнении акустических отпечатков.

Что запатентовано

Запатентован метод создания и поддержания инвертированного индекса аудиодорожек (Audio Track Inverted Index) и система поиска дубликатов на его основе. Суть изобретения заключается в специфической иерархической структуре индекса, основанной на компонентах акустических отпечатков (Chroma Words). Индекс оптимизирован для быстрого отбора кандидатов на совпадение (Pruning Index) с последующей детальной проверкой (Validation Index).

Как это работает

Система использует технологию акустических отпечатков Chromaprint. Для каждой аудиодорожки генерируются два типа отпечатков: короткий (например, первые 21 секунда) и длинный (например, первые 120 секунд). Индекс строится иерархически: Chroma Word (например, 4 байта) делится на части (например, 3 байта + 1 байт). Первая часть используется как ключ индекса (Index Key), а вторая — как ключ сортировки (Sorting Key).

Поиск дубликата происходит в два этапа:

1. Быстрый отбор кандидатов (Pruning): Короткий отпечаток входящего трека используется для поиска в Pruning Index, чтобы быстро найти треки с идентичными Chroma Words.
2. Валидация (Validation): Длинный отпечаток входящего трека побитово сравнивается с длинными отпечатками кандидатов (из Validation Index). Сравнение может учитывать временные сдвиги (например, +/- 20 секунд).

Актуальность для SEO

Высокая (для мультимедиа систем). Технологии аудио-фингерпринтинга и использование инвертированных индексов являются стандартом для поиска мультимедиа, управления авторскими правами (Content ID) и дедупликации в сервисах типа Яндекс.Музыка и Яндекс.Видео. Описанная структура индекса актуальна для повышения производительности этих систем.

Важность для SEO

Влияние на традиционное веб-SEO минимально (3/10). Патент описывает инфраструктуру для обработки аудиоконтента, а не алгоритмы ранжирования текстовых документов. Однако он имеет прямое значение для SEO в вертикалях аудио и видео. Понимание этого механизма критически важно для управления индексацией и каноникализацией мультимедийного контента на платформах Яндекса, так как система определяет, является ли загруженный аудио- или видеофайл дубликатом.

Детальный разбор

Термины и определения

Audio Fingerprint (Акустический отпечаток)

Сжатое цифровое представление аудиосигнала. В патенте используется технология Chromaprint. Разделяется на Short (короткий) и Long (длинный).

Audio Matching (Сопоставление аудио)

Задача поиска полных дубликатов аудиодорожек. Отличается от Audio Recognition (распознавания фрагментов).

Audio Track Inverted Index (Инвертированный индекс аудиодорожек)

Структура данных, хранящая отображение компонентов аудио (Chroma Words) на аудиодорожки, которые их содержат.

Beginning Portion (Начальная часть)

Определенное количество первых байтов Chroma Word (в примере – 4 байта). Используется как ключ для индексирования.

Chroma Word (Хрома-слово)

Компонент акустического отпечатка. Последовательность байтов (например, 4 байта), описывающая небольшой фрагмент (chunk) аудиодорожки (указан диапазон от 0.5 до 8 секунд, предпочтительно 3 секунды).

First Byte / First Multi-byte sequence

Первая часть Beginning Portion. Используется как Index Key для определения набора постинг-листов. В примере: первые 3 байта.

Following Byte / Second Multi-byte sequence

Вторая часть Beginning Portion. Используется как Sorting Key для определения конкретного постинг-листа внутри набора. В примере: 4-й байт.

Posting List (Постинг-лист)

Список записей об аудиодорожках (Track ID, длительность, позиция), которые содержат определенное Chroma Word.

Pruning Index (Индекс отсечения)

Инвертированный индекс, построенный на коротких отпечатках (диапазон 9-27 сек, предпочтительно 21 сек). Используется для быстрого отбора кандидатов (Этап 1).

Validation Index (Индекс валидации)

Индекс, хранящий длинные отпечатки (диапазон 96-141 сек, предпочтительно 120 сек). Используется для финальной проверки кандидатов (Этап 2). Состоит из Key File и Fingerprint File.

Ключевые утверждения (Анализ Claims)

Основной объект патента (Claims 1-15) — это метод поддержания специфической структуры инвертированного индекса для аудиоданных.

Claim 1 (Независимый пункт): Описывает метод поддержания (maintaining) инвертированного индекса аудиодорожек.

1. Система получает аудиодорожку и определяет ее акустический отпечаток и компонент — Chroma Word.
2. Структура Chroma Word: он имеет Beginning Portion, состоящую из First Byte (определенного как первая многобайтовая последовательность) и Following Byte.
3. Структура Индекса: Индекс организован как множество Наборов постинг-листов (Sets of Posting Lists). Каждый Набор группирует листы для Chroma Words с одинаковым First Byte. Внутри набора листы различаются уникальным Following Byte.
4. Процесс индексации (Шаг 1): На основе First Byte определяется соответствующий Набор постинг-листов.
5. Процесс индексации (Шаг 2): На основе Following Byte:
• Если постинг-лист для данного Following Byte уже существует в наборе, индикация аудиодорожки добавляется в этот лист.
• Если нет, создается новый постинг-лист внутри этого набора.

Патент защищает конкретную реализацию инвертированного индекса. Вместо использования полного Chroma Word (например, 4 байта) как единого ключа, ключ разбивается на две части (например, 3 байта + 1 байт). Это создает иерархическую структуру (Набор -> Лист), что оптимизирует хранение и ускоряет поиск за счет эффективной локализации данных.

Где и как применяется

Изобретение относится к инфраструктуре обработки и хранения мультимедийных данных, используемой в сервисах типа Яндекс.Музыка и Яндекс.Видео, а не к стандартному веб-поиску.

CRAWLING – Сканирование и Сбор данных
Система применяется при получении нового аудио- или видеоконтента (загрузка пользователем, сканирование внешних источников).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. При индексации контента система выполняет:

1. Генерация отпечатков: Извлечение аудиодорожки и генерация короткого и длинного Chromaprints.
2. Извлечение Chroma Words: Разбиение отпечатков на компоненты.
3. Построение индекса: Внесение данных в Pruning Index (используя иерархический механизм из Claim 1) и Validation Index.

Сопоставление (Matching)
Система использует индексы для поиска совпадений (поиска дубликатов):

1. Candidate Selection: Быстрый поиск кандидатов по короткому отпечатку с использованием Pruning Index. На вход: Chroma Words входящего трека. На выход: Список Track IDs кандидатов.
2. Validation: Детальная проверка кандидатов с использованием Validation Index. На вход: Длинный отпечаток входящего трека и Track IDs кандидатов. На выход: Подтвержденные дубликаты.

На что влияет

• Конкретные типы контента: Влияет исключительно на аудиоконтент и аудиодорожки видеофайлов. Не влияет на текст или изображения.
• Конкретные ниши: Музыкальные сервисы, видеохостинги, платформы с пользовательским контентом (UGC).
• Цель применения: Идентификация дубликатов контента (дедупликация), управление авторскими правами (Content ID), каноникализация мультимедийных файлов.

Когда применяется

• Триггеры активации: Загрузка нового аудио/видео файла в систему или обнаружение такого файла краулером.
• Условия работы: Алгоритм активируется для проверки уникальности входящего контента и для его индексации.

Пошаговый алгоритм

Процесс А: Индексация нового аудио трека (На основе Claim 1)

1. Получение трека и генерация отпечатков: Создаются Short и Long Audio Fingerprints (Chromaprints).
2. Обработка Long Fingerprint: Длинный отпечаток сохраняется в Validation Index.
3. Обработка Short Fingerprint (Индексация в Pruning Index):
   • Для каждого Chroma Word (например, 4 байта) в коротком отпечатке:
   1. Извлечение ключей: Chroma Word разбивается на Index Key (например, 3 байта) и Sorting Key (например, 1 байт).
   2. Поиск набора (Set): По Index Key определяется соответствующий Set of Posting Lists.
   3. Поиск листа (List): Внутри набора по Sorting Key ищется конкретный Posting List.
   4. Обновление индекса: Если лист найден, в него добавляется запись о текущем треке (Track ID, Duration, Position). Если нет — лист создается.

Процесс Б: Поиск дубликатов (Matching) (На основе Description)

1. Получение входящего трека и генерация отпечатков.
2. Этап 1: Отбор кандидатов (Pruning):
   • Для каждого Chroma Word в коротком отпечатке выполняется поиск в Pruning Index.
   • Извлекаются Track IDs из найденных листов. Формируется список кандидатов.
3. Этап 2: Валидация (Validation):
   • Для каждого кандидата:
   1. Фильтрация (Опционально): Проверка длительности. Если длительность отличается больше порога (например, 30 секунд, упомянуто в патенте), кандидат исключается.
   2. Извлечение отпечатка: Из Validation Index извлекается длинный отпечаток кандидата.
   3. Побитовое сравнение: Сравнение длинных отпечатков.
   4. Учет сдвигов: Сравнение может включать сдвиг (shifting) отпечатков (например, +/- 20 секунд, упомянуто в патенте) для учета разницы в начале треков.
   5. Принятие решения: Если степень совпадения превышает порог (патент отмечает, что 100% совпадение не требуется), трек признается дубликатом.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Аудио): Основные данные — это сырой аудиосигнал (аудиофайлы или аудиодорожки видеофайлов).
• Технические факторы (Внутренние): Track ID, Track Duration (длительность трека).

Система не использует контентные (текстовые), ссылочные или поведенческие факторы из веб-поиска.

Какие метрики используются и как они считаются

• Chromaprint (Акустический отпечаток): Генерируется из аудиосигнала. Включает преобразование в спектрограмму, преобразование частот в музыкальные ноты (12 бинов) и применение фильтров.
• Chroma Word: Результат применения фильтров, последовательность байтов (например, 4 байта).
• Длительность отпечатков:
  • Короткий: 9-27 секунд (предпочтительно 21 секунда).
  • Длинный: 96-141 секунда (предпочтительно 120 секунд).
• Точное совпадение ключей: На этапе Pruning используется точное совпадение Index Key и Sorting Key (т.е. точное совпадение Chroma Words).
• Bit-by-bit Comparison (Побитовое сравнение): Метрика схожести длинных отпечатков на этапе Validation. Рассчитывается как количество совпадающих битов.
• Временной сдвиг (Time Shift/Shifting): При валидации применяется сдвиг отпечатков (например, от +20 до -20 секунд).

Выводы

Патент описывает внутренние инфраструктурные процессы Яндекса, связанные с индексированием и поиском дубликатов аудиоконтента. Он не дает прямых рекомендаций для традиционного SEO, но важен для понимания обработки мультимедиа.

1. Специализация на поиске дубликатов (Matching): Система предназначена для идентификации идентичного аудиоконтента, а не для оценки его качества или релевантности текстовому запросу.
2. Двухэтапный поиск (Pruning и Validation): Яндекс использует стандартный подход: быстрый грубый отбор кандидатов по коротким отпечаткам с последующей точной проверкой по длинным отпечаткам.
3. Оптимизация инвертированного индекса: Ключевая техническая особенность — специфическая иерархическая структура Pruning Index. Разбиение ключа (Chroma Word) на две части (Index Key и Sorting Key) оптимизирует хранение и ускоряет доступ к данным.
4. Устойчивость к изменениям: Система устойчива к разнице в качестве аудио и небольшим временным сдвигам (до +/- 20 секунд) за счет технологии Chromaprint и механизма сдвига при валидации.
5. Индексация Видео: Механизм применяется к аудиодорожкам видеофайлов, что позволяет Яндексу идентифицировать видеоролики с одинаковым звуковым сопровождением.

Практика

Best practices (это мы делаем)

Хотя патент инфраструктурный, можно сделать выводы для SEO-специалистов, работающих с аудио и видео контентом на платформах Яндекса (например, Видео, Музыка, Дзен).

• Приоритет уникального аудиоконтента: Система активно выявляет дубликаты. Для лучшей индексации и ранжирования в мультимедийных вертикалях необходимо создавать контент с уникальной аудиодорожкой.
• Обеспечение чистоты начального сегмента аудио: Поскольку короткие отпечатки (первые ~21 секунды) используются для первичного поиска, и длинные (первые ~120 секунд) для валидации, важно, чтобы этот начальный сегмент содержал релевантный и чистый аудиосигнал, характеризующий контент.
• Управление каноникализацией мультимедиа: Если на разных страницах размещаются идентичные аудио- или видеофайлы, система определит их как дубликаты. Необходимо понимать, какую версию Яндекс выберет в качестве канонической (патент не описывает логику выбора каноникала, но подтверждает факт дедупликации).

Worst practices (это делать не надо)

• Массовая загрузка дубликатов: Попытки заполнить выдачу копиями одного и того же аудио- или видеоконтента будут неэффективны, так как система идентифицирует их как дубликаты.
• Незначительные модификации аудио для уникализации: Попытки обмануть систему путем небольшого ускорения/замедления трека, наложения шумов или добавления тишины в начале неэффективны. Технология Chromaprint устойчива к изменениям качества, а механизм валидации учитывает временные сдвиги (до 20 секунд).

Стратегическое значение

Патент подтверждает, что Яндекс обладает развитой инфраструктурой для анализа и дедупликации мультимедийного контента в масштабах всего интернета. Это стратегически важно для поддержания чистоты индекса, борьбы с пиратством (Content ID) и развития специализированных сервисов. Для SEO это означает, что при работе с мультимедиа уникальность контента является фундаментальным требованием, и технические манипуляции для обхода систем уникализации маловероятны.

Практические примеры

Сценарий: Оптимизация видеоконтента и уникализация

1. Задача: Продвижение видеообзора продукта. SEO-специалист хочет использовать существующее популярное видео, немного изменив его.
2. Неправильное действие: Специалист добавляет 10 секунд тишины в начало аудиодорожки и немного снижает битрейт.
3. Работа системы: Яндекс генерирует Chromaprint. На этапе валидации система компенсирует 10-секундный сдвиг (допустимо до +/- 20 сек) и обнаруживает почти 100% побитовое совпадение длинных отпечатков с оригиналом.
4. Результат: Видео помечается как дубликат оригинала.
5. Правильное действие: Полностью переозвучить видео собственным голосом и использовать другую фоновую музыку. Это создаст совершенно новый Chromaprint, который будет проиндексирован как уникальный контент.

Вопросы и ответы