Как Яндекс индексирует и распознает аудио контент с помощью цифровых отпечатков (хромапринтов)

Описание

Какую задачу решает

Патент решает задачу эффективного хранения, индексации и быстрого поиска аудио записей в больших базах данных с использованием технологии цифровых аудио отпечатков (audio fingerprinting), называемых в патенте хромапринтами. Цель — обеспечение быстрого и точного распознавания аудио контента по его фрагменту. Патент не имеет отношения к устранению SEO-манипуляций или улучшению ранжирования веб-документов.

Что запатентовано

Запатентована структура специализированного инвертированного индекса для хранения аудио сигнатур (хромапринтов) и метод его эксплуатации. Изобретение заключается в способе организации индекса, который оптимизирован для быстрого поиска совпадений путем иерархической организации компонентов сигнатуры (хрома слов) на основе их байтовой структуры.

Как это работает

Аудио запись преобразуется в аудио сигнатуру (хромапринт), которая состоит из последовательности хрома слов. Каждое хрома слово разбивается на байты. Индекс организован иерархически: данные группируются сначала по первым байтам хрома слова (что формирует индексный ключ), а затем внутри группы — по последующим байтам (что формирует сортирующий ключ). Такая структура позволяет быстро локализовать релевантные сегменты индекса при поиске совпадений или добавлении новой записи, минимизируя количество операций сравнения.

Актуальность для SEO

Средняя. Технологии аудио фингерпринтинга активно используются в индустрии (например, в Yandex Music, для распознавания музыки или для Content ID в видео). Однако конкретная реализация индекса на основе байтовых ключей, описанная в патенте от 2014 года, может быть частично устаревшей, учитывая развитие нейросетевых методов поиска и векторных баз данных. Критически важно отметить, что данная заявка на патент была отозвана заявителем (Дата отзыва заявки: 16.02.2015).

Важность для SEO

Влияние на SEO минимальное (0/10). Патент описывает исключительно внутреннюю инфраструктуру и алгоритмы для распознавания и индексации аудио контента. Он не содержит никакой информации о ранжировании веб-сайтов, текстовой релевантности, ссылочных, поведенческих факторах или E-E-A-T. Прямого влияния на стратегии SEO-продвижения веб-сайтов этот патент не оказывает.

Детальный разбор

Термины и определения

Аудио сигнатура (Audio Signature)

Цифровой отпечаток (фингерпринт) аудио записи. Компактное представление аудио контента, используемое для его идентификации. В патенте также называется хромапринтом. Может быть короткой или длинной.

Длинная аудио сигнатура (Long Audio Signature)

Аудио сигнатура, сгенерированная для более продолжительной части аудио записи (например, до 120 секунд). Используется в индексе соответствия.

Индексный ключ (Index Key)

Ключ, используемый для быстрой локализации набора списков записей в инвертированном индексе. Основан на первой последовательности байтов (например, первых трех байтах) хрома слова.

Инвертированный индекс аудио записи (Inverted Index)

Структура данных, которая отображает компоненты аудио сигнатур (хрома слова) на аудио записи, которые их содержат. В патенте описана специфическая иерархическая структура этого индекса.

Короткая аудио сигнатура (Short Audio Signature)

Аудио сигнатура, сгенерированная для начальной части аудио записи (например, первых 21 секунды). Используется в индексе обрезки.

Сортирующий ключ (Sorting Key)

Ключ, используемый для быстрой локализации конкретного списка записей внутри набора списков. Основан на последующих байтах хрома слова (следующих за индексным ключом).

Хрома слово (Chroma Word)

Компонент аудио сигнатуры. Описывает короткий отрезок аудио записи (например, длительностью 3 секунды). Является основной единицей индексации.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на структуре данных для хранения аудио отпечатков, а не на методе их генерации или алгоритмах ранжирования.

Claim 1 (Независимый пункт): Описывает структуру инвертированного индекса аудио записи, хранящегося на постоянном носителе.

1. Индекс содержит множество наборов списков записей. Каждый набор является списком хрома слов (компонентов аудио сигнатуры).
2. Каждое хрома слово разбито на байты и имеет начальную часть, состоящую из первого байта и последующих байтов.
3. Структура иерархическая:
   • В рамках одного набора списков записей все хрома слова имеют одинаковый первый байт (или первую последовательность байтов) в начальной части.
   • Внутри набора отдельные списки отличаются друг от друга последующими байтами. Эти последующие байты уникальны для данного набора.

Система организует данные таким образом, чтобы сначала сгруппировать все хрома слова, начинающиеся одинаково (уровень набора списков), а затем разделить их по следующим байтам (уровень списка записей). Это позволяет быстро сужать область поиска.

Claims 2 и 4: Вводят понятия ключей для навигации по индексу.

• Каждый набор списков записей связан с уникальным индексным ключом (Claim 2).
• Каждый список записей внутри набора связан с уникальным для этого набора сортирующим ключом (Claim 4).

Claims 11 и 12: Указывают конкретные параметры реализации.

• Начальная часть каждого хрома слова имеет предопределенное число байтов (Claim 11), например, четыре байта (Claim 12).

Claim 14 и 16: Описывают типы аудио сигнатур и соответствующие им индексы.

• Используются короткие аудио сигнатуры (для начала записи) и длинные аудио сигнатуры (Claim 14).
• Индекс может быть реализован как индекс обрезки (для коротких сигнатур) и индекс соответствия (для длинных сигнатур) (Claim 16).

Claim 17 (Независимый пункт): Описывает способ эксплуатации (индексирования новой записи) с использованием описанной структуры.

1. Получение новой аудио записи и определение ее первого хрома слова.
2. На основе первого байта (индексного ключа) определяется конкретный набор списков записей.
3. Происходит сравнение последующего байта (сортирующего ключа) с ключами существующих списков записей в этом наборе.
4. Если совпадение найдено, индикация нового хрома слова сохраняется в соответствующем списке.
5. Если совпадение не найдено, создается новый список записей в этом наборе, и индикация сохраняется в нем.

Где и как применяется

Изобретение относится к инфраструктуре мультимедийного поиска Яндекса и не применяется в традиционном веб-поиске.

CRAWLING – Сканирование и Сбор данных
На этом этапе система получает аудио записи (например, музыкальные треки, загруженные в Yandex Music, или аудио дорожки из видео файлов).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента.

1. Извлечение признаков: Из аудио записи генерируются аудио сигнатуры (короткие и длинные), состоящие из хрома слов.
2. Индексация: Хрома слова помещаются в специализированный инвертированный индекс с использованием описанной иерархической структуры (индексные и сортирующие ключи).

Патент НЕ применяется на этапах QUERY PROCESSING, RANKING или BLENDER в контексте ранжирования веб-документов.

Система взаимодействует с сервисами, требующими идентификации аудио контента (например, распознавание музыки по звуку, поиск дубликатов аудио).
На входе: Аудио файл или аудио поток.
На выходе (при индексации): Обновленный инвертированный индекс аудио записей.
На выходе (при поиске): Идентификатор распознанной аудио записи (хотя процесс поиска в патенте детально не описан, он является целью создания индекса).

На что влияет

• Конкретные типы контента: Влияет исключительно на аудио записи (музыка, речь) и, возможно, на аудио дорожки внутри видео контента.
• Патент не влияет на текстовый контент, товары, локальные страницы, коммерческие или информационные запросы в веб-поиске, YMYL тематики или SEO в целом.

Когда применяется

• Индексация: Алгоритм применяется каждый раз, когда в базу данных добавляется новый аудио контент, который необходимо проиндексировать для последующего распознавания.
• Поиск: Структура индекса используется при выполнении запросов на распознавание аудио фрагмента (например, когда пользователь использует функцию распознавания музыки).

Пошаговый алгоритм

Процесс индексации новой аудио записи:

1. Получение данных: Система получает новую аудио запись для индексирования.
2. Генерация сигнатур: Определяются аудио сигнатуры (короткая и/или длинная) для этой записи. Сигнатура состоит из множества хрома слов.
3. Обработка хрома слова: Система берет очередное хрома слово.
4. Разбиение на ключи: Хрома слово разбивается на байты. Выделяется начальная часть, которая делится на:
   • Первый байт (или первая последовательность байтов) – используется как индексный ключ.
   • Последующий байт (или вторая последовательность байтов) – используется как сортирующий ключ.

   (Например, если хрома слово это 0xABCDEF12, индексный ключ может быть 0xABC, а сортирующий ключ 0xD).

5. Локализация набора (L1): На основе индексного ключа система быстро определяет соответствующий набор списков записей в инвертированном индексе.
6. Локализация списка (L2): Внутри найденного набора система ищет список записей, соответствующий сортирующему ключу.
7. Обновление индекса:
   • Если список найден, в него добавляется индикация текущего хрома слова (включая идентификатор записи).
   • Если список не найден, создается новый список с данным сортирующим ключом внутри набора, и в него добавляется индикация хрома слова.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Единственный тип данных на входе — это аудио записи (аудио сигналы).

В патенте не упоминаются и не используются никакие факторы, релевантные для SEO:

• Контентные факторы (текст, заголовки) – НЕТ.
• Технические факторы (скорость загрузки, коды ответа) – НЕТ.
• Ссылочные факторы (анкоры, вес) – НЕТ.
• Поведенческие факторы (клики, CTR) – НЕТ.
• Географические или Пользовательские факторы – НЕТ.

Какие метрики используются и как они считаются

Патент описывает структуру хранения данных, а не алгоритмы машинного обучения или ранжирования. Используются следующие технические параметры:

• Хрома слова (Chroma Words): Компоненты аудио сигнатуры.
• Байтовые последовательности: Используются для формирования индексных и сортирующих ключей. Упоминается, что первая последовательность может быть 3 байта (Claim 10), а вся начальная часть – 4 байта (Claim 12).
• Идентификатор записи (Record ID): Хранится в индексе вместе с хрома словами (Claim 15, 28). Может описываться одним байтом (Claim 30).
• Информация о длительности записи: Также может храниться в индексе (Claim 29).
• Временные параметры (Длительности):
  • Длительность отрезка, описываемого одним хрома словом: от 0.5 до 8 секунд, конкретный пример – 3 секунды (Claims 26, 27).
  • Длительность короткой аудио сигнатуры: диапазон 9-27 секунд, конкретный пример – 21 секунда (Claims 22, 23).
  • Длительность длинной аудио сигнатуры: диапазон 96-141 секунд, конкретный пример – 120 секунд (Claims 24, 25).

Выводы

1. Инфраструктурное решение для аудио: Патент описывает чисто техническое, инфраструктурное решение для эффективной индексации и хранения цифровых аудио отпечатков (хромапринтов).
2. Специализированный инвертированный индекс: Ядро изобретения — это иерархическая структура инвертированного индекса, использующая байтовую структуру хрома слов для создания индексных и сортирующих ключей. Это оптимизирует скорость поиска и добавления данных.
3. Короткие и длинные сигнатуры: Система использует разные типы сигнатур (короткие для начала трека, длинные для основной части) для разных задач (быстрая обрезка кандидатов и точное соответствие).
4. Отсутствие связи с веб-поиском и SEO: Патент не содержит абсолютно никакой информации, связанной с ранжированием веб-документов, факторами SEO, текстовой релевантностью или алгоритмами машинного обучения для поиска.
5. Статус заявки: Заявка на патент была отозвана Яндексом в 2015 году, что ставит под сомнение использование именно этой конкретной реализации в текущей инфраструктуре.

Практика

Практическое применение в SEO

Патент является инфраструктурным и описывает технологию индексации аудио контента. Он не дает никаких практических выводов или рекомендаций для SEO-специалистов, занимающихся продвижением веб-сайтов.

Best practices (это мы делаем)

На основании данного патента нет рекомендаций для SEO.

Worst practices (это делать не надо)

На основании данного патента нет предостережений для SEO.

Стратегическое значение

Стратегическое значение для SEO отсутствует. Патент интересен с точки зрения понимания того, как Яндекс подходит к построению специализированных индексов для мультимедийного контента, но эти подходы не переносятся на архитектуру веб-поиска.

Практические примеры

Практических примеров применения в SEO нет.

Вопросы и ответы