Как Google оптимизирует индексы для распознавания контента с помощью хешей переменной длины

Термины и определения

LSH (Locality Sensitive Hashing)

Локально-чувствительное хеширование. Техника, используемая для быстрого приближенного поиска похожих элементов в больших наборах данных. Принцип работы заключается в том, что похожие элементы с высокой вероятностью получают одинаковые или близкие хеш-значения.

LSH Band (Полоса LSH)

Конкретное хеш-значение в индексе. Создается путем выборки и конкатенации части суб-фингерпринта.

Fingerprint (Фингерпринт/Цифровой отпечаток)

Компактное представление контента (например, аудиофайла), используемое для его идентификации. В патенте представлен как вектор строк.

Subfingerprint String (Строка суб-фингерпринта)

Часть цифрового отпечатка, которая используется для генерации LSH Bands.

Offset List (Список смещений)

Список всех вхождений данного LSH Band в эталонной базе данных. Он указывает, в каком эталонном образце (Reference Sample) и в какой позиции (например, временном смещении) встречается этот хеш.

Minimum Efficiency Length (Минимальная эффективная длина)

Начальная, минимально допустимая длина LSH Band, используемая при старте индексации.

Band Size Threshold (Порог размера полосы)

Максимально допустимый размер Offset List. Если он превышен, LSH Band считается слишком общим (недостаточно дискриминативным).

Maximum Length Threshold (Порог максимальной длины)

Максимально допустимая длина, до которой может быть увеличен LSH Band.

Splitting Component

Компонент системы, отвечающий за удлинение LSH Bands, которые превысили Band Size Threshold.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод создания индекса.

1. Генерация набора LSH bands на основе набора строк суб-фингерпринтов. Длина этих LSH bands соответствует минимальной эффективной длине.
2. Определение списков смещений (Offset Lists) для сгенерированных LSH bands.
3. Увеличение длины тех LSH bands, размер Offset Lists которых превышает заданный порог (Band Size Threshold).

Ядром изобретения является шаг 3: динамическое удлинение хешей, которые оказываются слишком общими (встречаются слишком часто), для повышения их различительной способности.

Claim 7 (Зависимый): Уточняет итеративный характер процесса.

1. Определение Offset Lists для уже удлиненных LSH bands.
2. Повторное увеличение длины тех удлиненных LSH bands, чьи Offset Lists все еще превышают Band Size Threshold.

Это означает, что процесс оптимизации не ограничивается одним шагом удлинения, а продолжается до достижения нужной специфичности.

Claims 9 и 10 (Зависимые): Описывают обработку граничных случаев при достижении максимальной длины.

• Если длина LSH band достигла Maximum Length Threshold, но его Offset List все еще превышает Band Size Threshold (т.е. хеш максимально длинный, но все равно слишком общий):
• Система может удалить этот LSH band из индекса (Claim 9).
• Система может даунсемплировать (сократить) этот LSH band в индексе (Claim 10).

Где и как применяется

Изобретение применяется на этапе построения инфраструктуры поиска.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Механизм используется во время построения или обновления индекса (LSH Lookup Index) для систем сопоставления контента. Система обрабатывает извлеченные признаки (фингерпринты) и строит эффективную структуру данных для быстрого поиска совпадений.

Область применения: В патенте явно указано применение для сопоставления аудио и видео контента (Audio Matching). Это инфраструктура для систем типа YouTube Content ID. Теоретически, подобный механизм оптимизации LSH индексов может применяться и в других областях, где требуется поиск дубликатов или похожих элементов, например, при обработке веб-страниц (Duplicate Detection).

Входные данные:

• Набор строк суб-фингерпринтов (Set of Subfingerprint Strings) эталонного контента.
• Параметры конфигурации: Minimum Efficiency Length, Band Size Threshold, Maximum Length Threshold.

Выходные данные:

• Оптимизированный индекс LSH Lookup Index, содержащий LSH Bands переменной длины.

На что влияет

Патент влияет исключительно на внутреннюю эффективность и точность систем распознавания и сопоставления контента.

• Конкретные типы контента: Аудио и видео файлы (фингерпринтинг).

Он не влияет на алгоритмы ранжирования веб-результатов, оценку качества сайтов, понимание запросов или формирование поисковой выдачи (SERP).

Когда применяется

• Временные рамки: Алгоритм применяется во время генерации или обновления индекса. Это офлайн-процесс обработки данных, а не процесс обработки запроса в реальном времени.
• Триггеры активации: Механизм удлинения активируется для конкретного LSH Band, когда количество его вхождений (размер Offset List) превышает установленный Band Size Threshold.

Пошаговый алгоритм

Процесс построения оптимизированного LSH индекса:

1. Инициализация параметров: Определение Minimum Efficiency Length (например, 4 байта), Band Size Threshold (например, 1000 вхождений) и Maximum Length Threshold (например, 10 байт).
2. Генерация начальных LSH Bands: Из набора суб-фингерпринтов генерируются LSH Bands минимальной длины. В патенте описаны методы выбора байтов: последовательные байты или байты, выбранные на основе рандомизирующего хеша.
3. Определение списков смещений (Offset Lists): Для каждого уникального LSH Band составляется список всех его вхождений в базе данных.
4. Анализ и выявление общих хешей: Размер Offset List сравнивается с Band Size Threshold.
5. Удлинение (Splitting): Если порог превышен, LSH Band удлиняется путем добавления дополнительного байта из соответствующего суб-фингерпринта. Это действие разделяет исходный общий LSH Band на множество более длинных и специфичных LSH Bands.
6. Итерация: Шаги 3-5 повторяются для новых (удлиненных) LSH Bands. Процесс останавливается, когда размер Offset List становится меньше порога или достигается Maximum Length Threshold.
7. Финальная оптимизация (Tuning): Если LSH Band достиг максимальной длины, но его Offset List все еще слишком велик, применяется политика оптимизации: удаление (discarding) или даунсемплинг (down-sampling) этого хеша.
8. Сохранение индекса: Финальный набор LSH Bands переменной длины сохраняется в LSH Lookup Index.

Какие данные и как использует

Данные на входе

Патент использует исключительно данные, связанные с цифровыми отпечатками контента.

• Контентные факторы (в контексте фингерпринтинга): Основные данные — это цифровые отпечатки (Fingerprints), извлеченные из контента (например, из спектрограмм аудио). Они обрабатываются как набор строк суб-фингерпринтов (Subfingerprint Strings).

Традиционные SEO-факторы (ссылочные, поведенческие, технические, временные, структурные и т.д.) в этом патенте не упоминаются и не используются.

Какие метрики используются и как они считаются

Система использует следующие предопределенные метрики и пороги:

• Minimum Efficiency Length: Начальная длина хеша (например, 4 байта).
• Maximum Length Threshold: Предельная длина хеша (например, 10 байт).
• Band Size Threshold: Пороговое значение частотности хеша. Служит триггером для удлинения.
• Размер Offset List: Фактическое количество вхождений конкретного LSH Band в базе данных. Это основная метрика, которая сравнивается с Band Size Threshold для принятия решений об оптимизации структуры индекса.

1. Инфраструктурное решение: Патент описывает сугубо инфраструктурное решение для оптимизации индексов, основанных на технике LSH (Locality Sensitive Hashing).
2. Цель — эффективность и точность сопоставления: Основная задача изобретения — повысить эффективность (скорость поиска) и точность (различительную способность хешей) систем сопоставления контента (Content Matching), таких как Content ID.
3. Динамическая адаптация индекса: Система использует хеши переменной длины и динамически адаптирует их структуру, чтобы избежать неэффективной обработки слишком общих (часто встречающихся) паттернов.
4. Отсутствие влияния на SEO: Патент не имеет практического значения для стандартных задач SEO. Он не описывает сигналы ранжирования, методы оценки качества веб-контента, интента пользователя или любые другие факторы, влияющие на позиции сайта в поисковой выдаче.

ВАЖНО: Данный патент является инфраструктурным и не дает прямых практических рекомендаций для SEO-специалистов, работающих над продвижением веб-сайтов.

Best practices (это мы делаем)

Практических рекомендаций для SEO, основанных на механизмах этого патента, нет.

Worst practices (это делать не надо)

Практических рекомендаций для SEO, основанных на механизмах этого патента, нет.

Стратегическое значение

Патент демонстрирует сложность и глубину инфраструктуры Google, необходимой для обработки и индексирования огромных массивов данных, в частности для задач фингерпринтинга и сопоставления медиаконтента. Для долгосрочной SEO-стратегии этот патент имеет нулевое значение, так как он не связан с алгоритмами ранжирования веб-поиска.

Практические примеры

Практических примеров для SEO нет. Примеры, описанные в патенте, касаются исключительно внутренней логики построения индекса для аудио-сопоставления.