Как Google фильтрует статичные кадры и тишину из живых трансляций перед индексацией контента

Термины и определения

Audio & Video Matching System (Система сопоставления аудио и видео)

Система (например, Content ID), которая использует индекс отпечатков для идентификации дубликатов или защищенного авторским правом контента в загружаемых пользователями файлах.

Audio/Video Fingerprints (Аудио/Видео отпечатки)

Уникальные компактные цифровые сигнатуры, извлеченные из медиаконтента. Они представляют собой функцию набора контрольных точек (interest points), таких как спектральные события (аудио) или гистограммы локальных признаков (видео).

Common Successive Overlapping Time Windows (Общие последовательные перекрывающиеся временные окна)

Метод сегментации потока. Анализ проводится в скользящем окне (например, 10 минут). Каждое следующее окно перекрывается с предыдущим (например, 0-10 мин, 0:01-10:01 мин и т.д.), что позволяет оптимизировать вычисления.

Fingerprint Index (Индекс отпечатков)

База данных, содержащая действительные аудио- и видеоотпечатки, используемая для сопоставления контента.

Hamming Similarity (Схожесть Хэмминга)

Метрика для сравнения двух отпечатков. Используется для определения того, насколько похожи два сегмента контента внутри временного окна.

Live Stream Ingestion (Прием живого потока)

Процесс получения и обработки аудиовизуального контента в реальном времени от источника трансляции.

Similarity Scores (Оценки схожести)

Числовые значения, отражающие степень сходства между наборами отпечатков внутри временного окна.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обнаружения неактивных сегментов в живом потоке.

1. Система получает живой поток.
2. Динамически и непрерывно генерируются видео- и аудиоотпечатки с соответствующими периодами дискретизации.
3. Отпечатки упаковываются в наборы на основе общих последовательных перекрывающихся временных окон.
4. Вычисляется набор оценок видео схожести (video similarity scores) для наборов видеоотпечатков.
5. Вычисляется набор оценок аудио схожести (audio similarity scores) для наборов аудиоотпечатков.
6. Система динамически инвалидирует (помечает как недействительные) один или более видео- и аудиоотпечатков для соответствующих временных окон. Ключевое условие: инвалидация происходит на основе хотя бы одного из наборов оценок (либо видео, либо аудио схожести).

Если хотя бы один из каналов (аудио или видео) признан статичным, весь сегмент (и аудио, и видео отпечатки) помечается как недействительный.

Claim 7 и 16 (Зависимые): Уточняют методы оценки аудио схожести.

1. Оценка аудио схожести может базироваться на Hamming similarities (обнаружение статичного тона).
2. ИЛИ оценка может базироваться на обнаружении тишины (detection of silence), что в патенте определяется как очень низкая средняя амплитуда звуковой волны.

Claim 9 и 17 (Зависимые): Описывают результат процесса валидации.

1. Действительные (не инвалидированные) аудио- и видеоотпечатки добавляются в Fingerprint Index.
2. Альтернативно, недействительные отпечатки удаляются из индекса.

Где и как применяется

Изобретение является инфраструктурным и применяется на ранних этапах обработки медиаконтента.

CRAWLING – Сканирование и Сбор данных (Data Acquisition)
На этом этапе система осуществляет прием живого потока (Live Stream Ingestion). Это специфическая форма сбора данных, отличающаяся от стандартного краулинга веб-страниц.

INDEXING – Индексирование и извлечение признаков (Feature Extraction)
Это основной этап применения патента. Процесс включает:

1. Извлечение Признаков (Feature Extraction): Генерация Audio/Video Fingerprints из входящего потока.
2. Фильтрация и Валидация: Анализ извлеченных признаков на предмет статичности (вычисление Similarity Scores) и принятие решения о том, какие признаки следует сохранить в индексе. Система действует как фильтр качества для Fingerprint Index.

Патент не затрагивает этапы Понимания Запросов, Ранжирования, Метапоиска или Переранжирования.

Входные данные:

• Живой аудио- и видеопоток (Stream Ingestion).
• Параметры конфигурации (периоды дискретизации аудио и видео, длина временного окна, пороги схожести).

Выходные данные:

• Наборы действительных (valid) аудио- и видеоотпечатков.
• Обновленный Fingerprint Index в системе сопоставления контента.

На что влияет

Патент влияет исключительно на инфраструктуру и эффективность систем индексирования и сопоставления медиаконтента.

• Конкретные типы контента: Влияет только на обработку живых видеотрансляций (Live Streams).
• Эффективность системы: Снижает нагрузку на хранилище и вычислительные ресурсы за счет уменьшения размера Fingerprint Index.
• Качество сопоставления: Повышает точность систем сопоставления (например, Content ID), уменьшая количество ложных срабатываний, которые могли бы возникнуть при сопоставлении с неактивным контентом (заставками, тишиной).

Патент не влияет на SEO, ранжирование, специфические ниши или тематики контента.

Когда применяется

• Условия работы: Алгоритм работает непрерывно в реальном времени во время приема любой живой трансляции, которая подлежит индексации для последующего сопоставления.
• Триггеры активации (для инвалидации сегмента):
  • Когда все пары видеоотпечатков внутри временного окна имеют Hamming similarity выше заданного порога (например, 0.5).
  • ИЛИ когда все пары аудиоотпечатков внутри окна имеют Hamming similarity выше порога.
  • ИЛИ когда средняя амплитуда аудиосигнала внутри окна ниже порога (обнаружение тишины).

Пошаговый алгоритм

Процесс обработки живого потока:

1. Прием потока: Система получает входящий живой аудиовизуальный поток.
2. Параллельная генерация отпечатков:
   • Видео компонент непрерывно генерирует Video Fingerprints с заданной частотой (например, 4 раза в секунду).
   • Аудио компонент непрерывно генерирует Audio Fingerprints с заданной частотой (например, 10 раз в секунду).
3. Упаковка в перекрывающиеся окна: Отпечатки группируются в наборы, соответствующие скользящему временному окну (например, 10 минут). При поступлении новых отпечатков формируется новое окно, перекрывающееся с предыдущим.
4. Оценка статичности видео:
   • Вычисляется Hamming similarity для всех пар видеоотпечатков в текущем окне.
   • Оптимизация: используются результаты расчетов из предыдущего окна, вычисляется схожесть только для новых отпечатков.
   • Если схожесть всех пар превышает Порог V, окно помечается как статичное по видео.
5. Оценка статичности аудио:
   • Вычисляется Hamming similarity для всех пар аудиоотпечатков (аналогично видео). Если схожесть превышает Порог А, окно помечается как статичное по аудио (статичный тон).
   • ИЛИ проверяется средняя амплитуда аудиоотпечатков. Если она ниже Порога S, окно помечается как статичное по аудио (тишина).
6. Валидация отпечатков: Если окно помечено как статичное ЛИБО по видео, ЛИБО по аудио, все аудио- и видеоотпечатки, связанные с этим окном, помечаются как недействительные (invalidated).
7. Индексация: Отпечатки, которые не были помечены как недействительные (т.е. действительные отпечатки), добавляются в Fingerprint Index для использования системой сопоставления контента.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на обработке сырых аудиовизуальных данных и извлеченных из них признаков. Он не использует стандартные SEO-факторы.

• Мультимедиа факторы:
  • Сырой видеопоток: Используется для извлечения контрольных точек (interest points) и генерации Video Fingerprints. Упоминаются такие признаки, как гистограммы локальных признаков, цветовые гистограммы, граничные признаки и т.д.
  • Сырой аудиопоток: Используется для генерации Audio Fingerprints. Упоминаются признаки, основанные на уникальных спектральных событиях (пики, начало пиков). Также используется амплитуда звуковой волны.

Контентные, технические, ссылочные, поведенческие, временные, структурные, географические или пользовательские факторы в этом патенте не используются.

Какие метрики используются и как они считаются

• Video/Audio Similarity Scores: Агрегированные оценки схожести внутри временного окна.
• Hamming Similarity: Основной метод вычисления схожести между двумя отдельными отпечатками.
• Пороги схожести (Thresholds): Предварительно определенные значения (например, 0.5). Если Hamming similarity превышает порог для всех пар в окне, окно считается статичным.
• Mean Amplitude (Средняя амплитуда): Метрика для аудио. Вычисляется для каждого аудиоотпечатка. Если средняя амплитуда очень низкая, это указывает на тишину.
• Методы оптимизации вычислений: Используется принцип перекрывающихся окон для повторного использования результатов вычисления схожести из предыдущего окна, что позволяет избежать полного пересчета метрик для каждого нового окна.

Патент описывает внутренние инфраструктурные процессы Google без прямых рекомендаций для SEO. Основные выводы для понимания работы систем Google:

1. Фокус на эффективности индексации медиа: Google активно оптимизирует процесс индексации видео и аудио, фильтруя неинформативный контент (статику, тишину) на самых ранних этапах приема данных.
2. Индексируются только значимые изменения: Система гарантирует, что в Fingerprint Index попадают только те сегменты, где происходит достаточное изменение аудиовизуальной информации. Статичный контент игнорируется.
3. Комплексная оценка статичности: Статичность определяется независимо для аудио и видео каналов, используя разные метрики (Hamming similarity для обоих, плюс амплитуда для аудио).
4. Принцип «ИЛИ» для фильтрации: Если хотя бы один из каналов (аудио ИЛИ видео) признан статичным, весь сегмент (оба типа отпечатков) исключается из индекса.
5. Инфраструктурный характер: Патент не имеет отношения к алгоритмам ранжирования, факторам качества контента или E-E-A-T. Он решает инженерную задачу масштабирования систем сопоставления контента.

Патент является инфраструктурным и не дает практических выводов для традиционного SEO. Анализ ниже применим в основном к Video SEO (VSEO) и управлению контентом на платформах типа YouTube.

Best practices (это мы делаем)

• Обеспечение динамичности контента (VSEO): При создании видеоконтента, особенно если он предназначен для живых трансляций, следует минимизировать длинные статичные заставки или периоды тишины, если важно, чтобы этот контент был полноценно проиндексирован системами сопоставления.
• Понимание ограничений Content ID: Если вы используете длинные статичные сегменты в своих видео, этот патент объясняет, почему система Content ID может не идентифицировать совпадения с этим конкретным сегментом – он может быть просто не включен в Fingerprint Index.

Worst practices (это делать не надо)

• Попытки «обмануть» индексацию статикой: Не имеет смысла пытаться манипулировать этим механизмом в целях SEO, так как он не влияет на ранжирование.

Стратегическое значение

Стратегическое значение для SEO минимально. Патент подтверждает, что Google рассматривает индексацию медиаконтента как сложную инженерную задачу и вкладывает ресурсы в повышение эффективности и качества своих индексов на инфраструктурном уровне. Это подчеркивает масштаб операций Google по обработке видео.

Практические примеры

Практических примеров для SEO нет, так как патент не влияет на поисковую оптимизацию.

Пример работы инфраструктуры (не SEO):

Сценарий: Индексация живой трансляции концерта

1. Событие: Идет прямая трансляция концерта. В перерыве между песнями на экране 5 минут показывается логотип группы, звук отсутствует.
2. Обработка: Система генерирует отпечатки. В течение этих 5 минут видеоотпечатки идентичны (логотип), аудиоотпечатки показывают тишину.
3. Анализ: В скользящем временном окне Similarity Scores для видео превышают порог (из-за Hamming similarity), а средняя амплитуда аудио ниже порога.
4. Результат: Система помечает этот 5-минутный сегмент как неактивный. Отпечатки не добавляются в Fingerprint Index. Когда концерт возобновляется, отпечатки снова начинают добавляться в индекс.