Close Menu

    Как Google (YouTube) использует комбинированные отпечатки для идентификации дубликатов видео в разных форматах (16:9, 4:3, Сжатый)

    FINGERPRINTING TO MATCH VIDEOS HAVING VARYING ASPECT RATIOS (Создание цифровых отпечатков для сопоставления видео с различными соотношениями сторон)
    2010 Мультимедиа Патенты Google

    Google использует технологию «комбинированных цифровых отпечатков» для идентификации видеоконтента, загруженного в разных соотношениях сторон. Система создает две версии видео с разной коррекцией формата, генерирует отпечаток для каждой, а затем объединяет половину одного отпечатка с половиной другого. Это позволяет точно находить дубликаты (например, для Content ID), независимо от того, является ли видео широкоформатным, обрезанным или искаженным.

    Описание

    Какую задачу решает

    Патент решает проблему надежной идентификации почти идентичных (near-duplicate) видео на хостинговых платформах, когда один и тот же контент загружается в разных соотношениях сторон (Aspect Ratios) и форматах. Существует три основных типа представления: Widescreen (например, 16:9), Full-screen (4:3, часто обрезанный по бокам) и Squashed (широкоформатный контент, искаженный для вписывания в 4:3 без обрезки). Стандартные методы фингерпринтинга не могут надежно сопоставить все три варианта одним отпечатком из-за различий в визуальном содержании.

    Что запатентовано

    Запатентован метод генерации Combined Fingerprint (комбинированного цифрового отпечатка). Суть изобретения заключается в применении двух различных методов коррекции формата (aspect correction methods) к исходному видео для создания двух трансформированных версий. Для каждой версии генерируется отдельный отпечаток. Финальный Combined Fingerprint формируется путем объединения (конкатенации) одной половины первого отпечатка с одной половиной второго.

    Как это работает

    Система работает на основе Transformation Strategy — предопределенной пары методов коррекции, которая в совокупности покрывает все основные форматы.

    • Трансформация: Исходное видео обрабатывается дважды, с использованием двух разных методов (например, Widescreen Adjust и No Adjust).
    • Генерация отпечатков: Для каждой из двух версий создается полный отпечаток (FP1 и FP2).
    • Комбинирование: Первая половина FP1 объединяется со второй половиной FP2.
    • Сопоставление: Метод предполагает, что используемый алгоритм фингерпринтинга достаточно устойчив (robust), чтобы идентифицировать совпадение по 50% данных. Таким образом, Combined Fingerprint может быть сопоставлен с любым из трех форматов.

    Актуальность для SEO

    Высокая (для видеоплатформ). Управление огромными базами видео, дедупликация и идентификация контента (например, система Content ID на YouTube) остаются критически важными задачами. Этот патент описывает фундаментальное решение для повышения точности идентификации в условиях разнообразия форматов загрузки.

    Важность для SEO

    Низкое влияние на традиционное SEO (2.5/10). Патент описывает внутренние инфраструктурные процессы Video Hosting Service (например, YouTube) для управления инвентарем и идентификации контента. Он не содержит информации о факторах ранжирования веб-страниц. Для VSEO (Video SEO) он имеет значение, так как объясняет механизмы дедупликации и каноникализации видеоконтента на платформе, подтверждая неэффективность манипуляций с форматами видео.

    Детальный разбор

    Термины и определения

    Anti-squash Adjust
    Метод коррекции формата. Обрезает боковые стороны (например, по 1/8 ширины) у всех видео, независимо от их исходного соотношения сторон.
    Aspect Correction Method
    Алгоритм трансформации видео из одного формата или соотношения сторон в другой (например, путем обрезки).
    Combined Fingerprint (Комбинированный отпечаток)
    Цифровой отпечаток видео, созданный путем объединения половин двух разных отпечатков, сгенерированных с использованием разных Aspect Correction Methods.
    Full-screen (Полноэкранный)
    Формат видео (обычно 4:3). Часто создается из Widescreen путем обрезки (cropping) левой и правой сторон.
    Min-hash procedure (Процедура минимального хеширования)
    Техника для оценки схожести наборов данных. Используется в патенте на разных этапах генерации отпечатка (для создания Subfingerprints и финального отпечатка).
    Squashed (Сжатый/Искаженный)
    Формат видео, где Widescreen контент сжимается по горизонтали, чтобы уместиться в кадр (например, 4:3) без обрезки контента, но с искажением пропорций.
    Subfingerprint (SFP) (Суб-отпечаток)
    Элемент данных, кодирующий признаки (features) определенного короткого сегмента видео (например, 4 секунды).
    Transformation Strategy (Стратегия трансформации)
    Выбранная пара различных Aspect Correction Methods, применяемых для генерации Combined Fingerprint. Должна покрывать все основные форматы.
    Widescreen (Широкоформатный)
    Формат видео с широким соотношением сторон (например, 16:9, 2.35:1).
    Widescreen Adjust
    Метод коррекции формата. Обнаруживает Widescreen видео и обрезает его боковые стороны для преобразования в формат 4:3 (Full-screen). Не применяется к видео 4:3.

    Ключевые утверждения (Анализ Claims)

    Claim 1 (Независимый пункт): Описывает основной метод генерации Combined Fingerprint.

    1. Генерация первого трансформированного видео путем применения первого метода коррекции формата (first aspect correction method) к исходному видео.
    2. Генерация второго трансформированного видео путем применения второго метода коррекции формата.
    3. Генерация первого отпечатка (FP1) и второго отпечатка (FP2). Каждый имеет первую и вторую половины.
    4. Комбинирование первой половины FP1 со второй половиной FP2 для создания Combined Fingerprint.
    5. Сохранение отпечатка.

    Claim 2 и 3 (Зависимые от 1): Уточняют конкретные пары методов коррекции (Transformation Strategy).

    • Claim 2: Комбинация Widescreen adjustment и Antisquash adjustment.
    • Claim 3: Комбинация Widescreen adjustment и отсутствия коррекции (leaving the video unadjusted).

    Claim 5 (Зависимый от 1): Определяет, что комбинирование осуществляется путем конкатенации (concatenating) половин отпечатков.

    Claim 7 (Независимый пункт): Описывает альтернативный метод для интеграции с существующими (legacy) системами, позволяющий избежать повторных вычислений.

    1. Генерация первого трансформированного видео (Метод 1) и генерация FP1.
    2. Извлечение (Retrieving) FP2 из базы данных (вместо генерации на лету). FP2 основан на втором методе коррекции.
    3. Комбинирование первой половины FP1 со второй половиной FP2 для создания Combined Fingerprint.

    Где и как применяется

    Патент описывает процессы внутри Video Hosting Service (например, YouTube) для обработки и идентификации загружаемого контента, а не архитектуру веб-поиска Google.

    CRAWLING – Сбор данных (Data Acquisition)
    Алгоритм применяется на этапе приема (Ingest Video) загруженного пользователем видео.

    INDEXING – Индексирование и извлечение признаков (Indexing & Feature Extraction)
    Это основная фаза применения патента. Система (Fingerprinting Server) выполняет обработку видео для создания универсального идентификатора. Это включает:

    • Трансформацию контента (применение Aspect Correction Methods).
    • Извлечение признаков (генерация базовых отпечатков).
    • Создание финального Combined Fingerprint.

    Входные данные:

    • Исходное загруженное видео (Uploaded Video).
    • Метаданные о соотношении сторон (Aspect Ratio).

    Выходные данные:

    • Combined Fingerprint, сохраненный в Fingerprint Database.

    Ключевые технические особенности:

    • Система требует использования алгоритма фингерпринтинга, который является устойчивым (robust). Ключевое требование — алгоритм должен быть способен надежно идентифицировать совпадение, даже если совпадают только 50% данных отпечатка.

    На что влияет

    • Конкретные типы контента: Исключительно видеоконтент.
    • Определенные форматы контента: Влияет на способность системы идентифицировать видео, загруженные в форматах Widescreen (16:9 и т.д.), Full-screen (4:3) и Squashed (4:3 с искажениями).

    Когда применяется

    • Триггеры активации: Загрузка нового видео на платформу или системный процесс переобработки существующего каталога видео.
    • Условия применения: Применяется в процессе индексации видеоконтента для целей дедупликации и управления правами (например, Content ID).

    Пошаговый алгоритм

    Процесс генерации Combined Fingerprint (на примере Стратегии 1: Widescreen Adjust + No Adjust):

    1. Получение видео: Система принимает загруженное видео.
    2. Трансформация 1 (Widescreen Adjust): К исходному видео применяется Widescreen Adjust. Если видео широкоформатное, оно обрезается до 4:3. Создается Первое Трансформированное Видео.
    3. Генерация Отпечатка 1 (FP1): Первое Трансформированное Видео обрабатывается для создания FP1. (Этот процесс включает генерацию Subfingerprints, Histograms и применение Weighted Min-hash).
    4. Трансформация 2 (No Adjust): Исходное видео используется без изменений. Создается Второе Трансформированное Видео.
    5. Генерация Отпечатка 2 (FP2): Второе Трансформированное Видео обрабатывается для создания FP2. (В альтернативном варианте для legacy систем, FP2 может быть извлечен из базы данных).
    6. Разделение: FP1 делится пополам (сохраняется первая половина). FP2 делится пополам (сохраняется вторая половина).
    7. Комбинирование (Конкатенация): Первая половина FP1 соединяется со второй половиной FP2.
    8. Сохранение: Результирующий Combined Fingerprint сохраняется в базе данных.

    Какие данные и как использует

    Данные на входе

    • Мультимедиа факторы: Основные данные — это пиксельные значения кадров видео. Система анализирует визуальный контент для генерации отпечатков.
    • Технические факторы: Метаданные видео, определяющие исходное соотношение сторон (Aspect Ratio). Эти данные необходимы для работы некоторых методов коррекции (например, Widescreen Adjust активируется только для широкоэкранных видео).

    Какие метрики используются и как они считаются

    Хотя основное изобретение — это метод комбинирования, патент также детально описывает процесс генерации самих отпечатков, использующий следующие метрики и методы (важно для понимания технической глубины):

    1. Генерация Суб-отпечатков (Subfingerprint — SFP):

    • Transform Coefficients: Видео делится на короткие сегменты (например, 4 сек). К сегментам применяется трансформация (например, Haar wavelet transform) для извлечения признаков в виде коэффициентов.
    • Min-Hash Values: Коэффициенты квантуются и кодируются в битовый вектор. Применяется Min-hash procedure: вектор переставляется k раз, и записывается позиция первого ненулевого значения. SFP состоит из k таких значений.

    2. Генерация Отпечатка (Fingerprint Generation):

    • Master Histogram: Агрегирует данные из SFP всего видео, подсчитывая частоту встречаемости конкретных Min-hash values.
    • Weighted Min-Hash: Применяется к Master Histogram. Вес элемента гистограммы (его частота) определяет, сколько раз хеш-функция (например, Jenkins hash) применяется к этому элементу. Это позволяет создать финальный компактный отпечаток видео.

    3. Сопоставление (Matching):

    • Similarity Factor: Метрика схожести двух отпечатков. Рассчитывается как вариация расстояния Хэмминга (Hamming distance metric) — процент совпадающих записей. Ключевым является требование успешного сопоставления при 50% совпадении.

    Выводы

    1. Инфраструктурный характер: Патент описывает техническое решение для внутренних нужд видеохостингов по идентификации и дедупликации контента. Он не дает практических выводов для традиционного SEO или алгоритмов ранжирования.
    2. Решение проблемы множества форматов: Система разработана для преодоления ограничений стандартного фингерпринтинга, который не может одним отпечатом надежно идентифицировать контент в форматах Widescreen, Full-screen и Squashed.
    3. Комбинирование вместо нормализации: Проблема решается не попыткой создать идеальную нормализованную версию видео, а путем создания Combined Fingerprint, который агрегирует данные из разных трансформированных версий.
    4. Критическая зависимость от устойчивости алгоритма: Эффективность метода основана на предположении, что базовый алгоритм генерации отпечатков достаточно устойчив (robust), чтобы идентифицировать совпадение всего по 50% данных (по одной половине отпечатка).
    5. Стратегический выбор трансформаций: Успех зависит от выбора правильной Transformation Strategy (пары методов коррекции), которая гарантирует покрытие всех трех основных форматов видео.

    Практика

    ВАЖНО: Патент носит инфраструктурный характер и не дает прямых практических рекомендаций для SEO-специалистов, работающих с веб-сайтами. Анализ ниже применим к специалистам по VSEO (Video SEO) и управлению контентом на платформах типа YouTube.

    Best practices (это мы делаем)

    • Загрузка в оптимальном нативном формате: Понимание этого патента подтверждает, что система идентификации контента нормализует различия в форматах. Загружайте видео в наилучшем доступном качестве и нативном формате (обычно 16:9). Не нужно беспокоиться о том, что загрузка в другом формате повлияет на способность системы идентифицировать контент.
    • Фокус на уникальности содержания: Патент демонстрирует сложность систем Google для дедупликации. Создание оригинального видеоконтента является ключевой стратегией, так как технические манипуляции с форматом не помогут выдать дубликат за оригинал.

    Worst practices (это делать не надо)

    • Попытки обхода Content ID через изменение формата: Попытки обойти системы идентификации дубликатов или нарушения авторских прав путем изменения соотношения сторон (обрезка краев или сжатие пропорций (Squashing)) неэффективны. Combined Fingerprint специально разработан для обнаружения таких манипуляций.
    • Использование искаженных форматов (Squashed): Загрузка видео в формате Squashed не дает преимуществ в идентификации и значительно ухудшает пользовательский опыт (UX).

    Стратегическое значение

    Патент демонстрирует технологические возможности Google в области анализа и идентификации мультимедийного контента. Это подтверждает философию Google по каноникализации контента: система стремится понять суть контента независимо от его технического представления (в данном случае — соотношения сторон). Для VSEO это означает, что сигналы будут агрегироваться вокруг канонической единицы контента, даже если он существует в разных форматах.

    Практические примеры

    Сценарий: Идентификация контента (Content ID)

    1. Исходные данные: Правообладатель загружает эталонный файл фильма в формате 16:9 (Widescreen). Система генерирует для него Combined Fingerprint (CF_1), используя, например, Стратегию 1 (Widescreen Adjust + No Adjust).
    2. Пользовательская загрузка А (Full-screen): Пользователь загружает старую ТВ-версию этого фильма в формате 4:3 (обрезанную по бокам). Система генерирует CF_2.
    3. Пользовательская загрузка Б (Squashed): Другой пользователь загружает искаженную версию фильма (сжатую в 4:3). Система генерирует CF_3.
    4. Результат: Система успешно идентифицирует все три файла как один и тот же контент. CF_2 совпадет с той половиной CF_1, которая была сгенерирована после Widescreen Adjust. CF_3 совпадет с той половиной CF_1, которая была сгенерирована с No Adjust. Совпадения на 50% достаточно для срабатывания Content ID.

    Вопросы и ответы

    Влияет ли этот патент на ранжирование моего сайта в Google Поиске?

    Нет, этот патент не влияет на традиционное SEO. Он описывает инфраструктуру для идентификации видеоконтента на видеохостингах (Video Hosting Service), таких как YouTube. Он не затрагивает алгоритмы ранжирования веб-страниц.

    Можно ли обмануть систему идентификации (Content ID), изменив соотношение сторон видео?

    Нет, это крайне маловероятно. Весь смысл этого патента заключается в том, чтобы сделать изменение соотношения сторон (обрезку краев или сжатие пропорций) неэффективным способом обхода систем идентификации. Combined Fingerprint специально разработан для обнаружения таких манипуляций.

    Что такое «Squashed» видео?

    Squashed (сжатое) видео — это когда широкоформатный контент (например, 16:9) принудительно вписывается в более узкий формат (например, 4:3) без обрезки краев. Это приводит к искажению пропорций (объекты выглядят неестественно вытянутыми по вертикали или сжатыми по горизонтали).

    Как именно работает «Combined Fingerprint»?

    Система создает две версии видео, используя разные методы коррекции формата (например, одну обрезает до 4:3, а вторую оставляет как есть). Для каждой версии генерируется полный отпечаток. Затем берется первая половина первого отпечатка и вторая половина второго отпечатка, и они соединяются (конкатенируются). Это гарантирует, что хотя бы одна половина итогового отпечатка совпадет с любым из основных форматов видео.

    Работает ли система, если совпадает только половина отпечатка?

    Да. Весь метод основан на предположении, что используемый базовый алгоритм фингерпринтинга достаточно надежен (robust), чтобы идентифицировать видео как совпадение даже при 50% совпадении данных отпечатка.

    Что такое «Widescreen Adjust»?

    Widescreen Adjust — это один из методов коррекции формата. Он обнаруживает широкоформатное видео (например, 16:9) и обрезает левую и правую стороны (например, по 1/8 ширины с каждой стороны), чтобы преобразовать его в формат 4:3. Это имитирует создание Full-screen версии контента.

    Какая связь этого патента с системой Content ID?

    Хотя патент напрямую не упоминает Content ID, он описывает базовую технологию фингерпринтинга видео. Content ID полагается на точные и устойчивые цифровые отпечатки для идентификации контента. Описанный механизм Combined Fingerprint повышает точность таких систем, гарантируя, что изменение формата не помешает идентификации.

    Патент упоминает сложный процесс с Subfingerprints, Wavelets и Min-Hash. Что это значит?

    Это описание конкретного алгоритма генерации отпечатка. Видео разбивается на сегменты, из них извлекаются признаки с помощью преобразований (Wavelets). Эти признаки сжимаются с помощью хеширования (Min-Hash) в суб-отпечатки (Subfingerprints). Затем данные агрегируются для создания финального отпечатка. Это многоступенчатый процесс для создания компактного и устойчивого представления всего видео.

    В каком формате лучше загружать видео на YouTube с учетом этого патента?

    Патент не дает рекомендаций по формату загрузки, он лишь описывает, как система справляется с разнообразием. Однако лучшей практикой для VSEO остается загрузка видео в его нативном, предпочтительно широкоэкранном формате высокого качества. Следует избегать загрузки искаженных (Squashed) видео.

    Как этот патент связан с каноникализацией контента?

    Он тесно связан с принципами каноникализации. Цель системы — определить каноническую единицу контента, игнорируя различия в его представлении (соотношение сторон). Это позволяет Google агрегировать сигналы (просмотры, вовлеченность) вокруг одного контента, даже если он загружен в разных форматах.