Как Google создает устойчивые к изменениям «цифровые отпечатки» для обнаружения дубликатов изображений и видео

Описание

Какую задачу решает

Патент решает проблему надежного обнаружения почти дублирующихся медиафайлов (near-duplicate media files) в больших базах данных. Стандартные методы хеширования крайне чувствительны к пространственной или временной обрезке (cropping) контента. Обрезка изменяет позиционную информацию признаков и коэффициентов трансформации, что приводит к генерации разных хешей для визуально идентичного контента. Изобретение направлено на создание метода хеширования, устойчивого (robust) к таким изменениям.

Что запатентовано

Запатентован метод создания устойчивых цифровых отпечатков (fingerprints или hash outputs) для медиаданных (видео, изображения, аудио). Суть изобретения заключается в двухэтапном процессе: генерации специальной гистограммы (histogram), устойчивой к изменениям (например, к обрезке), и последующем хешировании этой гистограммы с использованием процедуры взвешенного минимального хеширования (weighted min-hash procedure).

Как это работает

Система работает в два этапа для достижения устойчивости и компактности:

1. Генерация устойчивой гистограммы: Система создает статистическое представление файла, минимизируя влияние изменений. Патент описывает два метода:
   • Рандомизация версий (Version-Based): Создается множество (например, 1000) случайно измененных (например, обрезанных) версий файла. Гистограмма отражает распределение признаков по всем этим версиям. (Этот метод защищен в Claims).
   • Грубое кодирование (Encoding-Based): Извлекаются дескрипторы признаков, но их атрибуты (например, точное положение) кодируются грубо (например, указывается только квадрант изображения).
2. Взвешенное хеширование (Weighted Min-Hash): Гистограмма преобразуется в компактный отпечаток. Бинам гистограммы присваиваются веса на основе частоты признаков. Хеш-функции применяются многократно, причем более частые признаки хешируются больше раз. Для каждой итерации выбирается минимальное значение хеша. Набор этих минимумов формирует финальный отпечаток (Output Vector).

Актуальность для SEO

Высокая. Обнаружение дубликатов медиаконтента критически важно для Google, особенно в контексте Google Images, YouTube (Content ID) и управления огромными объемами пользовательского контента. Методы устойчивого хеширования активно используются для каноникализации медиафайлов, управления авторскими правами и кластеризации похожего контента.

Важность для SEO

Влияние на SEO – умеренное и специфичное (6/10). Это инфраструктурный патент об обработке медиаданных, а не о ранжировании веб-страниц. Однако он имеет критическое значение для Image SEO и Video SEO. Он объясняет, как Google может идентифицировать одно и то же изображение или видео, даже если оно было обрезано или отмасштабировано. Это напрямую влияет на каноникализацию медиа-ассетов, дедупликацию результатов и консолидацию сигналов.

Детальный разбор

Термины и определения

Robust Hashing (Надежное хеширование)

Метод генерации хеш-значений (отпечатков), который минимально чувствителен к определенным типам изменений во входных данных (например, к обрезке).

Histogram (Гистограмма)

Структура данных, кодирующая частоту встречаемости определенных признаков. Состоит из бинов (bins) и связанных с ними счетчиков (counts).

Bin (Бин гистограммы)

Элемент гистограммы, определяющий конкретный набор признаков медиаданных.

Version-Based Histogram (Гистограмма на основе версий)

Гистограмма, полученная путем создания множества рандомизированных версий (randomized versions) медиафайла (например, случайно обрезанных) и подсчета результатов применения хеш-функций к этим версиям.

Encoding-Based Histogram (Гистограмма на основе кодирования)

Гистограмма, полученная путем извлечения дескрипторов признаков и их грубого кодирования (coarse encoding) по определенному атрибуту (например, по положению).

Feature Descriptor (Дескриптор признака)

Элемент данных, характеризующий особенности медиаданных (например, SIFT-дескриптор или коэффициент вейвлет-преобразования).

Coarse Encoding (Грубое кодирование)

Процесс квантования атрибута дескриптора. Например, замена точных координат признака на указание сегмента (квадранта), в который он попадает.

Weighted Min-Hash Procedure (Процедура взвешенного минимального хеширования)

Метод хеширования гистограммы, при котором бины обрабатываются с учетом их веса (счетчика). Хеш-функция применяется к нескольким версиям каждого бина (число версий зависит от веса), и выбирается минимальный результат хеширования.

Output Vector / Fingerprint (Выходной вектор / Отпечаток)

Конечный результат надежного хеширования. Компактное представление медиафайла, используемое для обнаружения дубликатов.

Seeded Hash Function (Хеш-функция с начальным значением)

Хеш-функция, принимающая входные данные и начальное значение (seed). Изменение seed приводит к изменению результата хеширования для тех же входных данных.

Similarity Factor (Фактор схожести)

Метрика для сравнения двух выходных векторов, часто основанная на расстоянии Хэмминга (процент совпадающих элементов).

Ключевые утверждения (Анализ Claims)

Важно отметить, что хотя в описании патента (Description) рассматриваются два метода генерации гистограмм (Version-Based и Encoding-Based), Формула изобретения (Claims 1-18) фокусируется исключительно на методе, основанном на рандомизированных версиях.

Claim 1 (Независимый пункт): Описывает метод генерации цифрового отпечатка (fingerprint) для медиафайла.

1. Создание рандомизированных версий: Система генерирует множество версий медиафайла, каждая из которых случайно изменена относительно определенного атрибута.
2. Генерация гистограммы: Создается гистограмма на основе этих версий. Каждый бин ассоциирован с признаком и хранит счетчик версий, обладающих этим признаком.
3. Генерация отпечатка (Weighted Min-Hash):
   • Создается определенное количество измененных версий (altered versions) для каждого бина.
   • Применяется первая хеш-функция ко всем этим измененным версиям.
   • Определяется наименьшее выходное значение (smallest output) хеш-функции.
   • В отпечаток сохраняется элемент данных, представляющий ту измененную версию бина, которая дала этот наименьший результат.

Claim 3 (Зависимый от 1): Уточняет, что рандомизируемый атрибут — это количество медиаданных, обрезанных из файла (cropping).

Claim 4 (Зависимый от 1): Уточняет механизм взвешивания. Количество измененных версий бина, создаваемых на этапе генерации отпечатка, основано на счетчике (весе) этого бина. Это ключевой аспект weighted min-hash.

Claim 6 и 7 (Зависимые): Расширяют процесс. Процедура повторяется для второй (и последующих) хеш-функций, которые отличаются от первой начальными значениями (seed value).

Claim 8 и 9 (Зависимые): Описывают использование отпечатка (выходного вектора) для присвоения медиафайла кластеру медиафайлов путем подсчета количества совпадающих записей (matching entries) с другими отпечатками.

Где и как применяется

Изобретение относится к инфраструктуре обработки медиаданных и затрагивает преимущественно этап индексирования.

CRAWLING – Сканирование и Сбор данных
Система собирает медиафайлы (изображения, видео) из интернета или получает их через загрузку (например, YouTube).

INDEXING – Индексирование и извлечение признаков
Основное применение патента происходит на этом этапе. При обработке медиафайла система (Hashing Server) выполняет:

1. Генерация гистограммы: Histogram Generator анализирует медиаданные для создания устойчивой гистограммы (используя Version-Based или Encoding-Based методы).
2. Генерация отпечатка: Histogram Hashing Module применяет Weighted Min-Hash Procedure к гистограмме для создания компактного Output Vector.
3. Хранение: Отпечаток сохраняется в базе данных (Hash Output Database).
4. Кластеризация: Clustering Module использует отпечатки для идентификации групп (кластеров) почти дублирующихся файлов. Это используется для каноникализации медиа-ассетов.

RANKING / RERANKING (в контексте Медиа Поиска)
На этапе ранжирования в Google Images или Video Search результаты кластеризации используются для дедупликации выдачи и выбора канонической версии медиафайла для показа.

Входные данные:

• Медиафайл (изображение, видео, аудио).
• Набор хеш-функций и их seed values.

Выходные данные:

• Output Vector (цифровой отпечаток медиафайла).
• Идентификатор кластера (Cluster ID), связывающий файл с его дубликатами.

На что влияет

• Типы контента: Влияет исключительно на медиаконтент: изображения, видео и аудиоданные.
• Специфические запросы: Влияет на результаты поиска в вертикалях Google Images и Google Videos, помогая дедуплицировать выдачу.
• Конкретные ниши: Особенно важно в нишах с большим количеством визуального контента, где часто встречаются одни и те же изображения с небольшими изменениями (E-commerce, новости, стоковые фото).

Когда применяется

• Условия работы: Алгоритм применяется при индексации новых медиафайлов или при переиндексации существующих для генерации их отпечатков.
• Триггеры активации: Необходимость создания отпечатка, устойчивого к определенным модификациям, в частности к обрезке (cropping).

Пошаговый алгоритм

Алгоритм состоит из двух основных фаз: Генерация гистограммы и Хеширование гистограммы.

Фаза 1: Генерация устойчивой гистограммы (Вариант А: На основе версий — защищен в Claims)

1. Создание рандомизированных версий: Из исходного медиафайла создается N версий (например, N=1000). Каждая версия случайно изменяется по заданному атрибуту (например, случайная обрезка).
2. Применение хеш-функций: К каждой из N версий применяется набор из K хеш-функций (например, K=10).
3. Определение бинов: Каждый бин определяется парой (ID Хеш-функции, Выходное значение).
4. Подсчет и заполнение: Для каждого бина подсчитывается, сколько рандомизированных версий привели к данному выходному значению для данной хеш-функции.

Фаза 1: Генерация устойчивой гистограммы (Вариант Б: На основе грубого кодирования — описан в Description)

1. Определение дескрипторов: Из медиафайла извлекаются дескрипторы признаков (например, SIFT, Wavelets).
2. Сегментация атрибута: Диапазон значений атрибута дескриптора (например, положение) делится на сегменты (например, квадранты).
3. Грубое кодирование: Для каждого дескриптора определяется сегмент, в который он попадает.
4. Определение бинов: Каждый бин представляет собой пару: (Идентификатор дескриптора, Идентификатор сегмента).
5. Подсчет и заполнение: Для каждого бина подсчитывается, сколько раз данный дескриптор был ассоциирован с данным сегментом.

Фаза 2: Хеширование гистограммы (Weighted Min-Hash)

1. Присвоение весов: Каждому бину гистограммы присваивается вес (w), обычно равный его счетчику.
2. Итерация по Seed (S): Процесс повторяется S раз (например, S=80) с разными начальными значениями (seed) для хеш-функции:
   1. Генерация измененных версий бинов: Для каждого бина создается w измененных версий (altered versions).
   2. Применение хеш-функции: Хеш-функция (с текущим seed) применяется ко всем измененным версиям всех бинов.
   3. Определение минимума: Находится наименьшее значение хеша среди всех полученных результатов.
   4. Заполнение выходного вектора: Идентификатор той версии бина, которая дала минимальное значение, сохраняется в Output Vector.
3. Сохранение отпечатка: Сформированный Output Vector сохраняется как устойчивый отпечаток медиафайла.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке самих медиаданных и не упоминает традиционные SEO-факторы.

• Мультимедиа факторы: Основные входные данные — это необработанные данные медиафайла (пиксели для изображений/видео или аудиосэмплы). Система анализирует эти данные для извлечения признаков (feature descriptors) или применяет к ним хеш-функции напрямую.

Какие метрики используются и как они считаются

• Дескрипторы признаков: Могут использоваться коэффициенты преобразований (например, Haar wavelet transform) или результаты алгоритмов обнаружения признаков (например, SIFT algorithm).
• Счетчики бинов (Counts) / Веса (Weights): Частота встречаемости признака. Используется как вес в процедуре weighted min-hash. Вес может также учитывать глобальную важность признака (например, inverse document frequency).
• Минимальное значение хеша (Min-Hash Value): Результат применения хеш-функции к версиям бинов. Выбирается минимальное значение для формирования отпечатка.
• Фактор схожести (Similarity Factor): Используется для сравнения финальных отпечатков. Рассчитывается как процент совпадающих элементов в двух выходных векторах (вариация расстояния Хэмминга).
• Методы кластеризации: Упоминаются Locality-Sensitive Hashing (LSH) для эффективного поиска похожих пар и алгоритмы кластеризации (например, leader clustering) для группировки дубликатов.

Выводы

1. Инфраструктура для дедупликации медиа: Патент описывает не алгоритм ранжирования, а инфраструктурный компонент для управления огромными объемами медиаданных. Его основная цель — эффективное обнаружение и кластеризация почти дубликатов.
2. Устойчивость к обрезке и изменениям: Ключевой вывод заключается в том, что Google обладает сложными механизмами (рандомизация версий и грубое кодирование признаков) для идентификации медиафайлов, которые были обрезаны или изменены. Система спроектирована так, чтобы игнорировать эти изменения при создании отпечатка.
3. Фокус на преобладающих признаках: Использование weighted min-hash гарантирует, что финальный отпечаток в первую очередь отражает наиболее часто встречающиеся (преобладающие) признаки медиафайла, игнорируя шум или незначительные элементы.
4. Каноникализация медиа-ассетов: Для SEO это означает, что система способна определить каноническую версию изображения или видео, даже если в интернете циркулируют сотни его модифицированных копий. Это позволяет консолидировать сигналы вокруг канонического ассета.
5. Незначительные правки не создают уникальность: Попытки «уникализировать» медиаконтент путем незначительной обрезки, изменения размера или наложения небольших элементов будут неэффективны для обхода системы обнаружения дубликатов, основанной на этом методе.

Практика

Best practices (это мы делаем)

Практики касаются SEO для Google Images и Video Search.

• Фокус на создании действительно уникального медиаконтента: Инвестируйте в создание оригинальных изображений и видео. Поскольку система устойчива к поверхностным изменениям, ценность заключается в создании контента с уникальными визуальными или аудио признаками.
• Оптимизация канонических медиа: Если вы являетесь источником оригинального изображения, убедитесь, что ваша версия является высококачественной и доступной для индексации. Система сможет идентифицировать дубликаты на других сайтах и потенциально консолидировать сигналы в пользу вашего оригинала.
• Использование разных ракурсов для товаров (E-commerce): При фотографировании товаров используйте существенно разные ракурсы и сцены, а не только стандартные фото от производителя. Фотографии, снятые с небольшим смещением или разной обрезкой, могут быть классифицированы как почти дубликаты.
• Стратегическое использование стоковых фото: Понимайте, что стоковые фотографии, даже если они слегка обрезаны под дизайн сайта, будут идентифицированы как дубликаты. Используйте их как дополнение, а не как основной уникальный контент страницы.

Worst practices (это делать не надо)

• «Уникализация» путем обрезки или масштабирования: Не тратьте ресурсы на попытки сделать неуникальное изображение уникальным путем его обрезки, изменения размера, зеркального отражения или незначительного изменения цвета. Описанный метод надежного хеширования разработан для игнорирования таких манипуляций.
• Массовое использование слегка измененного контента: Создание большого количества страниц с изображениями или видео, которые являются лишь слегка измененными версиями друг друга (например, разные нарезки одного видео), не принесет пользы и будет классифицировано как дублированный контент.

Стратегическое значение

Патент подчеркивает способность Google понимать медиаконтент на глубоком уровне, выходя за рамки метаданных и окружающего текста. Стратегическое значение для SEO заключается в подтверждении того, что в области Image и Video SEO приоритет отдается реальной уникальности и качеству контента. Системы Google спроектированы так, чтобы бороться с визуальным спамом и поверхностной «уникализацией». Долгосрочная стратегия должна фокусироваться на создании оригинальных медиа-ассетов.

Практические примеры

Сценарий: Каноникализация изображений товаров в E-commerce

1. Ситуация: Производитель предоставляет официальное фото товара (Изображение А). Интернет-магазин 1 использует это фото, но обрезает его под свой дизайн (Изображение Б). Интернет-магазин 2 использует фото, но добавляет небольшой водяной знак (Изображение В).
2. Действие системы: Google индексирует все три изображения. Применяется Robust Hashing.
   • Для Изображения Б устойчивость достигается за счет рандомизации обрезки или грубого кодирования положения признаков.
   • Для Изображения В использование weighted min-hash фокусируется на преобладающих признаках товара, игнорируя незначительные признаки водяного знака.
3. Результат: Отпечатки Изображений А, Б и В оказываются очень похожими. Google кластеризует их как одно и то же изображение.
4. SEO-эффект: В Google Images эти изображения будут сгруппированы. Google выберет одну каноническую версию (вероятно, наиболее качественную или авторитетную) для ранжирования, консолидируя сигналы всех трех версий.

Вопросы и ответы