Как Google обнаруживает неавторизованное использование контента (текст, изображения, видео, аудио), сохраняя конфиденциальность

Термины и определения

Audio Fingerprinting (Аудио-фингерпринтинг)

Техника генерации уникального цифрового отпечатка для сегментов аудио. Используется для сравнения и определения процента совпадения между двумя аудиофайлами.

Confidence Score (Оценка уверенности)

Числовая метрика, указывающая, насколько близко образец контента соответствует элементу контента в базе данных. Если оценка превышает порог (T), фиксируется совпадение.

Custom Content (Пользовательский контент)

Контент, который был загружен пользователем для индексации или идентифицирован пользователем как часть его специфической коллекции (Custom Content Group). Может включать приватные данные или контент по подписке.

Duplicate Content Search Unit (Блок поиска дублирующегося контента)

Основной компонент системы, отвечающий за прием образцов, выполнение сравнения и предоставление результатов.

Duplicate Detector (Детектор дубликатов)

Компонент, выполняющий фактическое сравнение. Включает специализированные модули: Duplicate Text Detector, Duplicate Image Detector, Duplicate Video Detector, Duplicate Audio Detector.

Image Features (Признаки изображения)

Характеристики, извлекаемые из изображений для сравнения. Примеры включают гистограммы интенсивности и цвета, края, текстуру, вейвлет-преобразования.

Shingling (Шинглинг)

Техника анализа текста, при которой создаются наборы последовательных терминов (шинглы), которые затем хешируются и сравниваются для определения процента совпадения (percentage of overlap) между двумя текстами.

SIFT (Scale-Invariant Feature Transform)

Алгоритм для извлечения локальных признаков на изображениях. Признаки инвариантны к масштабу и повороту, что делает их подходящими для надежного сопоставления.

Threshold Amount of Content (Пороговый объем контента)

Минимальный объем образца контента, необходимый для выполнения поиска дубликатов с определенной степенью точности (например, 1-2 абзаца текста, X секунд видео).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс системы с акцентом на конфиденциальность.

1. Система хранит информацию о контенте, загруженном или идентифицированном первой группой пользователей.
2. Система получает образец контента от второго пользователя (владельца контента).
3. Система определяет, совпадает ли образец с одним или несколькими элементами хранимого контента.
4. Система уведомляет второго пользователя о наличии или отсутствии совпадения, не идентифицируя совпадающие элементы контента второму пользователю.

Ядро изобретения: система действует как слепой оракул, подтверждая совпадение, но защищая конфиденциальность данных (особенно в Custom Content), с которыми произошло совпадение.

Claim 9 (Зависимый от 1): Детализирует механизм определения совпадения.

1. Выполняется поиск в базе данных на основе образца контента.
2. Генерируется Confidence Score для множества элементов контента, указывающий меру близости совпадения.
3. Определяется, превышает ли Confidence Score одного из элементов установленный порог.

Claim 11 (Зависимый от 1): Описывает механизм конфиденциального уведомления.

При уведомлении пользователя система отправляет ему идентификатор (identifier). Этот идентификатор шифрует (скрывает) сетевой адрес (например, URL), связанный с совпадающим контентом, или группу контента (content group), к которой принадлежит совпадение. Это позволяет инициировать расследование человеком, но не раскрывает источник пользователю.

Claim 15 (Зависимый от 1): Описывает альтернативный вариант для повышения конфиденциальности образца.

Образец контента представляет собой хешированный контент (hashed content). Система сравнивает этот хеш с хешами хранимых элементов. Это позволяет пользователю искать дубликаты, не раскрывая сам исходный контент системе Google.

Claim 17 (Независимый пункт, метод): Описывает метод, аналогичный Claim 1, но добавляет проверку объема контента.

1. Получение образца от пользователя.
2. Определение, получено ли по крайней мере пороговое количество (threshold amount) образца контента.
3. Определение наличия совпадений, только если пороговое количество получено.
4. Уведомление пользователя.

Где и как применяется

Этот патент описывает инфраструктурную систему, которая не является частью стандартного процесса ранжирования поисковой выдачи. Она функционирует как отдельный инструмент или сервис.

CRAWLING – Сканирование и Сбор данных
Система использует данные, собранные стандартным веб-краулером (Web Crawler), а также данные, полученные через API загрузки пользовательского контента (Custom Content Upload API) или специализированный краулер (Custom Content Crawler).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит ключевая подготовка данных. Индексаторы (Web Content Indexer, Custom Content Indexer) должны извлекать и сохранять признаки, необходимые для обнаружения дубликатов:

• Текст: шинглы или векторы терминов.
• Изображения: признаки (Image Features), такие как цветовые гистограммы, SIFT.
• Аудио/Видео: фингерпринты (Fingerprints), транскрипции.

RANKING / RERANKING
Не применимо. Система не участвует в ранжировании результатов поиска для пользователей.

Входные данные:

• Образец контента (текст, изображение, видео, аудио или их хеши) от пользователя.
• Данные аутентификации пользователя (опционально).

Выходные данные:

• Уведомление о наличии или отсутствии совпадения (Да/Нет).
• Непрозрачный/зашифрованный идентификатор (identifier) для инициирования расследования.

На что влияет

• Типы контента: Влияет на все основные типы контента: текст, изображения, видео и аудио.
• Защита прав и приватность: Основное влияние — на защиту интеллектуальной собственности, авторских прав и контроль распространения приватного или платного контента, особенно в рамках Custom Content Groups.

Когда применяется

• Условия работы: Алгоритм применяется исключительно по требованию (on-demand), когда пользователь (владелец контента) загружает образец для проверки.
• Пороговые значения:
  • Threshold Amount of Content: Образец должен быть достаточного объема (например, 1-2 абзаца текста, X секунд видео/аудио).
  • Порог T: Confidence Score должен превысить этот порог, чтобы система зафиксировала совпадение.

Пошаговый алгоритм

1. Аутентификация (Опционально): Система может потребовать от пользователя входа в систему для авторизации.
2. Получение образца контента: Пользователь загружает образец контента (или его хеш) через интерфейс.
3. Анализ образца и проверка порогов:
   • Система определяет тип контента (текст, изображение, видео, аудио).
   • Проверяется, соответствует ли объем образца минимальному требованию (Threshold Amount of Content).
4. Извлечение признаков и предварительный поиск (Опционально): Система извлекает ключевые признаки из образца и выполняет предварительный поиск по индексам, чтобы сократить количество кандидатов для детального сравнения.
5. Детальное сравнение (Duplicate Detection):
   • В зависимости от типа контента активируется соответствующий детектор (например, Duplicate Text Detector).
   • Детектор сравнивает образец с кандидатами, используя специфические техники (Шинглинг, SIFT, Аудио-фингерпринтинг и т.д.).
6. Расчет оценки уверенности: Для каждого сравнения вычисляется Confidence Score (например, процент совпадения).
7. Проверка порога совпадения: Система определяет, превышает ли какой-либо Confidence Score заданный порог T.
8. Формирование результата и уведомление:
   • Если совпадение найдено, система генерирует уведомление.
   • Уведомление намеренно скрывает детали (URL, содержание). Оно может содержать зашифрованный идентификатор (identifier), который связывает результат с деталями совпадения во внутренней таблице.

Какие данные и как использует

Данные на входе

Система использует признаки, извлеченные непосредственно из контента, хранящиеся в индексах.

Контентные факторы (Текст):

• Shingles: Наборы последовательных терминов.
• Vectors of terms: Векторное представление терминов.
• Транскрипция речи или субтитры (для видео и аудио).

Мультимедиа факторы (Изображения):

• Intensity histograms и Color histograms (RGB, YIQ).
• Информация о краях (Edges) и текстуре (Texture).
• Вейвлет-преобразования (Wavelet based techniques).
• Объекты интереса (Objects of interest), часто определяемые с помощью SIFT (Scale-Invariant Feature Transform).

Мультимедиа факторы (Видео):

• Признаки отдельных кадров (аналогично изображениям).
• Spatio-temporal descriptors: Пространственно-временные дескрипторы для коротких клипов.
• Аудио-признаки звуковой дорожки.

Мультимедиа факторы (Аудио):

• Audio fingerprints: Цифровые отпечатки аудиосегментов.
• Частотные характеристики.

Технические факторы:

• Хеш-значения (Hash values).
• CRC (Cyclic Redundancy Check).
• Метаданные или теги (tag information).

Какие метрики используются и как они считаются

• Confidence Score (Оценка уверенности): Основная метрика схожести. Методы расчета:
  • Текст: Процент перекрытия шинглов или количество совпадающих векторов терминов.
  • Изображения: Результат функции сравнения (comparison function) гистограмм или признаков SIFT.
  • Аудио/Видео: Процент перекрытия фингерпринтов или количество совпадающих кадров/сегментов.
• Порог T (Threshold T): Заранее определенное значение. Если Confidence Score ≥ T, фиксируется совпадение.
• Threshold Amount of Content (Пороговый объем контента): Минимальный объем входных данных. Определяется для каждого типа контента.

1. Это инструмент защиты авторских прав, а не патент о ранжировании: Патент не имеет прямого отношения к тому, как Google ранжирует контент в SERP или обрабатывает дубликаты для индексации. Он описывает инструмент для обнаружения плагиата и неавторизованного использования контента.
2. Мультимодальный анализ и продвинутые техники: Патент демонстрирует, что Google обладает сложными методами для идентификации точных и неточных дубликатов в тексте (Shingling), изображениях (SIFT, гистограммы), видео и аудио (Audio Fingerprinting). Это подтверждает способность Google понимать содержание мультимедийных файлов на основе их внутренних характеристик.
3. Акцент на конфиденциальности данных: Система спроектирована с учетом защиты конфиденциальности как истца (возможность загрузки хешей вместо контента), так и владельцев индексированного контента (скрытие источника совпадения). Система сообщает о факте совпадения, но требует вмешательства человека для расследования.
4. Применимость к пользовательским индексам (Custom Content): Система специально разработана для поиска дубликатов не только в основном веб-индексе, но и в закрытых или курируемых пользовательских базах данных.
5. Требования к объему и качеству данных: Для надежного обнаружения дубликатов требуется минимальный объем контента (Threshold Amount) и высокая степень сходства (Confidence Score выше порога T).

Практическое применение в SEO

Этот патент является инфраструктурным и не описывает алгоритмы ранжирования. Он не дает прямых рекомендаций для улучшения позиций в поиске. Однако он дает важное понимание технических возможностей Google по анализу уникальности контента.

Best practices (это мы делаем)

• Приоритет оригинального контента: Патент подтверждает, что Google обладает мощными инструментами для обнаружения дубликатов на техническом уровне (Shingling, Similarity Detection). Стратегия должна фокусироваться на создании уникального контента, поскольку техническое обнаружение плагиата высокоразвито.
• Уникальность мультимедиа: Не полагайтесь на изменение метаданных или легкое редактирование (обрезка, изменение размера) изображений/видео для уникализации. Система использует извлечение признаков (Image Features, SIFT), которые инвариантны к масштабированию и повороту. Необходимо создавать или лицензировать действительно уникальные медиафайлы.
• Мониторинг собственного контента: Используйте доступные инструменты (например, обратный поиск по изображениям Google), которые основаны на схожих принципах, для регулярной проверки неавторизованного использования ваших ключевых изображений и инфографики.

Worst practices (это делать не надо)

• Плагиат и контент-спиннинг: Использование чужого текста с минимальными изменениями (поверхностный рерайтинг) неэффективно. Техники вроде Shingling легко обнаруживают высокий процент совпадения даже при перестановке слов или замене синонимов.
• Манипуляции с медиа для обхода уникальности: Попытки сделать изображение уникальным путем незначительных изменений (зеркальное отражение, небольшое изменение цвета) могут быть неэффективны против алгоритмов типа SIFT.
• Использование стоковых медиа как уникальных: Понимание того, как работают детекторы дубликатов, подчеркивает, что широко распространенные стоковые изображения не добавляют уникальной ценности странице с точки зрения контента.

Стратегическое значение

Стратегическое значение патента заключается в демонстрации технической глубины, с которой Google анализирует уникальность контента во всех форматах. Это подтверждает долгосрочный приоритет Google на оригинальность. Для Senior SEO-специалистов это сигнал о том, что попытки обмануть систему с помощью поверхностных изменений контента обречены на провал из-за сложных алгоритмов сравнения признаков.

Практические примеры

Сценарий: Обнаружение кражи уникального изображения (на основе принципов патента)

1. Ситуация: SEO-специалист работает с сайтом фотографа. Есть подозрение, что конкуренты используют его уникальные фотографии.
2. Действие: Фотограф использует обратный поиск по изображениям (публичный инструмент, основанный на схожих технологиях).
3. Анализ системой (Механизм патента): Duplicate Image Detector извлекает признаки SIFT из образца. Эти признаки устойчивы к изменению размера и обрезке.
4. Сравнение: Система сравнивает эти признаки с индексом. Она находит изображение на другом сайте, которое было обрезано и сжато, но признаки SIFT совпадают. Confidence Score превышает порог T.
5. Результат: Система показывает совпадения. (В отличие от строгого описания патента, публичный инструмент показывает URL).
6. Дальнейшие шаги SEO: Специалист анализирует сайты, использующие изображение. Можно связаться с владельцами для простановки ссылки (линкбилдинг) или инициировать DMCA жалобу для удаления контента.