Как Google определяет дублированный и переработанный (spun) контент, анализируя относительный порядок слов

Термины и определения

Cluster (Кластер)

Представление документа в модели сходства. Состоит из набора выбранных (sampled) упорядоченных пар термов (или n-ary векторов), извлеченных из этого документа.

Cluster Aggregation (Агрегация кластеров)

Процесс подсчета количества общих пар между проверяемым документом и существующими кластерами, найденными в инвертированном индексе.

Inverted Index (Инвертированный индекс)

Структура данных, которая хранит соответствие между конкретной упорядоченной парой термов и списком кластеров (документов), содержащих эту пару.

Pairs of ordered terms (Упорядоченные пары термов)

Основа изобретения. Пара (U, V), где U и V — термы (слова, фразы) из документа, и U встречается в тексте раньше V. Важно, что между U и V могут находиться другие слова (non-consecutive).

Pair Enumeration (Перечисление пар)

Процесс генерации пар термов из проверяемого документа для последующего сравнения с моделью. Может включать пары в пределах фиксированного окна (fixed window size).

Sampling (Выборка)

Процесс выбора подмножества упорядоченных пар из документа для создания его кластера. Является случайной (randomly sampling), но смещенной (biased).

Similarity Metric (Метрика сходства)

Числовое значение, определяющее степень сходства между документом и кластером. Может быть абсолютным количеством общих пар или процентом общих пар.

Similarity Model (Модель сходства)

Совокупность данных, используемых для определения сходства, включающая Inverted Index и опционально Table of Pairs.

Table of Pairs (Таблица пар)

Опциональная структура данных, хранящая общее количество пар в каждом кластере. Используется для расчета процентной метрики сходства.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения сходства.

1. Система проводит случайную выборку (randomly sampling) упорядоченных пар термов из документа для генерации кластера.
2. Ключевые характеристики пар: они упорядочены (первый терм предшествует второму), и между ними могут быть промежуточные термы (т.е. они не обязательно последовательны).
3. Ключевая характеристика выборки: она смещена (biased). Смещение реализовано так, что термы, расположенные ближе друг к другу (меньше промежуточных слов), имеют больший шанс быть включенными в пару.
4. Система строит модель сходства (similarity model), включающую этот кластер.
5. Система сравнивает пары из целевого документа с кластерами в модели и генерирует метрики сходства (similarity metrics).

Ядром изобретения является использование упорядоченных, но непоследовательных пар в сочетании со смещенной выборкой, предпочитающей близость. Это обеспечивает баланс между устойчивостью к локальным изменениям и чувствительностью к структуре документа.

Claim 5 и 6 (Зависимые): Детализируют дополнительные смещения при выборке. Выборка предпочитает редкие (rare) термы (Claim 5), но исключает очень редкие (very rare) термы (Claim 6).

Редкие термы более информативны для определения темы документа. Очень редкие термы часто являются шумом (например, случайные символы, добавляемые спамерами), и их исключение повышает устойчивость к манипуляциям.

Claim 9 (Зависимый): Описывает процесс сравнения (comparing). При сравнении целевого документа с моделью система перечисляет пары из целевого документа так, что термы в паре находятся в пределах фиксированного расстояния (fixed distance) друг от друга (использование окна).

Claim 10 (Независимый пункт): Описывает устройство (similarity detection device), реализующее метод, включая компонент создания кластеров (с тем же смещением по близости, что и в Claim 1), Inverted Index, компонент перечисления пар и компонент выбора кластеров.

Где и как применяется

Изобретение применяется преимущественно на этапах индексирования для обеспечения качества контента и эффективности системы.

CRAWLING – Сканирование и Сбор данных

Обнаружение дубликатов может использоваться для оптимизации краулингового бюджета, предотвращая повторное сканирование или загрузку уже известного контента.

INDEXING – Индексирование и извлечение признаков

Основной этап применения. Система используется для:

• Построения модели сходства: На этом этапе происходит выборка пар (sampling) и обновление Inverted Index для новых документов.
• Обнаружения дубликатов и Каноникализации: При обработке нового контента система проверяет его сходство с существующей similarity model. Если обнаружено высокое сходство, новый документ может быть отброшен, объединен с существующим или использован для выбора канонической версии.

RANKING / RERANKING – Ранжирование и Переранжирование

На этапе формирования выдачи система может использовать данные о сходстве для обеспечения разнообразия SERP, предотвращая показ нескольких почти идентичных результатов (near duplicate documents) одному пользователю.

Входные данные:

• Текст документа.
• Существующая модель сходства (Inverted Index, Table of Pairs).
• Данные о частотности термов в корпусе (для расчета смещений по редкости).

Выходные данные:

• Обновленная модель сходства.
• Метрики сходства (Similarity metrics) между документами.
• Решение о статусе документа (дубликат/оригинал/плагиат).

На что влияет

• Типы контента: Влияет на все типы текстового контента. Критично для статей, новостей, описаний товаров в ecommerce (где часто встречаются дубликаты от разных поставщиков или аффилиатов).
• Spun Content и Рерайтинг: Механизм специально разработан для обнаружения контента, который был изменен путем замены синонимов, перестановки слов или добавления «воды», но сохранил основную структуру и порядок ключевых идей.
• Плагиат: Патент упоминает использование системы для обнаружения плагиата путем сравнения как целых документов, так и отдельных сегментов (например, параграфов).

Когда применяется

Алгоритм применяется в двух основных сценариях:

1. При индексации нового документа: Для обновления модели сходства и принятия решения о включении документа в основной индекс.
2. При проверке документа на сходство/спам/плагиат: Для сравнения целевого документа с существующей базой.

Условия срабатывания:

• Пороговое значение (Threshold): Сходство фиксируется, когда similarity metric (количество или процент общих упорядоченных пар) между двумя документами превышает заданный порог.

Пошаговый алгоритм

Процесс А: Построение модели сходства (Индексация)

1. Получение документа: Система получает документ для анализа.
2. Выборка пар (Sampling): Документ обрабатывается для получения набора упорядоченных пар термов (кластера). Применяется смещенная случайная выборка:
   • Смещение по близости: Предпочтение парам, расположенным близко друг к другу (Claim 1).
   • Смещение по частотности: Предпочтение редким термам, но исключение очень редких (Claim 5, 6).
   • Смещение по локации (опционально): Предпочтение термам из определенных разделов документа (например, верхняя средняя часть, как указано в описании).
3. Обновление инвертированного индекса: Inverted Index обновляется, чтобы включить ссылки на новый кластер для каждой выбранной пары.
4. Обновление таблицы пар (Опционально): Table of Pairs обновляется, чтобы отразить общее количество пар в новом кластере.

Процесс Б: Проверка сходства документа

1. Получение документа: Система получает целевой документ для проверки.
2. Перечисление пар (Pair Enumeration): Генерируются упорядоченные пары из целевого документа. Обычно это пары в пределах фиксированного окна (fixed window size) (Claim 9).
3. Поиск пар (Pair Lookup): Каждая перечисленная пара ищется в Inverted Index для получения списка кластеров, содержащих эту пару.
4. Агрегация кластеров (Cluster Aggregation): Система подсчитывает количество общих пар между целевым документом и каждым найденным кластером.
5. Определение метрики сходства (Similarity Metric): Рассчитывается метрика сходства. Это может быть абсолютное число общих пар или процентное соотношение (число общих пар / общее число пар в кластере).
6. Сравнение с порогом (Threshold Check): Метрика сравнивается с порогом. Если порог превышен, целевой документ помечается как похожий или дубликат.

Какие данные и как использует

Данные на входе

• Контентные факторы: Основные данные — это термы (слова) документа и их относительный порядок. Система может игнорировать определенные элементы, например, термы внутри HTML-тегов (как указано в описании).
• Структурные факторы: Местоположение термов в документе может использоваться в процессе выборки (смещение по локации). Структура документа анализируется через порядок термов.
• Технические факторы: Длина документа может влиять на количество сэмплируемых пар (больше пар для длинных документов).

Какие метрики используются и как они считаются

Метрики выборки (Sampling Biases):

• Близость термов (Proximity): Расстояние между термами U и V. Вероятность выбора пары выше, если расстояние меньше (Claim 1).
• Частотность термов (Term Frequency): Статистика частоты термов в корпусе. Используется для определения «редких» и «очень редких» слов (Claims 5, 6).
• Позиция в документе (Document Location): Положение терма в тексте (начало, середина, конец). Может использоваться для смещения выборки.

Метрики сходства (Similarity Metrics):

• Абсолютное совпадение: Количество упорядоченных пар, общих для проверяемого документа и существующего кластера.
• Процентное совпадение (Нормализованное): (Количество общих пар) / (Общее количество пар в кластере). Для этого используется Table of Pairs.

Пороговые значения (Thresholds):

• Используются для принятия бинарного решения (похож/не похож) на основе рассчитанной Similarity Metric.

1. Структурное сходство важнее точных формулировок: Google может определять сходство документов, анализируя относительный порядок ключевых термов, а не только совпадение последовательных фраз (шингов). Это делает систему устойчивой к локальным изменениям текста.
2. Устойчивость к спиннингу и рерайтингу: Методы, такие как замена синонимов, перестановка прилагательных или добавление «воды», неэффективны против этого алгоритма, так как они часто сохраняют базовый порядок основных термов документа.
3. Смещенная выборка (Biased Sampling) как ключ к эффективности: Система фокусируется на наиболее значимых связях для повышения точности и защиты от манипуляций:
   • Пары, расположенные близко друг к другу, имеют больший вес (Claim 1).
   • Редкие слова имеют больший вес, чем частые, но очень редкие (шум) игнорируются (Claims 5, 6).
4. Фундаментальный механизм для каноникализации: Этот механизм является критически важным для определения дубликатов, что напрямую влияет на то, какие страницы будут проиндексированы и какая версия будет выбрана в качестве канонической.
5. Обнаружение частичного плагиата: Система может работать на уровне сегментов (параграфов), позволяя обнаруживать не только полные дубликаты, но и документы, составленные из фрагментов других источников.

Best practices (это мы делаем)

• Создание уникальной структуры контента: При написании контента фокусируйтесь не только на уникальности формулировок, но и на уникальной структуре и последовательности изложения идей. Оригинальность должна быть на уровне архитектуры документа, а не только на уровне предложений.
• Добавление значимой ценности и глубокая переработка: При использовании сторонних источников информации необходимо значительно перерабатывать контент, добавляя новые данные, аналитику или экспертные мнения. Это изменит набор и порядок ключевых термов, снижая метрику сходства.
• Управление техническими дубликатами и каноникализацией: Используйте канонические теги (rel=canonical) для управления дубликатами (например, параметры URL, версии для печати). Это помогает системе консолидировать сигналы ранжирования на правильной версии.
• Минимизация шаблонного контента (Boilerplate): Убедитесь, что объем уникального контента значительно превышает объем повторяющегося шаблонного текста (футеры, сайдбары). Большое количество boilerplate увеличивает структурное сходство между разными страницами сайта.
• Фокус на качестве в основной части документа: Поскольку патент упоминает возможность смещения выборки в сторону определенных разделов (например, верхней средней части) для борьбы со спамом, убедитесь, что основное содержание документа качественно и уникально, и не полагайтесь на добавление шума в начале или конце.

Worst practices (это делать не надо)

• Поверхностный рерайтинг и спиннинг: Использование автоматических инструментов для спиннинга или ручной рерайтинг, заключающийся только в замене слов на синонимы или изменении порядка слов в предложении. Этот патент напрямую направлен против таких тактик, так как относительный порядок ключевых термов сохраняется.
• «Разбавление» контента шумом или «водой»: Добавление случайного текста или нерелевантных параграфов для обмана систем сходства. Патент предусматривает игнорирование шума путем фокусировки выборки на редких термах (исключая очень редкие) или на конкретных разделах документа.
• Создание множества страниц с шаблонным контентом: Генерация большого количества страниц (например, локальных лендингов или дорвеев), где меняются только несколько ключевых слов, а основная структура остается неизменной. Такие страницы будут иметь высокую Similarity Metric.
• Компиляция чужого контента: Создание статей путем компиляции параграфов из разных источников без значительной переработки. Система может обнаружить сходство на уровне отдельных параграфов.

Стратегическое значение

Патент подтверждает, что Google обладает сложными механизмами для понимания оригинальности контента на структурном уровне. Это подчеркивает стратегическую необходимость инвестиций в создание действительно уникального и ценного контента. Стратегии, основанные на массовом производстве низкокачественного или переработанного контента, несут высокие риски, так как такой контент может быть классифицирован как дублирующийся. Для SEO-специалистов это означает, что оценка уникальности должна включать анализ структуры и добавленной ценности.

Практические примеры

Сценарий: Обнаружение рерайтинга статьи

1. Оригинальный текст (Документ А): "The quick brown fox jumped over the lazy dog. This event was unprecedented."
2. Переписанный текст (Документ Б – Спиннинг): "The brown quick fox leaped over a lazy dog. This occurrence was highly unusual."
3. Анализ методом шинглов (длина 4): Совпадений нет.
4. Анализ по патенту (Упорядоченные пары):
   • Несмотря на изменения слов (jumped -> leaped) и их порядка (quick brown -> brown quick), многие базовые упорядоченные пары сохраняются. Например, (fox, dog), (quick, lazy), (brown, over).
5. Результат: Система обнаружит высокое сходство, так как ключевые термы сохраняют относительный порядок.
6. Уникальный текст (Документ В): "The lazy dog was surprised when a brown fox jumped over him. Observers called the event unprecedented." В этом случае порядок слов изменен структурно (dog предшествует fox), что значительно снизит метрику сходства с Документом А.