Как Google вычисляет «Proxy Pad Score» для обнаружения сайтов, копирующих чужой контент, и пессимизирует их при каноникализации

Термины и определения

Duplicate Cluster (Кластер дубликатов)

Группа документов, идентифицированных как имеющие одинаковое или практически одинаковое содержание. Кластер может содержать от одного документа до миллионов.

Head (Голова)

При расчете Spam Score: небольшое количество организаций, которым анализируемый сайт проиграл наибольшее количество раз.

Loser (Проигравший)

Статус документа организации в кластере дубликатов, если его Quality Score ниже, чем Quality Score хотя бы одного документа другой организации в этом же кластере.

Organization (Организация)

Сущность, с которой связана коллекция документов. Например, веб-сайт, домен, хост или директория.

Proxy Pad / Proxy Pad Site (Сайт-прокси, Прокладка)

Документ или коллекция документов (сайт), чья основная цель – копирование контента у других организаций, часто с целью спама поискового индекса.

Proxy Pad Score (PPS)

Метрика, рассчитываемая для организации, которая отражает вероятность того, что эта организация является Proxy Pad. Используется для модификации Quality Score при выборе представительного документа.

Quality Score (Оценка качества)

Метрика качества документа. В патенте упоминается, что это может быть ссылочный балл (link-based score) или включать другие сигналы (дата создания, вероятность спама и т.д.).

Representative Document (Представительный документ)

Документ, выбранный из кластера дубликатов для включения в поисковый индекс (каноническая версия).

Spam Score (Оценка спама)

Промежуточная метрика, используемая при расчете PPS. Отражает разнообразие источников, с которых организация копирует контент (проигрывает им). Рассчитывается как отношение Tail/Head.

Tail (Хвост)

При расчете Spam Score: большое количество организаций, которым анализируемый сайт проиграл небольшое количество раз.

Trivial (Тривиальный)

Статус документа организации в кластере, если кластер содержит только документы этой организации (т.е. уникальный контент или внутренние дубликаты).

Winner (Победитель)

Статус документа организации в кластере дубликатов, если его Quality Score выше, чем у всех остальных документов других организаций в этом кластере.

Ключевые утверждения (Анализ Claims)

Патент описывает два основных процесса: расчет Proxy Pad Score и его применение при индексации.

Claim 1 (Независимый пункт): Описывает комплексный метод обнаружения и обработки Proxy Pads.

1. Система идентифицирует набор первых документов, связанных с организацией.
2. Идентифицируются кластеры дубликатов, куда входят эти документы. Часть кластеров содержит также вторые документы от других организаций.
3. Определяется Quality Score для каждого документа в кластерах.
4. Для каждого кластера определяется, выше ли Quality Score первого документа, чем у вторых документов.
5. Генерируется Proxy Pad Score (PPS) для организации на основе этих определений. PPS указывает на вероятность того, что организация копирует контент.
6. Quality Score первых документов модифицируется на основе PPS.
7. Происходит индексация одного или нескольких первых документов на основе их модифицированных Quality Scores.

Claim 6 (Зависимый от 3): Детализирует механизм учета спама (разнообразия источников копирования) при расчете PPS.

1. Определяется количество кластеров, в которых документ организации проиграл (Loser).
2. На основе этого количества (и распределения проигрышей, как детализировано в описании) генерируется Spam Score.
3. Агрегированная информация о проигрышах (Total Loser Score) увеличивается на основе Spam Score перед расчетом финального PPS.

Claim 9 (Зависимый от 8): Детализирует учет уникального контента (Trivial) и противодействие тактике «разбавления».

1. Агрегированная информация о тривиальных документах (Total Trivial Score) уменьшается на определенную величину.
2. Уменьшенная оценка добавляется к агрегированным оценкам Winner и Loser для генерации PPS. Это сделано для того, чтобы спамеры не могли компенсировать скопированный контент большим объемом уникального контента.

Claim 27 (Независимый пункт): Описывает процесс применения Proxy Pad Score во время каноникализации.

1. Идентифицируется кластер дубликатов.
2. Определяется мера качества (Quality Score) для каждого документа.
3. Документы ранжируются на основе этой меры качества.
4. Мера качества одного из документов модифицируется (понижается) на основе Proxy Pad Score организации, которой он принадлежит.
5. Выбирается представительный документ (канонический) для кластера на основе модифицированной меры качества.
6. Выбранный документ индексируется.

Где и как применяется

Изобретение применяется в рамках глобального конвейера индексирования.

CRAWLING – Сканирование и Сбор данных
Crawler Engine собирает документы, которые являются источником данных для системы.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Он включает несколько подпроцессов:

1. Извлечение Признаков: На этом этапе рассчитываются базовые Quality Scores (например, на основе ссылок) для документов.
2. Обнаружение Дубликатов: Duplicate Detector анализирует контент или использует предиктивную кластеризацию для группировки документов в Duplicate Clusters.
3. Анализ Proxy Pad (Офлайн): Proxy Pad Analyzer (в частности, Proxy Scorer) использует данные о кластерах и Quality Scores для расчета Proxy Pad Score (PPS) для организаций. Это ресурсоемкий офлайн-процесс.
4. Выбор Представителя (Каноникализация): Representative Selector обрабатывает кластеры дубликатов. Он извлекает заранее рассчитанный PPS и использует его для модификации (понижения) Quality Scores документов. Затем он выбирает Representative Document.
5. Индексация: Indexer включает в поисковый индекс только выбранный Representative Document.

Входные данные:

• Корпус просканированных документов и данные о кластерах дубликатов.
• Quality Scores для документов (например, PageRank или аналоги).
• Данные для идентификации Организаций (домены, хосты).

Выходные данные:

• Proxy Pad Score (PPS) для каждой организации.
• Выбранный Representative Document (канонический URL) для каждого кластера.

На что влияет

• Конкретные типы контента: Влияет на любой тип контента, который может быть продублирован: статьи, описания товаров, справочная информация, новостные ленты.
• Конкретные ниши или тематики: Наибольшее влияние в нишах, где распространено копирование и агрегация контента: новости, электронная коммерция (eCommerce), сайты с отзывами, аффилиатные сайты, полагающиеся на контент партнеров.

Когда применяется

• Расчет PPS: Выполняется периодически в офлайн-режиме (batch processing), так как требует анализа взаимосвязей между большим количеством документов и организаций.
• Применение PPS: Происходит постоянно в процессе индексации, конкретно на этапе выбора представительного документа (каноникализации) для каждого обнаруженного кластера дубликатов.
• Условия активации пессимизации: Пессимизация применяется, если Proxy Pad Score организации превышает определенный порог (в патенте предлагается порог в 70% от максимального нормализованного значения PPS).

Пошаговый алгоритм

Процесс А: Расчет Proxy Pad Score (Офлайн)

1. Идентификация документов и кластеров: Выбирается организация (например, сайт A.com), идентифицируются ее документы и кластеры дубликатов, к которым они принадлежат.
2. Определение Quality Scores: Для всех документов во всех затронутых кластерах извлекаются Quality Scores.
3. Определение статуса: Для каждого кластера анализируется статус документов организации A.com:
   • Winner: Если Quality Score документа A.com самый высокий в кластере.
   • Loser: Если Quality Score документа A.com ниже, чем у документа другой организации.
   • Trivial: Если в кластере только документы A.com.
4. Расчет агрегированных оценок:
   • Total Winner Score (W): Сумма Quality Scores всех Winners.
   • Total Loser Score (L): Сумма разниц между Quality Score проигравшего и Quality Score победителя для всех Losers (отрицательное значение).
   • Total Trivial Score (T): Сумма Quality Scores всех Trivials.
5. Расчет Spam Score (Анализ разнообразия источников):
   • Составляется ранжированный список организаций, которым A.com проиграл, с указанием частоты проигрышей.
   • Список делится на Head (Топ-N организаций, которым проиграли чаще всего) и Tail (остальные).
   • Spam Score рассчитывается как соотношение суммы проигрышей в Tail к сумме проигрышей в Head. Высокий балл указывает на копирование из множества источников.
6. Определение коэффициентов:
   • Определяется коэффициент деления XX для Trivial Score (например, 2), чтобы снизить влияние уникального контента.
   • Определяется коэффициент умножения YY для Loser Score на основе Spam Score (например, от 1 до 3), чтобы увеличить вес поражений при высоком Spam Score.
7. Расчет Proxy Pad Score (PPS): Вычисляется итоговый балл. Формула: $PPS = T/XX + W + L*YY$.
8. Нормализация и Логарифмирование: PPS может быть подвергнут логарифмической операции и нормализован (например, в диапазон 0-1000).

Процесс Б: Применение Proxy Pad Score (Индексация/Каноникализация)

1. Обнаружение кластера: Система индексации идентифицирует Duplicate Cluster.
2. Первичное ранжирование: Документы в кластере ранжируются на основе их исходных Quality Scores.
3. Получение PPS: Для каждого документа извлекается Proxy Pad Score его организации.
4. Расчет коэффициента понижения (Division Factor): PPS конвертируется в коэффициент понижения. Если PPS высокий (например, >70% от максимума), фактор может варьироваться от 1 до 2. Если низкий, фактор равен 1.
5. Модификация Quality Scores: Исходный Quality Score документа делится на этот фактор. $Modified Score = Quality Score / Division Factor$.
6. Выбор представителя: Документ с наивысшим Modified Score выбирается как Representative Document (канонический).
7. Индексация: Представительный документ включается в индекс.

Какие данные и как использует

Данные на входе

• Контентные факторы: Содержимое документов или их хеши/чексуммы используются для обнаружения дубликатов и формирования Duplicate Clusters (content-based clustering).
• Технические факторы: URL-адреса, параметры URL и редиректы используются для идентификации дубликатов (predictive clustering). Данные о хостинге/домене используются для идентификации Organization.
• Ссылочные факторы: Являются основным примером для расчета Quality Score документа. Патент прямо указывает на link-based score.
• Временные факторы: Дата создания документа упоминается как возможный компонент Quality Score.

Какие метрики используются и как они считаются

• Quality Score: Входная метрика качества документа (например, PageRank).
• Winner/Loser/Trivial Scores (W, L, T): Агрегированные метрики. Loser Score рассчитывается как сумма разниц между оценкой проигравшего и победителя в кластере.
• Spam Score: Метрика, оценивающая паттерны копирования. Рассчитывается как отношение $Tail/Head$. Высокий Spam Score указывает на копирование из множества разных источников.
• Весовые коэффициенты (XX и YY):
  • XX: Коэффициент для понижения влияния Total Trivial Score (например, 2).
  • YY: Множитель для увеличения влияния Total Loser Score, определяется на основе Spam Score (например, от 1 до 3).
• Proxy Pad Score (PPS): Итоговая оценка организации. Рассчитывается по формуле: $PPS = T/XX + W + L*YY$.
• Division Factor: Коэффициент, получаемый из нормализованного PPS (например, от 1 до 2). Используется для понижения Quality Score документа во время индексации.

1. Систематическое выявление копирования на уровне организации: Google располагает механизмом для оценки сайтов на предмет систематического копирования контента. Proxy Pad Score — это метрика на уровне организации, основанная на анализе поведения сайта в кластерах дубликатов по всему интернету.
2. Пессимизация на этапе индексации (Каноникализация): Proxy Pad Score используется для модификации Quality Score во время выбора канонического представителя. Это механизм контроля индексации: если сайт не выбран каноническим, он не может ранжироваться по данному контенту.
3. Механизм Spam Score (Tail/Head) для определения намерений: Система не просто считает количество скопированного контента, но и анализирует разнообразие источников. Копирование с множества разных сайтов (высокое соотношение Tail/Head) увеличивает Spam Score и приводит к более агрессивной пессимизации (увеличение веса Loser Score). Это позволяет отличать скрапинг от легитимного дублирования (например, переезда сайта).
4. Противодействие тактике «разбавления»: Уникальный контент (Trivial) учитывается, но его вес намеренно снижается (коэффициент XX). Это сделано для того, чтобы спамеры не могли компенсировать скопированный контент большим объемом уникального, но низкокачественного контента.
5. Агрессивность пессимизации: Предлагаемый механизм может уменьшить Quality Score документа вплоть до 50% (деление на 2) при выборе канонической версии, если сайт имеет очень высокий (плохой) Proxy Pad Score.

Best practices (это мы делаем)

• Приоритет оригинального контента и добавленной ценности: Основная стратегия – минимизировать статус Loser. Создание оригинального контента является лучшей защитой. Если контент дублируется (например, описания товаров), необходимо добавлять значительную уникальную ценность.
• Построение авторитета (Quality Score): Поскольку выбор канонической версии основан на Quality Score, необходимо наращивать авторитет сайта (например, через качественные ссылки). Высокий базовый Quality Score позволяет «выигрывать» в кластерах дубликатов, если ваш контент был скопирован.
• Правильное управление синдикацией: При синдикации вашего контента на другие площадки требуйте использования тега rel="canonical", указывающего на ваш оригинал. Это помогает системе правильно определить источник и избежать нежелательной конкуренции в кластере дубликатов.
• Уникализация шаблонного контента (E-commerce): Для интернет-магазинов критически важно уникализировать описания товаров от поставщиков, добавляя обзоры, пользовательский контент или уникальные характеристики. В противном случае сайт рискует получить массовые Loser исходы.

Worst practices (это делать не надо)

• Скрапинг и автоматическая агрегация без добавленной ценности: Сайты, которые массово копируют контент из множества источников, будут идентифицированы через высокий Spam Score (соотношение Tail/Head) и получат высокий Proxy Pad Score, что приведет к исключению их контента из индекса.
• Использование стандартных описаний производителя: Использование описаний товаров, идентичных сотням других магазинов, без добавления уникального контента увеличивает риск потери канонического статуса в пользу более авторитетных сайтов.
• Искусственное разбавление контента: Попытки обмануть систему путем добавления большого количества уникального, но бесполезного контента для увеличения Trivial Score неэффективны, так как патент предусматривает снижение веса Trivial Score (коэффициент XX).
• Покупка ссылок на скопированный контент: Попытки повысить Quality Score скопированного контента рискованны. Даже если удастся превзойти оригинал по базовому Quality Score, высокий Proxy Pad Score может нивелировать это преимущество на этапе каноникализации.

Стратегическое значение

Патент подтверждает стратегическую важность уникальности и авторитетности контента. Он демонстрирует, что Google рассматривает копирование контента как характеристику всего сайта (организации), а не только отдельных страниц. Для SEO-стратегии это означает, что управление дубликатами и создание уникальной ценности являются критически важными не только для ранжирования, но и для базовой возможности присутствия в индексе. Систематическое копирование контента приводит к технической пессимизации на уровне инфраструктуры индексирования.

Практические примеры

Сценарий 1: Электронная коммерция и описания товаров

1. Ситуация: Магазин А (низкий авторитет) и Магазин Б (высокий авторитет) используют идентичное описание товара от Производителя В.
2. Анализ Кластера: Все три страницы попадают в один кластер. Магазин Б имеет наивысший Quality Score. Магазин А и Производитель В получают статус Loser.
3. Расчет PPS для Магазина А: Если Магазин А систематически проигрывает по тысячам товаров разным крупным ритейлерам и производителям, он накапливает большой отрицательный Total Loser Score и высокий Spam Score.
4. Каноникализация: Система сравнивает модифицированные Quality Scores. Quality Score Магазина А дополнительно снижается из-за его плохого PPS.
5. Результат: Магазин Б выбирается канонической версией. Страница Магазина А не индексируется по этому контенту.

Сценарий 2: Сайт-агрегатор рецептов против оригинальных блогов

1. Ситуация: Агрегатор копирует рецепты с 1000 разных фуд-блогов.
2. Расчет Spam Score: Агрегатор проигрывает (статус Loser) сотням разных блогов. Head будет небольшим, а Tail огромным. Spam Score (Tail/Head) будет очень высоким.
3. Расчет PPS: Высокий Spam Score значительно увеличит вес поражений (коэффициент YY). PPS будет плохим.
4. Индексация: Даже если у агрегатора исходный Quality Score (QS=100) выше, чем у блога (QS=80). Из-за плохого PPS у агрегатора применяется Division Factor (например, 1.8). Модифицированный QS агрегатора = 100/1.8 = 55.5.
5. Результат: Оригинальный блог (QS=80) выбирается канонической версией.