Как Google ограничивает влияние ссылок между аффилированными сайтами (PBN) при расчете авторитетности

Описание

Какую задачу решает

Патент решает проблему уязвимости стандартных алгоритмов ссылочного ранжирования (таких как PageRank) перед манипуляциями. Если одна организация контролирует несколько ресурсов (affiliated documents), она может создать множество ссылок с этих ресурсов на целевую страницу, искусственно завышая ее Ranking Score (оценку качества). Изобретение направлено на нейтрализацию избыточного влияния таких скоординированных или аффилированных ссылок (например, PBN или сетей сателлитов).

Что запатентовано

Запатентована система определения качества связанных документов, которая учитывает не только структуру ссылок, но и аффилированность (affiliation) между ссылающимися документами. Система идентифицирует наборы аффилированных документов (sets of affiliated documents) и изменяет способ расчета передаваемого ими веса. Вместо суммирования вклада каждой ссылки из набора, система использует функцию (например, оператор Maximum), которая ограничивает общий вклад этого набора.

Как это работает

Система работает итеративно, аналогично классическому расчету PageRank, но с ключевой модификацией:

• Идентификация аффилированности: Определяются группы документов, которые связаны между собой (например, по IP-адресу, хосту, структуре ссылок или паттернам трафика).
• Расчет вклада документа (CONTRIB): Для каждого документа вычисляется его вклад, который он готов передать (обычно RankingScore, деленный на количество исходящих ссылок).
• Расчет вклада набора (SETCONTRIB): Для каждого набора аффилированных документов определяется их общий вклад. В ключевом варианте реализации этот вклад равен максимальному CONTRIB среди всех документов в наборе (MAX[CONTRIB(D1)…CONTRIB(DN)]).
• Расчет итогового рейтинга: Ranking Score целевого документа вычисляется как сумма SETCONTRIB от всех независимых наборов, которые ссылаются на него.

Это гарантирует, что 100 ссылок с одного аффилированного набора (например, PBN) передадут не больше веса, чем одна самая сильная ссылка из этого набора.

Актуальность для SEO

Критически высокая. Борьба с манипуляциями ссылочным профилем, PBN (Private Blog Networks) и сетями сателлитов остается центральной задачей Google. Этот патент (являющийся продолжением патента от 2004 года) описывает фундаментальный механизм того, как Google интерпретирует и обесценивает множественные ссылки от связанных источников. Учитывая авторство (Amit Singhal, Krishna Bharat, Paul Haahr), этот механизм лежит в основе современных систем оценки ссылочного профиля.

Важность для SEO

Патент имеет фундаментальное значение для SEO (10/10), особенно для стратегий линкбилдинга. Он демонстрирует конкретный механизм, который значительно снижает эффективность получения множества ссылок с ресурсов, которые Google может посчитать аффилированными. Это подчеркивает первостепенную важность диверсификации ссылочного профиля и получения ссылок от независимых, авторитетных источников.

Детальный разбор

Термины и определения

Affiliation (Аффилированность)

Связь между документами, указывающая на их зависимость или общее происхождение. Может определяться на основе структуры ссылок, паттернов трафика, схожести хостов или IP-адресов.

Binary Model (Бинарная модель аффилированности)

Модель, в которой документы либо аффилированы (входят в набор), либо нет. Степень аффилированности не учитывается. Использует функцию MAX.

Continuous Model (Непрерывная модель аффилированности)

Модель, в которой учитывается степень аффилированности (параметр γ, от 0 до 1). γ=0 означает полную аффилированность (близко к MAX), γ=1 — полную независимость (близко к SUM).

CONTRIB(D) (Вклад документа)

Метрика, показывающая, какой вес документ D готов передать по своим исходящим ссылкам. Обычно рассчитывается как RankingScore(D) / OutD(D).

MAX (Оператор Maximum)

Функция, выбирающая максимальное значение из списка. Используется для расчета SETCONTRIB в бинарной модели.

OutD(D) (Outdegree, Количество исходящих ссылок)

Количество исходящих ссылок из документа D.

Ranking Score (Оценка ранжирования)

Числовое значение, определяющее объективную оценку качества или авторитетности документа на основе анализа ссылок (аналог PageRank, модифицированный с учетом аффилированности).

Set Location Component (Компонент определения наборов)

Система, которая анализирует документы и группирует их в наборы аффилированных документов.

SETCONTRIB(S) (Вклад набора)

Общий вес, который набор аффилированных документов S передает по своим ссылкам. Рассчитывается на основе CONTRIB документов в наборе с учетом их аффилированности.

Sufficiently Converged (Достаточная сходимость)

Состояние итеративного процесса расчета, при котором Ranking Scores перестают значительно изменяться от одной итерации к следующей.

Ключевые утверждения (Анализ Claims)

Патент US8825645B1 является продолжением (continuation) более ранних патентов. Claims описывают метод расчета рейтинга с учетом аффилированности.

Claim 1 (Независимый пункт): Описывает основной метод расчета Ranking Score для первого документа, на который ссылается второй документ, при условии, что второй и третий документы входят в набор аффилированных документов.

1. Система идентифицирует множество документов.
2. Определяется, что на Первый документ ссылается Второй документ.
3. Определяется, что Второй и Третий документы принадлежат к одному набору аффилированных документов (set of affiliated documents).
4. Для каждого документа в аффилированном наборе рассчитывается Первое значение (CONTRIB). Этот расчет основан на Ranking Score документа и количестве его исходящих ссылок (OutD).
5. Система определяет, что Первое значение, рассчитанное для Третьего документа, является максимальным (maximum) среди всех Первых значений, рассчитанных для документов в этом наборе.
6. Ranking Score Первого документа присваивается на основе Первого значения, рассчитанного для Третьего документа.

Ядро изобретения заключается в том, что вклад аффилированного набора в рейтинг целевого (Первого) документа определяется не суммой вкладов всех ссылающихся документов из этого набора (как Второй документ), а максимальным вкладом одного из документов в этом наборе (Третий документ). Это радикально меняет способ передачи веса внутри аффилированных структур, предотвращая манипуляции.

Claim 3 (Зависимый): Уточняет, как идентифицируется аффилированность. Она может быть основана на: структуре ссылочного графа (link graph structure), паттернах трафика (traffic patterns), схожести имен хостов (similarity of hostnames) или схожести IP-адресов (similarity of Internet Protocol (IP) addresses).

Claim 5 и 6 (Зависимые): Указывают, что расчет Ranking Score является итеративным процессом, который продолжается до достижения сходимости (convergence), после чего результаты могут быть нормализованы.

Claim 7 и 8 (Зависимые): Указывают на возможность использования двух моделей аффилированности: бинарной (binary model) или непрерывной (continuous model).

Где и как применяется

Изобретение применяется на этапе расчета глобальных статических сигналов качества и авторитетности документов.

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются данные, необходимые для определения аффилированности: структура ссылок, информация о хостах и IP-адресах.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента.

• Определение аффилированности: Set Location Component анализирует собранные данные (IP, хосты, структура ссылок, возможно, данные о трафике) для определения наборов аффилированных документов.
• Анализ ссылок и расчет авторитетности: Система (Ranking Component) использует ссылочный граф для итеративного расчета Ranking Scores (аналог PageRank). При расчете система применяет логику учета аффилированности (MAX оператор или непрерывную модель) для определения вклада (SETCONTRIB) каждого набора.

RANKING – Ранжирование
Рассчитанные на этапе индексирования Ranking Scores используются как один из ключевых сигналов ранжирования на этапах L2/L3 для оценки авторитетности и качества документов.

Входные данные:

• Корпус связанных документов (Ссылочный граф).
• Данные для определения аффилированности (IP-адреса, имена хостов, паттерны трафика).
• Начальные (seed) Ranking Scores (для запуска итераций).

Выходные данные:

• Финальные Ranking Scores для каждого документа в корпусе, рассчитанные с учетом аффилированности ссылок.

На что влияет

• Ссылочные факторы: Патент напрямую влияет на интерпретацию и вес входящих ссылок. Он снижает эффективность ссылок с аффилированных ресурсов.
• Структурные факторы (Внутренняя перелинковка): Поскольку страницы одного сайта являются аффилированными, патент описывает механизм, ограничивающий влияние внутренней перелинковки на итоговый Ranking Score страницы.
• Конкретные ниши или тематики: Наибольшее влияние оказывается на конкурентные ниши (коммерческие, YMYL), где часто используются манипулятивные техники линкбилдинга (PBN, ссылочные фермы, сателлиты).

Когда применяется

• Временные рамки: Алгоритм применяется периодически во время глобального пересчета индексов и метрик авторитетности (например, при обновлении PageRank или аналогичных метрик). Это офлайн-процесс.
• Условия работы: Применяется ко всему корпусу документов для расчета объективной меры качества на основе ссылок.
• Триггеры активации: Активируется всегда при расчете Ranking Score, если система обнаруживает аффилированные наборы документов, ссылающиеся на целевую страницу.

Пошаговый алгоритм

Описание процесса расчета Ranking Scores.

1. Определение наборов аффилированных документов (Препроцессинг):
   • Система анализирует корпус документов.
   • Используя данные об IP-адресах, хостах, структуре ссылок и паттернах трафика, система группирует документы в наборы (Sets).
   • Определяется модель аффилированности (бинарная или непрерывная). В случае непрерывной модели для каждого набора определяется степень аффилированности (γ).
2. Инициализация: Всем документам присваиваются начальные Ranking Scores.
3. Начало итеративного расчета: Система начинает цикл пересчета рейтингов.
4. Расчет вклада документа (CONTRIB): Для каждого документа D вычисляется его вклад по формуле: CONTRIB(D) = RankingScore(D) / OutD(D). (В патенте также упоминается альтернативная формула Eq. 7 с порогом THRESHOLD для перехода к модели голосования).
5. Расчет вклада набора (SETCONTRIB): Для каждого набора S вычисляется его общий вклад.

   Вариант А (Бинарная модель):

   • SETCONTRIB(S) = MAX [CONTRIB(D1), CONTRIB(D2), …, CONTRIB(DN)].
   • Выбирается максимальный вклад одного документа из всего набора.

   Вариант Б (Непрерывная модель):

   • Используется более сложная формула, зависящая от степени аффилированности γ.
   • Если γ=0 (полная аффилированность), формула стремится к оператору MAX.
   • Если γ=1 (полная независимость), формула работает как стандартное суммирование CONTRIB.
6. Расчет нового Ranking Score: Для каждого целевого документа X вычисляется новый рейтинг путем суммирования SETCONTRIB всех наборов, которые содержат документы, ссылающиеся на X. Формула: RankingScore(X) = α + β * Σ(SETCONTRIB(Si)) (где α и β — константы, например, 0.1 и 0.9).
7. Проверка сходимости: Система проверяет, насколько сильно изменились Ranking Scores по сравнению с предыдущей итерацией.
   • Если изменения значительны (сходимость не достигнута): Вернуться к шагу 4.
   • Если изменения минимальны (сходимость достигнута): Перейти к шагу 8. (Упоминается, что обычно требуется около 50 итераций).
8. Нормализация: Итоговые Ranking Scores нормализуются.

Какие данные и как использует

Данные на входе

Патент явно упоминает использование следующих данных:

• Ссылочные факторы: Критически важные данные. Используется полный граф ссылок между документами. Количество исходящих ссылок (OutD(D)) используется для расчета CONTRIB. Структура графа также может использоваться для определения аффилированности.
• Технические факторы (для определения аффилированности):
  • IP-адреса: Сравнение IP-адресов серверов. Если первые два или три октета совпадают, может быть сделан вывод об аффилированности.
  • Имена хостов (Hostnames): Схожесть хостов используется для группировки документов.
• Поведенческие факторы (для определения аффилированности):
  • Паттерны трафика (Traffic patterns): Анализ посещения документов пользователями в рамках одной сессии может использоваться для обнаружения аффилированности.

Какие метрики используются и как они считаются

Система использует несколько ключевых метрик и предлагает два основных варианта расчета (Бинарный и Непрерывный), а также одну модификацию.

• RankingScore(D): Итеративно рассчитываемая метрика качества/авторитетности документа.
• CONTRIB(D): Вклад документа. Формула: RankingScore(D) / OutD(D).
• SETCONTRIB(S): Вклад набора аффилированных документов.
  • Бинарная модель: MAX(CONTRIB) в наборе.
  • Непрерывная модель: Формула, интерполирующая между MAX и SUM в зависимости от параметра γ.
• γ (Гамма): Параметр степени аффилированности (от 0 до 1) в непрерывной модели.
• α (Альфа) и β (Бета): Константы в итоговой формуле расчета RankingScore (коэффициенты затухания/dampening factors).

Модификация расчета CONTRIB (Voting Model, Eq. 7):

Предлагается альтернативный расчет CONTRIB(D) для перехода к модели голосования:

• RankingScore(D) / MAX(1, OutD(D) — THRESHOLD).
• Если количество исходящих ссылок меньше порога (THRESHOLD, например 10), то каждая ссылка передает почти полный вес (RankingScore(D)). Это усиливает влияние ссылок с страниц, которые мало на кого ссылаются.

Выводы

1. Аффилированность как ключевой фактор в оценке ссылок: Google активно идентифицирует и группирует связанные документы и сайты (PBN, сателлиты). Аффилированность может быть определена по техническим признакам (IP, хост), структуре ссылок и даже поведению пользователей (паттерны трафика).
2. Ограничение влияния аффилированных ссылок (Оператор MAX): Основная цель патента — предотвратить искусственное завышение авторитетности. Вклад группы аффилированных сайтов стремится к вкладу только одного, самого авторитетного сайта в этой группе (оператор MAX), а не к сумме их вкладов.
3. Ограничение влияния внутренней перелинковки: Страницы одного сайта являются аффилированным набором. Следовательно, этот механизм также ограничивает возможность бесконечного накачивания веса одной страницы за счет множества внутренних ссылок.
4. Гибкость модели (Бинарная vs Непрерывная): Система может использовать как жесткую классификацию (аффилирован/независим), так и учитывать степень аффилированности (γ). Это позволяет более точно обрабатывать различные типы связей.
5. Приоритет диверсификации: Для увеличения Ranking Score необходимо получать ссылки от максимально возможного количества неаффилированных между собой наборов документов. Получение дополнительных ссылок от уже ссылающегося набора дает минимальный или нулевой эффект.
6. Модель голосования для исходящих ссылок: Описанная модификация расчета CONTRIB (Eq. 7) показывает, что ссылки со страниц с малым количеством исходящих ссылок могут передавать значительно больший вес.

Практика

Best practices (это мы делаем)

• Максимальная диверсификация ссылочного профиля: Сосредоточьтесь на получении ссылок с уникальных, неаффилированных доменов. Диверсификация должна быть на всех уровнях: разные домены, владельцы, IP-адреса, подсети и хостинг-провайдеры. Это гарантирует, что вклады будут суммироваться (SUM), а не ограничиваться (MAX).
• Качество доноров важнее количества ссылок с них: Поскольку вклад аффилированного набора определяется максимальным CONTRIB (оператор MAX), одна ссылка с очень авторитетной страницы донора гораздо ценнее, чем множество ссылок со слабых страниц того же донора (или его аффилиатов).
• Оптимизация внутренней перелинковки: Попытки скульптурирования веса с помощью массированной перелинковки ограничены механизмом MAX. Убедитесь, что на ключевые страницы ссылаются наиболее авторитетные внутренние страницы (например, главная страница, основные категории), так как именно их CONTRIB будет определять передаваемый внутренний вес.
• Анализ футпринтов (Footprint Analysis): При аудите ссылочного профиля анализируйте потенциальную аффилированность доноров. Группируйте ссылки по IP-адресам, подсетям и владельцам, чтобы оценить реальный вклад этих групп.
• Контроль исходящих ссылок (OutD): Рассмотрите применение модификации (Eq. 7), которая предполагает, что ссылки со страниц с малым количеством исходящих ссылок (например, менее 10) могут передавать значительно больший вес (модель голосования).

Worst practices (это делать не надо)

• Создание PBN и сетей сателлитов с очевидными футпринтами: Это прямая цель данного патента. Размещение сети на одном хостинге, в одной подсети IP или использование схожих шаблонов создает явные сигналы аффилированности. Вклад такой сети будет ограничен функцией MAX.
• Массовая закупка ссылок на одной площадке/бирже: Если многие доноры на бирже контролируются одним вебмастером или группой лиц, существует высокий риск их идентификации как аффилированных и последующего дисконтирования веса.
• Сквозные ссылки (Sitewide links): Сквозные ссылки (в футере, сайдбаре) являются классическим примером аффилированных ссылок с одного набора. Их общий вес будет сильно ограничен данным механизмом.
• Чрезмерная внутренняя перелинковка для накачки веса: Создание сотен внутренних ссылок на одну страницу с целью повышения ее статического веса неэффективно. Система учтет только вклад самой авторитетной ссылающейся внутренней страницы.

Стратегическое значение

Этот патент подтверждает, что Google на фундаментальном уровне закладывает в свои алгоритмы ранжирования механизмы устойчивости к ссылочному спаму. Стратегически это означает, что количество ссылок имеет гораздо меньшее значение, чем их качество и независимость. Долгосрочная SEO-стратегия должна фокусироваться на создании контента и брендов, которые естественным образом привлекают ссылки от широкого круга независимых источников, а не на попытках масштабирования ссылочного профиля через контролируемые сети.

Практические примеры

Сценарий 1: Оценка эффективности PBN

1. Ситуация: SEO-специалист создал PBN из 10 сайтов (PBN1..PBN10) для продвижения основного сайта. Все сайты размещены у одного хостинг-провайдера в одной подсети IP.
2. Анализ Google: Set Location Component анализирует IP-адреса и определяет, что PBN1..PBN10 аффилированы. Они группируются в Набор S1.
3. Расчет веса: Допустим, каждый сайт PBN имеет Ranking Score = 20 и 5 исходящих ссылок (OutD=5). Вклад каждого сайта CONTRIB = 20/5 = 4.
4. Применение алгоритма (Бинарная модель): Вместо суммирования вкладов (10 сайтов * 4 = 40 единиц веса), система применяет функцию MAX. SETCONTRIB(S1) = MAX(4, 4, …, 4) = 4.
5. Результат: Вся сеть PBN из 10 сайтов передает основному сайту столько же веса, сколько передал бы только один сайт из этой сети. Эффективность PBN снижается в 10 раз.

Сценарий 2: Оптимизация внутренней перелинковки

1. Ситуация: Интернет-магазин хочет повысить вес страницы товара X. На нее уже ссылается Главная страница (CONTRIB=1.0) и Страница категории (CONTRIB=0.8).
2. Действие: Специалист добавляет 50 ссылок на товар X из блога магазина (средний CONTRIB=0.2).
3. Анализ Google: Все страницы магазина являются одним аффилированным набором (Set B).
4. Применение алгоритма: SETCONTRIB для Set B определяется максимальным CONTRIB, который равен 1.0 (от Главной страницы).
5. Результат: Добавление 50 ссылок из блога не увеличило статический вес страницы товара X, так как их CONTRIB ниже уже существующего максимума.

Вопросы и ответы