Как Google снижает ценность ссылок между аффилированными сайтами для борьбы с линк-схемами

Термины и определения

Affiliation (Аффилированность)

Связь между документами или сайтами. Может определяться на основе общей структуры ссылок, паттернов трафика, схожести имен хостов или IP-адресов.

Affiliated Set (Набор аффилированных документов)

Группа документов, идентифицированных как связанные между собой.

Binary Model (Бинарная модель)

Модель, в которой документы либо аффилированы, либо нет. Все аффилированные наборы считаются равнозначными.

Continuous Model (Непрерывная модель)

Модель, в которой аффилированность измеряется непрерывным значением (например, Gamma γ), позволяя различать сильную и слабую связь.

CONTRIB(D) (Вклад документа)

Значение, которое документ D может передать по своим исходящим ссылкам. Рассчитывается как Ranking Score документа, деленный на количество исходящих ссылок (OutD(D)).

Gamma (γ)

Параметр степени аффилированности в непрерывной модели. γ=0 означает полную аффилированность, γ=1 означает полную независимость.

OutD(D) (Outdegree)

Количество исходящих ссылок из документа D.

Ranking Component

Система, отвечающая за расчет оценок ранжирования.

Ranking Score

Оценка качества документа, рассчитанная на основе ссылочной структуры и аффилированности. Аналог PageRank.

SETCONTRIB(S) (Вклад набора)

Агрегированный вклад, который набор аффилированных документов S передает по ссылкам. Рассчитывается с использованием операторов MAX/SUM или их интерполяции, чтобы избежать завышения веса от связанных источников.

Set Location Component

Компонент системы, отвечающий за идентификацию аффилированности и группировку документов в наборы.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод расчета Ranking Score с учетом аффилированности.

1. Система идентифицирует связанные документы (Документ 1, на который ссылается Документ 2, входящий в аффилированный набор).
2. Рассчитывается первое значение (CONTRIB) для каждого документа в наборе на основе его Ranking Score и количества исходящих ссылок.
3. Рассчитывается второе значение (SETCONTRIB) как максимум из первых значений для документов в наборе.
4. Ranking Score Документа 1 присваивается на основе второго значения.
5. Процесс присвоения Ranking Score включает:
   • Определение степени аффилированности набора (слабая или сильная).
   • Установку вклада Документа 2 в Ranking Score Документа 1 с помощью функции, которая действует как оператор Суммирования (SUM), если набор слабо аффилирован, и как оператор Максимума (MAX), если набор сильно аффилирован.
6. Функция интерполяции (SETCONTRIB) определена как (Обобщенное среднее): $(CONTRIB(D_1)^a + CONTRIB(D_2)^a + ... + CONTRIB(D_k)^a)^{1/a}$
7. Где 'a' определяется как: $1 / (e + (1-e)γ)$, где 'e' — константа, а γ (Gamma) — непрерывная мера аффилированности.

Ключевой защищенный механизм — это использование интерполяции между SUM и MAX для расчета ссылочного веса в зависимости от степени аффилированности источников.

Claim 6 (Зависимый от 1): Детализирует методы идентификации аффилированности.

Аффилированность определяется на основе по крайней мере одного из следующих факторов: структура ссылочного графа документов, паттерны трафика к документам, схожесть имен хостов (hostnames) документов или схожесть IP-адресов документов.

Claim 8 (Зависимый от 1): Уточняет процесс расчета.

Присвоение Ranking Score происходит итеративно до достижения сходимости (convergence).

Где и как применяется

Изобретение применяется на этапе индексирования и является частью глобального анализа ссылочной структуры веба.

INDEXING – Индексирование и извлечение признаков

Основной этап применения патента. Система функционирует как часть модуля анализа ссылок (Link Analysis), который рассчитывает глобальные оценки качества документов (например, PageRank).

1. Сбор данных для анализа аффилированности: На этом этапе собираются и обрабатываются данные, необходимые для выявления связей: структура ссылок, данные об IP-адресах/хостах, а также данные о трафике/сессиях пользователей.
2. Идентификация аффилированности: Set Location Component анализирует эти данные для группировки документов в affiliated sets и определения степени их связи (γ).
3. Итеративный расчет качества: Rank Computation Component выполняет итеративный расчет Ranking Scores. На каждой итерации система использует модифицированный алгоритм передачи веса, который учитывает аффилированность источников.

RANKING – Ранжирование

На этапе ранжирования система использует предварительно рассчитанные Ranking Scores (полученные на этапе INDEXING) как один из сигналов для сортировки документов, релевантных запросу пользователя.

Входные данные:

• Корпус связанных документов (ссылочный граф).
• Данные для определения аффилированности (IP-адреса, имена хостов, паттерны трафика).
• Начальные (seed) значения Ranking Score (для первой итерации).

Выходные данные:

• Ranking Score для каждого документа в корпусе, устойчивый к манипуляциям со стороны аффилированных групп.

На что влияет

• Конкретные типы контента и ниши: Влияет на все типы контента, но наиболее заметно в конкурентных коммерческих нишах (e-commerce, финансы, гемблинг), где часто используются PBN и другие линк-схемы для манипуляции ранжированием.
• Специфические запросы: Влияет на ранжирование по любым запросам, где ссылочные факторы играют значительную роль.

Когда применяется

• Временные рамки и частота применения: Алгоритм применяется периодически во время глобального пересчета индексов и оценок качества (пересчет PageRank). Это ресурсоемкий офлайн-процесс, а не расчет в реальном времени при обработке запроса.
• Условия работы: Применяется ко всему корпусу документов для вычисления статических оценок качества. Активация механизма снижения веса происходит всегда, когда обнаруживается аффилированность между источниками ссылок.

Пошаговый алгоритм

Описание процесса расчета Ranking Score (например, с использованием Непрерывной модели).

1. Определение аффилированности (Предварительный этап):
   • Set Location Component анализирует корпус документов.
   • Идентифицируются наборы аффилированных документов (Affiliated Sets S).
   • Для каждого набора определяется степень аффилированности Gamma (γ).
2. Инициализация: Каждому документу присваивается начальный Ranking Score.
3. Итеративный расчет (повторяется до сходимости):
   1. Расчет индивидуального вклада (CONTRIB): Для каждого документа D рассчитывается CONTRIB(D) по формуле: $RankingScore(D) / OutD(D)$.
   2. Расчет вклада набора (SETCONTRIB): Для каждого аффилированного набора S рассчитывается SETCONTRIB(S, γ).
      • Сначала вычисляется параметр 'a': $a = 1 / (e + (1-e)γ)$.
      • Затем вычисляется SETCONTRIB с помощью функции интерполяции MAX/SUM (Обобщенное среднее): $(CONTRIB(D_1)^a + ... + CONTRIB(D_k)^a)^{1/a}$.
   3. Обновление Ranking Score: Для каждого документа X рассчитывается новый Ranking Score путем суммирования SETCONTRIB от всех наборов (Si), которые ссылаются на X: $RankingScore(X) = α + β * Σ(SETCONTRIB(Si, γi))$.
4. Проверка сходимости: Проверяется, насколько сильно изменились Ranking Scores по сравнению с предыдущей итерацией. Если изменения минимальны (достигнута сходимость), процесс останавливается. В патенте упоминается, что обычно достаточно около 50 итераций.
5. Нормализация (Опционально): Итоговые Ranking Scores могут быть нормализованы.

Какие данные и как использует

Данные на входе

Система использует несколько типов данных для определения аффилированности и расчета оценок:

• Ссылочные факторы: Структура ссылочного графа (кто на кого ссылается). Количество входящих и исходящих ссылок (OutD(D)). Сила связи между сайтами на основе ссылок.
• Технические факторы: Имена хостов (Hostnames). IP-адреса веб-серверов. Патент явно упоминает сравнение IP-адресов: если первые два или три компонента (октета) IP-адреса идентичны, можно сделать вывод об аффилированности.
• Поведенческие факторы (Traffic patterns): Паттерны трафика в вебе. Аффилированность может быть обнаружена между веб-документами, которые посещаются многими пользователями в течение одной сессии.

Какие метрики используются и как они считаются

Патент определяет конкретные метрики и формулы для их расчета:

• CONTRIB(D) (Вклад документа) (Eq. 1): $CONTRIB(D) = RankingScore(D) / OutD(D)$.
• SETCONTRIB(S) (Вклад набора - Бинарная модель) (Eq. 2): $MAX[CONTRIB(D1), ..., CONTRIB(DN)]$.
• Gamma (γ) (Степень аффилированности): Значение от 0 (полная аффилированность) до 1 (полная независимость).
• Параметр 'a' (Непрерывная модель) (Eq. 5): $a = 1 / (e + (1-e)γ)$. (где e - константа, например 0.05).
• SETCONTRIB(S, γ) (Вклад набора - Непрерывная модель) (Eq. 4): $(CONTRIB(D1)^a + ... + CONTRIB(DN)^a)^{1/a}$. Эта формула интерполирует между SUM (когда γ=1, a≈1) и MAX (когда γ=0, a - большое).
• RankingScore(X) (Итоговая оценка) (Eq. 3 и 6): $α + β * Σ(SETCONTRIB)$ (Сумма по всем наборам, ссылающимся на X).

1. Целенаправленная борьба с линк-схемами: Патент предоставляет конкретный алгоритмический механизм для нейтрализации эффекта от линк-ферм, PBN и других групп аффилированных сайтов, пытающихся манипулировать Ranking Score.
2. Снижение ценности аффилированных ссылок (Diminishing Returns): Ключевой вывод — множественные ссылки из аффилированных источников не дают линейного прироста качества. Вместо суммирования (SUM) их вклада, система стремится учитывать только максимальный вклад (MAX) от группы.
3. Сложные методы обнаружения аффилированности: Google не полагается только на очевидные признаки (как один владелец). Аффилированность определяется через анализ структуры ссылок, схожесть технических параметров (IP-адреса, хосты) и даже анализ паттернов трафика (посещение сайтов в рамках одной сессии).
4. Непрерывная, а не бинарная пессимизация: Использование непрерывной модели (Gamma γ) позволяет Google применять снижение веса пропорционально силе обнаруженной связи. Это не просто фильтр (вкл/выкл), а сложный механизм взвешивания.
5. Приоритет независимых ссылок: Алгоритм значительно повышает относительную ценность ссылок, полученных от независимых (неаффилированных) источников, так как их вклад суммируется (SUM).
6. Модификация PageRank: Это изобретение описывает существенную модификацию базового алгоритма расчета ссылочного качества (PageRank), делая его более устойчивым к спаму.

Best practices (это мы делаем)

• Фокус на получении независимых ссылок: Стратегия линкбилдинга должна быть направлена на получение ссылок из авторитетных источников, которые не имеют признаков аффилированности с вашим сайтом или друг с другом. Независимые ссылки суммируются (SUM) и дают максимальный эффект.
• Диверсификация ссылочного профиля: Обеспечьте максимальное разнообразие доноров по типам сайтов, тематикам, географии, а также по техническим параметрам (разные хостинги, разные подсети IP-адресов). Это минимизирует риск идентификации ссылок как аффилированных.
• Осторожное использование PBN и сеток сайтов: При использовании PBN необходимо предпринимать максимальные меры для сокрытия футпринтов. Согласно патенту, следует избегать:
  • Размещения сайтов в одних и тех же блоках IP-адресов (особенно совпадения первых 2-3 октетов).
  • Массового перекрестного связывания сайтов в сети (анализ структуры графа).
  • Очевидной схожести имен хостов.
• Анализ технических футпринтов доноров: При аудите ссылочного профиля или анализе потенциальных доноров проверяйте их IP-адреса и хостинги на предмет пересечения с другими ссылающимися сайтами.

Worst practices (это делать не надо)

• Создание линк-ферм и очевидных PBN: Построение сетей сайтов на одном хостинге, в одной подсети IP или с активной перелинковкой между собой. Патент описывает механизм, который напрямую нейтрализует такие схемы, сводя их эффективность к весу одного, самого сильного сайта в сети (MAX).
• Участие в схемах обмена ссылками: Группы сайтов, активно обменивающиеся ссылками, будут идентифицированы как аффилированные через анализ структуры графа.
• Покупка ссылок из одного источника (Брокера): Если брокер размещает ссылки на сети контролируемых им сайтов, высока вероятность того, что Google идентифицирует эту сеть и применит механизм снижения веса.
• Искусственное направление трафика между сайтами: Попытки симулировать естественный трафик между группой сайтов могут быть использованы как сигнал аффилированности (анализ паттернов трафика).

Стратегическое значение

Этот патент является одним из фундаментальных документов, определяющих подход Google к оценке ссылок. Он подтверждает, что Google давно разрабатывает и внедряет сложные механизмы для борьбы с ссылочным спамом, выходящие далеко за рамки простого подсчета ссылок. Стратегическое значение заключается в понимании того, что качество и независимость источника ссылки гораздо важнее их количества. Долгосрочная SEO-стратегия должна фокусироваться на построении реального авторитета и получении естественных упоминаний, так как любые искусственные схемы имеют встроенный механизм обесценивания.

Практические примеры

Сценарий: Нейтрализация PBN (Private Blog Network)

1. Ситуация: SEO-специалист создал сеть из 10 сайтов (PBN) для продвижения основного проекта (Money Site). Все 10 сайтов размещены на дешевом хостинге и находятся в одной подсети класса C (например, 192.168.1.1 - 192.168.1.10). Каждый сайт ссылается на Money Site.
2. Анализ Google (Идентификация аффилированности): Set Location Component анализирует IP-адреса. Совпадение первых трех октетов (192.168.1.*) является сильным сигналом аффилированности. Система группирует эти 10 сайтов в Affiliated Set и присваивает высокую степень аффилированности (Gamma γ близка к 0).
3. Расчет вклада (SETCONTRIB): При расчете Ranking Score для Money Site система применяет функцию интерполяции. Так как γ близка к 0, функция действует как оператор MAX.
4. Результат: Вместо того чтобы получить сумму веса от всех 10 сайтов, Money Site получает вес, эквивалентный весу только одного, самого авторитетного сайта из этой сети. Эффективность PBN снижается в 10 раз.

Сценарий: Диверсифицированный линкбилдинг

1. Ситуация: SEO-специалист получил 3 ссылки из разных источников: статья в крупном СМИ, пост в независимом блоге и упоминание на форуме. Сайты технически не связаны и не имеют перекрестного трафика.
2. Анализ Google: Система не обнаруживает признаков аффилированности (Gamma γ близка к 1).
3. Расчет вклада (SETCONTRIB): Функция интерполяции действует как оператор SUM.
4. Результат: Сайт получает полный суммарный вес от всех трех источников, что значительно повышает его Ranking Score.