Как Google использует социальные связи для выявления предвзятых ссылок и борьбы со ссылочными схемами и кликфродом

Термины и определения

Ad Spamming (Рекламный спам)

Любая неестественная манипуляция доступом к рекламе. Включает клики, мотивированные не искренним интересом (например, кликфрод).

Article (Статья/Ресурс)

Любой тип контента: веб-страницы, документы, файлы. Рекламные объявления (Ads) также рассматриваются как Articles.

Article Administrator (Администратор ресурса)

Лицо или организация, ответственная за статью (вебмастер, владелец сайта). Идентифицируется с помощью Administrator Identifier.

Associations / Connections (Связи)

Отношения между пользователями в социальной сети (дружба, бизнес и т.д.). Связи имеют типы, уровни (например, «лучший друг», «знакомый») и веса (Association Weights).

Bias (Предвзятость)

Склонность администраторов ссылаться друг на друга или кликать по рекламе друг друга, обусловленная их социальными связями, а не независимой редакционной оценкой.

Degree of Separation (Степень разделения)

Метрика близости в социальном графе; наименьшее количество связей между двумя профилями.

Search Spamming (Поисковый спам)

Неестественная манипуляция методологией поиска для воздействия на ранжирование (например, ссылочные схемы).

Searching Weights (Поисковые веса)

Веса, присваиваемые ссылкам для использования в ранжировании. Эти веса корректируются для снижения эффекта спама.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс, выполняемый поисковой системой для выявления предвзятости и корректировки весов.

1. Выполняется сканирование сети (network crawl) для идентификации ссылающихся статей (linking articles).
2. Идентифицируются ссылки в обоих направлениях: первый набор (из ссылающихся в целевые статьи) и второй набор (из целевых обратно в ссылающиеся) – акцент на взаимном обмене.
3. Идентифицируются администраторы обоих наборов статей (первый и второй набор администраторов).
4. Система получает информацию о связях (connections information) из социальной сети, описывающую отношения между этими администраторами.
5. Проводится корреляция социальных связей и ссылок.
6. На основе корреляции определяется, что конкретные администраторы разделяют предвзятость (share a bias) к размещению ссылок друг на друга.
7. На основе этой предвзятости присваиваются searching weights ссылкам между их статьями.
8. Эти веса используются для определения появления статей в результатах поиска и для снижения эффекта спама (reducing an effect of spamming).

Claim 2 и 3 (Зависимые): Детализируют методы идентификации администраторов.

• Администраторы могут быть идентифицированы на основе паттернов доступа (inferred from access patterns) (Claim 2). Например, администратор может часто проверять множество страниц сайта.
• Идентификация может основываться на анализе групповых постингов (groups of postings), например, на форумах, где администратор ссылается на свою статью (Claim 3).

Claim 6 (Зависимый): Описывает применение метода к рекламному спаму (Ad Spamming).

Если статьи являются рекламой, и выявлена предвзятость (bias) между администратором площадки и пользователем, совершившим клик (click-through), этот клик дисконтируется (discounting) как спам.

Где и как применяется

Изобретение в первую очередь затрагивает этапы индексирования для расчета весов и ранжирования для их применения.

CRAWLING – Сканирование и Сбор данных
Система сканирует сеть для обнаружения статей и ссылок. Также собираются данные, которые могут помочь идентифицировать администраторов (контент, внешние постинги).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Здесь происходят ключевые процессы:

1. Идентификация Администраторов: Используя собранные данные (контент, данные регистрации доменов, логи доступа), система определяет администратора каждой статьи.
2. Получение Социального Графа: Система получает данные о связях из Social Network Database.
3. Корреляция Графов: Система сопоставляет идентифицированных администраторов с пользователями Социального Графа и анализирует корреляцию между социальными связями и ссылками/кликами.
4. Расчет Весов (Feature Extraction): На основе корреляции вычисляется bias и корректируются searching weights ссылок. Эти веса сохраняются в индексе.

RANKING – Ранжирование
Система использует предварительно рассчитанные скорректированные searching weights для определения авторитетности документов. Предвзятые ссылки вносят меньший вклад в ранжирование.

Входные данные:

• Данные сканирования сети (статьи, ссылки).
• Данные для идентификации администраторов (контент, WHOIS, логи доступа, постинги на форумах).
• База данных социальной сети (профили, connections information).

Выходные данные:

• Скорректированные searching weights для ссылок.
• Идентификаторы кликов, помеченных как Ad spamming.

На что влияет

• Ссылочные факторы: Влияет непосредственно на вес, передаваемый по ссылкам. Особенно критично для взаимных ссылок (reciprocal links), которые явно ищутся системой (Claim 1).
• Конкретные ниши или тематики: Наибольшее влияние в нишах, где распространены ссылочные схемы, PBN или активное сообщество вебмастеров, которые могут быть связаны между собой.
• Рекламные сети: Влияет на учет доходов от рекламы, направлено против клик-фрода.

Когда применяется

• Условия работы алгоритма: Алгоритм работает только при условии, что система способна: (1) получить доступ к данным о связях, (2) точно идентифицировать администраторов статей и (3) сопоставить администраторов с профилями в источнике данных о связях.
• Триггеры активации: Обнаружение корреляции между социальными связями и ссылочной структурой/кликами. Чем сильнее социальная связь, тем выше bias и тем сильнее пессимизация.

Пошаговый алгоритм

Патент описывает три варианта реализации. Ниже представлен алгоритм для обнаружения поискового спама через анализ ссылок (на основе FIG. 3).

Этап 1: Построение Социального Графа

1. Определение связей между пользователями: Анализ данных социальной сети для определения типов, уровней и весов ассоциаций между пользователями.
2. Хранение информации о связях: Сохранение Социального Графа в базе данных.

Этап 2: Построение Веб-Графа и Идентификация

1. Сканирование сети: Обнаружение статей.
2. Идентификация администратора статьи: Определение администратора каждой статьи (используя анализ контента, WHOIS, паттерны доступа и т.д.).
3. Идентификация исходящих ссылок: Выявление ссылок на целевые статьи.
4. Идентификация администраторов целевых статей: Определение администраторов сайтов, на которые ведут ссылки.
5. Индексирование: Создание Article Index, включающего статьи, их администраторов и ссылки между ними.

Этап 3: Корреляция и Взвешивание

1. Корреляция: Сопоставление администраторов из Article Index с пользователями в Социальном Графе. Определение наличия и силы социальных связей между ними.
2. Присвоение поисковых весов: Если администраторы имеют сильную социальную связь (высокий bias), система назначает этой ссылке более низкий поисковый вес (searching weight).

Примечание: Для Ad Spamming (FIG. 5) система анализирует не ссылки, а точки доступа (клики) к рекламе и идентифицирует пользователей, совершивших клик, для последующей корреляции с социальным графом и дисконтирования клика.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные для идентификации администраторов и их связей.

• Контентные факторы: Содержание статей используется для поиска контактной информации или авторства (имя, email), которые могут идентифицировать администратора.
• Технические факторы: Данные регистрации доменных имен (WHOIS). IP-адреса и Cookies используются для идентификации пользователей, кликающих по рекламе.
• Ссылочные факторы: Наличие прямых и обратных ссылок между статьями.
• Поведенческие факторы (Паттерны доступа): Частота и единообразие доступа к сайту (access patterns) могут использоваться для вывода о том, кто является администратором.
• Внешние данные (Социальные сети): Профили пользователей, типы ассоциаций (Friendship, Business), уровни ассоциаций, интересы.
• Внешние данные (Форумы): Анализ сообщений в новостных группах или на форумах (groups of postings), где администратор ссылается на свою статью.

Какие метрики используются и как они считаются

• Association Weights (Веса Ассоциаций): Метрика, представляющая силу связи в социальной сети. Более тесные связи (например, «лучший друг») получают больший вес, чем отдаленные («знакомый»).
• Degree of Separation (Степень Разделения): Количество промежуточных связей. Меньшая степень разделения указывает на более сильную связь.
• Bias (Предвзятость): Вывод, основанный на корреляции между высоким Association Weight и наличием ссылки/клика.
• Searching Weights (Поисковые Веса): Итоговая метрика ссылки. Она обратно пропорциональна степени предвзятости. Независимые ссылки получают более высокий Searching Weight.

1. Независимость ссылок критична для ранжирования: Патент подтверждает, что Google стремится оценивать ссылки как независимое подтверждение авторитетности. Ссылки между сторонами, имеющими известные взаимоотношения, считаются предвзятыми (biased) и менее ценными.
2. Целенаправленная борьба со сговором: Механизм напрямую нацелен на обнаружение скоординированных действий вебмастеров, таких как взаимный обмен ссылками (явно упомянут в Claim 1) и ссылочные сети (PBN).
3. Критичность идентификации сущностей (Entity Identification): Ключевым и наиболее сложным элементом системы является способность идентифицировать людей или организации (администраторов), стоящих за веб-сайтами. Для этого используется комплекс методов, включая анализ контента, WHOIS, анализ постов и даже паттерны доступа (access patterns).
4. Использование внешних данных (Социальный Граф): Система использует данные о реальном мире для интерпретации данных в вебе. Это позволяет оценить мотивацию для простановки ссылки или совершения клика.
5. Градация предвзятости: Система учитывает силу связи. Более тесные отношения приводят к большему снижению поискового веса ссылки, чем отдаленные знакомства.
6. Комплексная борьба со спамом: Механизм применяется как для нейтрализации Search Spamming, так и для борьбы с Ad Spamming (кликфродом).

Best practices (это мы делаем)

• Фокус на органическом и редакционном линкбилдинге: Приоритет отдается получению ссылок от независимых источников, которые не имеют очевидных социальных или деловых связей с вашим сайтом или его администраторами. Это подтверждает ценность ссылок, полученных за счет качества контента.
• Диверсификация ссылочного профиля: Обеспечение широкого и разнообразного ссылочного профиля снижает риск того, что значительная часть ссылок будет обесценена из-за обнаружения нескольких предвзятых связей.
• Соблюдение гигиены при управлении сетями сайтов (PBN): Если вы используете PBN, этот патент подчеркивает необходимость максимальной анонимности и отсутствия футпринтов (общие регистрационные данные, хостинг, паттерны доступа, социальные связи между дропами или владельцем). Любая утечка, позволяющая идентифицировать связанность администраторов, приведет к нейтрализации сети.

Worst practices (это делать не надо)

• Взаимный обмен ссылками (Reciprocal Linking): Это основная цель патента. Если система обнаружит связь между администраторами сайтов, обменивающихся ссылками, эти ссылки будут обесценены.
• Участие в явных ссылочных схемах: Участие в группах или сообществах (включая профессиональные SEO-сообщества), где практикуется обмен ссылками, увеличивает риск обнаружения связей между участниками и последующей пессимизации.
• Покупка ссылок у известных контактов: Приобретение ссылок у лиц, с которыми у вас есть публично видимая связь (друзья, коллеги), повышает риск обнаружения предвзятости.
• Искусственная накрутка кликов (Click Fraud): Попытки кликать по собственной рекламе или просить об этом знакомых неэффективны, если система может идентифицировать связь между кликером и хостом рекламы.

Стратегическое значение

Патент демонстрирует, что Google готов использовать сложные методы, включая анализ социальных связей и идентификацию владельцев сайтов, для обеспечения объективности результатов поиска и защиты рекламной экосистемы. Он подчеркивает фундаментальный подход к оценке ссылок: ссылка ценна только тогда, когда она независима. Для SEO-специалистов это означает, что любая стратегия, основанная на координации и манипуляции, несет высокие риски. Долгосрочная стратегия должна фокусироваться на органическом росте и получении независимого признания.

Практические примеры

Сценарий 1: Обесценивание ссылок между деловыми партнерами

1. Ситуация: Владелец Компании А и владелец Компании Б указали в своих профилях в социальной сети (например, LinkedIn), что являются деловыми партнерами.
2. Действие: Сайт Компании А ставит ссылку на сайт Компании Б.
3. Анализ Google: Система идентифицирует администраторов обоих сайтов (например, через страницы "О нас"). Затем она проверяет базу данных социальных связей и обнаруживает сильную деловую связь (business association).
4. Результат: Система определяет высокую предвзятость (bias). Поисковый вес (searching weight) этой ссылки значительно снижается.

Сценарий 2: Выявление PBN через паттерны доступа

1. Ситуация: SEO-специалист создает 10 сайтов (PBN) для продвижения основного проекта. Регистрационные данные скрыты.
2. Действие: Специалист регулярно заходит на все 10 сайтов с одного IP-адреса для обновления и тестирования.
3. Анализ Google: Система анализирует логи доступа к этим сайтам. Согласно Claim 2, система выводит (inferred), что пользователь с этим IP-адресом является администратором всех 10 сайтов на основе единообразных паттернов доступа (access patterns).
4. Результат: Установив, что у сайтов один администратор, система определяет максимальную предвзятость для всех ссылок внутри сети и на основной проект. Вес этих ссылок снижается, нейтрализуя эффект от PBN.