Как Google использует социальные связи для обнаружения ссылочного спама и накрутки кликов

Термины и определения

Ad Spamming (Рекламный спам / Накрутка кликов)

Любая неестественная манипуляция доступом к рекламе или мониторингом доступа к ней. Например, клики по рекламе, мотивированные не искренним интересом, а желанием увеличить доход (кликфрод).

Article (Статья)

Любой документ или единица контента. Включает веб-страницы, PDF-файлы, аудио, видео, а также рекламные объявления.

Article Administrator (Администратор статьи)

Лицо или организация, ответственная за дизайн, внедрение и/или поддержку статьи (например, вебмастер, владелец сайта, рекламодатель).

Association Weight (Вес ассоциации)

Метрика, определяющая силу или значимость социальной связи между двумя пользователями (например, лучший друг имеет больший вес, чем знакомый).

Connections Information (Информация о связях)

Данные, хранящиеся в базе и описывающие связи между пользователями в социальной сети, включая типы ассоциаций, уровни и веса.

Degree of Separation (Степень разделения)

Минимальное количество связей (ребер графа), разделяющих два профиля в социальной сети. Может быть специфичным для типа связи.

Search Spamming (Поисковый спам)

Неавторизованная или неестественная манипуляция методологией поиска с целью повлиять на ранжирование. Например, сговор вебмастеров для простановки ссылок друг на друга.

Searching Weight (Поисковый вес)

Вес или значимость, присваиваемая ссылке между статьями для целей ранжирования в поиске. Этот вес корректируется на основе корреляции с социальными связями.

Social Network (Социальная сеть)

Сеть, соединяющая людей или организации посредством набора отношений, таких как дружба, совместная работа или обмен информацией.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс использования социальных связей для корректировки веса ссылок в поиске.

1. Система определяет связи между пользователями в сети (социальной сети).
2. Информация об этих связях сохраняется в базе данных.
3. Система обнаруживает целевую веб-страницу.
4. Идентифицируется первый администратор (Admin 1) этой страницы.
5. Идентифицируется ссылка на этой странице, ведущая на другую (ссылающуюся) веб-страницу. (Примечание: в тексте патента есть некоторая путаница в терминах linking/desired webpage в Claim 1, но суть ясна из описания и других Claims — анализируется связь между источником и целью ссылки).
6. Идентифицируется второй администратор (Admin 2) ссылающейся страницы.
7. Система ищет в базе данных информацию о связи между Admin 1 и Admin 2.
8. На основе этой связи ссылке присваивается вес (weight).
9. Ранжирование целевой веб-страницы определяется, в том числе, на основе этого веса.

Это ключевой механизм: вес ссылки модулируется реальными отношениями между владельцами сайтов.

Claim 3 (Независимый пункт): Более общая версия, фокусирующаяся на классификации ссылки.

1. Система идентифицирует веб-страницу и ссылку на ней, ведущую на другую страницу.
2. Определяется первая сущность (Entity 1), связанная с первой страницей.
3. Определяется вторая сущность (Entity 2), связанная со второй страницей.
4. Определяется отношение между Entity 1 и Entity 2 на основе информации о связях в сети.
5. Ссылка классифицируется на основе этого отношения (например, как независимая или предвзятая).

Claim 13 (Независимый пункт): Описывает процесс обнаружения рекламного спама (Ad Spamming).

1. Система идентифицирует рекламное объявление.
2. Определяется первая сущность (Entity 1), связанная с рекламой (например, хост сайта или рекламодатель).
3. Идентифицируется точка доступа (access point) к рекламе (источник клика, IP-адрес).
4. Определяется вторая сущность (Entity 2), связанная с точкой доступа (пользователь, совершивший клик).
5. Определяется отношение между Entity 1 и Entity 2 на основе информации о связях в сети.
6. Точка доступа (клик) классифицируется на основе этого отношения (например, как легитимный или спамный).

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры и требует интеграции внешних данных.

CRAWLING – Сканирование и Сбор данных
На этом этапе система должна не только обнаружить контент и ссылки, но и собрать данные для идентификации администраторов статей (Article Administrators). Это может включать поиск контактной информации, данных об авторстве на страницах или использование внешних сервисов (например, WHOIS).

INDEXING – Индексирование и извлечение признаков
Система должна обработать собранные данные для точной идентификации администраторов и проиндексировать эту информацию вместе со структурой ссылок в Article Index. Также на этом этапе (или в рамках отдельного процесса сбора внешних данных) система должна обработать данные социальных сетей для построения базы данных связей (Social Network Database).

RANKING – Ранжирование / RERANKING – Переранжирование
Основное применение для борьбы с поисковым спамом. При расчете ценности ссылки (например, при расчете PageRank или аналогичных метрик) система выполняет корреляцию. Searching Weight, полученный на основе социальных связей, применяется для модуляции значения, передаваемого по ссылке. Если социальная связь сильная, вес ссылки, вероятно, будет снижен.

Рекламные системы (Не показано на схеме, но описано в патенте)
Используется для обнаружения кликфрода (Ad Spamming) в режиме реального времени или при постобработке логов кликов.

Входные данные:

• Данные из социальных сетей (профили, связи).
• Данные сканирования веба (статьи, ссылки).
• Данные для идентификации администраторов (WHOIS, контент-анализ, паттерны доступа).

Выходные данные:

• Скорректированные Searching Weights для ссылок.
• Классификация ссылок (например, предвзятая/независимая).
• Классификация рекламных кликов (спам/легитимный).

На что влияет

• Типы контента и Ссылочные факторы: Влияет на оценку ценности ссылок между любыми типами контента (веб-сайты, отдельные статьи).
• Конкретные ниши: Потенциально может влиять на ниши, где распространено сотрудничество и сговор (например, локальные услуги, партнерский маркетинг), если участники социально связаны и эта связь может быть обнаружена.
• Рекламные системы: Влияет на доходы от рекламы путем выявления и игнорирования мошеннических кликов.

Когда применяется

• Условия применения: Алгоритм применяется, когда системе удается идентифицировать администраторов или сущности, стоящие за двумя связанными ссылкой статьями (или за рекламным кликом), И когда эти сущности присутствуют в анализируемых данных социальной сети.
• Триггеры активации: Наличие социальной связи между идентифицированными сущностями.
• Пороговые значения: Сила и тип социальной связи (Association Weight) определяют степень влияния на Searching Weight. Например, связь уровня "лучший друг" приведет к большему снижению веса ссылки, чем связь уровня "знакомый".

Пошаговый алгоритм

Процесс А: Борьба с поисковым спамом (на основе FIG. 3)

1. Определение связей (Офлайн): Система анализирует социальную сеть для определения связей между пользователями, включая типы ассоциаций, уровни и веса (Association Weights).
2. Хранение информации о связях: Connections Information сохраняется в базе данных (Social Network Database).
3. Сканирование сети: Поисковая система выполняет обход сети для обнаружения желаемых статей (веб-страниц).
4. Идентификация администратора (Admin 1): Для каждой статьи идентифицируется ее администратор (например, через контент-анализ, WHOIS или анализ паттернов доступа).
5. Идентификация исходящих ссылок: В каждой статье выявляются ссылки, ведущие на другие (целевые) статьи.
6. Идентификация администратора (Admin 2): Идентифицируются администраторы целевых статей.
7. Индексирование данных: Исходные статьи, их администраторы (Admin 1), целевые статьи и их администраторы (Admin 2) индексируются в Article Index.
8. Корреляция и Взвешивание: Система сопоставляет информацию из Article Index с Social Network Database. Определяется, существует ли связь между Admin 1 и Admin 2. На основе типа и веса этой связи определяется Searching Weight для ссылки. Например, если Admin 1 и Admin 2 — лучшие друзья, вес ссылки снижается.

Процесс Б: Борьба с рекламным спамом (на основе FIG. 5)

1. Определение и Хранение связей: Аналогично Процессу А (шаги 1-2).
2. Обнаружение рекламы: Система обнаруживает желаемые рекламные объявления в сети.
3. Идентификация администратора рекламы (Admin 1): Идентифицируется администратор (например, хост сайта или рекламодатель).
4. Идентификация точек доступа: Отслеживаются доступы (клики) к рекламе и определяются точки доступа (например, IP-адреса, cookies).
5. Идентификация пользователей точек доступа (User 2): Идентифицируются пользователи или администраторы, связанные с этими точками доступа.
6. Индексирование данных: Реклама, ее администраторы и пользователи точек доступа индексируются.
7. Корреляция и Определение спама: Система сопоставляет Admin 1 и User 2 с базой социальных связей. Если обнаружена сильная связь, доступ (клик) может быть классифицирован как Ad Spamming и проигнорирован.

Какие данные и как использует

Данные на входе

• Контентные факторы: Содержимое статей анализируется для поиска информации, идентифицирующей администратора (контактная информация, данные об авторстве).
• Технические факторы: Доменные имена используются для запросов к службам регистрации (WHOIS) для идентификации владельцев. IP-адреса и cookies используются для идентификации пользователей в процессе анализа Ad Spamming.
• Ссылочные факторы: Наличие ссылки между двумя статьями является основой для анализа в контексте поискового спама.
• Поведенческие факторы (Access Patterns): Патент упоминает, что администратора можно идентифицировать по паттернам доступа к сайту (например, администратор может регулярно проверять определенные страницы или получать доступ к большему количеству страниц для тестирования). При анализе Ad Spamming используются данные о кликах (click-through rates).
• Внешние данные (Social Network Data): Персональная информация пользователей социальных сетей, данные профилей, типы связей (дружба, бизнес, сообщество), уровни связей (например, "лучший друг", "знакомый", "коллега") и степени разделения (Degree of Separation).

Какие метрики используются и как они считаются

• Association Weight (Вес ассоциации): Метрика, рассчитываемая на основе данных социальной сети. Определяет силу социальной связи. Более близкие отношения (например, "лучший друг") весят больше, чем отдаленные (например, "знакомый" или большая Degree of Separation).
• Searching Weight (Поисковый вес): Итоговая метрика, присваиваемая ссылке для использования в ранжировании. Рассчитывается путем корреляции Association Weight между администраторами. Патент предполагает обратную зависимость: чем выше Association Weight (сильнее связь), тем ниже может быть Searching Weight, так как ссылка считается менее независимой.

1. Независимость ссылок как ключевой фактор оценки: Патент подчеркивает стремление Google оценивать не просто наличие ссылки, а ее независимость (independence). Ссылки, возникающие на основе существующих личных или деловых отношений, могут рассматриваться как предвзятые (biased) и, следовательно, менее ценные для ранжирования.
2. Использование внешних данных для понимания веба: Google демонстрирует готовность использовать данные из источников за пределами самого веба (в данном случае, социальных сетей), чтобы понять взаимоотношения в реальном мире и применить эти знания к оценке ссылочного графа.
3. Борьба со сговором (Collusion Detection): Описанный механизм является инструментом для обнаружения сговора как в контексте поискового спама (искусственные ссылки), так и рекламного мошенничества (кликфрод).
4. Критичность идентификации сущностей: Успех системы сильно зависит от способности точно идентифицировать администраторов или владельцев сайтов (Article Administrators) и сопоставить их с профилями в социальных сетях. Это нетривиальная задача, которая может ограничивать применимость алгоритма.
5. Устаревшие методы, но вечные принципы: Хотя конкретная реализация через API устаревших социальных сетей не актуальна, принцип обнаружения неестественных связей и сговора остается фундаментальным для алгоритмов борьбы со спамом Google. Современные системы используют другие сигналы для достижения той же цели.

Best practices (это мы делаем)

• Фокус на получении редакционных и независимых ссылок: Патент подтверждает стратегическую важность получения ссылок от источников, которые не имеют личных или прямых деловых отношений с вашим сайтом. Ссылки должны быть заработаны благодаря ценности контента, а не через договоренности.
• Диверсификация ссылочного профиля: Необходимо стремиться к получению ссылок из широкого круга не связанных между собой источников. Это снижает риск того, что значительная часть ссылочного профиля будет девальвирована из-за обнаружения скрытых связей или сговора.
• Прозрачность аффилиации (с оговорками): Если ссылки ставятся на основе деловых отношений (например, спонсорство), использование атрибутов rel="nofollow" или rel="sponsored" соответствует рекомендациям Google и устраняет необходимость для системы угадывать природу связи.

Worst practices (это делать не надо)

• Схемы обмена ссылками (Reciprocal Linking): Особенно рискованно участвовать в схемах обмена ссылками с людьми или компаниями, с которыми у вас есть тесные личные или деловые связи. Если Google сможет идентифицировать эту связь (через социальные сети, как в патенте, или другими методами), эти ссылки будут обесценены.
• Участие в узких ссылочных сетях или сообществах: Ссылки, циркулирующие внутри небольшого сообщества или группы тесно связанных лиц, могут быть легко идентифицированы и девальвированы как предвзятые.
• Использование личных связей для линкбилдинга: Просьба к друзьям или коллегам поставить ссылку с их сайтов может привести к получению ссылок с низким Searching Weight, если система определит вашу связь.

Стратегическое значение

Патент подтверждает, что Google стремится интерпретировать ссылочный граф не просто как техническую структуру, но и как отражение социальных и деловых отношений. Цель — понять намерение, стоящее за ссылкой. Долгосрочная стратегия линкбилдинга должна быть направлена на создание естественного профиля, который выглядит как результат независимых редакционных решений. Хотя реализация через API социальных сетей сейчас маловероятна из-за ограничений доступа к данным, Google использует множество других методов для выявления связей и сговора (например, анализ паттернов ссылок, общий хостинг, данные WHOIS, общие идентификаторы аналитики/рекламы).

Практические примеры

Сценарий: Детекция локального ссылочного спама

1. Ситуация: Владелец компании А (Иван) и владелец компании Б (Петр) в одном городе являются близкими друзьями и активно взаимодействуют в социальной сети (например, Facebook).
2. Действие (SEO): Иван и Петр решают помочь друг другу с SEO и обмениваются прямыми ссылками между своими корпоративными сайтами.
3. Анализ Google (согласно логике патента):
   • Google сканирует оба сайта.
   • Google идентифицирует Ивана как администратора сайта А и Петра как администратора сайта Б (например, через страницы "О нас", данные WHOIS или публичные реестры).
   • Google имеет доступ к данным социальной сети (гипотетически, как описано в патенте) и видит, что Иван и Петр имеют сильную социальную связь (Association Weight высокий).
4. Результат: Система определяет, что ссылка является предвзятой (не независимой). Searching Weight этой ссылки значительно снижается. Ссылка передает минимальный или нулевой ранжирующий вес.