Как Яндекс использует графы совместных посещений для выявления накрутки поведенческих факторов (ПФ)

Описание

Какую задачу решает

Патент решает критически важную задачу борьбы с манипуляциями поисковой выдачей, в частности, с искусственной накруткой поведенческих факторов (ПФ). Изобретение направлено на выявление аномальных посещений веб-сайтов — трафика, генерируемого ботами или клик-фермами с целью симуляции положительного поведения пользователей. Это позволяет пессимизировать сайты-нарушители, а также очищать логи от фродового трафика для корректного обучения алгоритмов машинного обучения.

Что запатентовано

Запатентована система и способ обнаружения аномального трафика на основе анализа графа совместных посещений (Co-visitation Graph). Суть изобретения заключается в идентификации групп веб-сайтов, которые статистически значимо часто посещаются одними и теми же пользователями (или ботами), но при этом не имеют между собой естественной связи (тематической или поведенческой). Отсутствие естественной связи при наличии сильной связи в графе посещений является индикатором аномалии.

Как это работает

Система анализирует историю веб-поиска множества пользователей и строит граф истории веб-поиска. В этом графе вершины — это веб-хосты, а ребра соединяют хосты, которые посещались одними и теми же пользователями. Вес ребра определяется количеством таких пользователей. Далее граф кластеризуется, выделяя группы часто совместно посещаемых сайтов. Затем система применяет фильтры для удаления кластеров, имеющих естественное объяснение (например, сайты одной тематики или сайты, связанные логикой действий пользователя). Оставшиеся кластеры, которые сильно связаны, но не имеют естественного объяснения, помечаются как аномальные. Сайты в этих кластерах пессимизируются, а пользователи, создавшие эти связи, помечаются как боты.

Актуальность для SEO

Высокая. Манипуляции поведенческими факторами являются одной из главных угроз качеству поиска. Графовые методы анализа и обнаружения аномалий являются стандартом в индустрии для борьбы с фродом и скоординированными атаками. Описанный метод является эффективным способом выявления сетей ботов и их клиентов.

Важность для SEO

Влияние на SEO критическое (9/10). Этот патент описывает конкретный механизм, который Яндекс использует для выявления и наказания за накрутку поведенческих факторов. Это напрямую затрагивает Black Hat SEO стратегии, делая их крайне рискованными. Для специалистов, использующих белые методы, этот патент объясняет, как система защищает качество выдачи от манипуляций, обеспечивая более справедливую конкуренцию.

Детальный разбор

Термины и определения

Аномальные посещения веб-сайтов (Anomalous Website Visits)

Посещения, которые идентифицируются системой как неестественные. На практике это трафик, генерируемый с целью манипуляции поведенческими факторами (накрутка ПФ), боты или клик-фермы.

Веб-хост (Web-host)

Сайт или домен, который посещают пользователи. Является вершиной (узлом) в графе истории веб-поиска.

Граф истории веб-поиска (Co-visitation Graph)

Структура данных, где вершины представляют веб-хосты. Ребра соединяют два хоста, если существуют пользователи, посетившие оба хоста.

Вес ребра (Edge Weight)

Метрика силы связи между двумя веб-хостами в графе. Определяется на основе количества пользователей, посетивших оба хоста. В альтернативном варианте может определяться на основе количества совпадающих поисковых запросов, введенных этими пользователями.

Данные о действиях пользователей (User Activity Data)

Информация, используемая для верификации связей между хостами в кластере. Может включать историю веб-поиска, данные об использовании веб-браузера или данные веб-сценария.

Естественная связь (Natural Relation)

Связь между веб-хостами, которая имеет логическое объяснение. В патенте упоминаются два типа: связь на основе схожих тем (например, два сайта про автомобили) и связь на основе данных о действиях пользователей (например, пользователь переходит с сайта А на сайт Б в рамках решения одной задачи).

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методе выявления аномалий путем исключения естественных связей в графе совместных посещений.

Claim 1 (Независимый пункт): Описывает основной алгоритм.

1. Получение истории веб-поиска множества пользователей.
2. Формирование графа истории веб-поиска. Вершины = хосты. Вес ребра = количество пользователей, посетивших оба хоста.
3. Кластеризация вершин графа на основе весов ребер (выделение групп часто совместно посещаемых сайтов).
4. Получение данных о действиях пользователей, соответствующих этим кластерам.
5. Определение связанных веб-хостов внутри кластера на основе этих данных о действиях.
6. Ключевой шаг: Удаление из графа кластеров, содержащих веб-хосты, связанные на основе данных о действиях пользователей (т.е. удаление естественно связанных кластеров).
7. Сохранение индикатора аномальных посещений для веб-хостов в оставшихся кластерах.

Логика здесь такова: если сайты часто посещаются вместе (сильная связь в графе), но анализ действий пользователей не показывает логической связи между этими посещениями, значит, эти посещения аномальны (скоординированы).

Claim 2 (Зависимый от п. 1): Описывает дополнительный механизм фильтрации естественных связей — тематический.

1. Перед кластеризацией для каждой вершины (хоста) определяется одна или несколько тем.
2. Из графа удаляются ребра, соединяющие две вершины со связанными (схожими) темами.

Этот шаг направлен на то, чтобы исключить из анализа естественные паттерны, когда пользователь посещает несколько сайтов одной тематики. Аномалией считаются частые совместные посещения тематически не связанных сайтов.

Claim 4 и 5 (Зависимые от п. 1): Описывают применение результатов алгоритма в поиске (пессимизация).

• При формировании SERP ранг веб-хоста, помеченного как связанный с аномальными посещениями, снижается (Claim 4).
• Или такой веб-хост полностью удаляется из SERP (Claim 5).

Claim 7 (Зависимый от п. 1): Описывает идентификацию источников аномального трафика.

• Определение множества идентификаторов пользователей (User IDs), соответствующих аномальным посещениям.
• Сохранение индикатора того, что этот User ID связан с аномальными посещениями (т.е. это бот или сотрудник клик-фермы).

Где и как применяется

Изобретение применяется в инфраструктуре обработки данных и на слое контроля качества поиска.

Офлайн-процессы и обработка данных (Связь с INDEXING и CRAWLING)
Основная часть алгоритма работает офлайн в режиме пакетной обработки больших данных:

• Сбор и агрегация истории веб-поиска и данных о действиях пользователей (логи браузеров, метрик).
• Построение и анализ масштабного графа истории веб-поиска. Это ресурсоемкая операция, включающая расчет весов миллиардов ребер и кластеризацию.
• Взаимодействие с базой данных тем для определения тематики хостов (Claim 3).

Слой Качества и Метрик (QUALITY & GOVERNANCE LAYER)
Алгоритм является частью системы контроля качества, вероятно, интегрированной с Antiquality. Он генерирует сигналы о некачественном трафике.

• На входе: История веб-поиска, данные об использовании веб-браузера, данные веб-сценариев.
• На выходе: Два набора индикаторов:
  • Индикаторы для Веб-хостов, получающих аномальный трафик.
  • Индикаторы для User IDs, генерирующих аномальный трафик.

RANKING – Ранжирование (Уровни L3/L4)
Результаты работы алгоритма применяются на этапе ранжирования. Если для документа или хоста есть индикатор аномальных посещений, формула ранжирования применяет пессимизацию (снижение ранга или удаление из выдачи).

На что влияет

• Специфические запросы и Ниши: Наибольшее влияние оказывается на конкурентные коммерческие тематики, где манипуляции поведенческими факторами наиболее распространены (например, недвижимость, авто, финансы).
• Типы сайтов: Влияет на любые сайты, прибегающие к услугам накрутки ПФ. Механизм обнаружения основан на паттернах трафика и не зависит от типа контента.

Когда применяется

• Частота применения: Построение и анализ графа, вероятно, происходит периодически (например, ежедневно или еженедельно) из-за вычислительной сложности.
• Применение результатов: Применение индикаторов (пессимизация в ранжировании и фильтрация ботов) происходит в реальном времени при обработке запросов.

Пошаговый алгоритм

Процесс выявления аномальных посещений:

1. Сбор данных: Получение истории веб-поиска и данных о действиях пользователей (логи браузеров, данные метрик) за определенный период.
2. Построение графа: Формирование графа истории веб-поиска.
   1. Идентификация всех уникальных веб-хостов (вершины).
   2. Для каждой пары хостов (A, B) определение количества уникальных пользователей, посетивших и A, и B. Это значение становится весом ребра между A и B.
3. Фильтрация 1 (Тематическая): (Опциональный, но важный шаг по Claim 2).
   1. Определение тем для каждого веб-хоста (запрос к базе данных тем).
   2. Удаление ребер, соединяющих хосты со связанными (схожими) темами. Это оставляет в графе только связи между тематически разными сайтами.
4. Кластеризация: Применение алгоритмов кластеризации к графу на основе весов ребер. Это выделяет плотные группы хостов, которые часто посещаются вместе (потенциальные группы клиентов одного сервиса накрутки).
5. Фильтрация 2 (Поведенческая): (Ключевой шаг по Claim 1).
   1. Анализ данных о действиях пользователей внутри каждого кластера.
   2. Определение наличия естественной поведенческой связи между хостами в кластере (например, логичные переходы, решение одной задачи).
   3. Удаление кластеров, где такая естественная связь обнаружена.
6. Идентификация аномалий: Кластеры, оставшиеся после всех фильтраций, объявляются аномальными. Это группы сайтов, которые сильно связаны в графе посещений, но не связаны ни тематически, ни поведенчески.
7. Применение результатов:
   1. Пометка всех веб-хостов в оставшихся кластерах индикатором аномальных посещений (для последующей пессимизации).
   2. Идентификация и пометка User IDs, которые создали эти аномальные связи (идентификация ботов).
   3. Очистка истории веб-поиска от данных, связанных с этими аномальными посещениями (Claim 6).

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Это основной источник данных для построения графа и его анализа.
  • История веб-поиска: Логи посещенных URL пользователями (Claim 1, 8).
  • Данные об использовании веб-браузера: Более детальные данные о сессиях, возможно, полученные через Яндекс.Браузер или Метрику (Claim 9).
  • Данные веб-сценария: Информация о последовательности действий пользователя на сайте (Claim 10).
  • Поисковые запросы: Используются для альтернативного расчета веса ребра (Claim 11).
• Контентные факторы (Тематические):
  • Темы веб-хостов: Используются для фильтрации естественных связей. Эти данные, вероятно, берутся из отдельной базы данных или классификатора (Claim 2, 3).
• Пользовательские факторы:
  • Идентификаторы пользователей (User IDs): Используются для агрегации истории посещений и последующей идентификации ботов (Claim 7).

Какие метрики используются и как они считаются

• Вес ребра (Edge Weight): Ключевая метрика. Рассчитывается как количество уникальных пользователей, посетивших оба хоста, соединенных ребром. Альтернативный расчет: количество совпадающих поисковых запросов, введенных пользователями, посетившими оба хоста.
• Алгоритмы кластеризации графов: Используются для выделения плотных подграфов (сообществ). Конкретные алгоритмы не указаны, но применяются стандартные методы для анализа социальных сетей или графов взаимодействий.
• Сравнение тем: Метод определения схожести тем хостов для фильтрации ребер. Детали реализации не раскрыты.

Выводы

1. Яндекс активно борется с накруткой ПФ, используя графовый анализ: Патент описывает сложный и эффективный механизм для обнаружения скоординированных аномальных посещений, что является основным паттерном работы сервисов по накрутке поведенческих факторов.
2. Совместное посещение не связанных сайтов — ключевой индикатор фрода: Алгоритм основан на предположении, что реальные пользователи посещают тематически или поведенчески связанные сайты. Если множество пользователей (ботов) систематически посещают группу тематически разных сайтов (клиентов одного сервиса накрутки), это выявляется как аномалия.
3. Многоуровневая фильтрация естественного поведения: Система использует как тематические данные, так и детальные данные о действиях пользователей, чтобы минимизировать ложные срабатывания и точно выделить искусственный трафик.
4. Двойное наказание: Алгоритм идентифицирует как сайты, получающие фродовый трафик (и пессимизирует их), так и пользователей/ботов, генерирующих этот трафик (что позволяет фильтровать их активность в будущем и очищать данные для обучения).
5. Серьезность последствий: Патент прямо указывает на возможность как снижения ранга, так и полного удаления сайта из результатов поиска (Claim 4 и 5).

Практика

Best practices (это мы делаем)

• Фокус на привлечении органического, диверсифицированного трафика: Обеспечивайте естественные паттерны посещений. Трафик должен приходить из разных источников и соответствовать тематике сайта.
• Мониторинг качества трафика: Регулярно анализируйте источники трафика в Яндекс.Метрике. Резкие изменения в паттернах поведения, подозрительно высокий процент прямых заходов (часто используемых для накрутки) или нетипичная география пользователей должны вызывать подозрение.
• Развитие Topical Authority: Создание тематически целостного ресурса способствует формированию естественных поведенческих паттернов у аудитории, что является защитой от ложных срабатываний алгоритмов антифрода.

Worst practices (это делать не надо)

• Использование сервисов накрутки ПФ (КАТЕГОРИЧЕСКИ НЕТ): Этот патент детально описывает, как именно Яндекс выявляет такие активности. Сервисы накрутки обслуживают множество клиентов из разных ниш. Боты посещают эти сайты последовательно или параллельно. Алгоритм обнаруживает эту неестественную связь через граф совместных посещений и наказывает все вовлеченные сайты.
• Покупка трафика низкого качества (Бот-трафик): Любые попытки симулировать активность пользователей с помощью ботов будут обнаружены и приведут к пессимизации.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Яндекса в борьбе с манипуляциями поведенческими факторами. Он демонстрирует глубокую интеграцию данных о поведении пользователей и графовых методов анализа для обеспечения качества поиска. Для SEO-специалистов это означает, что любые стратегии, основанные на искусственном влиянии на ПФ, являются не только рискованными, но и технически обнаруживаемыми с высокой точностью. Долгосрочная стратегия должна полагаться исключительно на белые методы оптимизации и привлечение реальной аудитории.

Практические примеры

Сценарий: Выявление сети накрутки ПФ

1. Исходные данные: Сервис накрутки ПФ обслуживает трех клиентов: Сайт А (Онлайн-казино), Сайт Б (Доставка цветов) и Сайт В (Ремонт холодильников). Для выполнения задачи используется пул из 1000 ботов (User IDs).
2. Действия ботов: Каждый из 1000 ботов посещает Сайт А, Сайт Б и Сайт В в течение дня.
3. Построение графа Яндексом: Система строит граф истории веб-поиска. Между А и Б, А и В, Б и В появляются ребра с весом 1000 (так как 1000 пользователей посетили обе пары). Это очень сильная связь.
4. Кластеризация: Сайты А, Б и В формируют плотный кластер.
5. Фильтрация 1 (Тематическая): Система проверяет темы. Казино, цветы и ремонт холодильников не связаны. Фильтр пройден (связь не является тематически естественной).
6. Фильтрация 2 (Поведенческая): Система анализирует данные о действиях пользователей. Не обнаруживается логической причины, по которой 1000 пользователей одновременно интересуются казино, цветами и ремонтом холодильников в рамках одной сессии или короткого периода. Фильтр пройден (связь не является поведенчески естественной).
7. Результат: Кластер помечен как аномальный. Сайты А, Б и В получают индикатор накрутки и пессимизируются в выдаче. 1000 User IDs помечаются как боты.

Вопросы и ответы