Как Google идентифицирует, классифицирует и помечает сайты с вредоносным ПО (Scumware) в поиске и браузерах

Термины и определения

Scumware

Общий термин для обозначения любого ПО, предназначенного для нанесения ущерба или выполнения нежелательных действий. Включает вирусы, черви, трояны, шпионское ПО (spyware), рекламное ПО (adware) и вредоносное ПО (malware). Также включает ПО, которое меняет настройки без разрешения, трудно удаляется или скрытно собирает данные.

Document Index (Индекс Документов)

База данных поисковой системы, хранящая информацию о веб-документах, включая индикаторы того, связан ли документ со Scumware.

Visual Indicators (Визуальные индикаторы)

Элементы интерфейса (иконки, изменение цвета), отображаемые рядом с результатами поиска для предупреждения пользователя об угрозе. Индикаторы различаются в зависимости от типа и серьезности угрозы.

Toolbar (Тулбар)

ПО, интегрированное в браузер клиента, которое взаимодействует с поисковой системой для получения информации о безопасности текущего сайта и отображения предупреждений (например, Security threat warning indicator).

Shortest Number of Links (Кратчайшее количество ссылок)

Метрика, указывающая минимальное количество переходов по ссылкам от текущего документа до документа, содержащего Scumware.

Cached Version (Кэшированная версия)

Копия документа, хранимая поисковой системой. Патент предполагает возможность очистки (cleaning) Scumware из этих версий.

Ключевые утверждения (Анализ Claims)

Claim 1, 6, 9, 10, 12, 14 (Независимые пункты): Все основные независимые пункты описывают ядро изобретения — дифференциацию угроз и взаимодействие с тулбаром:

1. Система идентифицирует документы.
2. Определяется, что Первый Документ содержит ссылки, ведущие на Scumware.
3. Определяется, что Второй Документ непосредственно содержит Scumware.
4. В индексе сохраняются разные данные для Первого и Второго Документов.
5. Система отображает ссылки на оба документа, используя разные визуальные индикаторы для каждого, подчеркивая дифференциацию угрозы.
6. Система получает запрос от Тулбара относительно Первого Документа (который ссылается на угрозу).
7. Тулбару предоставляются данные, на основе которых он отображает кратчайшее количество ссылок (shortest number of links) от Первого Документа до Scumware (причем это количество больше единицы).

Claim 2, 3, 18 (Зависимые): Уточняют определение Scumware. Включают как типы ПО (вирусы, spyware, adware), так и поведенческие характеристики: изменение настроек браузера или безопасности без разрешения, показ всплывающей рекламы, установка без разрешения, сопротивление удалению, скрытая передача данных пользователя или отслеживание нажатий клавиш.

Claim 4, 5 (Зависимые): Описывают методы идентификации Scumware. Включают сопоставление атрибутов файла (имя, размер, дата, издатель), сопоставление сигнатур файлов, обнаружение модификаций реестра (при эмуляции) или обнаружение скриптов, эксплуатирующих уязвимости браузера.

Где и как применяется

Изобретение охватывает практически весь конвейер поиска и взаимодействие с клиентом.

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает контент (файлы, скрипты). Может выполняться эмуляция посещения страницы в изолированной среде для динамического анализа поведения.

INDEXING – Индексирование и извлечение признаков
Основной этап применения. Система анализирует контент и извлекает признаки безопасности:

• Наличие Scumware (Да/Нет).
• Тип угрозы (Содержит / Ссылается).
• Уровень серьезности (Level of Severity) и уверенности (Level of Confidence).
• Анализ ссылочного графа для расчета Shortest Number of Links.
• Очистка и сохранение безопасных Cached Versions.

RANKING – Ранжирование
Наличие Scumware используется как фактор ранжирования. Патент упоминает возможность исключения (excluding) или понижения (demoting) таких сайтов, независимо от их релевантности.

RERANKING / METASEARCH (Формирование SERP)
На этом этапе система форматирует SERP, добавляя Visual Indicators к опасным результатам. Также система взаимодействует с клиентским Toolbar для передачи данных о безопасности.

Входные данные:

• Контент веб-документов (HTML, скрипты, загружаемые файлы).
• Ссылочный граф.
• Базы данных сигнатур и атрибутов Scumware.
• Данные поведенческого анализа при эмуляции (изменения в системе, сетевая активность).

Выходные данные:

• Аннотированный Document Index с метками безопасности.
• Скорректированные оценки ранжирования.
• SERP с визуальными предупреждениями.
• Данные о безопасности (включая Shortest Number of Links), передаваемые в Toolbar.

На что влияет

• Конкретные типы контента: Наибольшее влияние на сайты, предлагающие загрузку файлов (софт, медиа), использующие агрессивные скрипты и рекламу, а также на взломанные сайты.
• Конкретные ниши или тематики: Ниши, связанные с распространением пиратского ПО, контента для взрослых, торрентами, и любые тематики, где распространено нежелательное ПО.

Когда применяется

• Триггеры активации (Обнаружение): Активируется при обнаружении признаков Scumware во время сканирования (совпадение сигнатур, эвристический анализ поведения).
• Триггеры активации (Отображение): Активируется при генерации SERP, если в результатах присутствуют помеченные сайты, или при запросе от тулбара.
• Временные рамки: Сканирование происходит непрерывно (во время краулинга, после индексации или по запросу). Применение к ранжированию происходит в реальном времени.

Пошаговый алгоритм

Процесс А: Обнаружение и Индексирование (Офлайн/Фоновый режим)

1. Сбор данных: Краулер загружает контент документа.
2. Сканирование на Scumware: Анализ контента с использованием статических (сигнатуры, атрибуты файлов) и динамических (эмуляция посещения, анализ поведения скриптов, изменений в реестре) методов.
3. Классификация и Анализ Связей:
   • Если Scumware присутствует напрямую: Документ классифицируется как "Содержит Scumware".
   • Если Scumware отсутствует, но исходящие ссылки ведут на него: Документ классифицируется как "Ссылается на Scumware" и рассчитывается Shortest Number of Links.
4. Оценка Угрозы: Определение уровня серьезности и уверенности.
5. Обновление Индекса: В Document Index сохраняются метки о статусе и типе угрозы.
6. Обработка Кэша (Опционально): Система может очистить Scumware и сохранить безопасную Cached Version.

Процесс Б: Обработка Запроса и Отображение (Реальное время)

1. Генерация Результатов: Система находит релевантные документы.
2. Применение Политик Безопасности: Проверка меток Scumware. Применение исключения/понижения или маркировки.
3. Дифференциация Отображения: Использование разных Visual Indicators для сайтов, которые "Содержат Scumware", и сайтов, которые "Ссылаются на Scumware".
4. Формирование SERP: Генерируется финальная страница результатов с предупреждениями.

Процесс В: Взаимодействие с Тулбаром (Реальное время)

1. Запрос от Тулбара: Когда пользователь посещает сайт, Toolbar запрашивает статус безопасности.
2. Ответ Системы: Система возвращает данные из индекса (статус, тип угрозы, Shortest Number of Links).
3. Отображение в Тулбаре: Тулбар отображает предупреждение и/или дистанцию до Scumware.

Какие данные и как использует

Данные на входе

Патент предполагает использование широкого спектра данных для обнаружения Scumware:

• Контентные и Файловые факторы:
  • HTML-код и скрипты (например, Javascript). Анализируются на наличие кода, эксплуатирующего уязвимости браузера.
  • Загружаемые файлы. Анализируются атрибуты (имя, размер, дата, издатель) и сигнатуры файлов (сопоставление с известными образцами).
• Ссылочные факторы: Исходящие ссылки. Используются для определения связи с источниками Scumware и расчета дистанции.
• Поведенческие факторы (при эмуляции): Действия, выполняемые ПО или скриптами: изменение настроек браузера (домашняя страница, поисковик), изменение конфигурации безопасности, установка ПО без разрешения, передача данных на сторонние сайты без разрешения.
• Системные данные (при эмуляции): Изменения в системном реестре (registry modifications), модификация LSP стека, модификация 'hosts' файлов.

Какие метрики используются и как они считаются

• Статус Scumware: Классификация (Не содержит / Содержит / Ссылается).
• Shortest Number of Links: Минимальное количество кликов до вредоносного контента. Рассчитывается путем анализа ссылочного графа.
• Level of Severity / Harmfulness (Уровень серьезности / вредоносности): Оценка потенциального вреда. Используется для выбора визуального индикатора и степени понижения в ранжировании.
• Level of Confidence (Уровень уверенности): Вероятность того, что классификация верна.
• Методы анализа: Патент упоминает pattern matching (для сигнатур), heuristic detection techniques (эвристика) и анализ поведения (включая сканирование реестра).

1. Безопасность как критический фактор ранжирования: Наличие Scumware является сильным негативным сигналом, который может привести к исключению или понижению сайта в выдаче, переопределяя сигналы релевантности.
2. Дифференциация угроз и ответственности: Google четко различает сайты, которые хостят Scumware, и те, которые на него ссылаются. Для них предусмотрены разные визуальные предупреждения и, вероятно, разные уровни санкций.
3. Критичность анализа исходящих ссылок: Патент подчеркивает важность контроля того, куда ведет сайт. Система рассчитывает дистанцию до угрозы (Shortest Number of Links), что означает, что даже косвенная связь с вредоносным контентом является фактором риска.
4. Глубокий анализ контента: Используются не только статические методы (сигнатуры), но и динамический поведенческий анализ (эмуляция посещения, анализ изменений в системе), что позволяет выявлять сложные и новые угрозы.
5. Интеграция безопасности в экосистему: Система безопасности интегрирована в Поиск и взаимодействует с клиентскими приложениями (тулбарами/браузерами) для сквозной защиты пользователя, что соответствует концепции Google Safe Browsing.
6. Очистка кэшированных страниц: Предусмотрен механизм предоставления безопасного доступа к контенту через кэш Google, даже если оригинал заражен.

Best practices (это мы делаем)

• Регулярный аудит безопасности сайта: Внедрить постоянный мониторинг сайта на наличие вредоносного кода, инъекций и уязвимостей. Безопасность сайта напрямую влияет на его способность ранжироваться. Оперативно реагировать на уведомления в Google Search Console (Security Issues).
• Контроль исходящих ссылок: Тщательно проверять безопасность внешних ресурсов, на которые ссылается сайт. Ссылка на сайт, классифицированный как Scumware, может привести к маркировке вашего собственного сайта.
• Гигиена рекламных сетей и монетизации: Использовать только надежные рекламные сети. Агрессивные форматы или сети, распространяющие нежелательное ПО (Adware), могут привести к пессимизации сайта. Убедитесь, что реклама не приводит к установке ПО без явного согласия.
• Контроль UGC (Пользовательского контента): Внедрить строгую модерацию и автоматическое сканирование ссылок и файлов в комментариях или на форумах, чтобы предотвратить распространение Scumware через ваш ресурс.
• Обеспечение чистоты загружаемого ПО: Если сайт предлагает загрузку файлов, гарантировать их безопасность. ПО не должно выполнять нежелательных действий (например, изменение настроек браузера без разрешения).

Worst practices (это делать не надо)

• Распространение нежелательного ПО: Монетизация через распространение adware, spyware или ПО, которое меняет настройки пользователя без спроса. Это прямой путь к активации системы и исключению из индекса.
• Игнорирование безопасности и обновлений CMS: Использование устаревшего ПО повышает риск взлома и размещения Scumware, что приведет к маркировке сайта в поиске как опасного.
• Немодерируемое размещение внешних ссылок: Разрешение пользователям публиковать ссылки без проверки создает высокий риск связи с источниками Scumware.
• Использование сомнительных рекламных сетей: Размещение рекламы, которая использует эксплойты или ведет на загрузку вредоносного ПО.

Стратегическое значение

Патент подчеркивает, что безопасность пользователя является фундаментальным приоритетом Google. В контексте E-E-A-T, безопасность напрямую связана с Доверием (Trust). Сайт, представляющий угрозу, не будет ранжироваться. Для долгосрочной SEO-стратегии поддержание технического здоровья и безопасности сайта так же важно, как создание качественного контента. Пренебрежение безопасностью может мгновенно обнулить все прочие усилия по оптимизации.

Практические примеры

Сценарий 1: Маркировка сайта из-за исходящей ссылки в UGC

1. Ситуация: На форуме (Сайт А) пользователь размещает ссылку на Сайт Б, предлагающий утилиту. Сайт Б содержит Scumware.
2. Действие системы: Google сканирует Сайт Б и классифицирует его как "Содержит Scumware". Затем система анализирует ссылочный граф и идентифицирует форум (Сайт А) как "Ссылается на Scumware" (Shortest Number of Links = 1).
3. Результат: В поисковой выдаче рядом со ссылкой на форум появляется визуальный индикатор (отличающийся от индикатора Сайта Б). CTR форума падает. Тулбар пользователя может показать предупреждение при посещении форума.
4. Решение для SEO: Внедрить автоматическую проверку исходящих UGC-ссылок (например, через Safe Browsing API), удалить опасную ссылку и усилить модерацию.

Сценарий 2: Пессимизация из-за взлома сайта

1. Ситуация: Корпоративный сайт на устаревшей CMS был взломан. Злоумышленник внедрил скрипт, который пытается установить Malware посетителям.
2. Действие системы: Google обнаруживает вредоносный скрипт (например, через эмуляцию и поведенческий анализ). Сайт классифицируется как "Содержит Scumware".
3. Результат: Сайт понижается в ранжировании (demoted) или исключается из выдачи. В SERP появляется строгое предупреждение.
4. Решение для SEO: Немедленно провести лечение сайта, удалить вредоносный код, устранить уязвимость и запросить повторную проверку через Google Search Console.