Как Google обнаруживает спам, использующий подмену символов из разных алфавитов (Homograph Attacks)

Термины и определения

Character Encoding (Кодировка символов)

Стандарт (например, UTF-8, UTF-16, ASCII), который сопоставляет символы алфавитов, цифры и знаки препинания с двоичными числами (code units) для их обработки компьютером.

Character Set (Набор символов)

Подмножество кодировки символов, соответствующее определенному алфавиту (например, латинский набор, кириллический набор). Наборы могут пересекаться в части неалфавитных символов (пробелы, пунктуация).

Misleading Characters (Вводящие в заблуждение символы / Гомоглифы)

Символы из одного набора, которые визуально похожи на символы из другого набора (например, кириллическая 'а' и латинская 'a'). Патент предполагает использование записей (record of misleading characters) для их идентификации.

Primary Character Set (Основной набор символов)

Набор символов, который используется для кодирования большинства символов в анализируемом тексте.

Text Entry (Текстовая запись)

Единица анализа. Может быть всей веб-страницей или отдельным сегментом (например, один отзыв пользователя).

Transition (Переход)

Событие в последовательности текста, когда текущий символ принадлежит к иному набору символов, чем предыдущий символ. Замена одной буквы в слове генерирует два перехода.

Transition Ratio (Коэффициент переходов)

Нормализованная метрика: количество переходов, деленное на общее количество символов в тексте.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод обнаружения спама.

1. Система получает текстовую запись (text entry).
2. Определяется количество переходов (number of character transitions) между разными наборами символов. Наборы символов соответствуют разным алфавитам и являются разными подмножествами одной кодировки.
3. Вычисляется оценка (score), указывающая на вероятность спама, на основе этого количества переходов.
4. Текстовая запись маркируется как спам на основе этой оценки.

Claim 2 (Зависимый): Уточняет расчет оценки.

Оценка основана на соотношении (ratio) количества переходов и общего количества символов в текстовой записи. Это обеспечивает нормализацию по длине текста.

Claim 3 (Зависимый): Вводит механизм взвешивания на основе визуального сходства.

1. Идентифицируется основной набор символов (primary character set).
2. Выбирается соответствующая запись вводящих в заблуждение символов (record of misleading characters).
3. Переходам, включающим эти вводящие в заблуждение символы, придается больший вес при подсчете, чем остальным переходам.

Claim 4 и 5 (Зависимые): Уточняют получение текста.

Получение текста включает сегментацию исходного текста на несколько текстовых записей (например, отзывы пользователей). Это позволяет анализировать контент от разных авторов независимо.

Claim 11 (Зависимый): Описывает альтернативный метод расчета оценки.

1. Определяется количество языков в текстовой записи.
2. Определяется коэффициент переходов (как в Claim 2).
3. Оценка рассчитывается путем умножения коэффициента переходов на количество языков. (Логика: спам часто использует больше языков, чем легитимный текст).

Claim 13 и 14 (Зависимые): Описывают адаптивные пороги для маркировки спама.

Порог (threshold) для маркировки текста как спам адаптируется на основе:

• Основного набора символов/языка (Claim 13) — для учета языков, где смешение символов более распространено.
• Типа веб-сайта или части веб-сайта (Claim 14) — для более строгого контроля в зонах повышенного риска спама (например, бизнес-листинги).

Где и как применяется

Изобретение применяется на этапах обработки контента для выявления спама.

CRAWLING – Сканирование и Сбор данных
На этом этапе система получает необработанный текст и определяет его кодировку (например, UTF-8), что необходимо для последующего анализа.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Во время обработки контента система (Spam Detector) выполняет:

• Сегментация текста: Разделение контента по авторам (например, в отзывах).
• Анализ текста: Определение основного языка, подсчет переходов между character sets, идентификация misleading characters.
• Расчет оценки спама (Spam Score Calculation): Вычисление метрик на основе переходов.
• Маркировка спама: Присвоение контенту (или его части) метки спама, которая сохраняется как сигнал в индексе (Spam Signals).

RANKING / RERANKING – Ранжирование и Переранжирование
Сигналы спама, вычисленные на этапе индексирования, используются системами ранжирования для пессимизации (down-ranking) или исключения обнаруженного спам-контента из результатов поиска.

Вне архитектуры поиска (UGC Filtering):
Система может использоваться веб-серверами для анализа пользовательского контента (например, отзывов) перед публикацией.

Входные данные:

• Текст с веб-сайта (закодированный).
• Данные о кодировке (например, UTF-16).
• Репозиторий данных о наборах символов (character set data repository).
• Записи о misleading characters для разных языков.

Выходные данные:

• Метка спама (да/нет) или оценка вероятности спама (Spam Score) для анализируемого текста.

На что влияет

• Конкретные типы контента: Наибольшее влияние на пользовательский контент (UGC) — отзывы, комментарии, форумы.
• Конкретные ниши или тематики: Бизнес-листинги (Local SEO), где спамеры часто пытаются манипулировать ключевыми словами или скрыть запрещенные услуги. Также влияет на спамные ниши (фарма, гемблинг).
• Языковые и географические ограничения: Механизм универсален (основан на Unicode). Особенно эффективен при смешении визуально похожих алфавитов (латиница, кириллица, греческий). Пороги адаптируются под специфику конкретных языков.

Когда применяется

• Условия работы: Применяется при обработке любого текста (индексирование или отправка UGC), где необходимо обнаружение спама, основанного на визуальном обмане (homograph attacks).
• Триггеры активации: Активируется при обнаружении в тексте символов, принадлежащих к разным наборам символов.
• Пороговые значения: Используются адаптивные пороги. Порог может быть ниже (строже) для бизнес-листингов и выше для языков, естественно смешивающих алфавиты.

Пошаговый алгоритм

Процесс работы детектора спама:

1. Получение и Экстракция текста: Система получает текст с веб-сайта, определяет его кодировку и извлекает видимый текст (удаляет разметку).
2. Сегментация: Текст сегментируется на отдельные записи (text entries), например, по авторам или отзывам.
3. Инициализация анализа: Для каждой записи определяется основной язык и primary character set. Загружаются определения наборов символов и записи misleading characters.
4. Детектирование и Подсчет переходов: Система итеративно проходит по символам. Если набор символов текущего символа отличается от набора предыдущего, счетчик переходов (transition count) увеличивается.
   • Взвешивание (Опционально): Если переход включает misleading character, к счетчику добавляется повышенный вес.
5. Расчет оценки (Score Calculation): Вычисляется итоговая оценка спама. Возможные методы:
   • Нормализованный коэффициент: $\text{Score} = \frac{\text{(Взвешенное) Количество переходов}}{\text{Общее количество символов}}$
   • С учетом количества языков: $\text{Score} = \text{Коэффициент переходов} \times \text{Количество языков}$
6. Идентификация спама (Labeling): Оценка сравнивается с пороговым значением (threshold).
   • Адаптация порога (Опционально): Порог корректируется в зависимости от основного языка, типа сайта или длины текста.
7. Действие: Если оценка превышает порог, текст маркируется как спам. Он может быть исключен из индекса, пессимизирован или отправлен на ручную проверку (Claim 8).

Какие данные и как использует

Данные на входе

Патент фокусируется на анализе самого текста и его кодировки.

• Контентные факторы: Непосредственно анализируется весь текст записи (text entry) как последовательность символов.
• Технические факторы: Критически важным является определение кодировки символов (Character Encoding), такой как UTF-8 или UTF-16.
• Структурные факторы: Используется HTML-разметка или другие структурные паттерны для сегментации текста по авторам или разделам (например, отделение отзывов от описания).

Какие метрики используются и как они считаются

• Transition Count (Количество переходов): Прямой подсчет смены наборов символов в тексте.
• Character Count (Количество символов): Общая длина текста для нормализации.
• Transition Ratio (Коэффициент переходов): $\frac{\text{Transition Count}}{\text{Character Count}}$.
• Number of Languages (Количество языков): Количество различных языков, обнаруженных в тексте (используется в альтернативном расчете оценки).
• Weights (Веса): Применяются к переходам, включающим misleading characters. Веса основаны на степени визуального сходства.
• Adaptive Thresholds (Адаптивные пороги): Пороговые значения для Spam Score, которые изменяются в зависимости от контекста (язык, тип контента).

1. Обнаружение спама на уровне кодировки: Google анализирует текст не только на уровне слов, но и на уровне кодировки отдельных символов. Это позволяет выявлять технические манипуляции (Homograph Attacks), направленные на обход традиционных текстовых фильтров.
2. Различие между спамом и многоязычным контентом: Ключевым фактором является частота переключения (Transition Ratio), а не само наличие разных алфавитов. Система отличает естественный многоязычный контент (целые фразы, мало переходов) от искусственного смешивания символов внутри слов (много переходов).
3. Учет визуального сходства (Гомоглифы): Система придает больший вес переходам, использующим визуально похожие символы (misleading characters). Это фокусирует алгоритм на контенте, созданном для обмана.
4. Сегментация по авторам и типам контента: Анализ проводится независимо для разных сегментов контента (например, отдельных отзывов). Это позволяет точечно бороться со спамом в UGC, не наказывая всю страницу.
5. Адаптивные пороги и комплексная оценка: Система использует гибкие пороги, учитывая язык и тип контента. Оценка спама может также учитывать общее количество используемых языков, усиливая сигнал при неестественном смешении.

Best practices (это мы делаем)

• Использование стандартной кодировки и языка: Убедитесь, что сайт использует чистую и стандартную кодировку (UTF-8). Создавайте контент естественно, избегая ненужных смешений алфавитов. При использовании иностранных слов делайте это последовательно.
• Модерация UGC и отзывов: Для платформ с пользовательским контентом критически важно внедрять системы модерации. Следите за качеством отзывов и комментариев, так как спам, использующий подмену символов, будет обнаружен Google.
• Чистота данных в Local SEO: Обеспечьте корректность данных в бизнес-листингах (Google Business Profile). Избегайте любых попыток манипуляции с названиями или описаниями, которые могут быть восприняты как попытка скрыть ключевые слова с помощью разных алфавитов.

Worst practices (это делать не надо)

• Использование гомоглифов для скрытия ключевых слов (Keyword Stuffing/Cloaking): Категорически нельзя заменять буквы в ключевых словах на визуально похожие символы из других алфавитов (например, использовать кириллицу в английском тексте). Этот патент напрямую направлен против такой практики.
• Искусственное смешивание языков и алфавитов: Попытки манипулировать ранжированием путем неестественного смешивания символов будут обнаружены как спам, особенно если используется большое количество языков (Claim 11).
• Использование визуально похожих символов для стилизации: Использование греческих или других символов для «украшения» текста или заголовков может быть рискованным, так как это увеличивает Transition Count и может активировать фильтр.

Стратегическое значение

Патент подчеркивает усилия Google по борьбе со спамом на всех уровнях, включая технические уловки с кодировкой. Для SEO-специалистов это напоминание о том, что любые попытки обмана рискуют быть обнаруженными специализированными алгоритмами. Стратегически это подтверждает необходимость фокусироваться на создании естественного, качественного контента и поддержании чистоты данных, особенно в Local SEO и UGC.

Практические примеры

Сценарий: Сравнительный анализ отзывов

Анализируется страница с двумя отзывами.

Отзыв 1 (Легитимный мультиязычный контент):
"Excellent service. The owner speaks Russian: 'Спасибо за ваш визит'. Highly recommend."

• Анализ: Система обнаруживает Латиницу и Кириллицу.
• Переходы: Мало. Переход с Латиницы на Кириллицу перед цитатой и обратно на Латиницу после неё.
• Результат: Transition Ratio низкий. Отзыв легитимный.

Отзыв 2 (Спам с обфускацией):
"Buy cheap Vіаgrа here! Best рrісеs!" (Использованы кириллические 'і', 'а', 'р', 'с', 'е')

• Анализ: Система обнаруживает смешение Латиницы и Кириллицы. Основной язык – английский.
• Переходы: Очень много. Например, V(лат) -> і(кир), і(кир) -> а(кир), а(кир) -> g(лат), g(лат) -> r(лат), r(лат) -> а(кир).
• Взвешивание: Кириллические символы идентифицированы как misleading characters для латиницы, что увеличивает вес переходов.
• Результат: Transition Ratio высокий. Отзыв классифицируется как спам.