Как Google использует языковые модели и анализ «набивки запросами» (Query Stuffing) для выявления и пессимизации спамного и сгенерированного контента

Термины и определения

Gibberish Content (Бессмысленный контент)

Контент ресурса, который с высокой вероятностью является спамом. Включает текстовые последовательности, которые статистически не похожи на естественный язык или структурированный текст, часто создается для включения высокоценных ключевых слов без контекста.

Language Model (Языковая модель)

Статистическая модель (например, N-gram модель), которая определяет вероятность появления определенной строки слов в языке. Используется для оценки естественности текста.

Language Model Score (LMS)

Оценка, рассчитанная для ресурса на основе языковой модели. Отражает общую вероятность того, что контент ресурса является естественным языком.

N-gram

Последовательность из N последовательных слов. Используется в языковых моделях для расчета вероятности слова на основе контекста предыдущих слов (например, 5-gram модель).

Query Index (Индекс запросов)

База данных, содержащая множество реальных пользовательских запросов (например, из логов поиска), где каждый запрос привязан к одному или нескольким терминам (ключам), содержащимся в нем.

Query Stuffing Score (QSS)

Оценка, указывающая на вероятность того, что ресурс перенасыщен поисковыми запросами. Рассчитывается на основе частоты терминов в ресурсе и анализа совпадений с Query Index.

Hit Ratio (Коэффициент попаданий)

Метрика, используемая при расчете QSS. Это доля запросов в Query Index для определенного ключа (термина), которые были найдены в тексте ресурса.

Gibberish Score (Оценка бессмысленности)

Финальная оценка ресурса, рассчитанная с использованием Language Model Score и Query Stuffing Score. Используется для определения необходимости модификации Ranking Score.

Text Segment (Текстовый сегмент)

Последовательность терминов (например, страница, параграф, предложение), на которые разбивается контент ресурса для анализа.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации бессмысленного контента, объединяющий два подхода.

1. Получение Query Index, созданного на основе запросов, отправленных пользователями поисковой системе за определенный период. Индекс связывает термины (ключи) с запросами, которые их содержат.
2. Получение ресурса с текстовым контентом.
3. Расчет Language Model Score путем применения языковой модели к контенту.
4. Расчет Query Stuffing Score. Это включает:
   • Для нескольких наиболее часто встречающихся терминов в контенте, расчет соотношения (ratio): количество запросов из индекса, связанных с этим термином и найденных во фразах ресурса, к общему количеству запросов в индексе, связанных с этим термином.
   • Генерация Query Stuffing Score на основе среднего значения (average) этих рассчитанных соотношений.
5. Расчет Gibberish Score на основе Language Model Score и Query Stuffing Score.
6. Принятие решения о модификации Ranking Score ресурса на основе Gibberish Score.

Claim 2 (Зависимый от 1): Детализирует расчет Language Model Score.

1. Разбор контента на один или несколько Text Segments.
2. Применение языковой модели к каждому сегменту для генерации оценки сегмента (segment score), основанной на вероятности появления последовательности слов в естественном языке.
3. Генерация Language Model Score на основе этих оценок сегментов.

Claim 5 (Зависимый от 1): Уточняет метод расчета итогового Gibberish Score.

Расчет Gibberish Score определяется как минимальное значение (minimum score) из Language Model Score и Query Stuffing Score. Это означает, что ресурс должен пройти обе проверки, чтобы считаться качественным.

Claim 6 (Зависимый от 1): Описывает применение Gibberish Score с использованием пороговых значений.

1. Удаление ресурса из ранжирования, если Gibberish Score меньше или равен первому пороговому значению (Threshold 1).
2. Взвешивание (понижение) Ranking Score ресурса, если Gibberish Score больше Threshold 1, но меньше второго порогового значения (Threshold 2).
3. Оставление Ranking Score без изменений, если Gibberish Score больше или равен Threshold 2.

Где и как применяется

Изобретение применяется на ключевых этапах обработки контента и формирования выдачи.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Во время индексирования система анализирует контент ресурса:

1. Парсинг контента и извлечение текста, использование HTML-тегов (например, <p>) для идентификации Text Segments.
2. Вычисление Language Model Score с использованием статистических языковых моделей.
3. Вычисление Query Stuffing Score с использованием Query Index (который строится офлайн на основе логов запросов).
4. Вычисление финального Gibberish Score. Этот балл сохраняется как признак качества документа в индексе.

RANKING / RERANKING – Ранжирование и Переранжирование
На этапе ранжирования система использует рассчитанный Gibberish Score для модификации итогового Ranking Score документа. В зависимости от пороговых значений (Claim 6), документ может быть удален из результатов, понижен или оставлен без изменений.

Входные данные:

• Текстовый контент и HTML-разметка ресурса.
• Языковые модели (например, N-gram модели).
• Query Index.

Выходные данные:

• Gibberish Score для ресурса.
• Модифицированный Ranking Score или решение об исключении ресурса из ранжирования.

На что влияет

• Конкретные типы контента: Влияет на любые ресурсы с текстовым контентом. Особенно сильно влияет на контент, сгенерированный автоматически: спиннинг статей, скрапинг и склейка контента, некачественные переводы.
• Специфические запросы: Наибольшее влияние в нишах, где распространены попытки ранжирования по высокоценным ключевым словам с использованием низкокачественного контента.
• Определенные форматы контента: Влияет на страницы, где текст представлен в виде параграфов или других сегментируемых блоков. Может меньше влиять на списки или меню, так как патент упоминает возможность фильтрации коротких фрагментов.

Когда применяется

• При каких условиях работает алгоритм: Алгоритм применяется во время индексации контента для расчета Gibberish Score. Применение пенальти происходит во время ранжирования.
• Триггеры активации: Пессимизация активируется, когда Gibberish Score падает ниже установленных порогов (Threshold 1 и 2). Это происходит при обнаружении статистических аномалий в языке или высокого Hit Ratio при анализе запросов.
• Исключения и особые случаи: Патент упоминает, что фильтрация по Gibberish Score может быть отключена для URL-запросов или сайт-запросов (site queries), чтобы эти результаты возвращались независимо от оценки контента.

Пошаговый алгоритм

Процесс анализа ресурса можно разделить на три основные фазы.

Фаза 1: Предварительная обработка

1. Получение ресурса.
2. Парсинг и сегментация: Контент парсится для идентификации Text Segments. HTML-теги (например, <p>) используются для определения границ сегментов (например, параграфов).
3. Фильтрация: Удаление HTML-тегов. Возможна фильтрация коротких фрагментов или последовательностей имен собственных.

Фаза 2: Расчет оценок

Модуль A: Расчет Language Model Score (LMS)

1. Применение языковой модели: Для каждого сегмента рассчитывается вероятность того, что последовательность слов является естественным языком (используя N-gram модель).
2. Нормализация: Исходные оценки сегментов нормализуются на основе их длины.
3. Идентификация бессмысленных сегментов: Сегменты, чья нормализованная оценка не соответствует порогу, помечаются как gibberish.
4. Агрегация LMS: Вычисляется итоговый LMS как функция двух метрик: (1) Доля терминов в бессмысленных сегментах к общему числу терминов; (2) Сумма оценок бессмысленных сегментов.

Модуль B: Расчет Query Stuffing Score (QSS)

1. Идентификация частотных терминов: Определяются наиболее часто встречающиеся термины в ресурсе (например, Топ-2), исключая стоп-слова.
2. Поиск в Query Index: Для каждого частотного термина система получает список всех известных запросов, содержащих этот термин.
3. Поиск совпадений в тексте: Система проверяет, встречаются ли эти запросы в тексте ресурса в виде фраз, окружающих данный термин.
4. Расчет Hit Ratio: Для каждого частотного термина рассчитывается соотношение: Количество найденных запросов / Общее количество запросов для этого термина в индексе.
5. Агрегация QSS: Итоговая оценка рассчитывается как функция от среднего (average) и максимального (maximum) Hit Ratio среди проанализированных частотных терминов.

Фаза 3: Финальная оценка и применение

1. Расчет Gibberish Score: LMS и QSS объединяются. В одном из вариантов реализации выбирается минимальное значение из двух оценок.
2. Применение порогов: Gibberish Score сравнивается с порогами T1 и T2 для определения действия (удаление, понижение или без изменений).

Какие данные и как использует

Данные на входе

• Контентные факторы: Сырой текст ресурса. Анализируется частотность терминов и последовательности слов (N-grams).
• Структурные факторы: HTML-теги (<p>, <h1> и т.д.) используются для разделения контента на Text Segments.
• Поведенческие факторы: Логи пользовательских запросов (query log) используются для офлайн-генерации Query Index.

Какие метрики используются и как они считаются

• Вероятность N-gram: Статистическая вероятность последовательности слов, используемая в LMS.
• Нормализованная оценка сегмента: Вероятность текста сегмента, деленная на его длину.
• Hit Ratio (Коэффициент попаданий): Доля запросов из Query Index для данного термина, которые были найдены в тексте ресурса.
• Language Model Score (LMS): Рассчитывается как функция от доли "бессмысленных" терминов и суммы оценок "бессмысленных" сегментов. В патенте приводится формула: