Как Google использует клики (CTR) и время на сайте (Click Duration) для выявления спама и корректировки ранжирования в тематических выдачах

Термины и определения

Bloom Filter (Фильтр Блума)

Вероятностная структура данных. В контексте патента используется для быстрого определения того, относится ли входящий запрос к определенной теме (Specific Query Detector). Строится на основе N-грамм из тематических запросов.

Click Duration (Продолжительность клика)

Метрика, указывающая количество времени, которое пользователь провел на документе после перехода из результатов поиска. Короткая продолжительность используется как индикатор спама или нерелевантности.

Click Information (Информация о кликах)

Пользовательские поведенческие данные, связанные с взаимодействием с результатами поиска. Включает Click-through rate и Click Duration.

Click-through rate (CTR, Кликабельность)

Отношение числа кликов по документу к числу его показов в результатах поиска. Низкий CTR используется как индикатор спама или нерелевантности.

Feature Vector (Вектор признаков)

Математическое представление характеристик набора документов. В патенте описывается вектор, элементы которого основаны на частоте терминов (например, TF-IDF), включая N-граммы.

IDF(t) (Inverse Document Frequency)

Обратная частота документа для термина t. Используется для снижения веса часто встречающихся терминов при построении Feature Vector.

N-gram (N-грамма)

Последовательность из N элементов (слов) в тексте. Используется при построении Feature Vector и Bloom Filter.

Off-topic (Нерелевантный теме)

Документ, который был ошибочно классифицирован как относящийся к теме, но по данным пользовательского поведения таковым не является.

Spam page / Spam document (Спам-страница)

Документ (веб-страница), созданный для манипулирования поисковыми системами и перенаправления трафика, но не предоставляющий релевантного контента.

TF(t) (Term Frequency)

Частота термина t. Среднее количество раз, когда термин t встречается в документе.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной итеративный метод классификации документов на основе тем и пользовательского ввода.

1. Получение набора документов, классифицированных по теме.
2. Создание начального вектора признаков (initial feature vector) на основе частоты встречаемости терминов в этом наборе.
3. Использование начального вектора для классификации другого набора документов (корпуса) для получения начального классифицированного набора.
4. Получение click information, связанной с запросами по этой теме. Ключевое уточнение: информация включает click-through rate и click duration.
5. Использование click information для удаления off-topic документов из набора. Документ считается off-topic, если его CTR или click duration указывают на это.
6. Определение обновленного вектора признаков (updated feature vector) на основе очищенного набора.
7. Повторная классификация с использованием обновленного вектора, только если процент документов, идентифицированных как off-topic (т.е. удаленных/перемещенных), превышает определенный порог (>0). В противном случае процесс останавливается (сходимость).

Claim 3 (Зависимый от 2): Уточняет, что классификация включает аннотирование документа. Аннотация указывает, является ли документ: (1) относящимся к теме, (2) спамом (spam document), или (3) off-topic.

Claim 5 (Зависимый от 1): Описывает применение результатов классификации при обработке нового запроса в реальном времени.

1. Получение нового запроса.
2. Определение того, связан ли новый запрос с конкретной темой.
3. Обработка запроса. Если он связан с темой, то происходит корректировка оценок релевантности (relevancy scores) документов на основе аннотаций, созданных в процессе по Claim 1.

Claim 6 и 7 (Зависимые от 5): Уточняют механизм определения темы запроса.

Для этого используется детектор запросов (query detector), применяющий фильтры Блума (Bloom filters) к терминам нового запроса (Claim 6). Claim 7 описывает построение фильтра Блума путем анализа N-грамм из тематических запросов и исключения общеупотребительных N-грамм.

Claim 8 (Зависимый от 5): Детализирует корректировку оценок релевантности.

• Повышение (boosting) оценок для документов, аннотированных как связанные с темой.
• Снижение (reducing) оценок для документов, аннотированных как спам.
• Изменение ранжирования результатов поиска на основе скорректированных оценок.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, разделяя процессы на офлайн-обработку (уточнение классификации) и онлайн-обработку (применение классификации к запросу).

INDEXING – Индексирование и извлечение признаков (Офлайн/Пакетная обработка)
Основная часть алгоритма выполняется здесь. Происходит итеративный процесс классификации корпуса документов, анализ логов запросов и поведения пользователей (Query Logs, Click Information), расчет Feature Vectors и фильтрация спама. Результатом является аннотирование документов в индексе (метки: on-topic, spam, off-topic).

QUNDERSTANDING – Понимание Запросов (Офлайн и Онлайн)
Офлайн: Система анализирует логи запросов для построения Детектора Запросов (Bloom Filter) для конкретных тем.
Онлайн: При получении нового запроса система использует предварительно созданный Bloom Filter для быстрой классификации запроса и определения его принадлежности к конкретной теме.

RANKING / RERANKING – Ранжирование / Переранжирование (Онлайн)
Если запрос идентифицирован как тематический, система активирует корректировку ранжирования. Relevancy scores документов изменяются на основе аннотаций, полученных на этапе индексирования: релевантные документы получают бустинг, спам – понижение.

Входные данные:

• Корпус документов (веб-индекс).
• Начальный набор запросов по теме (для инициализации).
• Логи запросов с информацией о сессиях и кликах (CTR, Click Duration).

Выходные данные:

• Аннотированный индекс документов (с метками качества/спама по темам).
• Уточненные Feature Vectors для тем.
• Bloom Filter для детектора тем запросов.

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние оказывается на высокочастотные, подверженные спаму тематики. Патент упоминает развлечения (компьютерные игры, фильмы, музыка) как основной пример, где доля спама может достигать 90%.
• Конкретные типы контента: Влияет на документы (веб-страницы), которые пытаются ранжироваться за счет обмана контентных факторов, но не удовлетворяют пользователя (например, дорвеи, кликбейт, тонкий контент).

Когда применяется

• Офлайн-классификация: Выполняется периодически для определенных тем. Процесс итеративный и продолжается до тех пор, пока процент изменений (переклассифицированных документов) не упадет ниже определенного порога (стабилизация/сходимость).
• Онлайн-ранжирование: Корректировка ранжирования применяется только тогда, когда Specific Query Detector (Bloom Filter) определяет, что запрос пользователя относится к одной из предварительно обработанных тем.

Пошаговый алгоритм

Алгоритм состоит из трех основных процессов.

Процесс А: Итеративная классификация и выявление спама (Офлайн)

1. Инициализация: Получение начального набора запросов по теме и выполнение поиска для получения начального набора документов.
2. Создание начального Feature Vector: Анализ контента начального набора документов для создания вектора признаков (например, с использованием TF-IDF).
3. Классификация корпуса: Использование Feature Vector для классификации всего корпуса документов и создания Classified Set (документы, помеченные как релевантные теме).
4. Идентификация релевантных запросов: Анализ логов запросов для поиска запросов, которые приводили к показу документов из Classified Set.
5. Анализ поведения (Фильтрация): Использование Click Information (CTR и Click Duration) для этих запросов. Идентификация документов в Classified Set, которые имеют низкие показатели вовлеченности (спам/офтопик).
6. Обновление набора данных: Удаление идентифицированных спам/офтопик документов из Classified Set (и/или изменение их аннотаций на "спам").
7. Проверка условия итерации: Определение процента документов, которые были переклассифицированы (shifted).
   • Если процент выше порога: Перейти к шагу 8.
   • Если процент ниже порога (стабилизация): Завершить процесс.
8. Переобучение классификатора: Создание нового Feature Vector на основе очищенного набора данных. Возврат к шагу 4 (Классификация корпуса).

Процесс Б: Построение Детектора Тем (Офлайн)

1. Сбор данных: Использование запросов, идентифицированных в Процессе А (шаг 4).
2. Анализ N-грамм: Идентификация общих N-грамм в этих запросах.
3. Фильтрация: Исключение слишком часто встречающихся N-грамм.
4. Построение Bloom Filter: Создание фильтра Блума на основе оставшихся N-грамм.

Процесс В: Обработка запроса в реальном времени (Онлайн)

1. Получение запроса: Поступление нового запроса от пользователя.
2. Детекция темы: Использование Bloom Filter (Процесс Б) для определения, относится ли запрос к конкретной теме.
   • Если НЕТ: Стандартная обработка запроса.
   • Если ДА: Перейти к шагу 3.
3. Корректировка ранжирования: При расчете relevancy scores система корректирует оценки на основе аннотаций документов (результат Процесса А). Повышение оценок для документов, помеченных как "связанные с темой". Понижение оценок для документов, помеченных как "спам".
4. Выдача результатов: Предоставление отсортированных результатов пользователю.

Какие данные и как использует

Данные на входе

• Контентные факторы: Термины (слова) и N-граммы из текста документов. Используются для расчета Feature Vectors и первичной классификации.
• Поведенческие факторы: Критически важные данные для этого патента. Используются логи запросов (Query Logs) с информацией о сессиях. Конкретно используются:
  • Click-through rate (CTR): Частота кликов по отношению к показам.
  • Click Duration: Время, проведенное пользователем на документе после клика.

Какие метрики используются и как они считаются

• Feature Vector (Вектор признаков): Многомерный вектор, представляющий контент. Патент явно упоминает использование TF-IDF для расчета элементов вектора для термина t: $TF(t) * IDF(t)$.
• TF(t) (Term Frequency): Средняя частота термина в наборе документов. Упоминается возможность сглаживания (smoothing).
• IDF(t) (Inverse Document Frequency): Рассчитывается как $log(|D|/|D_{t}|)$, где |D| – общее число документов, а |D_t| – число документов, содержащих термин t.
• Пороги вовлеченности: Пороговые значения для CTR и Click Duration. Если метрики документа ниже порога («слишком короткая продолжительность» или «слишком мало кликов»), он считается спамом или off-topic (конкретные значения не указаны).
• Порог итерации (Convergence Threshold): Процент документов, которые были переклассифицированы (shifted) в течение одной итерации. Если он превышает заданный порог, процесс классификации повторяется.

1. Поведенческие факторы как валидатор качества и релевантности: Патент демонстрирует механизм, в котором пользовательское поведение (Click Information) используется для валидации автоматической классификации контента. Если контент классифицирован как релевантный теме на основе текста, но пользователи с ним плохо взаимодействуют (низкий CTR, короткая Click Duration), система переоценивает его как спам или off-topic.
2. Итеративное переобучение классификаторов: Система использует обратную связь от пользователей не только как прямой фактор ранжирования, но и для переобучения базовых моделей классификации контента (обновление Feature Vectors). Это позволяет системе самообучаться и повышать точность определения тематики и спама.
3. Борьба с продвинутым спамом: Механизм направлен против страниц, которые успешно обманывают контентные алгоритмы ранжирования (например, с помощью переоптимизации), но не могут удовлетворить пользователей. Агрегированное поведение пользователей выступает как финальный арбитр качества.
4. Тематически-зависимая корректировка ранжирования: Система способна идентифицировать тему запроса в реальном времени (используя Bloom Filter) и применять специфические корректировки ранжирования (бустинг/пессимизация) на основе предварительно рассчитанных сигналов качества именно для этой темы.
5. Важность пост-клик опыта (Dwell Time): Патент явно указывает на использование Click Duration (аналог Dwell Time) как метрики качества. Короткие клики (pogo-sticking) интерпретируются как негативный сигнал, подчеркивая важность удовлетворенности пользователя после перехода на сайт.

Best practices (это мы делаем)

• Фокус на удовлетворении интента и Dwell Time: Создавайте контент, который полностью отвечает на запрос пользователя и удерживает его на странице. Это напрямую коррелирует с Click Duration. Длинные, вовлеченные визиты сигнализируют системе, что документ не является спамом и действительно релевантен теме.
• Оптимизация сниппетов для релевантного CTR: Убедитесь, что Title и Description точно отражают содержание страницы. Это повышает CTR среди релевантной аудитории и снижает вероятность коротких кликов (pogo-sticking), которые могут привести к классификации страницы как спам.
• Улучшение UX и юзабилити: Удобство использования сайта, чистый дизайн и быстрая загрузка напрямую влияют на Click Duration. Плохой UX, приводящий к быстрым возвратам в выдачу, будет интерпретирован системой как низкое качество.
• Построение тематического авторитета (Topical Authority): Система классифицирует контент по темам. Полное и качественное раскрытие темы помогает гарантировать, что ваш контент будет правильно классифицирован и не будет отфильтрован как off-topic на основе поведенческих сигналов.

Worst practices (это делать не надо)

• Использование кликбейта (Clickbait): Заголовки, которые привлекают клики (высокий CTR), но не соответствуют содержанию страницы, приведут к коротким Click Duration. Система интерпретирует это как спам и понизит страницу в ранжировании для данной темы.
• Создание тонкого контента и дорвеев: Страницы с низким качеством контента, даже если они хорошо оптимизированы под ключевые слова (манипулируя Feature Vector), будут отфильтрованы из-за низких поведенческих показателей.
• Манипуляции с контентом (Keyword Stuffing, Клоакинг): Техники, направленные на обман контентных классификаторов, будут нейтрализованы на этапе анализа поведенческих факторов. Патент прямо определяет такие страницы как spam pages.
• Игнорирование интента в угоду объему трафика: Попытка ранжироваться по широким высокочастотным запросам без предоставления релевантного ответа приведет к плохим поведенческим сигналам и классификации как off-topic.

Стратегическое значение

Этот патент подтверждает критическую важность поведенческих факторов в алгоритмах Google. Он демонстрирует, как Google операционализирует концепцию "качества" через измеримые взаимодействия пользователей (CTR и Click Duration). Долгосрочная SEO-стратегия должна приоритизировать удовлетворение интента пользователя и качество пользовательского опыта над простым соответствием ключевым словам. Система наказывает тех, кто привлекает трафик, но не может его удержать.

Практические примеры

Сценарий: Фильтрация спама в игровой тематике

1. Тема: Компьютерные игры (ниша с высоким уровнем спама, упомянутая в патенте).
2. Процесс классификации: Google итеративно классифицирует документы по теме "Скачать игру X". В классификацию попадают официальный сайт (Сайт А) и множество спам-сайтов с агрессивной рекламой (Сайт Б).
3. Анализ поведения: Система анализирует Click Information. Пользователи, переходящие на Сайт Б, быстро их покидают (короткий Click Duration, pogo-sticking). Пользователи на Сайте А проводят больше времени.
4. Фильтрация: Сайт Б помечается как Spam Document на основе поведенческих данных. Классификатор переобучается.
5. Обработка запроса: Пользователь вводит запрос "Скачать игру X". Bloom Filter определяет, что запрос относится к теме "Компьютерные игры".
6. Корректировка ранжирования: Система активирует корректировку Relevancy Scores. Сайт А получает бустинг, а Сайт Б агрессивно понижается, даже если он имеет сильные контентные или ссылочные сигналы.