Как Google идентифицирует сайты-трамплины (Bounce Pads/Дорвеи) и исключает их из индекса при выборе канонической версии

Термины и определения

Bounce Pad (Сайт-трамплин, Сайт-прокладка)

Документ или коллекция документов (веб-сайт), основная цель которых — перенаправление (редирект) на документы, связанные с другими организациями.

Bounce Pad Analyzer (Анализатор сайтов-трамплинов)

Компонент системы, который анализирует веб-сайт и вычисляет Redirect Score и Spam Score для определения, является ли сайт Bounce Pad.

Cluster of duplicate documents (Кластер дубликатов)

Набор документов, идентифицированных системой как дубликаты или почти дубликаты друг друга.

Head (Голова)

Набор наиболее популярных организаций, на которые ведут редиректы с анализируемого сайта.

Organization (Организация)

Сущность, владеющая доменом или сайтом. Система определяет, что разные домены (например, abc.com и abc.co.uk) могут принадлежать одной организации.

Redirect (Редирект)

Техника перенаправления пользователя с одного адреса на другой. Патент учитывает разные типы: HTTP статус-коды (3xx), meta refresh, Javascript redirects, frame redirects и полноэкранные pop-ups.

Redirect Score (Оценка редиректов)

Метрика, основанная на количестве документов веб-сайта, которые являются источниками редиректов. Обычно выражается как процент страниц с редиректами от общего числа страниц сайта.

Representative Document / Canonical (Представительский / Канонический документ)

Документ, выбранный из кластера дубликатов для индексации и показа в результатах поиска.

Spam Score (Оценка спама)

Метрика, основанная на количестве и распределении организаций, которые являются целями редиректов. Вычисляется как соотношение между Tail и Head.

Tail (Хвост)

Набор менее популярных организаций (все, кроме Head), на которые ведут редиректы с анализируемого сайта.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации Bounce Pad.

1. Система идентифицирует набор связанных документов (например, сайт).
2. Определяются документы в этом наборе, которые являются источниками редиректов.
3. Идентифицируются организации, являющиеся целями этих редиректов.
4. Вычисляется Redirect Score на основе количества документов-источников редиректов.
5. Вычисляется Spam Score на основе количества организаций-целей редиректов.
6. На основе Redirect Score и Spam Score система определяет, классифицировать ли набор документов как Bounce Pad.
7. Результат классификации сохраняется.

Claim 5 и 6 (Зависимые): Детализируют расчет Spam Score.

Система подсчитывает, сколько раз каждая организация является целью редиректа, и создает ранжированный список организаций (Claim 5). Далее (Claim 6):

1. Определяется первый набор организаций из списка как Head (Голова).
2. Определяется второй набор как Tail (Хвост).
3. Вычисляется Head number (сумма редиректов на организации в Голове).
4. Вычисляется Tail number (сумма редиректов на организации в Хвосте).
5. Spam Score генерируется на основе соотношения Tail number к Head number (или наоборот).

Высокое соотношение Tail/Head указывает на широкое распределение редиректов по множеству разных целей, что характерно для спама.

Claim 8 (Зависимый от 7): Описывает применение идентификации Bounce Pad в индексировании.

После сохранения списка Bounce Pads (Claim 7):

1. Система идентифицирует кластер дублированных документов.
2. Проверяется, соответствует ли конкретный документ в кластере сайту из списка Bounce Pads.
3. При выборе представительского (канонического) документа для кластера система НЕ учитывает (исключает из рассмотрения) документ, если он идентифицирован как Bounce Pad.
4. Выбранный представительский документ индексируется.

Claim 9 (Зависимый от 8): Уточняет механизм исключения Bounce Pad из рассмотрения.

Система создает ранжированный список документов в кластере дубликатов. Если документ идентифицирован как Bounce Pad, он перемещается ближе к концу (bottom) этого ранжированного списка.

Где и как применяется

Изобретение затрагивает этапы сканирования и, главным образом, индексирования.

CRAWLING – Сканирование и Сбор данных
На этом этапе Crawler Engine собирает данные, необходимые для анализа. Это включает обнаружение редиректов (HTTP коды, meta refresh, Javascript) и идентификацию исходных и целевых URL.

INDEXING – Индексирование и извлечение признаков
Основное применение патента происходит на этом этапе и состоит из двух частей:

1. Анализ и Классификация (Bounce Pad Analyzer): Система обрабатывает собранные данные для всего сайта. Вычисляются Redirect Score и Spam Score. По результатам анализа сайт может быть добавлен в список Bounce Pads. Этот процесс может происходить периодически или при обработке значительного объема данных сайта.
2. Обнаружение Дубликатов и Каноникализация (Duplicate Detector & Indexer): При обработке отдельных документов система идентифицирует кластеры дубликатов. Документы в кластере ранжируются по качеству (например, на основе ссылочных метрик — link-based score). Затем система проверяет список Bounce Pads. Если документ в кластере помечен как Bounce Pad, он пессимизируется (перемещается в конец списка кандидатов). Indexer выбирает лучшего кандидата (не Bounce Pad) в качестве канонической версии для включения в индекс.

Входные данные:

• Набор связанных документов (веб-сайт).
• Данные сканирования: URL, статус-коды, метаданные (refresh tags, headers), контент (для обнаружения Javascript редиректов).
• Целевые URL редиректов и связанные с ними организации.
• Данные о качестве документов (например, link-based score) для ранжирования дубликатов.
• Список идентифицированных Bounce Pads.

Выходные данные:

• Обновленный список Bounce Pads.
• Redirect Score и Spam Score для проанализированных сайтов.
• Выбранные канонические документы для индексации.

На что влияет

• Конкретные типы сайтов: Влияет на сайты, которые агрегируют или копируют контент с других ресурсов и затем перенаправляют пользователей для монетизации:
  • Дорвеи (Doorway pages).
  • Тонкие аффилиатные сайты (Thin affiliate sites).
  • Агрегаторы без добавленной стоимости.
  • Фишинговые сайты, использующие редиректы.
• Техники редиректов: Влияет на использование любых типов редиректов (3xx, meta refresh, Javascript и т.д.), если они ведут на внешние организации.
• Каноникализация: Напрямую влияет на процесс выбора канонической версии страницы.

Когда применяется

• Триггеры активации (Анализ): Анализ сайта запускается, вероятно, после сканирования значительной части его документов или периодически для переоценки.
• Условия срабатывания (Классификация): Классификация сайта как Bounce Pad происходит, когда Redirect Score превышает определенный порог И/ИЛИ Spam Score превышает определенный порог. Патент предполагает взаимосвязь: чем выше один показатель, тем ниже может быть пороговое значение для другого.
• Триггеры активации (Индексирование): Механизм пессимизации активируется каждый раз, когда система обнаруживает кластер дубликатов и один из участников кластера находится в списке Bounce Pads.

Пошаговый алгоритм

Процесс А: Идентификация Bounce Pad (Bounce Pad Analyzer)

1. Идентификация набора документов: Определение границ анализируемого набора связанных документов (например, сайта, домена, хоста).
2. Идентификация редиректов: Анализ каждого документа в наборе для определения, является ли он источником редиректа.
3. Расчет Redirect Score: Подсчет количества документов с редиректами и документов без них. Вычисление процента документов с редиректами.
4. Идентификация целевых организаций: Определение организаций, которым принадлежат целевые URL редиректов. (Редиректы внутри одной организации могут исключаться из анализа).
5. Ранжирование целей: Подсчет количества редиректов на каждую организацию и создание ранжированного списка.
6. Сегментация (Head и Tail): Разделение ранжированного списка на Head (топ-N самых популярных целей) и Tail (остальные цели).
7. Расчет Spam Score: Суммирование редиректов в Head (Head Number) и Tail (Tail Number). Вычисление соотношения Tail Number / Head Number.
8. Определение Bounce Pad: Применение функции, использующей Redirect Score и Spam Score и сравнивающей их с пороговыми значениями для классификации сайта.
9. Сохранение результата: Добавление идентификатора сайта в список Bounce Pads при положительной классификации.

Процесс Б: Применение при индексировании (Indexing Engine)

1. Идентификация кластера дубликатов: Обнаружение набора документов с одинаковым или очень похожим контентом (используя, например, хэши контента или анализ URL).
2. Ранжирование дубликатов: Создание ранжированного списка документов в кластере на основе метрик качества (например, link-based score).
3. Идентификация Bounce Pads в кластере: Проверка каждого документа в списке на предмет его принадлежности к сайту из списка Bounce Pads.
4. Пессимизация Bounce Pads: Перемещение идентифицированных документов-трамплинов в конец ранжированного списка (или снижение их оценки качества).
5. Выбор представителя (Каноникализация): Выбор документа с наивысшим рейтингом в скорректированном списке в качестве канонической версии.
6. Индексация: Индексация выбранного канонического документа.

Какие данные и как использует

Данные на входе

• Технические факторы:
  • URL-структура: Используется для определения принадлежности документов к сайту и идентификации организаций (домены, поддомены).
  • Код ответа сервера: HTTP статус-коды (особенно 3xx) используются для идентификации редиректов.
  • HTTP заголовки: Refresh header используется для идентификации редиректов.
• Контентные и Структурные факторы:
  • Мета-теги: Meta refresh tag используется для идентификации редиректов.
  • HTML структура: Используется для обнаружения Frame redirects.
  • Javascript: Анализируется для обнаружения клиентских редиректов.
  • Контент документов: Используется для обнаружения дубликатов (например, через хэширование).
• Ссылочные факторы:
  • Метрики качества (Measure of quality): Патент упоминает link-based score (ссылочный ранг) как способ ранжирования документов в кластере дубликатов перед выбором канонической версии.

Какие метрики используются и как они считаются

1. Redirect Score:

   Вычисляется как процент документов на сайте, которые являются редиректами.

   $Redirect Score \propto \frac{\text{Число документов с редиректами}}{\text{Общее число документов}}$

2. Head Number и Tail Number:

   Определяются путем ранжирования целевых организаций по количеству редиректов. Head — топ-N организаций, Tail — остальные.

3. Spam Score:

   Вычисляется как соотношение количества редиректов на Хвост к количеству редиректов на Голову.

   $Spam Score \propto \frac{\text{Tail Number}}{\text{Head Number}}$

4. Bounce Pad Determination (Определение Bounce Pad):

   Функция, зависящая от обеих метрик. $F(\text{Redirect Score, Spam Score}) = X$, где X указывает, является ли сайт Bounce Pad. Функция использует пороговые значения (Redirect Threshold, Spam Threshold) и может учитывать взаимосвязь между метриками (чем выше один балл, тем ниже порог для другого).

1. Комплексная оценка редиректов на уровне сайта: Google анализирует редиректы в контексте всего сайта, а не изолированно. Оценивается как объем (Redirect Score), так и цели/намерение (Spam Score).
2. Идентификация паттернов поведения (Head/Tail): Ключевым элементом является расчет Spam Score через соотношение Tail/Head. Легитимные сайты (например, при переезде домена) обычно имеют низкий Spam Score (все редиректы ведут в Head). Спам-сайты имеют высокий Spam Score, так как распределяют трафик по множеству разных организаций (высокий Tail).
3. Bounce Pads исключаются при каноникализации: Патент четко определяет механизм применения этой классификации. Идентификация сайта как Bounce Pad приводит к его автоматическому исключению из числа кандидатов на роль канонической страницы при обнаружении дубликатов.
4. Переопределение метрик качества: Даже если Bounce Pad имеет высокие метрики качества (например, ссылочный профиль), его классификация как Bounce Pad приводит к принудительному понижению в ранге внутри кластера дубликатов, делая эти метрики неэффективными для попадания в индекс.
5. Важность собственного контента: Чтобы избежать классификации как Bounce Pad, сайт должен иметь достаточное количество страниц, которые не являются редиректами и предоставляют собственную ценность (низкий Redirect Score).

Best practices (это мы делаем)

• Обеспечение преобладания оригинального контента: Убедитесь, что большая часть страниц сайта предоставляет ценность пользователю напрямую, а не служит только для перенаправления. Это помогает поддерживать низкий Redirect Score.
• Консолидация целей редиректов (для аффилиатов и агрегаторов): Если сайт использует аффилиатную модель с редиректами, старайтесь работать с ограниченным числом крупных, авторитетных партнеров. Это поможет сконцентрировать редиректы в Head и поддерживать низкий Spam Score (низкое соотношение Tail/Head).
• Корректная настройка редиректов при миграции: При переезде сайта убедитесь, что все редиректы ведут на новый домен (одну организацию). Это легитимный сценарий, который приведет к высокому Redirect Score, но минимальному Spam Score (Tail будет пуст), что не должно привести к классификации как Bounce Pad.
• Использование редиректов внутри сайта: Патент фокусируется на редиректах на внешние организации. Внутренние редиректы для управления структурой сайта (например, с /index.html на /) не должны учитываться в расчете Spam Score, согласно описанию.
• Мониторинг исходящих редиректов: Регулярно проверяйте, куда и как часто ваш сайт перенаправляет пользователей, чтобы контролировать паттерн редиректов и исключить несанкционированные перенаправления (например, после взлома).

Worst practices (это делать не надо)

• Создание дорвеев и сайтов-трамплинов: Создание сайтов, состоящих преимущественно из страниц, перенаправляющих пользователей на другие ресурсы (высокий Redirect Score), является прямой целью этого патента.
• Массовые редиректы на множество мелких партнеров: Использование партнерских программ, которые требуют редиректов на сотни разных доменов (высокий Tail), значительно увеличивает Spam Score и риск признания сайта Bounce Pad.
• Копирование чужого контента и добавление редиректов: Создание дублированного контента с целью перенаправления трафика. Даже если такой сайт привлечет трафик, он будет исключен из индекса на этапе каноникализации, так как система предпочтет оригинальный источник.
• Злоупотребление клиентскими редиректами для маскировки целей: Использование сложных Javascript редиректов или meta refresh для скрытия факта перенаправления неэффективно, так как система учитывает эти типы редиректов при анализе.

Стратегическое значение

Патент подчеркивает стремление Google к индексации оригинального и ценного контента, а не посредников. Он демонстрирует сложный механизм для алгоритмического определения намерений сайта на основе анализа его технической реализации (редиректов). Для SEO-стратегии это означает, что техническая структура и модель поведения сайта могут служить сильными сигналами качества. Стратегии, основанные на массовом перенаправлении трафика без создания собственной ценности, являются высокорискованными.

Практические примеры

Сценарий 1: Легитимный переезд сайта (Низкий риск)

1. Сайт A.com переезжает на B.com (та же организация).
2. 100% страниц A.com настраиваются с 301 редиректом на B.com.
3. Анализ: Redirect Score = 100%. Целевая организация одна (B.com). Head = 100%, Tail = 0%. Spam Score = 0/100 = 0.
4. Результат: Несмотря на высокий Redirect Score, сайт не классифицируется как Bounce Pad из-за нулевого Spam Score.

Сценарий 2: Агрессивный аффилиатный сайт / Дорвей (Высокий риск)

1. Сайт С.com содержит 1000 страниц с обзорами товаров, скопированными с других сайтов. 900 страниц содержат аффилиатные редиректы.
2. Редиректы ведут на 50 разных интернет-магазинов (Организации D-Z).
3. Анализ: Redirect Score = 90%.
4. Распределение: Топ-3 магазина (D, E, F) получают по 100 редиректов (Head = 300). Остальные 47 магазинов получают 600 редиректов (Tail = 600).
5. Расчет: Spam Score = 600/300 = 2.
6. Результат: Высокий Redirect Score и высокий Spam Score приводят к классификации C.com как Bounce Pad. При индексации, когда система найдет оригинальные обзоры, C.com будет исключен из выбора канонической версии.