Как Google использует редиректы, анализ URL и оценку качества для объединения дубликатов и выбора канонической версии

Термины и определения

Canonical Document (Канонический документ)

Финальный документ, выбранный из кластера дубликатов для индексации и представления в результатах поиска.

Checksum ID (Идентификатор контрольной суммы)

Идентификатор, вычисленный на основе контента документа (например, хеш). Используется в Content-based clustering для группировки документов с идентичным контентом.

Cluster (Кластер)

Группа документов, идентифицированных как дубликаты друг друга на основе определенного критерия.

Content-based clustering (Кластеризация на основе контента)

Метод обнаружения дубликатов путем анализа содержимого документов. Включает вычисление контрольных сумм (Checksum ID) или анализ информации о редиректах (Target ID).

Final Target Document (Конечный целевой документ)

Документ, на который в конечном итоге указывает исходный документ после прохождения всей цепочки редиректов.

Predictive-based clustering (Кластеризация на основе прогнозирования)

Метод обнаружения дубликатов без анализа контента, основанный на анализе адресов (URL). Использует набор правил для генерации Predictive ID, например, путем игнорирования неважных частей URL (session ID) или определения эквивалентных хостов.

Predictive ID (Прогнозный идентификатор)

Идентификатор, присваиваемый документу на основе его URL с использованием правил Predictive-based clustering.

Quality Information (Информация о качестве)

Любая информация, используемая для оценки документа. Включает: ссылочную информацию, ранг страницы (page rank), анкорный текст, эстетическую ценность адреса (aesthetic value of an address), популярность, качество и возраст сайта-источника.

Representative Document (Документ-представитель)

Документ, выбранный из кластера на определенном этапе итеративного процесса. Обычно это документ с наивысшей оценкой качества (Measure of Quality) в данном кластере.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной итеративный метод обработки дубликатов.

1. Система кластеризует документы на подмножества (например, Кластер А и Кластер Б).
2. Выбирается документ-представитель для каждого подмножества (Представитель А, Представитель Б).
3. Определяется целевой документ редиректа для каждого представителя (Цель А, Цель Б).
4. Система определяет, являются ли Цель А и Цель Б дубликатами друг друга.
5. Если ДА, система выполняет повторную кластеризацию (re-clustering), объединяя Кластер А и Кластер Б.
6. Система индексирует объединенное подмножество на основе одного из включенных в него документов.

Claim 2 (Зависимый от 1): Детализирует процесс выбора представителя.

Выбор представителя основан на определении значений качества (quality values). Представителем выбирается документ с наивысшим значением качества в кластере.

Claim 3 (Зависимый от 2): Определяет, что входит в расчет значения качества (Quality Information).

Значение качества определяется на основе как минимум одного из следующих факторов: ссылочная информация, дата создания документа, ранг документа, информация об анкорном тексте, эстетическая ценность адреса (aesthetic value of an address), мера популярности, мера качества веб-сайта, возраст веб-сайта.

Claim 5 (Зависимый от 1): Уточняет, как определяется дублирование целевых документов редиректа.

Определение того, что целевые документы являются дубликатами, основано на технике Predictive-based clustering, при которой обоим документам присваивается одинаковый прогнозный идентификатор (Predictive ID).

Claim 7 (Зависимый от 6): Важное уточнение.

Сетевые адреса (URL) дублирующихся целевых документов могут отличаться (например, если Predictive-based clustering игнорирует определенные параметры).

Где и как применяется

Изобретение применяется на этапе индексирования.

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются исходные данные: контент документов, коды ответов сервера (включая редиректы 3xx) и информация о ссылках.

INDEXING – Индексирование и извлечение признаков
Основной этап применения патента. Система обрабатывает сырой контент для организации индекса. Процессы, описанные в патенте, отвечают за:

• Обнаружение дубликатов (Duplicate Detection).
• Кластеризацию дубликатов.
• Выбор канонической версии (Canonicalization).

Система работает итеративно, используя различные методы кластеризации (Predictive-based и Content-based) и метрики качества для уточнения кластеров и выбора лучшего представителя.

Входные данные:

• Набор документов, полученных от краулера.
• Информация о редиректах, обнаруженная при сканировании.
• Предварительно рассчитанная Quality Information для каждого документа (ссылочные метрики, ранг страницы, эстетика URL и т.д.).
• Правила для Predictive-based clustering.

Выходные данные:

• Определенные кластеры дубликатов.
• Выбранный Canonical Document для каждого кластера.
• Индекс, содержащий только канонические документы, с консолидированными сигналами качества.

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние наблюдается в нишах, где распространено дублирование контента:
  • E-commerce (страницы товаров с параметрами фильтрации, сортировки, tracking ID).
  • Сайты, использующие динамические URL и сессионные идентификаторы (Session IDs).
  • Сайты, доступные по нескольким адресам или прошедшие миграцию.
• Технические факторы: Напрямую влияет на обработку структуры URL, параметров, редиректов и фасетной навигации.

Когда применяется

Алгоритм применяется в процессе индексирования после того, как документы были сканированы и для них были извлечены базовые признаки.

• Условия работы: Применяется ко всему корпусу документов для обнаружения и устранения дубликатов.
• Частота применения: Процесс является непрерывным и итеративным. Он применяется как при первичной индексации новых документов, так и при повторной обработке существующих документов по мере обновления данных.

Пошаговый алгоритм

Описанный процесс является многоэтапным и итеративным, направленным на последовательное уточнение кластеров дубликатов.

Этап 1: Инициализация и Первая Итерация Кластеризации

1. Идентификация документов: Система определяет набор документов для кластеризации.
2. Первичная кластеризация: Документы группируются в кластеры (например, с помощью Predictive-based clustering на основе шаблонов URL).
3. Определение качества: Для каждого документа в каждом кластере определяется мера качества (Measure of Quality) на основе Quality Information.
4. Выбор представителя: В каждом кластере выбирается Representative Document — документ с наивысшей мерой качества.

Этап 2: Разрешение Редиректов и Объединение Кластеров

1. Определение конечной цели: Для каждого представителя система анализирует информацию о редиректах и определяет Final Target Document (следует по цепочке редиректов до конца).
2. Проверка дублирования целей: Система определяет, являются ли конечные целевые документы из разных кластеров дубликатами (например, используя Predictive-based clustering).
3. Повторная кластеризация (Объединение): Если конечные целевые документы признаны дубликатами, исходные кластеры объединяются в единый кластер.

Этап 3: Вторая Итерация Кластеризации (Content-based)

1. Определение качества (Повторно): Для всех документов в новом объединенном кластере переоценивается мера качества.
2. Выбор нового представителя: Выбирается новый Representative Document для объединенного кластера.
3. Вычисление контрольной суммы: Определяется контрольная сумма (Checksum) контента нового представителя.
4. Кластеризация по контрольной сумме: Система использует Content-based clustering для группировки документов на основе Checksum ID.

Этап 4: Финализация и Индексация

1. Выбор канонической версии: Из финального кластера выбирается Canonical Document.
2. Индексация: Выбранный канонический документ индексируется. Quality Information от других документов в кластере может быть консолидирована и ассоциирована с каноническим документом.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные для кластеризации и оценки качества.

Технические факторы:

• URL (Address): Используется для Predictive-based clustering и для оценки эстетической ценности (aesthetic value).
• Redirect Information: Данные о редиректах (HTTP коды 3xx, meta refresh, JavaScript редиректы). Используются для определения Final Target Document.

Контентные факторы:

• Контент документа: Используется для вычисления контрольной суммы (Checksum) при Content-based clustering.

Факторы Качества (Quality Information, согласно Claim 3):

• Ссылочные факторы: Link information (link-based score, количество ссылок, позиция ссылки), Anchor text information.
• Ранг документа: Document rank (например, PageRank).
• Временные факторы: Дата создания документа, возраст веб-сайта.
• Популярность: Мера популярности документа.
• Качество источника: Мера качества веб-сайта.
• Эстетика URL: Aesthetic value of an address.

Какие метрики используются и как они считаются

Система использует ключевые идентификаторы и оценки:

• Predictive ID: Вычисляется на основе URL с применением набора правил. Правила могут определять эквивалентные префиксы адресов или игнорировать неважные части адреса (например, Session IDs).
• Checksum ID: Вычисляется путем хеширования контента документа.
• Target ID: Идентификатор, основанный на адресе Final Target Document.
• Measure of Quality (Quality Score): Агрегированная оценка, рассчитываемая на основе Quality Information. Используется для выбора Representative Document. Особо выделяется Aesthetic value of an address: короткие и/или основанные на словах URL имеют более высокую ценность, чем длинные URL, содержащие символы (?, !, *, и т.д.).

1. Каноникализация — это итеративный процесс: Google не принимает решение о канонической версии за один шаг. Система последовательно применяет разные методы кластеризации (по URL, по редиректам, по контенту) и итеративно объединяет кластеры дубликатов.
2. Редиректы как инструмент объединения: Система активно использует редиректы для консолидации дубликатов. Если документы из разных кластеров в конечном итоге указывают на одну и ту же цель (Final Target Document), эти кластеры объединяются.
3. Качество определяет выбор канонической версии: Выбор представителя (Representative), который часто становится каноническим, явно основан на метриках качества (Quality Information). Это не случайный выбор.
4. Конкретные факторы качества для каноникализации: Патент четко определяет используемые факторы: ссылочные сигналы, ранг документа (PageRank), анкорный текст, качество и возраст сайта, а также эстетическая ценность URL.
5. Предпочтение чистых URL: Aesthetic value of an address прямо указывает на предпочтение коротких, чистых URL перед длинными и сложными URL с параметрами и символами.
6. Важность анализа шаблонов URL: Predictive-based clustering играет ключевую роль в идентификации дубликатов, созданных динамически (например, из-за Session IDs), позволяя системе игнорировать незначащие части URL.

Best practices (это мы делаем)

• Обеспечение высокой эстетической ценности URL: Используйте короткие, чистые, описательные URL для всех важных страниц. Патент явно указывает, что aesthetic value of an address является фактором при выборе представителя кластера дубликатов.
• Консолидация ссылочных сигналов: Направляйте все внутренние и внешние ссылки на предпочтительную (каноническую) версию страницы. Link information и Anchor text information являются ключевыми компонентами Quality Information.
• Использование прямых редиректов: Настраивайте редиректы так, чтобы они указывали непосредственно на Final Target Document. Это ускоряет процесс разрешения редиректов и снижает вероятность ошибок при объединении кластеров.
• Оптимизация архитектуры для Predictive Clustering: Структурируйте URL последовательно и по возможности избегайте использования незначащих параметров (Session IDs, избыточные UTM-метки) в URL индексируемых страниц. Это помогает системе корректно применять Predictive-based clustering.
• Повышение общего качества сайта: Работайте над авторитетностью ресурса. Quality of web site также учитывается при выборе представителя из кластера дубликатов.

Worst practices (это делать не надо)

• Использование сложных и длинных URL: Создание URL с множеством параметров и динамических вставок снижает их aesthetic value и уменьшает вероятность выбора такой страницы в качестве канонической.
• Создание цепочек редиректов: Длинные цепочки усложняют определение Final Target Document, замедляют обработку и могут привести к ошибкам в итеративном процессе объединения кластеров.
• Распыление сигналов качества: Допущение существования множества дубликатов, на которые ведут внутренние или внешние ссылки. Это приводит к разделению Quality Information и может привести к выбору неоптимальной канонической версии.
• Игнорирование технической гигиены URL: Непоследовательное использование протоколов, www, регистров и структуры URL затрудняет работу Predictive-based clustering и может привести к формированию отдельных кластеров для фактических дубликатов.

Стратегическое значение

Патент подтверждает, что техническое SEO и информационная архитектура являются критически важными элементами стратегии продвижения. То, как структурированы URL и как управляются редиректы, напрямую влияет на эффективность индексации, выбор канонических версий и консолидацию сигналов ранжирования. Система предпочитает качество и чистоту: авторитетные сайты с чистыми URL и четкими сигналами имеют преимущество в процессе каноникализации.

Практические примеры

Сценарий: Каноникализация страниц товара в E-commerce

Существуют три версии страницы товара:

1. URL A: /product?id=123&session=XYZ (Низкая эстетика, есть Session ID)
2. URL B: /product/blue-widget (Высокая эстетика, чистый URL, много ссылок)
3. URL C: /promo/blue-widget-sale (Временная страница, настроен 302 редирект на URL B)

Процесс обработки Google согласно патенту:

1. Predictive Clustering: Система анализирует URL A. Правила Predictive-based clustering игнорируют session=XYZ. Система может определить, что URL A и URL B ведут к одному контенту и помещает их в Кластер 1. URL C может попасть в Кластер 2.
2. Выбор Представителя: Система сравнивает Quality Information. URL B имеет больше ссылок и лучшую aesthetic value, чем URL A. URL B выбирается представителем Кластера 1. URL C выбирается представителем Кластера 2.
3. Разрешение Редиректов: Система определяет Final Target Document для представителя Кластера 2 (URL C) как URL B (из-за 302 редиректа).
4. Объединение Кластеров: Система видит, что представитель Кластера 1 (URL B) и конечная цель представителя Кластера 2 (URL B) являются дубликатами. Кластер 1 и Кластер 2 объединяются.
5. Финализация: В объединенном кластере (A, B, C) система выбирает Canonical Document. URL B, обладая наивысшей суммарной оценкой качества, выбирается для индексации.