Как Google определяет, какие параметры URL влияют на контент, чтобы выбрать канонический URL и оптимизировать краулинг

Термины и определения

Cluster (Кластер)

Группа URL-адресов, которые, предположительно, имеют одинаковую интерпретацию набора параметров URL. Обычно URL в кластере имеют одинаковый хост и путь до знака вопроса (?).

Cluster Name (Имя кластера)

Уникальный идентификатор кластера. Например, http://www.foo.com/directory?.

Equivalence Class (Класс эквивалентности)

Набор URL-адресов внутри кластера, которые ссылаются на абсолютно одинаковый или практически идентичный контент. Каждый класс имеет уникальное имя (Equivalence class name), которое выводится путем применения Equivalence Rule.

Equivalence Rule (Правило эквивалентности)

Набор критериев, выведенный из анализа кластера URL. Правило определяет, какие параметры являются content-relevant, а какие — content-irrelevant.

Representative URL (Представительский URL)

URL, выбранный для представления всех других URL в Equivalence Class. Часто это первый обнаруженный URL в классе. Он используется для сканирования и индексации (де-факто канонический URL).

Content-relevant parameter (Значимый параметр)

Параметр URL, изменение значения которого приводит к изменению контента страницы.

Content-irrelevant parameter (Незначимый параметр)

Параметр URL, который не влияет на основной контент страницы (например, session ID, tracking code).

Conflict parameter (Конфликтный параметр)

Параметр, который демонстрирует признаки как значимости, так и незначимости. Система обычно считает их content-relevant, чтобы избежать потери контента.

Insignificance Analysis (Анализ незначимости)

Процедура определения того, является ли параметр нерелевантным. Если разные значения параметра соответствуют одному и тому же контенту, параметр считается незначимым.

Insignificance Index (Индекс незначимости)

Метрика, количественно оценивающая, насколько параметр не влияет на контент.

Significance Analysis (Анализ значимости)

Процедура определения того, является ли параметр релевантным. Анализируется, приводит ли удаление параметра к неоднозначности (т.е. оставшаяся часть URL начинает указывать на разный контент).

Significance Index (Индекс значимости)

Метрика, количественно оценивающая, насколько параметр важен для определения контента.

Duplicate Rate (Уровень дублирования)

Метрика кластера, показывающая долю дублированного контента. Рассчитывается как (Общее число URL - Число уникальных контентов) / Общее число URL.

Validation URL (Валидационный URL)

URL, идентифицированный как дубликат, который сохраняется системой для периодической проверки точности Equivalence Rule или доступности Representative URL.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод группировки идентификаторов документов (URL) по их контенту.

1. Система разделяет множество URL на несколько кластеров (Clusters), причем URL в каждом кластере имеют одинаковое имя хоста.
2. Для кластера генерируется Правило эквивалентности (Equivalence Rule), которое определяет, какие параметры URL являются значимыми для контента (content-relevant).
3. Кластер группируется в несколько Классов эквивалентности (Equivalence Classes) в соответствии с этим правилом. Все URL в классе ссылаются на практически одинаковый контент.
4. В каждом классе идентифицируется единственный URL как Представительский (Representative URL).
5. Для класса, содержащего несколько URL, определенная операция (например, сканирование или индексация) выполняется только над этим единственным Представительским URL.

Ядро изобретения — автоматическое создание правил для идентификации дубликатов на основе параметров и выбор единственного канонического представителя для обработки.

Claim 4 (Зависимый от 3): Детализирует процедуру Анализа незначимости (Insignificance Analysis).

1. URL в кластере группируются в наборы, каждый набор соответствует уникальному контенту.
2. Вычисляется Индекс незначимости (Insignificance Index) для параметра. Индекс основан на количестве URL в тех наборах, где данный параметр имеет как минимум два разных значения.

Если параметр часто имеет разные значения при одинаковом контенте, его индекс незначимости высок.

Claim 7 (Зависимый от 6): Детализирует процедуру Анализа значимости (Significance Analysis).

1. Анализируемый параметр удаляется из каждого URL в кластере, оставляя «остаток URL» (document identifier remainder).
2. URL группируются в наборы на основе этих остатков.
3. Индекс значимости (Significance Index) вычисляется путем суммирования количества уникальных контентов внутри тех наборов, которые содержат как минимум два разных контента.

Если удаление параметра приводит к тому, что URL с одинаковыми остатками ведут на разный контент, значит, удаленный параметр был важен для различения этого контента, и его индекс значимости высок.

Где и как применяется

Изобретение напрямую связано с управлением краулингом и процессом каноникализации.

CRAWLING – Сканирование и Сбор данных
Это основная область применения патента. Система используется для оптимизации процесса сканирования (Crawl Scheduling) и управления краулинговым бюджетом (Crawl Budget Management).

• URL Screening: Перед добавлением URL в очередь на сканирование система проверяет его принадлежность к кластеру и применяет Equivalence Rule.
• Оптимизация: Если URL является дубликатом (принадлежит к существующему Equivalence Class), сканирование отменяется. Сканируется только Representative URL.

INDEXING – Индексирование и извлечение признаков
Система напрямую влияет на процесс Каноникализации.

• Выбор каноникала: Representative URL, определенный на этапе краулинга, становится канонической версией документа для индексации.
• Консолидация сигналов: Сигналы (например, ссылки) на дубликаты (другие URL в Equivalence Class) консолидируются на Representative URL.

Входные данные:

• Кандидатный URL для сканирования.
• База данных просканированных URL и их контента (например, Content Checksum) для проведения анализов.
• Существующие Equivalence Rules и Equivalence Classes.

Выходные данные:

• Решение о сканировании кандидатного URL (Да/Нет).
• Обновленные Equivalence Rules (при необходимости).
• Новые или обновленные Equivalence Classes и их Representative URLs.

На что влияет

• Технические факторы и структура URL: Влияет исключительно на обработку URL-адресов, содержащих параметры (динамические URL).
• Типы контента и Ниши: Особенно сильно влияет на сайты электронной коммерции (E-commerce), форумы, и любые сайты с фасетной навигацией, сортировками, пагинацией, идентификаторами сессий и UTM-метками.

Когда применяется

Система работает в двух режимах: Реактивный (генерация правил) и Проактивный (применение правил).

Триггеры для генерации/обновления правил:

• Высокий Duplicate Rate: Когда уровень дублирования контента внутри кластера превышает определенный порог (например, 50% или 80%).
• Истечение срока действия (Staleness): Правила могут периодически пересматриваться.
• Ошибки валидации: Если проверка с помощью Validation URLs показывает, что правило неверно предсказывает контент.

Условия применения правил (URL Screening):

• Применяется каждый раз, когда обнаруживается новый кандидатный URL, который соответствует имени существующего кластера, для которого есть действующее Equivalence Rule.

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов: Генерация правил и Скрининг URL.

Процесс А: Генерация Правил Эквивалентности (Equivalence Rule Generation)

Этот процесс запускается, когда Duplicate Rate в кластере превышает порог.

1. Разделение на кластеры: URL разделяются на кластеры по хосту и пути.
2. Анализ Незначимости (Insignificance Analysis):
   1. URL в кластере группируются по уникальному контенту.
   2. Для каждого параметра проверяется: если в группе с одинаковым контентом параметр имеет разные значения, это увеличивает его Insignificance Index.
3. Анализ Значимости (Significance Analysis):
   1. Параметр временно удаляется из всех URL кластера.
   2. URL группируются по оставшейся части (remainder).
   3. Если в группе с одинаковым остатком URL ведут на разный контент, это увеличивает Significance Index параметра (так как он отвечал за различие).
4. Классификация параметров:
   1. Индексы нормализуются в значения Content-Relevance Value и Content-Irrelevance Value.
   2. Применяется эвристика (например, «правило 90-10»). Если релевантность >90% — content-relevant. Если <10% — content-irrelevant. Между ними — Conflict (обычно трактуется как content-relevant для безопасности).
5. Создание правила: Формируется и сохраняется Equivalence Rule для кластера.

Процесс Б: Скрининг URL (URL Screening)

Этот процесс применяется к каждому новому кандидату на сканирование.

1. Получение URL: Система получает кандидатный URL.
2. Идентификация кластера: Определяется кластер, к которому принадлежит URL.
3. Проверка Duplicate Rate: Если уровень дублирования высок, планируется анализ (Процесс А), если он еще не запланирован.
4. Поиск правила: Система ищет действующее Equivalence Rule. Если правила нет, URL планируется к сканированию.
5. Создание имени класса: Если правило найдено, оно применяется к URL: удаляются все content-irrelevant параметры, а оставшиеся content-relevant параметры упорядочиваются канонически. Результат — потенциальное имя Equivalence Class.
6. Поиск класса: Система проверяет, существует ли уже Equivalence Class с таким именем.
7. Обработка дубликата: Если класс найден, сканирование отменяется. URL может быть сохранен как Validation URL.
8. Обработка уникального URL: Если класс не найден, создается новый Equivalence Class, URL назначается его Representative URL и планируется к сканированию.

Какие данные и как использует

Данные на входе

Патент фокусируется на структурных и контентных факторах, связанных с идентификацией дубликатов.

• Структурные факторы (URL):
  • Hostname и Path: Используются для определения Cluster Name.
  • Параметры URL (Query Parameters): Имена и значения параметров являются основным объектом анализа (Significance и Insignificance Analysis).
• Контентные факторы:
  • Контент страницы (Document Content): Используется для определения уникальности. Система сравнивает контент, полученный по разным URL. В патенте упоминается Content Checksum (контрольная сумма контента) для эффективного сравнения.
• Ссылочные факторы:
  • PageRank: Упоминается в описании патента как фактор, который может использоваться при слиянии классов эквивалентности (когда параметр переходит из значимого в незначимый) для выбора нового Representative URL.

Какие метрики используются и как они считаются

• Duplicate Rate (Уровень дублирования): Используется как триггер для активации анализа кластера. Формула: $\text{Duplicate\_Rate} = \frac{\text{Number\_URL} - \text{Number\_Unique\_Content}}{\text{Number\_URL}}$
• Insignificance Index: Сумма количества URL в наборах (сгруппированных по контенту), где анализируемый параметр имеет более одного значения.
• Significance Index: Сумма количества уникальных контентов минус 1 (NUC-1) в наборах (сгруппированных по остатку URL после удаления параметра), где контент различается.
• Content-Relevance Value (Значение релевантности контенту): Нормализованный индекс значимости. Формула: $\text{Value} = \frac{\text{Significance Index}}{\text{Significance Index} + \text{Insignificance Index}}$
• Пороговые значения (Heuristics): Используется «правило 90-10» (или альтернативно «80-20») для классификации параметров на основе Content-Relevance Value.
  • >90%: Content-relevant
  • <10%: Content-irrelevant
  • 10%-90%: Conflict

1. Автоматическое обучение структуре сайта: Google не полагается исключительно на указания вебмастеров. Система активно и автоматически изучает, как параметры влияют на контент, путем статистического анализа результатов сканирования.
2. Приоритет сохранения контента над экономией ресурсов: Система разработана так, чтобы минимизировать риск пропуска уникального контента. Параметры в состоянии Conflict (когда система не уверена) классифицируются как content-relevant. Это означает, что Google предпочтет просканировать несколько дубликатов, чем потерять одну уникальную страницу.
3. Каноникализация на основе параметров: Процесс создания Equivalence Class Name (удаление незначимых параметров и сортировка значимых) является формой автоматической каноникализации URL. Representative URL становится канонической версией.
4. Динамическая адаптация: Система предусматривает механизмы валидации (Validation URLs) и пересмотра правил. Это позволяет Google адаптироваться к изменениям на сайте (например, если параметр, который был незначимым, стал влиять на контент).
5. Кластеризация как основа анализа: Анализ проводится не глобально, а в контексте Cluster (обычно директории или скрипта). Это означает, что один и тот же параметр (например, id) может быть признан значимым в одной части сайта и незначимым в другой.
6. Важность доступности каноникала: Патент описывает механизм замены Representative URL, если он становится недоступным, используя один из Validation URLs. Это подчеркивает важность стабильности канонических адресов.

Best practices (это мы делаем)

• Соблюдение консистентности параметров: Убедитесь, что параметры используются последовательно. Если параметр (например, sort=price) меняет контент, он всегда должен его менять. Если параметр (например, utm_campaign) не влияет на контент, он никогда не должен на него влиять. Непоследовательность приводит к классификации Conflict и избыточному сканированию.
• Канонический порядок параметров: Всегда генерируйте внутренние ссылки с параметрами в фиксированном порядке (например, всегда ?color=blue&size=M, а не иногда ?size=M&color=blue). Это помогает системе быстрее сгруппировать URL в Equivalence Class, так как патент упоминает канонический порядок при создании имени класса.
• Использование чистых Representative URLs: Стремитесь к тому, чтобы канонический URL (тот, который вы хотите видеть в качестве Representative URL) был максимально чистым, в идеале без незначимых параметров. Убедитесь, что этот URL доступен для сканирования и отдает код 200.
• Мониторинг логов сервера и краулингового бюджета: Анализируйте, какие параметры Googlebot активно сканирует. Если сканируется много URL с незначимыми параметрами, это указывает на то, что система еще не выработала эффективное Equivalence Rule или классифицировала параметры как Conflict.
• Использование rel="canonical": Хотя патент описывает автоматическую систему, использование тега rel="canonical" на страницах с параметрами, указывающего на чистый Representative URL, помогает ускорить и уточнить процесс определения Equivalence Class.

Worst practices (это делать не надо)

• Смешивание значимых и незначимых параметров в одном токене: Не объединяйте несколько значений в один параметр, если часть из них влияет на контент, а часть нет. Это затрудняет статистический анализ.
• Использование разных имен параметров для одной цели: Не используйте ?id=123 и ?product=123 для одной и той же страницы в пределах одного кластера. Это замедляет выявление дубликатов.
• Блокировка параметризованных URL через robots.txt (с осторожностью): Блокировка всех параметров может помешать Google обнаружить уникальный контент (если параметры значимы). Также это может помешать системе собрать достаточно данных для генерации Equivalence Rule. Если вы блокируете дубликаты, убедитесь, что Representative URL остается доступным.
• Нестабильные канонические URL: Частая смена канонических адресов или их недоступность (коды 4xx/5xx) приводит к тому, что система вынуждена постоянно переназначать Representative URL, что негативно сказывается на индексации.

Стратегическое значение

Этот патент подчеркивает, что управление краулингом и каноникализация являются не разовой настройкой, а динамическим процессом обучения со стороны Google. Для крупных сайтов, особенно E-commerce, техническая чистота и логическая последовательность в структуре URL имеют первостепенное значение. Стратегия должна заключаться в том, чтобы максимально облегчить Google процесс статистического вывода правил: чем чище и консистентнее структура URL, тем быстрее Google оптимизирует краулинг и тем меньше ресурсов будет тратиться на обработку дубликатов, освобождая бюджет для сканирования важного контента.

Практические примеры

Сценарий: Оптимизация фасетной навигации в интернет-магазине

Сайт имеет категорию /dresses/ с фильтрами по цвету (color), размеру (size) и параметром отслеживания (ref).

1. Наблюдение: Googlebot активно сканирует URL вида /dresses/?color=red&size=S&ref=main, /dresses/?color=red&size=S&ref=sidebar и т.д., тратя краулинговый бюджет.
2. Анализ (как это делает Google):
   • Система определяет кластер /dresses/.
   • Она видит, что изменение ref не меняет контент (высокий Insignificance Index для ref).
   • Она видит, что изменение color или size меняет контент (высокий Significance Index).
3. Генерация правила: Equivalence Rule: color и size значимы; ref незначим.
4. Применение (Действие SEO-специалиста):
   1. Убедиться, что все внутренние ссылки используют консистентный порядок параметров (например, всегда color перед size).
   2. Настроить rel="canonical" со страницы /dresses/?color=red&size=S&ref=main на /dresses/?color=red&size=S.
5. Ожидаемый результат: Google группирует все варианты с разными ref в один Equivalence Class. Он выбирает /dresses/?color=red&size=S как Representative URL и перестает сканировать URL с параметром ref, фокусируясь на сканировании новых комбинаций цвета и размера.