Как Google использует двухуровневую кластеризацию для борьбы с дубликатами и обеспечения разнообразия доменов в выдаче

Термины и определения

Document (Документ)

Любой индексируемый объект (веб-страницы, изображения, видео).

Domain (Домен)

Источник документа (например, извлеченный из URL). Является ключевым ограничением на втором этапе.

First-level cluster (FLC) / Domain-level cluster (Кластер первого уровня)

Первичная группа документов, удовлетворяющих критерию классификации первого уровня. Часто содержит документы с одного домена.

Second-level cluster (SLC) / Top-level cluster (Кластер второго уровня)

Итоговая группа, сформированная из кластеров первого уровня. Может содержать не более одного FLC от каждого домена.

Classification Criterion / Feature Value (Критерий классификации / Значение признака)

Признаки документа, используемые для определения схожести. В патенте упоминаются Title (Заголовок) и Description (Описание).

Over clustering (Избыточная кластеризация)

Ситуация, когда алгоритм ошибочно объединяет в один кластер документы, которые должны рассматриваться отдельно.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод и логику ограничения по домену.

1. Система получает кластеры первого уровня (FLC1, FLC2, FLC3) с соответствующими доменами (D1, D2, D3).
2. Сценарий 1 (Разные домены): Если D1 ≠ D2, и FLC1 и FLC2 похожи (удовлетворяют критерию второго уровня), они объединяются в кластер второго уровня (SLC).
3. Сценарий 2 (Одинаковые домены - Ядро изобретения): Если D1 = D2. Система принудительно разделяет их:
   • Создается первый SLC из FLC2.
   • Создается второй SLC путем объединения FLC1 и FLC3 (при условии, что D1 ≠ D3).

Если два кластера с одного домена похожи, они не объединяются. Вместо этого система пытается найти им партнеров с других доменов.

Claim 9 (Независимый пункт): Описывает предотвращение транзитивной избыточной кластеризации.

1. Документ 1 (Признаки A, B; Домен 1) -> FLC1.
2. Документ 2 (Признаки C, D; Домен 1) -> FLC2. (Разные, так как признаки отличаются).
3. Документ 3 (Признаки A, D; Домен 2) -> FLC3. (Документ 3 похож и на 1, и на 2).
4. Генерация SLC: FLC3 объединяется ЛИБО с FLC1, ЛИБО с FLC2 (так как D1 ≠ D2).
5. Оставшийся кластер (FLC1 или FLC2) формирует отдельный SLC.

Система не позволяет внешнему сходству (с Документом 3) объединить два разных документа (1 и 2) с одного сайта. Это предотвращает слияние FLC1 и FLC2.

Claim 14 (Независимый пункт): Описывает «жадный» алгоритм для максимизации разнообразия доменов в SLC.

1. Выбрать FLC с Домена А. Пометить его как начало нового SLC.
2. Выбрать по ОДНОМУ подходящему FLC из каждого другого доступного домена (Б, В, Г...).
3. Назначить их в этот SLC.
4. Вывести (Emit) итоговый SLC.

Этот алгоритм гарантирует соблюдение правила «один представитель на домен» и стремится создать максимально широкие кластеры.

Где и как применяется

Изобретение применяется в инфраструктуре обработки данных.

INDEXING – Индексирование и извлечение признаков (Основное применение)
Это основной этап применения патента. Двухуровневая кластеризация используется для:

• Обнаружение дубликатов и Каноникализация: Идентификация групп схожего контента и помощь в выборе канонической версии.
• Организация индекса: Структурирование документов для эффективного хранения и поиска. Патент упоминает создание индекса документов (Create index of documents) как финальный шаг.
• Предотвращение Over-clustering: Обеспечение того, что разные страницы одного сайта не будут ошибочно склеены.

RERANKING – Переранжирование
Результаты кластеризации используются для обеспечения разнообразия выдачи (Diversity).

• Host Crowding: Поскольку SLC по определению содержат не более одного представителя от каждого домена, использование этих кластеров при формировании SERP помогает ограничить количество схожих результатов с одного сайта.

Входные данные:

• Набор документов или кластеров первого уровня.
• Домен (из URL) для каждого элемента.
• Значения признаков классификации (Title, Description).

Выходные данные:

• Набор кластеров второго уровня (SLC) с соблюдением ограничения по доменам.
• Индекс документов.

На что влияет

• Конкретные типы контента: Веб-страницы, изображения, видео. Наибольшее влияние на контент, склонный к дублированию (товары, синдицированные статьи, агрегированный контент).
• Конкретные ниши или тематики: E-commerce, новости, маркетплейсы — ниши, где часто встречается множество похожих страниц как внутри одного сайта, так и на разных доменах.

Когда применяется

• При каких условиях работает алгоритм: Алгоритм применяется во время процесса индексирования для обработки корпуса документов.
• Триггеры активации: Обнаружение документов или кластеров, удовлетворяющих критериям схожести (predetermined criterion). Логика разделения активируется при обнаружении схожих кластеров с одного домена.

Пошаговый алгоритм

Общий процесс двухуровневой кластеризации

1. Сбор данных и Извлечение признаков: Получение документов. Извлечение домена, Title, Description.
2. Кластеризация Первого Уровня (FLC): Группировка документов на основе критериев первого уровня (например, совпадение Заголовка ИЛИ Описания). Часто происходит внутри домена.
3. Инициализация Кластеризации Второго Уровня (SLC): Итерация по парам FLC для поиска кандидатов на объединение.
4. Проверка Условий Объединения: Для пары FLC1 и FLC2 проверяется:
   • (a) Схожесть: Удовлетворяют ли они критериям второго уровня.
   • (b) Различие доменов: Отличаются ли их домены.
5. Принятие Решения:
   • Если (a) и (b) истинны: Создается SLC, объединяющий FLC1 и FLC2.
   • Если домены совпадают: SLC НЕ создается из этой пары. Они принудительно разделяются.
6. Разрешение Конфликтов (Алгоритм из Claim 14/FIG. 6): Для эффективного построения SLC используется «жадный» алгоритм:
   • Группировка FLC по доменам.
   • Выбор начального FLC и создание нового SLC.
   • Добавление в этот SLC по одному подходящему FLC из каждого другого доступного домена.
   • Вывод SLC и повторение процесса для оставшихся FLC.
7. Финализация и Индексирование: Создание индекса на основе сформированных SLC.

Какие данные и как использует

Данные на входе

• Технические факторы: URL используется для определения Домена (Domain). Это критически важный фактор для ограничения на втором этапе.
• Контентные факторы: Патент явно упоминает Title (Заголовок) и Description (Описание) как признаки классификации (Classification Features) для определения схожести.

Какие метрики используются и как они считаются

• Критерии классификации (Classification Criterion): Метрики схожести на Этапе 1 и Этапе 2. Патент не дает формул, но указывает, что они основаны на значениях признаков (например, точное совпадение Title или Description).
• Совпадение домена (Domain Match): Бинарная метрика (Да/Нет). Определяет, принадлежат ли два кластера одному и тому же домену.
• Разрешение конфликтов: В ситуациях неоднозначности (когда есть несколько вариантов объединения) патент упоминает использование эвристики (heuristic) или случайного выбора (randomly selecting).

1. Структурное обеспечение разнообразия: Google закладывает основу для разнообразия выдачи (Diversity) уже на этапе INDEXING. Механизм кластеризации второго уровня структурно ограничивает объединение похожих документов с одного сайта в один общий кластер.
2. Приоритет доменного ограничения над схожестью: На втором уровне кластеризации схожесть контента игнорируется, если документы происходят с одного домена. Это ключевой механизм предотвращения over-clustering.
3. Предотвращение транзитивной кластеризации: Система защищает от слияния разных страниц сайта. Если Страницы А и Б на одном сайте отличаются, но обе похожи на Страницу Х на другом сайте, система не позволит этому внешнему сходству объединить А и Б.
4. Основа для Host Crowding: Этот механизм создает кластеры, которые идеально подходят для применения правил Host Crowding на этапе RERANKING, так как кластер уже гарантированно содержит только одного представителя от каждого домена.
5. Важность уникальных признаков внутри сайта: Для SEO это подчеркивает критическую важность уникальности Title и Description для обеспечения раздельной индексации страниц внутри одного сайта.

Best practices (это мы делаем)

• Обеспечение уникальности ключевых признаков (Title/Description): Гарантируйте, что страницы, которые должны ранжироваться отдельно, имеют уникальные Title и Description. Патент явно указывает их как признаки кластеризации. Уникальность помогает разделить страницы на разные кластеры первого уровня, что является условием их раздельного существования в индексе.
• Четкая каноникализация технических дубликатов: Используйте rel=canonical для управления техническими дубликатами (например, параметры URL, фасеты). Это помогает контролировать, как документы группируются на первом этапе кластеризации.
• Управление синдицированным контентом: Если ваш контент публикуется на других доменах, он попадет в один Second-Level Cluster с копиями. Необходимо работать над сигналами авторитетности и качества, чтобы ваша версия была выбрана представителем кластера (каноникалом).
• Мониторинг индексации: Анализируйте отчеты об индексации (например, в GSC) на предмет исключенных дубликатов. Если важные страницы классифицируются как дубликаты, необходимо усилить уникальность их признаков и контента.

Worst practices (это делать не надо)

• Использование шаблонных заголовков и описаний: Создание множества страниц с одинаковыми Titles и Descriptions (например, вариации товаров). Это увеличивает вероятность их слияния в один кластер первого уровня и индексации только одной страницы.
• Массовая генерация почти дубликатов (Doorways): Создание сотен страниц с минимальными отличиями (например, гео-лендинги). Система кластеризации спроектирована для борьбы с таким контентом, склеивая его на первом уровне.
• Игнорирование уникальности контента: Размещение контента, скопированного с других сайтов (например, описаний от поставщика). Ваша страница будет помещена в SLC вместе с оригиналом, что снижает вероятность её ранжирования.

Стратегическое значение

Патент подтверждает, что обеспечение разнообразия (Diversity) — это не просто фильтр на этапе ранжирования, а фундаментальное свойство архитектуры индекса Google. Стратегия SEO должна учитывать, что Google активно применяет структурные ограничения на уровне доменов. Это подчеркивает важность технического SEO и архитектуры сайта, особенно для крупных проектов (E-commerce, маркетплейсы), для обеспечения полноты индексации и уникальности каждой страницы.

Практические примеры

Сценарий 1: Обработка карточек товаров в E-commerce

Сайт продает кроссовки в разных цветах. Как обеспечить индексацию обоих цветов?

1. Плохая реализация: URL: /shoe?color=blue и /shoe?color=red. Title одинаковый: "Кроссовки Модель 1".
   • Результат: На Этапе 1 страницы попадут в один кластер первого уровня из-за совпадения Title. В индекс попадет только одна страница.
2. Хорошая реализация: URL: /shoe-1-blue и /shoe-1-red. Title уникальные: "Кроссовки Модель 1 - Синие" и "Кроссовки Модель 1 - Красные".
   • Результат: На Этапе 1 страницы попадут в разные кластеры первого уровня (FLC-Синий, FLC-Красный). На Этапе 2 они НЕ будут объединены, так как принадлежат одному домену. Обе страницы индексируются отдельно.

Сценарий 2: Предотвращение транзитивной кластеризации

1. Ситуация: Сайт А имеет две статьи: С1 (Заголовок Т1, Тема Спорт) и С2 (Заголовок Т2, Тема Политика). Сайт Б публикует статью С3 (Заголовок Т1, Тема Политика).
2. Проблема: С3 похожа на С1 (по Заголовку Т1) и на С2 (по Теме Политика). Есть риск, что С1 и С2 будут объединены через С3.
3. Решение по патенту: Так как С1 и С2 на одном домене (Сайт А), они не могут быть в одном SLC. Система выберет одно объединение, например SLC1={С1, С3}, а С2 останется в отдельном кластере SLC2={С2}. Уникальность С1 и С2 сохранена.