Как Google обнаруживает и консолидирует зеркальные сайты и разделы, используя взвешенные инфраструктурные, структурные и контентные сигналы

Описание

Какую задачу решает

Патент решает фундаментальную проблему эффективности поисковых систем, связанную с существованием идентичного контента, доступного по разным URL (зеркалам). Это приводит к нескольким проблемам: растрате краулингового бюджета при повторном сканировании одного и того же контента, избыточной нагрузке на веб-серверы и увеличению размера индекса. Кроме того, это вызывает размывание сигналов ранжирования (например, ссылочного веса), поскольку авторитетность распределяется между несколькими версиями контента вместо консолидации на одной.

Что запатентовано

Запатентована система и метод для автоматического обнаружения того, являются ли два имени хоста (Hostnames) или раздела сайта (Subtrees) зеркалами (Mirrors) друг друга. Изобретение использует мультисигнальный анализ (Multiple Signals), агрегируя данные из различных источников (контент, структура, DNS, WHOIS) и рассчитывая уровень уверенности (Confidence Level). Также описан эффективный метод для выявления потенциальных кандидатов путем анализа структурного сходства карты сайта (Sitemap).

Как это работает

Система работает в два основных этапа. Первый этап — эффективная идентификация кандидатов. Чтобы избежать сравнения всех хостов между собой, система инвертирует компоненты пути URL (например, site.com/a/b.html становится b.html/a/site.com) и сортирует их. Хосты с идентичной структурой оказываются рядом в списке. Второй этап — верификация. Для пары кандидатов собираются Multiple Signals: совпадение контента, IP-адресов, данные WHOIS, информация о редиректах и т.д. Этим сигналам присваиваются веса (в примере патента наибольший вес имеют редиректы и IP), и вычисляется Confidence Level. Если зеркало подтверждено, один из вариантов исключается из последующего сканирования и индексирования.

Актуальность для SEO

Высокая. Проблемы каноникализации, эффективности сканирования и консолидации сигналов остаются критически важными для Google. Хотя конкретные алгоритмы и веса, вероятно, эволюционировали с момента подачи патента (2005 г.), фундаментальный подход, основанный на анализе инфраструктурных (IP, DNS) и структурных (Sitemap) сигналов для обнаружения зеркал на уровне хостов и разделов, остается актуальным.

Важность для SEO

Патент имеет высокое значение (8/10) для технического SEO. Он описывает инфраструктурные механизмы, лежащие в основе каноникализации и оптимизации краулингового бюджета. Понимание того, что Google активно анализирует IP-адреса, структуру сайта и редиректы для выявления зеркал, критически важно для управления крупными сайтами, международным SEO, миграциями и предотвращения размывания сигналов ранжирования.

Детальный разбор

Термины и определения

Confidence Level (Уровень уверенности)

Рассчитанная метрика, указывающая на вероятность того, что два Hostnames или Subtrees являются зеркалами. Рассчитывается на основе взвешенных Multiple Signals.

Crawl Repository (Репозиторий сканирования)

База данных, хранящая документы и ссылки, обнаруженные краулером. Источник данных для анализа контента и структуры.

DNS Map (Карта DNS)

Соответствие между именами хостов и IP-адресами. Используется для определения совпадения IP или подсети.

Edit Distance (E) (Расстояние редактирования)

Метрика схожести между двумя именами хостов (от 0 до 1). Используется как один из сигналов.

Hostname/Subtree (Имя хоста/Поддерево)

Объект анализа. Hostname — это доменное имя (например, www.example.com). Subtree — это раздел иерархии директорий (например, example.com/en/), включающий все объекты ниже этого уровня.

Mirrors (Зеркала)

Два или более Hostnames или Subtrees, которые ссылаются на один и тот же контент.

Multiple Signals (Множественные сигналы)

Набор данных, используемых для верификации зеркал (контент, ссылки, IP, WHOIS, редиректы и т.д.).

Reversed URLs (Инвертированные URL)

Техника оптимизации, при которой компоненты пути URL меняются местами для эффективного поиска структурных совпадений (Sitemap) путем сортировки.

Transitive Closure (Транзитивное замыкание)

Логический принцип: если A является зеркалом B, и B является зеркалом C, то A является зеркалом C.

WHOIS Database (База данных WHOIS)

Источник данных о владельцах доменных имен.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод мультисигнального анализа для обнаружения зеркал.

1. Идентификация первого и второго Hostname или Subtree как потенциальных зеркал.
2. Получение Multiple Signals для этой пары.
3. Условие (специфичное для этого Claim): как минимум один сигнал должен включать информацию о том, что один хост/поддерево автоматически перенаправляет (automatically redirects) на другой.
4. Идентификация зеркал путем:
   • Присвоения весов (weights) сигналам.
   • Расчета Confidence Level на основе информации о редиректе, как минимум одного другого сигнала и присвоенных весов.

Claim 7 (Независимый пункт): Описывает метод эффективного выявления кандидатов в зеркала (механизм оптимизации).

1. Идентификация множества URL с компонентами пути (path components).
2. Создание инвертированных URL (Reversed URLs) путем изменения порядка компонентов пути.
3. Сортировка хостов/поддеревьев на основе Reversed URLs.
4. Сравнение последовательно смежных элементов в отсортированном списке для идентификации пары кандидатов (на основе структурного сходства).
5. Определение того, являются ли эта пара зеркалами, используя Multiple Signals.

Claim 12 (Независимый пункт): Описывает полный процесс от выявления кандидатов до применения результатов.

1. Получение URL и генерация Reversed URLs.
2. Сортировка и сравнение смежных URL для выявления пар похожих хостов/поддеревьев.
3. Получение Multiple Signals для пары (из Crawl Repository, DNS map или WHOIS database).
4. Присвоение весов и расчет Confidence Level.
5. Исключение одного из хостов/поддеревьев пары из последующего сканирования или индексирования поисковой системой на основе рассчитанного Confidence Level.

Где и как применяется

Изобретение применяется на ранних этапах поискового процесса для оптимизации сбора и хранения данных.

CRAWLING – Сканирование и Сбор данных
Основной этап применения патента. Система сканирования (Web Crawler Engine) использует компонент Mirror Detector для анализа хостов и URL.

• Оптимизация очереди сканирования: Если система определяет, что два хоста являются зеркалами (например, www.site.com и site.com), и один URL уже был сканирован (www.site.com/page), то система (Content Manager) не будет добавлять в очередь эквивалентный URL с другого зеркала (site.com/page).
• Обработка полученных документов: Когда робот (Fetch Bot) загружает документ, Mirror Detector определяет, является ли он зеркалом ранее загруженного документа. Если да, документ может быть отброшен, а исходящие ссылки в нем проигнорированы.

INDEXING – Индексирование и извлечение признаков
На этом этапе результаты работы алгоритма используются для обеспечения того, чтобы в индексе хранилась только одна копия контента. Это критически важно для процесса каноникализации и консолидации сигналов ранжирования (например, ссылочного веса) на предпочтительной версии документа.

Входные данные:

• Набор URL из репозитория сканирования.
• Контент сканированных страниц.
• Карты DNS (соответствие Хост-IP).
• Данные из баз данных WHOIS.
• Информация о редиректах, полученная во время сканирования.

Выходные данные:

• Идентификация пар хостов/поддеревьев как зеркал с рассчитанным Confidence Level.
• Аннотации для URL, указывающие, что они являются зеркалами и не требуют сканирования или индексирования.

На что влияет

• Технические дубли: Обработка версий сайта с www и без, HTTP/HTTPS.
• Крупные сайты и E-commerce: Управление дубликатами, возникающими из-за фасетной навигации или параметров URL, если они формируют зеркальные Subtrees. Критично для экономии краулингового бюджета.
• Международное SEO: Определение отношений между доменами (ccTLD) или разделами, если они содержат идентичный контент и структуру.
• Среды разработки (Staging): Обнаружение и исключение тестовых серверов, если они доступны для сканирования.

Когда применяется

• Условия работы алгоритма: Алгоритм работает непрерывно в процессе сканирования интернета и анализа структуры обнаруженных URL.
• Триггеры активации: Процесс верификации активируется, когда механизм оптимизации (инвертирование URL) идентифицирует потенциальных кандидатов на основе структурного сходства (Sitemap similarity).

Пошаговый алгоритм

Процесс определения зеркал состоит из двух основных этапов: идентификация кандидатов и их верификация.

Этап А: Идентификация потенциальных пар (Оптимизация)

1. Сбор данных: Система получает набор URL, связанных с различными хостами и поддеревьями.
2. Инвертирование путей: Компоненты пути каждого URL инвертируются. Например, www.google.com/news/world/index.html становится index.html/world/news/www.google.com.
3. Сортировка: Инвертированные URL сортируются. В результате URL с одинаковой структурой, но разными хостами оказываются рядом в списке.
4. Выявление кандидатов: Последовательно смежные URL в отсортированном списке сравниваются. Если они имеют схожие карты сайта (sitemaps), соответствующие им хосты или поддеревья помечаются как потенциальные зеркала.

Этап Б: Верификация и расчет уверенности

1. Сбор сигналов: Для каждой пары кандидатов (A и B) система собирает Multiple Signals.
2. Расчет метрик дублирования: Вычисляется количество страниц с совпадающими суффиксами, которые имеют точное совпадение контента (Me) и приблизительное совпадение (Ms), относительно общего числа сканированных страниц на обоих хостах (Na, Nb).
3. Расчет схожести хостов: Вычисляется расстояние редактирования (E) между именами хостов.
4. Анализ технических сигналов: Определяются бинарные метрики: совпадение цели редиректа (SameRedir), совпадение IP (SameIP), совпадение владельца (SameOwner).
5. Взвешивание и вычисление Confidence Level: Сигналам присваиваются веса, и они агрегируются в итоговый уровень уверенности (confidence_for_mirror(A, B)) с использованием предопределенного алгоритма.
6. Принятие решения: На основе Confidence Level пара классифицируется как зеркала.
7. Транзитивное замыкание: Результаты используются для дальнейшего определения зеркал по транзитивности (если A=B и B=C, то A=C).
8. Исключение из сканирования: Один из идентифицированных зеркал исключается из последующего сканирования и индексирования.

Какие данные и как использует

Данные на входе

Система использует комбинацию технических, контентных, структурных и внешних данных.

• Технические факторы:
  • Структура URL (Path Components).
  • IP-адрес или подсеть (полученные из DNS Map). Совпадение IP является сильным сигналом.
  • Информация о редиректах (Redirect Information).
• Контентные факторы:
  • Полный контент сканированных страниц для анализа точного (exact content) и частичного дублирования (nearly duplicate content).
• Структурные факторы:
  • Структура ссылок и карта сайта (Link Structure/Site Map), часто выводимые из анализа URL путей.
• Внешние данные (Регистрационные):
  • Информация о владельце домена (Owner), полученная из WHOIS Database.

Какие метрики используются и как они считаются

Система вычисляет несколько ключевых метрик для расчета итогового Confidence Level для пары (A, B). Патент приводит конкретный пример псевдокода для расчета уверенности. Примечание: В тексте патента указано, что результат находится в диапазоне от 0 до 1, однако приведенный псевдокод допускает значения выше 1. Мы приводим псевдокод точно так, как он указан в патенте.

Выводы

1. Алгоритмическое обнаружение зеркал: Google активно и алгоритмически обнаруживает зеркала и дубликаты на уровне хостов и разделов (Subtrees). Система не полагается исключительно на сигналы от вебмастеров (такие как rel=canonical).
2. Многофакторный анализ с акцентом на технические сигналы: Обнаружение основано на комбинации сигналов. В примере патента технические сигналы — редиректы (SameRedir) и совпадение IP-адресов (SameIP) — имеют наибольший вес (1.0 и 0.9 соответственно). Это подчеркивает важность корректной технической инфраструктуры.
3. Структурное сходство как триггер: Система использует анализ структуры сайта (Sitemap) для эффективного выявления потенциальных зеркал. Техника инвертирования URL путей (Reversed URLs) позволяет быстро находить разделы с идентичной организацией контента.
4. Важность контентного анализа: Степень точного (Me) и частичного (Ms) дублирования контента является значимым подтверждающим фактором. Чем больше процент дубликатов, тем выше вероятность признания зеркалом.
5. Цель — Эффективность и Консолидация: Основные цели изобретения — экономия ресурсов (краулинговый бюджет, место в индексе) и консолидация сигналов ранжирования на одной версии контента.
6. Автоматическое исключение: Если система с высокой уверенностью определяет хост или Subtree как зеркало, она может полностью исключить его из сканирования и индексации.

Практика

Best practices (это мы делаем)

• Проактивное управление каноникализацией (Редиректы): Необходимо явно указывать канонические версии с помощью 301 редиректов для зеркал уровня хоста (www/non-www, http/https). Это самый надежный сигнал (SameRedir имеет максимальный вес в примере патента), который помогает системе быстро и точно определить зеркало.
• Поддержание консистентной структуры URL: Поскольку анализ структуры (Sitemap) используется для идентификации потенциальных зеркал, крайне важно поддерживать чистую и последовательную структуру URL и внутреннюю перелинковку. Всегда ссылайтесь только на канонические URL.
• Технический аудит инфраструктуры (IP): Понимайте, что SameIP является сильным сигналом (вес 0.9). Размещение идентичного контента на одном IP помогает Google идентифицировать зеркала. И наоборот, если сайты не должны считаться зеркалами, но имеют схожий контент (например, региональные версии), желательно размещать их на разных IP/подсетях и активно использовать hreflang.
• Контроль доступности сред: Staging, development и тестовые среды должны быть закрыты от краулеров (например, с помощью HTTP-аутентификации), чтобы избежать их идентификации как зеркал основного сайта и траты краулингового бюджета.
• Точность данных WHOIS: Для доменов одной организации следует поддерживать консистентные данные WHOIS. Сигнал SameOwner используется системой для подтверждения связи между доменами.

Worst practices (это делать не надо)

• Доступность нескольких версий сайта: Позволять сканировать и индексировать несколько версий сайта (например, www и non-www, отвечающие 200 OK). Это заставляет систему алгоритмически определять зеркала, что тратит ресурсы и создает риск ошибки в выборе каноникала.
• Использование неканонических URL во внутренних ссылках: Непоследовательная внутренняя перелинковка усложняет определение структуры сайта и может привести к некорректной идентификации зеркал или дубликатов.
• Создание идентичных разделов без явной каноникализации: Размещение одного и того же контента в разных разделах без указания канонической версии может привести к тому, что система определит эти разделы как зеркальные Subtrees и выберет для сканирования только один из них.

Стратегическое значение

Патент подтверждает фундаментальную важность технического SEO и чистой архитектуры сайта. Эффективность сканирования напрямую зависит от того, насколько легко Google может идентифицировать и игнорировать дублирующийся контент. Стратегия должна заключаться в максимальном упрощении работы поисковой системы: один уникальный контент должен быть доступен по одному каноническому URL, а все альтернативные пути должны явно указывать на каноникал через редиректы или rel=canonical.

Практические примеры

Сценарий 1: Обработка www и non-www версий

1. Ситуация: Сайт доступен по site.com и www.site.com, оба отвечают 200 OK.
2. Действие Google (по патенту): Система инвертирует URL, обнаруживает идентичную структуру. Затем собирает сигналы: IP-адрес (совпадает, SameIP=1), WHOIS (совпадает, SameOwner=1), Контент (полностью дублируется, Высокий Me). Confidence Level будет максимальным. Google выберет одну версию для сканирования.
3. SEO-действие: Настроить 301 редирект с одной версии на другую. Это дает Google явный сигнал (SameRedir), ускоряет процесс определения зеркала и гарантирует выбор предпочтительной версии.

Сценарий 2: Управление региональными доменами на одном IP

1. Ситуация: Компания использует brand.de и brand.at (Германия и Австрия). Контент на немецком языке идентичен на 95%. Оба сайта размещены на одном IP-адресе.
2. Действие Google (по патенту): Система идентифицирует структурное сходство. Проверка сигналов: SameIP=1, SameOwner=1, Ms (почти дубликаты) очень высокое. Confidence Level высокий.
3. Результат: Система может классифицировать их как зеркала и консолидировать на одном домене (например, brand.de), что приведет к потере видимости в Австрии.
4. Рекомендация SEO: Необходимо использовать hreflang для указания отношений. Чтобы снизить вероятность классификации как полных зеркал, необходимо уникализировать контент (цены, условия доставки, контакты) и рассмотреть возможность размещения на разных IP-адресах.

Вопросы и ответы