Как Google обнаруживает и консолидирует зеркальные сайты и разделы, используя взвешенные инфраструктурные, структурные и контентные сигналы

Термины и определения

Confidence Level (Уровень уверенности)

Рассчитанная метрика, указывающая на вероятность того, что два Hostnames или Subtrees являются зеркалами. Рассчитывается на основе взвешенных Multiple Signals.

Crawl Repository (Репозиторий сканирования)

База данных, хранящая документы и ссылки, обнаруженные краулером. Источник данных для анализа контента и структуры.

DNS Map (Карта DNS)

Соответствие между именами хостов и IP-адресами. Используется для определения совпадения IP или подсети.

Edit Distance (E) (Расстояние редактирования)

Метрика схожести между двумя именами хостов (от 0 до 1). Используется как один из сигналов.

Hostname/Subtree (Имя хоста/Поддерево)

Объект анализа. Hostname — это доменное имя (например, www.example.com). Subtree — это раздел иерархии директорий (например, example.com/en/), включающий все объекты ниже этого уровня.

Mirrors (Зеркала)

Два или более Hostnames или Subtrees, которые ссылаются на один и тот же контент.

Multiple Signals (Множественные сигналы)

Набор данных, используемых для верификации зеркал (контент, ссылки, IP, WHOIS, редиректы и т.д.).

Reversed URLs (Инвертированные URL)

Техника оптимизации, при которой компоненты пути URL меняются местами для эффективного поиска структурных совпадений (Sitemap) путем сортировки.

Transitive Closure (Транзитивное замыкание)

Логический принцип: если A является зеркалом B, и B является зеркалом C, то A является зеркалом C.

WHOIS Database (База данных WHOIS)

Источник данных о владельцах доменных имен.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод мультисигнального анализа для обнаружения зеркал.

1. Идентификация первого и второго Hostname или Subtree как потенциальных зеркал.
2. Получение Multiple Signals для этой пары.
3. Условие (специфичное для этого Claim): как минимум один сигнал должен включать информацию о том, что один хост/поддерево автоматически перенаправляет (automatically redirects) на другой.
4. Идентификация зеркал путем:
   • Присвоения весов (weights) сигналам.
   • Расчета Confidence Level на основе информации о редиректе, как минимум одного другого сигнала и присвоенных весов.

Claim 7 (Независимый пункт): Описывает метод эффективного выявления кандидатов в зеркала (механизм оптимизации).

1. Идентификация множества URL с компонентами пути (path components).
2. Создание инвертированных URL (Reversed URLs) путем изменения порядка компонентов пути.
3. Сортировка хостов/поддеревьев на основе Reversed URLs.
4. Сравнение последовательно смежных элементов в отсортированном списке для идентификации пары кандидатов (на основе структурного сходства).
5. Определение того, являются ли эта пара зеркалами, используя Multiple Signals.

Claim 12 (Независимый пункт): Описывает полный процесс от выявления кандидатов до применения результатов.

1. Получение URL и генерация Reversed URLs.
2. Сортировка и сравнение смежных URL для выявления пар похожих хостов/поддеревьев.
3. Получение Multiple Signals для пары (из Crawl Repository, DNS map или WHOIS database).
4. Присвоение весов и расчет Confidence Level.
5. Исключение одного из хостов/поддеревьев пары из последующего сканирования или индексирования поисковой системой на основе рассчитанного Confidence Level.

Где и как применяется

Изобретение применяется на ранних этапах поискового процесса для оптимизации сбора и хранения данных.

CRAWLING – Сканирование и Сбор данных
Основной этап применения патента. Система сканирования (Web Crawler Engine) использует компонент Mirror Detector для анализа хостов и URL.

• Оптимизация очереди сканирования: Если система определяет, что два хоста являются зеркалами (например, www.site.com и site.com), и один URL уже был сканирован (www.site.com/page), то система (Content Manager) не будет добавлять в очередь эквивалентный URL с другого зеркала (site.com/page).
• Обработка полученных документов: Когда робот (Fetch Bot) загружает документ, Mirror Detector определяет, является ли он зеркалом ранее загруженного документа. Если да, документ может быть отброшен, а исходящие ссылки в нем проигнорированы.

INDEXING – Индексирование и извлечение признаков
На этом этапе результаты работы алгоритма используются для обеспечения того, чтобы в индексе хранилась только одна копия контента. Это критически важно для процесса каноникализации и консолидации сигналов ранжирования (например, ссылочного веса) на предпочтительной версии документа.

Входные данные:

• Набор URL из репозитория сканирования.
• Контент сканированных страниц.
• Карты DNS (соответствие Хост-IP).
• Данные из баз данных WHOIS.
• Информация о редиректах, полученная во время сканирования.

Выходные данные:

• Идентификация пар хостов/поддеревьев как зеркал с рассчитанным Confidence Level.
• Аннотации для URL, указывающие, что они являются зеркалами и не требуют сканирования или индексирования.

На что влияет

• Технические дубли: Обработка версий сайта с www и без, HTTP/HTTPS.
• Крупные сайты и E-commerce: Управление дубликатами, возникающими из-за фасетной навигации или параметров URL, если они формируют зеркальные Subtrees. Критично для экономии краулингового бюджета.
• Международное SEO: Определение отношений между доменами (ccTLD) или разделами, если они содержат идентичный контент и структуру.
• Среды разработки (Staging): Обнаружение и исключение тестовых серверов, если они доступны для сканирования.

Когда применяется

• Условия работы алгоритма: Алгоритм работает непрерывно в процессе сканирования интернета и анализа структуры обнаруженных URL.
• Триггеры активации: Процесс верификации активируется, когда механизм оптимизации (инвертирование URL) идентифицирует потенциальных кандидатов на основе структурного сходства (Sitemap similarity).

Пошаговый алгоритм

Процесс определения зеркал состоит из двух основных этапов: идентификация кандидатов и их верификация.

Этап А: Идентификация потенциальных пар (Оптимизация)

1. Сбор данных: Система получает набор URL, связанных с различными хостами и поддеревьями.
2. Инвертирование путей: Компоненты пути каждого URL инвертируются. Например, www.google.com/news/world/index.html становится index.html/world/news/www.google.com.
3. Сортировка: Инвертированные URL сортируются. В результате URL с одинаковой структурой, но разными хостами оказываются рядом в списке.
4. Выявление кандидатов: Последовательно смежные URL в отсортированном списке сравниваются. Если они имеют схожие карты сайта (sitemaps), соответствующие им хосты или поддеревья помечаются как потенциальные зеркала.

Этап Б: Верификация и расчет уверенности

1. Сбор сигналов: Для каждой пары кандидатов (A и B) система собирает Multiple Signals.
2. Расчет метрик дублирования: Вычисляется количество страниц с совпадающими суффиксами, которые имеют точное совпадение контента (Me) и приблизительное совпадение (Ms), относительно общего числа сканированных страниц на обоих хостах (Na, Nb).
3. Расчет схожести хостов: Вычисляется расстояние редактирования (E) между именами хостов.
4. Анализ технических сигналов: Определяются бинарные метрики: совпадение цели редиректа (SameRedir), совпадение IP (SameIP), совпадение владельца (SameOwner).
5. Взвешивание и вычисление Confidence Level: Сигналам присваиваются веса, и они агрегируются в итоговый уровень уверенности (confidence_for_mirror(A, B)) с использованием предопределенного алгоритма.
6. Принятие решения: На основе Confidence Level пара классифицируется как зеркала.
7. Транзитивное замыкание: Результаты используются для дальнейшего определения зеркал по транзитивности (если A=B и B=C, то A=C).
8. Исключение из сканирования: Один из идентифицированных зеркал исключается из последующего сканирования и индексирования.

Какие данные и как использует

Данные на входе

Система использует комбинацию технических, контентных, структурных и внешних данных.

• Технические факторы:
  • Структура URL (Path Components).
  • IP-адрес или подсеть (полученные из DNS Map). Совпадение IP является сильным сигналом.
  • Информация о редиректах (Redirect Information).
• Контентные факторы:
  • Полный контент сканированных страниц для анализа точного (exact content) и частичного дублирования (nearly duplicate content).
• Структурные факторы:
  • Структура ссылок и карта сайта (Link Structure/Site Map), часто выводимые из анализа URL путей.
• Внешние данные (Регистрационные):
  • Информация о владельце домена (Owner), полученная из WHOIS Database.

Какие метрики используются и как они считаются

Система вычисляет несколько ключевых метрик для расчета итогового Confidence Level для пары (A, B). Патент приводит конкретный пример псевдокода для расчета уверенности. Примечание: В тексте патента указано, что результат находится в диапазоне от 0 до 1, однако приведенный псевдокод допускает значения выше 1. Мы приводим псевдокод точно так, как он указан в патенте.