Как Google позволяет владельцам сайтов выбирать предпочтительный (канонический) домен для индексации и управлять скоростью сканирования

Термины и определения

Crawl Rate (Скорость сканирования)

Частота, с которой поисковые роботы (Robots) запрашивают документы с веб-сайта.

Crawl Rate Limit (Лимит скорости сканирования)

Максимально допустимая скорость сканирования для конкретного сайта, установленная системой или владельцем сайта.

Domain Name Database (База данных доменных имен)

Хранилище, содержащее записи о веб-сайтах, их эквивалентных доменных именах, предпочтительном домене и статусе верификации.

Equivalent Domain Names (Эквивалентные доменные имена)

Различные доменные имена, которые ведут на один и тот же веб-сайт (например, example.com и www.example.com).

Past Utilization Value (Значение прошлого использования)

Метрика, отражающая максимальную скорость сканирования или нагрузку, зафиксированную на сайте за определенный прошлый период.

Preferred Domain Name (Предпочтительное доменное имя)

Доменное имя, выбранное верифицированным владельцем как каноническое для использования в индексе поисковой системы.

Sitemap (Карта сайта)

Документ (часто в формате XML), содержащий список URL-адресов веб-сайта, доступных для сканирования, и метаданные о них (дата изменения, приоритет). Патент также описывает методы их генерации.

URL Rewriting (Перезапись URL)

Процесс изменения URL-адреса документа с непредпочтительного доменного имени на предпочтительное доменное имя перед индексацией.

Verification Status (Статус верификации)

Индикатор, показывающий, подтверждено ли право собственности пользователя на веб-сайт в текущий момент.

Verification Tag/File (Тег/Файл верификации)

Специальный метатег или файл с уникальным идентификатором, размещаемый на сайте для подтверждения прав собственности.

Verified Owner (Верифицированный владелец)

Пользователь, подтвердивший свои права на управление веб-сайтом с помощью механизма верификации.

Ключевые утверждения (Анализ Claims)

Патент охватывает три основные области: управление предпочтительным доменом, верификацию владельцев и контроль скорости сканирования.

Claim 1 (Независимый пункт): Описывает основной процесс индексации с использованием предпочтительного домена.

1. Система ассоциирует множество доменных имен (включая одно предпочтительное) с веб-сайтом.
2. Для документа, чей URL использует непредпочтительное доменное имя, система перезаписывает этот URL на новый, использующий предпочтительное доменное имя.
3. Система индексирует документ, используя перезаписанный URL.

Это фундаментальный механизм каноникализации на уровне домена, основанный на предпочтениях владельца. Ключевым моментом является то, что перезапись происходит до индексации.

Claim 2 и 3 (Зависимые): Уточняют, что метаданные, в частности document importance value (показатель важности документа, например, PageRank), генерируются для перезаписанного URL.

Это подтверждает, что целью перезаписи является консолидация сигналов ранжирования на каноническом URL.

Claim 5 (Зависимый): Детализирует процесс установления ассоциации.

1. Предоставляется список верифицированных доменных имен.
2. Предоставляется механизм для указания пользователем предпочтительного домена.
3. Если указанный домен отсутствует в списке, система проверяет права собственности пользователя на этот домен.

Это подчеркивает важность верификации для управления настройками индексации.

Claim 11 (Независимый пункт): Описывает процесс с точки зрения взаимодействия с пользователем.

1. Отображение текущего предпочтительного домена.
2. Отображение списка ассоциированных доменных имен.
3. Принятие выбора пользователя нового предпочтительного домена.
4. Перезапись URL-адресов документов на новый предпочтительный домен.

Этот пункт защищает пользовательский интерфейс (например, в Google Search Console) для управления каноническим доменом.

Где и как применяется

Изобретение затрагивает этапы сканирования и индексирования, а также инфраструктуру взаимодействия с владельцами сайтов.

CRAWLING – Сканирование и Сбор данных
На этом этапе система (Web Crawler System) применяет два ключевых механизма:

1. URL Rewriting: При обнаружении ссылок на сайт система проверяет предпочтения домена. Если ссылка ведет на непредпочтительный домен, URL может быть перезаписан на предпочтительный домен до того, как он будет поставлен в очередь на сканирование или обработан, экономя краулинговый бюджет.
2. Crawl Rate Control: Модуль контроля скорости сканирования и база данных (Crawl Rate Database) определяют скорость, с которой роботы могут обращаться к сайту, основываясь на установленных лимитах (Crawl Rate Limit) и исторических данных (Past Utilization Value).

INDEXING – Индексирование и извлечение признаков
На этом этапе обрабатываются уже перезаписанные (канонические) URL.

1. Серверы обработки контента анализируют документы по каноническим URL.
2. Метаданные, включая показатели важности документа (рассчитываемые Page Rankers), ассоциируются именно с каноническим URL.
3. Индексаторы вносят документ в индекс под каноническим URL.

Входные данные:

• Настройки предпочтительного домена от верифицированного владельца.
• Настройки скорости сканирования от верифицированного владельца.
• Данные верификации (наличие Verification Tag/File на сайте).
• URL-адреса, найденные в ходе сканирования или полученные из Sitemaps.
• Статистика сканирования (количество страниц, байты, время доступа).

Выходные данные:

• Перезаписанные (канонические) URL-адреса в индексе.
• Консолидированные метаданные (например, PageRank) для канонических URL.
• Скорректированная скорость сканирования сайта.

На что влияет

• Конкретные типы сайтов: Наибольшее влияние оказывается на сайты, доступные по нескольким адресам: сайты с конфигурацией WWW и без WWW, сайты, прошедшие миграцию доменов, международные сайты с несколькими TLD, указывающими на один контент, или сайты, использующие домены-синонимы.
• Контентные факторы: Влияет на то, как консолидируется авторитетность контента, предотвращая его дублирование в индексе.

Когда применяется

• Условия активации (Preferred Domain): Механизм перезаписи URL активируется, когда верифицированный владелец установил предпочтение для группы эквивалентных доменов. Перезапись происходит каждый раз, когда система обрабатывает URL, принадлежащий этой группе.
• Условия активации (Crawl Rate Control): Контроль скорости сканирования применяется постоянно. Возможность увеличения скорости (Faster crawl rate) предоставляется только в том случае, если текущий лимит является ограничивающим фактором (Is crawl rate limit a factor?).
• Условия активации (Verification): Проверка статуса владельца происходит при попытке изменить настройки. Периодическая ре-верификация может происходить автоматически или по запросу одного из владельцев для управления списком доступа.

Пошаговый алгоритм

Процесс А: Выбор предпочтительного домена (Preferred Domain Name Selection)

1. Инициализация: Пользователю (предполагается, что он верифицирован для хотя бы одного домена сайта) предоставляется список верифицированных доменных имен, связанных с сайтом.
2. Ввод данных: Пользователю предоставляется механизм (GUI) для указания предпочтительного доменного имени.
3. Валидация выбора: Система проверяет, находится ли выбранный домен в списке верифицированных.
   • Если ДА: Переход к шагу 5.
   • Если НЕТ: Переход к шагу 4.
4. Проверка собственности: Система проверяет, владеет ли пользователь указанным доменом (т.е., может ли он пройти верификацию для него).
   • Если ДА: Переход к шагу 5.
   • Если НЕТ: Запрос на указание другого домена.
5. Применение: Система принимает указанное доменное имя как Preferred Domain Name для перезаписи URL и метаданных документов этого сайта.

Процесс Б: Индексирование с использованием предпочтительного домена

1. Ассоциация: Установление связи между группой эквивалентных доменов и предпочтительным доменом (на основе Процесса А).
2. Перезапись URL: Для документа с определенным URL, использующим непредпочтительный домен, этот URL перезаписывается на новый URL, включающий предпочтительное доменное имя.
3. Генерация метаданных: Метаданные (например, PageRank) генерируются для документа с использованием перезаписанного URL.
4. Индексирование: Документ индексируется с использованием перезаписанного URL.

Процесс В: Контроль скорости сканирования (Crawl Rate Control)

1. Мониторинг: Сайт сканируется в соответствии с текущим лимитом скорости (Crawl Rate Limit). Данные о сканировании (Crawl Data) сохраняются.
2. Анализ: Система определяет, является ли текущий лимит скорости ограничивающим фактором (сравнивая его с Past Utilization Value).
3. Предоставление интерфейса: Владельцу сайта предоставляется механизм контроля скорости и статистика сканирования.
4. Корректировка скорости:
   • Если лимит является фактором: Владельцу разрешается выбрать более высокую скорость, и лимит увеличивается.
   • Если лимит НЕ является фактором: Владелец информируется об этом, и лимит не увеличивается, даже если выбрана более высокая скорость. Владелец всегда может выбрать более низкую скорость.

Какие данные и как использует

Данные на входе

• Технические факторы: URL-адреса, Доменные имена. Критически важным является наличие на сайте специфических файлов (Verification File) или метатегов (Verification Tag) для подтверждения прав собственности.
• Пользовательские факторы (Владельца сайта): Ввод данных верифицированным владельцем через GUI: выбор предпочтительного домена, выбор скорости сканирования (Faster, Normal, Slower). Идентификатор пользователя (User ID) для привязки настроек к аккаунту.
• Временные факторы: Метки времени (Timestamp), связанные с верификацией владельца и установкой предпочтений. Статистика сканирования за период времени (например, для расчета Past Utilization Value).
• Системные данные: Crawl Data (статистика по количеству доступных страниц, времени доступа, загруженным байтам). Данные из Domain Name Database и Site Owner Verification Database.

Какие метрики используются и как они считаются

• Verification Status: Булева метрика (верифицирован/не верифицирован). Определяется путем проверки наличия корректного Verification Tag/File на сайте для данного пользователя.
• Preferred Flag / Preferred Domain Name: Индикатор, указывающий канонический домен для группы эквивалентных доменов. Устанавливается владельцем сайта.
• Crawl Rate Limit: Метрика, определяющая максимальную скорость сканирования. Может быть выражена в количестве запросов за период времени или пропускной способности.
• Past Utilization Value: Историческая метрика максимальной скорости сканирования за определенный период. Используется для определения того, является ли текущий лимит ограничивающим фактором.
• Document Importance Value (PageRank): Упоминается в патенте как метаданные, которые генерируются для перезаписанного (канонического) URL. Патент не описывает расчет этой метрики, но указывает на ее использование в контексте консолидации.

1. Каноникализация через перезапись URL: Google использует механизм URL Rewriting для решения проблемы эквивалентных доменов. URL-адреса приводятся к предпочтительному виду до индексации, что является эффективным способом консолидации сигналов.
2. Консолидация сигналов ранжирования: Основная цель выбора предпочтительного домена — гарантировать, что метаданные, такие как PageRank (document importance value), рассчитываются и применяются к каноническому URL, предотвращая размывание авторитетности.
3. Критичность верификации владельца: Доступ к управлению критическими настройками индексации (предпочтительный домен) и сканирования (Crawl Rate) предоставляется исключительно верифицированным владельцам. Механизм верификации через уникальные теги/файлы является обязательным условием.
4. Управление владением (Re-verification): Патент описывает механизм управления списком владельцев, позволяя текущим владельцам удалять устаревшие верификационные файлы и инициировать повторную проверку прав, обеспечивая актуальность доступа.
5. Интеллектуальный контроль скорости сканирования: Система не просто позволяет менять скорость сканирования, но и анализирует, является ли текущий лимит реальным ограничением (используя Past Utilization Value). Увеличение скорости разрешается только тогда, когда это действительно необходимо для более полного охвата сайта.
6. Инфраструктура GSC: Патент фактически описывает техническую реализацию и пользовательские интерфейсы ключевых функций Google Search Console (Webmaster Tools), включая генерацию Sitemaps, управление доменами, верификацию и контроль сканирования.

Best practices (это мы делаем)

• Обеспечение верификации в GSC: Необходимо убедиться, что все версии сайта (включая www/без www, http/https) добавлены и верифицированы в Google Search Console. Это обеспечивает доступ к инструментам управления, описанным в патенте.
• Последовательная каноникализация: Необходимо иметь четкую стратегию выбора предпочтительного домена. Хотя современные методы чаще используют 301 редиректы и rel=canonical, этот патент подтверждает, что Google фундаментально стремится индексировать только одну версию домена. Все внутренние ссылки и Sitemaps должны использовать предпочтительный домен.
• Управление скоростью сканирования (Crawl Rate): Используйте инструменты GSC (основанные на Crawl Rate Control) для мониторинга нагрузки на сервер. При необходимости снижайте скорость, чтобы избежать проблем с производительностью. Если контент обновляется часто, а сервер имеет запас мощности, можно запросить увеличение скорости, следуя логике патента.
• Управление доступом владельцев: Регулярно проверяйте список верифицированных владельцев в GSC. Используйте механизм ре-верификации, описанный в патенте (удаление старых файлов/тегов верификации), для удаления неавторизованных пользователей или бывших сотрудников/агентств.
• Поддержание верификационных файлов: Убедитесь, что используемые методы верификации (метатеги, HTML-файлы) надежно защищены и не будут случайно удалены при обновлениях сайта.

Worst practices (это делать не надо)

• Игнорирование каноникализации домена: Позволять Google индексировать несколько версий домена (например, www и без www) одновременно. Это приводит к размыванию сигналов ранжирования, как описано в патенте.
• Удаление верификационных файлов: Случайное удаление Verification Tag/File приведет к потере статуса верифицированного владельца и доступа к управлению настройками индексации и сканирования.
• Бесконтрольное предоставление прав владельца: Предоставление полного доступа (статуса владельца) временным подрядчикам без последующего аудита и отзыва прав.
• Необоснованное изменение скорости сканирования: Попытка установить максимальную скорость сканирования на слабом хостинге может привести к недоступности сайта, или запрос может быть просто проигнорирован системой, если текущий лимит не является фактором.

Стратегическое значение

Этот патент подчеркивает стратегический приоритет Google в отношении чистоты индекса и эффективного сканирования. Он демонстрирует стремление Google взаимодействовать напрямую с верифицированными владельцами сайтов для получения точных инструкций по индексации. Для SEO-специалистов это подтверждает, что техническая конфигурация сайта и использование инструментов для вебмастеров (GSC) являются не опциональными, а фундаментальными требованиями для успешного продвижения. Консолидация сигналов на канонических URL является основой для построения авторитетности.

Практические примеры

Сценарий 1: Каноникализация домена (WWW vs без WWW)

1. Ситуация: Сайт доступен по example.com и www.example.com. Google индексирует обе версии.
2. Действие (по патенту): Владелец проходит верификацию для обоих доменов. Используя интерфейс (аналогичный описанному в патенте для GSC), он выбирает www.example.com как Preferred Domain Name.
3. Результат: Когда краулер встречает ссылку на example.com/page1.html, система применяет URL Rewriting и изменяет её на www.example.com/page1.html перед индексацией. Сигналы консолидируются на версии с WWW.

Сценарий 2: Управление скоростью сканирования для крупного E-commerce сайта

1. Ситуация: Крупный магазин запускает распродажу, нагрузка на сервер возрастает, и активность Googlebot усугубляет проблемы с производительностью.
2. Действие (по патенту): Верифицированный владелец использует интерфейс Crawl Rate Control и выбирает опцию "Slower" (Медленнее), чтобы снизить использование сетевых ресурсов.
3. Результат: Система применяет новый Crawl Rate Limit, и роботы Google снижают частоту запросов, уменьшая нагрузку на сервер во время пикового трафика.