Как Google позволяет вебмастерам управлять каноническими доменами, верификацией прав и скоростью сканирования

Описание

Какую задачу решает

Патент решает три ключевые проблемы взаимодействия между поисковой системой и веб-сайтами:

1. Каноникализация доменов: Устраняет дублирование контента и размытие сигналов ранжирования (например, PageRank), когда один и тот же сайт доступен по нескольким эквивалентным доменным именам (например, с www и без www, или разные TLD).
2. Авторизация управления сайтом: Обеспечивает механизм подтверждения того, что только авторизованные владельцы могут управлять критическими настройками индексации и сканирования сайта.
3. Управление нагрузкой сканирования: Позволяет владельцам сайтов влиять на скорость сканирования (Crawl Rate), чтобы сбалансировать свежесть индекса и нагрузку на сервер.

Что запатентовано

Запатентована система, позволяющая владельцу сайта указать предпочтительное доменное имя (Preferred Domain Name) из списка эквивалентных доменов. Система индексирования использует это предпочтение для перезаписи (rewrite) всех URL-адресов сайта к единой канонической форме перед индексацией и расчетом метаданных (например, сигналов ранжирования). Патент также описывает инфраструктуру для верификации владельцев (Site Owner Verification) и предоставления им инструментов управления, включая контроль скорости сканирования (Crawl Rate Control).

Как это работает

Система функционирует в нескольких направлениях:

• Управление доменами: Верифицированный владелец через пользовательский интерфейс выбирает Preferred Domain Name. Во время обработки (сканирования или индексации) система перезаписывает неканонические URL-адреса, заменяя домен на предпочтительный. Все сигналы и метаданные ассоциируются с перезаписанным URL.
• Верификация владельцев: Владельцы подтверждают права с помощью уникального тега (verification tag) или файла (verification file), размещенного на сайте. Система хранит статус верификации и позволяет текущим владельцам управлять списком авторизованных пользователей (re-verify), отзывая права у неактуальных владельцев.
• Управление скоростью сканирования: Система собирает статистику сканирования (количество страниц, байты, время) и предоставляет владельцу интерфейс для запроса более высокой или низкой скорости сканирования. Система может разрешить увеличение скорости, только если текущий лимит является ограничивающим фактором.

Актуальность для SEO

Высокая. Описанные в патенте механизмы являются основой современного Google Search Console. Каноникализация доменов, верификация прав доступа и управление краулинговым бюджетом (хотя и в более автоматизированной форме, чем описанный контроль скорости) остаются критически важными аспектами технического SEO в 2025 году.

Важность для SEO

Патент имеет высокое значение для технического SEO (85/100). Он описывает конкретные механизмы, которые Google использует для определения канонических URL на уровне домена, что напрямую влияет на консолидацию сигналов ранжирования и предотвращение дублирования контента. Понимание процессов верификации и управления сканированием критично для эффективного взаимодействия с поисковой системой и обеспечения корректной индексации сайта.

Детальный разбор

Термины и определения

Crawl Rate (Скорость сканирования)

Скорость, с которой поисковый робот собирает документы с веб-сайта для индексации.

Crawl Rate Limit (Лимит скорости сканирования)

Максимально допустимая скорость сканирования для конкретного сайта, установленная системой или запрошенная владельцем.

Domain Name Database (База данных доменных имен)

Хранилище, содержащее записи о веб-сайтах, их эквивалентных доменных именах, предпочтительном домене и статусе верификации.

Equivalent Domain Names (Эквивалентные доменные имена)

Различные доменные имена, которые указывают на один и тот же веб-сайт (например, domain.com и www.domain.com).

Locator (Локатор)

Идентификатор ресурса, такой как URL (Uniform Resource Locator) или URI (Uniform Resource Identifier).

Metadata (Метаданные)

Данные о документе, генерируемые системой индексирования. В контексте патента это включает document importance value (значение важности документа, например, PageRank).

Preferred Domain Name (Предпочтительное доменное имя)

Доменное имя, выбранное верифицированным владельцем сайта в качестве канонического для использования в индексе поисковой системы.

Rewritten Locator/URL (Перезаписанный локатор/URL)

Каноническая версия URL, полученная путем замены неканонического доменного имени на Preferred Domain Name.

Site Owner Verification (Верификация владельца сайта)

Процесс подтверждения прав пользователя на управление настройками сайта в системе поисковой системы.

Verification file/tag (Верификационный файл/тег)

Уникальный файл или метатег, предоставляемый системой, который владелец должен разместить на сайте для подтверждения прав.

Verified Owner (Верифицированный владелец)

Пользователь, успешно прошедший процесс Site Owner Verification.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод каноникализации домена на стороне веб-краулера (системы индексирования).

1. Система ассоциирует несколько доменных имен с одним веб-сайтом, одно из которых обозначено как предпочтительное (preferred domain name).
2. Для документа на этом сайте, имеющего локатор (URL) с доменом, отличным от предпочтительного, система перезаписывает (rewriting) этот локатор.
3. Новый локатор (rewritten locator) включает предпочтительное доменное имя.
4. Система индексирует документ, используя именно перезаписанный локатор.

Claim 2 и 3 (Зависимые от 1): Уточняют использование канонического URL для расчета сигналов.

Система генерирует метаданные для документа, используя перезаписанный локатор (Claim 2). Эти метаданные включают значение важности документа (document importance value) (Claim 3). Это ключевой момент для SEO: сигналы ранжирования (например, PageRank) консолидируются на канонической версии URL.

Claim 5 (Зависимый от 1): Детализирует процесс выбора предпочтительного домена пользователем.

1. Пользователю предоставляется список верифицированных доменных имен, связанных с аккаунтом сайта.
2. Предоставляется механизм для указания предпочтительного домена.
3. Если указанный домен отсутствует в списке верифицированных, система проверяет, владеет ли пользователь этим доменом.

Claim 11 (Независимый пункт): Описывает процесс обновления предпочтительного домена.

1. Пользователю предоставляется текущее предпочтительное доменное имя и список ассоциированных доменов.
2. Система принимает выбор пользователя нового предпочтительного домена из списка.
3. Система перезаписывает локаторы документов, используя новое предпочтительное доменное имя.

Где и как применяется

Изобретение затрагивает инфраструктуру управления индексацией и взаимодействия с вебмастерами (Google Search Console), а также основные этапы поискового конвейера.

CRAWLING – Сканирование и Сбор данных

• URL Rewriting: Когда краулер обнаруживает ссылку на сайт с настроенным Preferred Domain Name, он может перезаписать URL перед постановкой в очередь на сканирование или сразу после загрузки. Это экономит краулинговый бюджет, избегая сканирования дубликатов.
• Crawl Rate Control: Модуль Crawl Rate Control Module взаимодействует с планировщиком сканирования (URL Scheduler) и роботами (Robots), чтобы ограничить скорость запросов к сайту в соответствии с установленным Crawl Rate Limit, используя данные из Crawl Rate Database.

INDEXING – Индексирование и извлечение признаков

• Каноникализация: На этом этапе происходит финальная перезапись URL к Preferred Domain Name перед сохранением в индексе (Claim 1).
• Signal Consolidation: Метаданные, включая document importance value, рассчитываются и ассоциируются именно с перезаписанным (каноническим) URL (Claims 2, 3).

Вспомогательные системы (Инфраструктура GSC)

• Система обеспечивает работу пользовательских интерфейсов для управления доменами, верификации и контроля скорости сканирования.
• Используются базы данных: Domain Name Database, Site Owner Verification Database, Crawl Rate Database.

Входные данные:

• URL-адреса, обнаруженные в ходе сканирования или через Sitemaps.
• Настройки Preferred Domain Name от верифицированных владельцев.
• Верификационные файлы/теги на сайтах.
• Статистика сканирования (логи роботов).
• Запросы на изменение Crawl Rate.

Выходные данные:

• Перезаписанные (канонические) URL в индексе.
• Консолидированные метаданные (сигналы ранжирования).
• Обновленный статус верификации владельцев.
• Скорректированная скорость сканирования сайта.

На что влияет

• Типы контента и сайтов: Влияет на все типы сайтов, особенно на те, которые исторически использовали несколько доменов (например, миграции, международные версии, www/non-www конфигурации).
• Техническое SEO: Напрямую влияет на обработку дублированного контента и эффективность использования краулингового бюджета.

Когда применяется

Управление доменами:

• Триггер: Когда верифицированный владелец устанавливает или изменяет Preferred Domain Name.
• Применение: Во время сканирования и индексации любого URL, принадлежащего сайту с настроенным предпочтением.

Верификация владельцев:

• Триггер: При попытке пользователя получить доступ к управлению сайтом или при запросе на перепроверку (re-verify) от текущего владельца.
• Применение: Периодическая проверка наличия верификационных файлов/тегов.

Контроль скорости сканирования:

• Триггер: Запрос владельца на изменение скорости.
• Условие для увеличения скорости: Система должна определить, что текущий Crawl Rate Limit является фактором, ограничивающим сканирование (т.е. сайт может выдержать большую нагрузку, и система готова сканировать больше).

Пошаговый алгоритм

Процесс А: Индексация с использованием Preferred Domain Name

1. Ассоциация доменов: Система поддерживает связь между группой эквивалентных доменов и одним Preferred Domain Name на основе настроек владельца.
2. Обнаружение URL: Система обнаруживает URL документа (Specified URL), принадлежащего данному сайту.
3. Проверка домена: Система сравнивает домен в Specified URL с Preferred Domain Name.
4. Перезапись URL: Если домен отличается, система перезаписывает Specified URL в Rewritten URL, заменяя домен на Preferred Domain Name.
5. Генерация метаданных: Система вычисляет метаданные (например, document importance value) для документа, используя Rewritten URL.
6. Индексация: Система индексирует документ, используя Rewritten URL.

Процесс Б: Верификация и Перепроверка владельцев (Site Owner Verification)

1. Хранение данных: Система хранит информацию о текущих верифицированных владельцах, включая их уникальные верификационные теги/файлы.
2. Предоставление информации: Текущему верифицированному владельцу предоставляется его собственный тег/файл и полный список всех тегов/файлов, существующих для сайта.
3. Модификация списка: Владелец может удалить из списка неактуальные теги/файлы (принадлежащие бывшим владельцам).
4. Запрос на перепроверку: Владелец инициирует процесс перепроверки.
5. Ре-верификация: Система проверяет наличие оставшихся в списке тегов/файлов на сайте. Владельцы, чьи теги/файлы не найдены, теряют статус верифицированного (инвалидация).

Процесс В: Контроль скорости сканирования (Crawl Rate Control)

1. Сканирование и сбор данных: Система сканирует сайт в соответствии с текущим Crawl Rate Limit и сохраняет статистику (Crawl Data).
2. Анализ лимита: Система определяет, является ли текущий Crawl Rate Limit фактором, ограничивающим объем сканирования.
3. Предоставление интерфейса: Владельцу предоставляется интерфейс с данными о сканировании и опциями изменения скорости (Faster, Normal, Slower).
4. Обработка запроса:
   • Если запрошена более низкая скорость: Лимит снижается.
   • Если запрошена более высокая скорость И лимит является фактором: Лимит повышается.
   • Если запрошена более высокая скорость И лимит НЕ является фактором: Владелец информируется, что изменение скорости может не дать эффекта, лимит не изменяется.

Какие данные и как использует

Данные на входе

• Технические факторы: URL-структура (доменное имя в URL). Данные для верификации: наличие специфических метатегов (verification tag) в коде страницы или наличие специфических файлов (verification file) на сервере.
• Пользовательские факторы (Действия вебмастера): Выбор Preferred Domain Name через интерфейс. Запрос на изменение Crawl Rate. Управление списком верификационных тегов/файлов.
• Системные данные (Логи): Статистика сканирования (Crawl Data), используемая для контроля скорости: количество запрошенных страниц (Number of Pages Accessed), время доступа (Time Expended on Access), загруженные байты (Bytes Downloaded).

Какие метрики используются и как они считаются

• Document Importance Value (PageRank): Метрика важности документа. Патент указывает, что она рассчитывается для перезаписанного (канонического) URL.
• Verification Status: Бинарный статус (верифицирован/не верифицирован). Определяется наличием корректного verification tag/file на сайте.
• Crawl Rate Limit: Метрика, ограничивающая скорость сканирования. Может быть изменена владельцем при определенных условиях.
• Past Utilization Value: Метрика прошлой утилизации ресурсов сканирования (например, максимальная скорость, наблюдавшаяся за определенный период). Используется для определения, является ли Crawl Rate Limit ограничивающим фактором.

Выводы

1. Доменная каноникализация – это перезапись URL: Google не просто учитывает предпочтение владельца как подсказку, а активно перезаписывает (rewrite) URL-адреса к предпочтительному домену перед индексацией. Это жесткий механизм каноникализации.
2. Консолидация сигналов на каноническом домене: Патент явно подтверждает, что метаданные, включая document importance value (PageRank), генерируются для перезаписанного URL (Claims 2, 3). Это обеспечивает полную консолидацию сигналов ранжирования на выбранном домене.
3. Верификация – ключ к управлению: Доступ к критическим настройкам (выбор домена, скорость сканирования) предоставляется только верифицированным владельцам. Система верификации основана на размещении уникальных идентификаторов (тегов/файлов).
4. Управление доступом (Re-verification): Патент описывает механизм, позволяющий текущим владельцам отзывать права у предыдущих владельцев путем удаления их верификационных идентификаторов и запуска перепроверки. Это важно для безопасности управления сайтом.
5. Ограниченное управление скоростью сканирования: Владельцы могут запрашивать изменение Crawl Rate, но увеличение скорости будет одобрено, только если система считает, что текущий лимит действительно сдерживает сканирование. Запрос на увеличение скорости не гарантирует его выполнения.

Практика

Best practices (это мы делаем)

• Настройка Preferred Domain: Всегда указывайте предпочтительный домен (например, с www или без) через инструменты для вебмастеров (GSC). Это гарантирует, что Google будет использовать механизм перезаписи URL для консолидации всех сигналов на выбранной версии (Claims 1, 2, 3).
• Поддержание актуальности верификации: Регулярно проверяйте список верифицированных владельцев в GSC. При смене команды или подрядчиков используйте механизм re-verification: удаляйте старые верификационные файлы/теги и инициируйте перепроверку, чтобы отозвать доступ у неавторизованных лиц.
• Использование уникальных методов верификации: Для каждого пользователя используйте отдельный верификационный метод (файл или тег), чтобы упростить управление доступом в будущем.
• Мониторинг статистики сканирования: Используйте данные о сканировании (Crawl Data), предоставляемые системой, для понимания того, как Googlebot взаимодействует с сервером (количество запросов, объем данных).
• Корректное использование Crawl Rate Control: Если необходимо снизить нагрузку на сервер, используйте функцию снижения скорости сканирования. При запросе на увеличение скорости учитывайте, что система может его отклонить, если не считает текущий лимит ограничивающим фактором.

Worst practices (это делать не надо)

• Игнорирование настроек канонического домена: Не оставляйте выбор канонического домена на усмотрение поисковой системы, если сайт доступен по нескольким адресам. Это может привести к размытию сигналов ранжирования, так как механизм жесткой перезаписи не будет активирован без явного указания предпочтений.
• Общие методы верификации: Не используйте один и тот же верификационный файл или тег для нескольких пользователей. Это затруднит отзыв прав у одного пользователя без влияния на других.
• Забытые верификационные файлы: Не оставляйте на сервере верификационные файлы бывших сотрудников или агентств. Это создает риск несанкционированного доступа к управлению настройками индексации.
• Бесполезные запросы на увеличение Crawl Rate: Не пытайтесь многократно запрашивать увеличение скорости сканирования, если система сообщает, что текущий лимит не является фактором. Это не приведет к увеличению объема индексации.

Стратегическое значение

Этот патент подчеркивает важность технической гигиены и активного управления тем, как сайт представлен в поисковой системе. Он подтверждает, что Google предоставляет инструменты для решения фундаментальных проблем (каноникализация, авторизация, нагрузка на сервер), но требует от SEO-специалистов их корректного использования. Стратегически, это означает, что консолидация сигналов и безопасность управления индексацией являются приоритетами, заложенными в инфраструктуру Google.

Практические примеры

Сценарий 1: Консолидация доменов (www/non-www)

1. Ситуация: Сайт доступен по http://example.com и http://www.example.com. Сигналы размыты.
2. Действие: Владелец верифицирует оба домена в GSC и выбирает http://www.example.com как Preferred Domain Name.
3. Результат (по патенту): Когда Google обнаруживает ссылку на http://example.com/page1, он перезаписывает ее на http://www.example.com/page1. Индексируется только вторая версия, и все метаданные (document importance value) консолидируются на ней.

Сценарий 2: Отзыв прав у бывшего агентства

1. Ситуация: Агентство А имело доступ к GSC сайта, используя верификационный файл googleXXXX.html. Контракт расторгнут.
2. Действие: Текущий владелец заходит в интерфейс управления верификацией (Site Owner Verification GUI), видит список всех файлов, удаляет googleXXXX.html с сервера и нажимает кнопку «Re-verify website owners».
3. Результат (по патенту): Система проводит перепроверку. Файл агентства А не найден. Статус верификации агентства А изменяется на недействительный (инвалидация), доступ отзывается.

Вопросы и ответы