Как Google позволяет верифицированным владельцам сайтов управлять скоростью сканирования (Crawl Rate) и выбирать предпочитаемый домен

Термины и определения

Crawl Data (Данные сканирования)

Статистические данные, собираемые во время сканирования. Включают количество посещенных страниц (Number of Pages Accessed), затраченное время на доступ (Time Expended on Access) и количество загруженных байтов (Bytes Downloaded).

Crawl Rate Limit (Лимит скорости сканирования)

Текущее ограничение максимальной скорости, с которой краулер может сканировать сайт.

Limiting Factor (Ограничивающий фактор)

Состояние, при котором Crawl Rate Limit сдерживает фактическую скорость сканирования. Определяется, когда фактическая скорость близка к лимиту.

Past Utilization Value (Значение прошлого использования)

Максимальная фактическая скорость сканирования (maximum crawl rate), зафиксированная за определенный период времени (например, за последние 5-10 сеансов сканирования).

Preferred Domain Name (Предпочитаемое доменное имя)

Доменное имя, выбранное владельцем сайта в качестве канонического для использования в индексе, когда сайт доступен по нескольким эквивалентным доменам.

Site Owner Verification (Верификация владельца сайта)

Процесс подтверждения прав собственности на веб-сайт.

Verification Tag/File (Верификационный тег/файл)

Уникальный идентификатор (мета-тег или файл), размещаемый на сайте для верификации.

Ключевые утверждения (Анализ Claims)

Патент содержит 36 пунктов формулы изобретения. Ключевые независимые пункты описывают механизм управления скоростью сканирования.

Claim 1 (Независимый пункт): Описывает метод индексирования с управлением скоростью сканирования.

1. Система сканирует веб-сайт в соответствии с текущим Crawl Rate Limit.
2. Система сохраняет Crawl Data.
3. Система предоставляет владельцу механизм управления скоростью, отображая часть Crawl Data и позволяя выбрать новый лимит.
4. Система сравнивает максимальную скорость сканирования за период (Past Utilization Value) с текущим Crawl Rate Limit.
5. На основе сравнения определяется, является ли текущий лимит ограничивающим фактором (limiting factor).
6. В ответ на запрос об увеличении скорости сканирования система увеличивает Crawl Rate Limit только тогда, когда текущий лимит является ограничивающим фактором.

Ядро изобретения заключается в условном увеличении скорости. Система проверяет, действительно ли установленный лимит мешает краулеру сканировать быстрее. Если краулер не достигает лимита (например, из-за медленного сервера), лимит не увеличивается.

Claim 5 (Зависимый от 1): Детализирует определение ограничивающего фактора.

Лимит считается ограничивающим фактором, только если разница между текущим Crawl Rate Limit и максимальной скоростью использования (Past Utilization Value) меньше предопределенной величины (например, 10% от лимита).

Claims 3 и 4 (Зависимые от 1): Детализируют обратную связь.

Если лимит не является ограничивающим фактором, система информирует владельца, что запрос на более высокую скорость может не изменить фактическую скорость сканирования, или может запретить выбор более высокой скорости.

Где и как применяется

Изобретение затрагивает этапы сканирования и индексирования и реализуется через интерфейс для вебмастеров (например, GSC).

CRAWLING – Сканирование и Сбор данных
Основной этап применения Crawl Rate Control. Crawl Rate Control Module управляет данными в Per-Site Info DB (База данных информации о сайте), где хранится Crawl Rate Limit. Роботы (Googlebot) или Планировщик (URL Server) используют этот лимит для контроля частоты запросов к сайту. Также на этом этапе собираются Crawl Data и рассчитывается Past Utilization Value.

INDEXING – Индексирование и извлечение признаков
На этом этапе применяется механизм Preferred Domain Name. Когда система обнаруживает ссылки на сайт, использующие непредпочитаемые домены, она перезаписывает URL-адреса на предпочитаемый домен перед индексацией и генерацией метаданных (например, PageRank). Это обеспечивает каноникализацию на уровне домена.

Входные данные:

• Текущий Crawl Rate Limit и Past Utilization Value.
• Запросы от владельца сайта (изменение скорости, выбор домена).
• Verification Tag/File на сайте.
• Список эквивалентных доменных имен.

Выходные данные:

• Обновленный Crawl Rate Limit.
• Уведомления и статистика сканирования для владельца сайта.
• Запись о Preferred Domain Name в Domain Name Database.
• Переписанные (каноникализированные) URL-адреса для индекса.

На что влияет

• Конкретные типы сайтов: Наибольшее влияние на крупные сайты (E-commerce, новостные порталы), где управление Crawl Budget и нагрузкой на сервер критично. Также важно для сайтов со сложной историей доменов, требующих консолидации сигналов.
• Техническое состояние: Влияет на взаимодействие с сайтами, имеющими медленные серверы или ограниченную пропускную способность.

Когда применяется

• Триггеры активации (Crawl Rate): Запрос от верифицированного владельца на изменение скорости сканирования. Логика проверки фактора активируется при запросе на увеличение скорости.
• Триггеры активации (Preferred Domain): Наличие указания от владельца и обнаружение эквивалентных доменов в процессе индексации.
• Временные рамки: Изменения скорости могут применяться немедленно или в следующей сессии. Предпочитаемый домен применяется постоянно.

Пошаговый алгоритм

Патент описывает несколько взаимосвязанных процессов.

Процесс А: Управление скоростью сканирования (Crawl Rate Control)

1. Сбор данных (Фоновый): Система сканирует сайт, соблюдая Crawl Rate Limit, собирает Crawl Data и рассчитывает Past Utilization Value.
2. Запрос на изменение: Верифицированный владелец запрашивает изменение скорости (например, "Faster").
3. Оценка фактора: Система определяет, является ли Crawl Rate Limit ограничивающим фактором.
   • Условие: Если (Crawl Rate Limit - Past Utilization Value) < Порог (например, 10%), то лимит является фактором.
4. Применение изменений:
   • Если лимит является фактором: Система увеличивает Crawl Rate Limit.
   • Если лимит НЕ является фактором: Система информирует владельца об этом и не увеличивает Crawl Rate Limit.
   • Если запрошено снижение скорости: Система снижает Crawl Rate Limit безусловно.

Процесс Б: Выбор предпочитаемого домена (Preferred Domain Name Selection)

1. Предоставление списка: Система предоставляет владельцу список верифицированных эквивалентных доменов.
2. Выбор и валидация: Владелец указывает предпочитаемый домен. Система проверяет его валидность.
3. Сохранение предпочтения: Выбор сохраняется в Domain Name Database.
4. Применение при индексации: Система перезаписывает URL-адреса, используя предпочитаемый домен, и консолидирует метаданные на нем.

Процесс В: Повторная верификация владельца (Site Owner Re-Verification)

1. Запрос: Текущий верифицированный владелец инициирует процесс повторной верификации.
2. Отображение списка: Система предоставляет список всех Verification Tag/File, существующих для сайта.
3. Редактирование: Владелец удаляет недействительные теги/файлы с сайта.
4. Повторная верификация: Система проверяет наличие оставшихся тегов/файлов. Владельцы, чьи идентификаторы отсутствуют, теряют статус верифицированных.

Какие данные и как использует

Данные на входе

• Технические факторы (Crawl/System Data):
  • Number of Pages Accessed: Количество документов, к которым обращались краулеры.
  • Time Expended on Access: Время, затраченное на доступ (включая время ответа сервера).
  • Bytes Downloaded: Объем загруженных данных.
• Факторы Верификации:
  • Наличие Verification File на сервере.
  • Наличие Verification Tag (мета-тег) в коде страницы.
• Факторы Домена:
  • URL-адреса (для определения домена и перезаписи).
  • Список эквивалентных доменов.

Какие метрики используются и как они считаются

• Crawl Rate Limit: Заданное значение максимальной скорости сканирования.
• Past Utilization Value (Maximum Crawl Rate): Вычисляется как максимальная фактическая скорость сканирования, наблюдавшаяся за определенный прошлый период (например, за последние N сессий).
• Ограничивающий фактор (Limiting Factor): Логическое значение (Да/Нет). Рассчитывается путем сравнения Crawl Rate Limit и Past Utilization Value. Условие срабатывания: ИСТИНА, если фактическая скорость близка к лимиту (разница меньше порога).
• Статистика сканирования: Агрегированные данные из Crawl Data (среднее, мин, макс значения по страницам, байтам и времени загрузки).

1. Условное управление скоростью сканирования: Google предоставляет инструменты для управления Crawl Rate Limit, но сохраняет за собой финальное решение об увеличении скорости. Запрос на увеличение удовлетворяется только тогда, когда текущий лимит действительно является узким местом.
2. Диагностика эффективности сканирования: Если система указывает, что лимит не является фактором, это означает, что медленное сканирование вызвано другими причинами – например, низкой производительностью сервера или низким интересом Google к сайту (Crawl Demand).
3. Приоритет консолидации сигналов (Preferred Domain): Патент демонстрирует важность каноникализации на уровне хоста. Система активно использует указания владельца для перезаписи URL и консолидации метаданных (например, PageRank) на одном домене.
4. Верификация как основа доступа: Все критические настройки доступны только верифицированным владельцам. Описан надежный механизм верификации и управления доступом (повторная верификация).
5. Прозрачность взаимодействия: Система предоставляет статистику сканирования и информирует владельца о причинах, по которым изменение скорости может быть неэффективным.

Best practices (это мы делаем)

• Мониторинг статистики сканирования (Crawl Stats): Регулярно анализируйте данные сканирования (Crawl Data) в GSC. Это позволяет понять фактическое использование ресурсов (Past Utilization Value) и выявить проблемы с производительностью сервера (высокое время ответа).
• Оптимизация производительности сервера: Прежде чем запрашивать увеличение скорости сканирования, убедитесь, что сервер быстро отвечает на запросы. Если сервер медленный, Crawl Rate Limit не будет являться ограничивающим фактором, и запрос будет неэффективен.
• Использование лимита для защиты сервера: Активно снижайте Crawl Rate Limit, если Googlebot создает чрезмерную нагрузку в пиковые часы или во время технических работ. Патент подтверждает, что запросы на снижение скорости обрабатываются.
• Консолидация сигналов через предпочитаемый домен: Используйте механизм выбора Preferred Domain Name (в дополнение к 301 редиректам) для консолидации всех сигналов ранжирования на одном каноническом хосте (например, версия с www или без).
• Контроль доступа и повторная верификация: Регулярно проводите аудит верифицированных пользователей в GSC. Используйте механизм повторной верификации для удаления неактуальных верификационных файлов/тегов бывших сотрудников или подрядчиков.

Worst practices (это делать не надо)

• Слепое увеличение скорости: Запрашивать максимальную скорость сканирования в надежде улучшить индексацию, не анализируя, является ли текущий лимит фактором. Это не сработает, если у сайта низкий Crawl Demand или медленный сервер.
• Игнорирование проблем с производительностью: Попытки увеличить скорость сканирования при медленном хостинге. Это не улучшит сканирование и может ухудшить доступность сайта для пользователей.
• Игнорирование настройки предпочитаемого домена: Оставлять сайт доступным по нескольким доменам без четкой каноникализации приводит к размыванию ссылочного веса и дублированию контента.

Стратегическое значение

Патент раскрывает механику управления бюджетом сканирования (Crawl Budget). Он подтверждает, что бюджет состоит из Crawl Rate Limit (ограничение по скорости/мощности сервера) и Crawl Demand (интерес Google к сайту). Патент описывает управление только первой частью. Стратегически важно понимать, что для большинства сайтов ограничивающим фактором является именно Crawl Demand. Работа над качеством и авторитетностью сайта для повышения Crawl Demand важнее, чем манипуляции с настройками скорости.

Практические примеры

Сценарий 1: Диагностика медленной индексации (Запрос отклонен)

1. Ситуация: Владелец сайта замечает медленную индексацию и запрашивает увеличение скорости в GSC.
2. Анализ системы (по патенту): Система проверяет Past Utilization Value (например, 2 запроса/сек) и текущий Crawl Rate Limit (например, 10 запросов/сек). Лимит не является фактором.
3. Результат: Система не увеличивает лимит и показывает уведомление (как на FIG. 24): "Скорость сканирования не является фактором... вы можете не увидеть разницы в скорости".
4. Действия SEO: Фокус на повышении Crawl Demand (качество, ссылки) или оптимизации скорости сервера, если она является причиной низкого Utilization Value.

Сценарий 2: Успешное увеличение скорости после апгрейда сервера

1. Ситуация: Крупный сайт переехал на мощный хостинг и запрашивает увеличение скорости.
2. Анализ системы (по патенту): Система видит, что Crawl Rate Limit составляет 5 запросов/сек, и Past Utilization Value также близок к 5 запросам/сек. Лимит является фактором.
3. Результат: Система увеличивает Crawl Rate Limit и показывает уведомление (как на FIG. 25), рекомендующее выбрать опцию "Faster". Сканирование ускоряется.