Как Google управляет лимитом скорости сканирования (Crawl Rate Limit) и распределяет нагрузку между своими краулерами, чтобы не перегрузить сервер

Описание

Какую задачу решает

Патент решает критическую инфраструктурную проблему: предотвращение перегрузки веб-серверов (хостов), вызванной одновременными запросами от нескольких различных краулеров одной поисковой системы (например, Main Crawler, News Crawler, Image Crawler). Без централизованного управления суммарная нагрузка может превысить пропускную способность сервера, что приводит к замедлению работы сайта, ошибкам и неэффективному использованию ресурсов сканирования (в патенте это называется load capacity starvation — нехватка пропускной способности для краулеров).

Что запатентовано

Запатентована система и метод динамического распределения пропускной способности веб-хоста (Load Capacity). Ядром системы является Host Load Server (HLS), который централизованно управляет доступом. HLS использует механизм «аренды» (Lease), выделяя краулерам долю пропускной способности на ограниченное время на основе их приоритета (Priority) и максимальной емкости хоста (Maximum Load Capacity).

Как это работает

Система функционирует как центральный диспетчер скорости сканирования:

• Определение лимита: Для каждого хоста или группы IP-адресов определяется Maximum Load Capacity (количество запросов в единицу времени).
• Запрос мощности: Перед сканированием краулер запрашивает мощность у Host Load Server.
• Расчет доли (Fair Share): HLS рассчитывает «справедливую долю» для краулера, учитывая его Priority (например, у краулера новостей приоритет может быть выше) и запросы других конкурирующих краулеров.
• Выделение аренды (Lease): Краулеру выделяется мощность на заданное время с установленными сроками обновления и истечения.
• Динамическое управление: Краулеры должны продлевать аренду. Если аренда не продлена (например, из-за сбоя краулера) или краулер завершил работу, мощность автоматически освобождается и перераспределяется.
• Группировка по IP: Хосты на одном IP-адресе группируются и разделяют общую пропускную способность (Group Load Capacity).

Актуальность для SEO

Высокая. Управление бюджетом сканирования (Crawl Budget) и лимитом скорости сканирования (Crawl Rate Limit) остается фундаментальной задачей для Google. Механизмы, описанные в патенте, лежат в основе того, как Google обеспечивает эффективное сканирование, не вызывая проблем с производительностью веб-серверов. Принципы централизованного балансирования нагрузки и приоритизации потоков сканирования критически важны для работы Googlebot.

Важность для SEO

Патент имеет значительное влияние на техническое SEO (75/100). Хотя он описывает внутреннюю инфраструктуру и не влияет на ранжирование напрямую, он регулирует скорость и полноту индексации сайта (Crawl Budget). Патент подчеркивает критическую важность производительности сервера и конфигурации IP-адресов (особенно в условиях общего хостинга) для обеспечения эффективного взаимодействия с Googlebot.

Детальный разбор

Термины и определения

Host Load Server (HLS) (Сервер нагрузки хоста)

Централизованный компонент в архитектуре поисковой системы, отвечающий за распределение пропускной способности веб-хостов между конкурирующими краулерами.

Lease (Аренда)

Соглашение между HLS и краулером. Предоставляет краулеру определенную долю пропускной способности (Allocated Capacity) на ограниченный период времени. Включает временные метки для обновления и истечения.

Maximum Load Capacity / Maximum Allowed Load Level (Максимальная пропускная способность)

Максимальное количество запросов в единицу времени (например, в минуту), которое поисковая система может коллективно отправить на веб-хост. Эквивалент Crawl Rate Limit.

Priority (Приоритет краулера)

Вес, присвоенный определенному краулеру (например, News Crawler может иметь более высокий приоритет, чем Image Crawler). Используется для расчета доли при конкуренции.

Fair Share (Справедливая доля)

Доля пропускной способности хоста, которую краулер должен получить, рассчитанная на основе его приоритета относительно приоритетов других конкурирующих краулеров.

Lease Update Time/Alert (Время/Оповещение об обновлении аренды)

Время, к которому краулер должен запросить продление. Если запрос не поступает, срабатывает внутреннее оповещение (Alert), инициирующее автоматический перерасчет доли.

Lease Expire Time/Alert (Время/Оповещение об истечении аренды)

Тайм-аут (например, через 15 секунд после Update Time). Если краулер не отвечает, аренда аннулируется, а мощность освобождается. Механизм защиты от сбоев краулеров.

Group Name (Имя группы) / Host Grouping

Механизм группировки нескольких веб-хостов (доменов) под одним каноническим именем, обычно IP-адресом. Используется для управления нагрузкой на физическом сервере, обслуживающем несколько сайтов.

Group Load Capacity (Групповая пропускная способность)

Общая максимальная пропускная способность, выделенная для группы веб-хостов на одном IP-адресе.

Estimated Download Time (Оценочное время загрузки)

Среднее время, необходимое для загрузки документа с веб-хоста. Отслеживается на стороне краулера для планирования следующего запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ограничения запросов.

1. Система получает запросы на мощность от краулеров для хостов, каждый из которых имеет Maximum Allowed Load Level.
2. Для каждой пары краулер-хост создается Lease. Аренда включает выделенную мощность и два времени: Lease Update Time и Lease Expire Time (истечение наступает позже обновления).
3. Система гарантирует, что сумма выделенных мощностей не превышает Maximum Allowed Load Level хоста.
4. По наступлении Lease Update Time, если краулер не прислал запрос на продление (удовлетворение предопределенного условия), система автоматически обновляет аренду, пересчитывая долю мощности и устанавливая новое время истечения.

Ядро изобретения — централизованное управление нагрузкой с использованием временных аренд и механизмом автоматического перераспределения и отзыва ресурсов для обеспечения динамичности и отказоустойчивости.

Claim 3 (Зависимый от 1): Уточняет механизм распределения мощности.

1. Каждому краулеру назначается Priority.
2. Выделяемая мощность является функцией от Priority краулера и доступной (нераспределенной) мощности хоста.

Это подтверждает, что Google внутренне приоритизирует свои краулеры (например, Новости над Картинками) при конкуренции за ресурсы сервера.

Claim 8 (Зависимый от 1): Описывает механизм группировки хостов.

1. Веб-хосты группируются по их IP-адресам. Каждой группе назначается Group Maximum Allowed Load Level.
2. При создании аренд система ограничивает общую выделенную мощность уровнем группы для всех хостов в этой группе.

Это критически важный пункт для понимания управления нагрузкой на виртуальном хостинге (shared hosting). Лимит скорости сканирования применяется к IP-адресу, а не к домену.

Где и как применяется

Патент описывает внутренние процессы Google, относящиеся исключительно к этапу сканирования.

CRAWLING – Сканирование и Сбор данных

Изобретение является ключевым компонентом управления бюджетом сканирования (Crawl Budget Management) и планирования сканирования (Crawl Scheduling).

Взаимодействие компонентов:

1. URL Server (внутри краулера): Определяет, какие URL нужно скачать, и отправляет запрос на мощность (Request Capacity) в Host Load Server.
2. Host Load Server (HLS): Центральный арбитр. Принимает запрос, рассчитывает долю на основе приоритетов и доступной мощности хоста/IP, создает Lease и возвращает выделенную мощность (Allocate Capacity).
3. Download Robots (внутри краулера): Получают URL от URL Server и выполняют загрузку с веб-хоста со скоростью, не превышающей выделенную мощность.

Входные данные:

• Запросы на получение/освобождение мощности от краулеров.
• Таблица максимальной пропускной способности хостов/IP (Web Host Load Capacity Table).
• Таблица приоритетов краулеров (Web Crawler Priority Table).

Выходные данные:

• Аренда (Lease), предоставляющая краулеру определенную пропускную способность на ограниченный срок.

На что влияет

• Техническая инфраструктура (IP и Хостинг): Оказывает значительное влияние на сайты на виртуальном хостинге (Shared Hosting). Из-за механизма группировки по IP, бюджет сканирования распределяется между всеми доменами на одном IP.
• Скорость и полнота индексации: Определяя максимальную скорость сканирования, этот механизм напрямую влияет на то, как быстро контент попадает в индекс.
• Типы контента: Влияет на скорость индексации разных типов контента. Контент, обрабатываемый краулерами с более высоким Priority (например, Новости), будет сканироваться быстрее при ограниченной мощности сервера.

Когда применяется

Алгоритм применяется непрерывно, в реальном времени. Каждый раз, когда краулер планирует отправить запросы к веб-хосту или группе IP-адресов, он должен взаимодействовать с Host Load Server для получения или продления Lease.

Пошаговый алгоритм

Процесс А: Обработка запроса на мощность от краулера

1. Получение запроса: Host Load Server (HLS) получает запрос на получение мощности для хоста от краулера.
2. Определение ресурсов и конкуренции: HLS определяет Maximum Load Capacity хоста (или IP-группы) и идентифицирует всех конкурирующих краулеров.
3. Расчет Справедливой Доли (Fair Share): HLS рассчитывает Fair Share для краулера на основе его Priority относительно суммы приоритетов всех конкурентов.
4. Выделение мощности: Краулеру выделяется мощность, которая обычно является минимумом между его Fair Share и доступной нераспределенной мощностью.
5. Создание/Обновление Аренды (Lease): Создается или обновляется Lease с указанием выделенной мощности и временных меток (Update Time, Expire Time).
6. Планирование Оповещений (Alerts): HLS устанавливает внутренние таймеры (в Timeline Data Structure) для Lease Update Alert и Lease Expire Alert. Если аренда обновлялась, старые таймеры отменяются.
7. Ответ краулеру: Выделенная мощность сообщается краулеру.

Процесс Б: Обработка освобождения мощности

1. Получение запроса на освобождение: Краулер завершил работу и отправляет запрос на освобождение (Capacity Releasing Request).
2. Прекращение Аренды: HLS прекращает аренду, освобождает мощность для перераспределения и отменяет все связанные оповещения.

Процесс В: Автоматическое управление (Failsafe)

1. Срабатывание Lease Update Alert: Если краулер не запросил продление вовремя. HLS автоматически пересчитывает долю краулера на основе текущей конкуренции.
2. Срабатывание Lease Expire Alert: Если краулер по-прежнему не отвечает (например, сбой). HLS полностью освобождает мощность краулера и прекращает аренду.

Какие данные и как использует

Данные на входе

Патент описывает внутренние процессы Google без прямых рекомендаций для SEO. Он фокусируется на инфраструктуре сканирования и не использует контентные, ссылочные или поведенческие факторы.

• Технические факторы:
  • IP-адрес хоста: Критически важен для группировки хостов (Host Grouping) и применения общих лимитов (Group Load Capacity).
  • Maximum Load Capacity: Предопределенное ограничение скорости сканирования для хоста или IP-адреса. Упоминается, что оно может быть установлено на основе знаний о пропускной способности хоста или по запросу веб-мастеров.
  • Estimated Download Time: Время ответа сервера. Отслеживается краулером для определения эффективности использования выделенной мощности.
• Системные данные (Внутренние):
  • Crawler ID: Идентификатор краулера (например, News, Image).
  • Crawler Priority: Заранее определенный вес для каждого типа краулера.

Какие метрики используются и как они считаются

• Priority (Приоритет): Статическое значение, присвоенное краулеру администратором системы.
• Fair Share (Справедливая доля): Рассчитывается динамически. Формула, указанная в патенте: FairShare_i = Capacity * (Priority_i / Sum(Priorities)). Доля краулера пропорциональна его приоритету относительно суммы приоритетов всех конкурирующих краулеров.
• Allocated Capacity (Выделенная мощность): Фактически выделенная мощность. Рассчитывается как функция: Min(Capacity — Capacity_allocated, FairShare_i). Гарантирует, что краулер не получит больше, чем доступно.
• Тайм-ауты (Lease Update/Expire Time): Временные пороги для управления жизненным циклом аренды. Expire Time обычно устанавливается позже Update Time (например, на 15 секунд).

Выводы

1. Централизованный контроль Crawl Rate Limit: Google использует сложную, централизованную систему (Host Load Server) для управления нагрузкой на хосты со стороны всех своих краулеров. Это позволяет глобально контролировать лимит скорости сканирования.
2. Внутренняя приоритизация и конкуренция краулеров: Разные краулеры Google (Main, News, Image) имеют разные приоритеты (Priority) и конкурируют за ресурсы сервера. Google может предпочесть сканирование новостей сканированию основного индекса при нехватке мощности.
3. Управление нагрузкой на уровне IP-адреса: Критически важный вывод (Claim 8) — пропускная способность управляется на уровне IP-адреса (Host Grouping), а не домена. Несколько доменов на одном IP делят общий бюджет сканирования для этого IP (Group Load Capacity).
4. Динамическое распределение через «Аренду» (Lease): Бюджет выделяется в виде краткосрочной аренды. Система быстро перераспределяет ресурсы в зависимости от потребностей краулеров в реальном времени.
5. Отказоустойчивость: Механизм Lease Expire Alert гарантирует, что если краулер выйдет из строя, зарезервированная им мощность будет автоматически освобождена, предотвращая «зависание» бюджета.
6. Зависимость от производительности сервера: Maximum Load Capacity хоста является ключевым параметром. Кроме того, краулеры отслеживают Estimated Download Time. Более быстрые серверы обеспечивают более эффективное использование выделенного бюджета сканирования.

Практика

Best practices (это мы делаем)

• Оптимизация производительности сервера и времени ответа (TTFB): Ключевая стратегия. Быстрые ответы сервера позволяют повысить Maximum Load Capacity и более эффективно использовать выделенную аренду (за счет снижения Estimated Download Time). Это напрямую ведет к увеличению скорости и полноты индексации.
• Использование выделенного IP-адреса для важных проектов: Так как Google управляет нагрузкой на уровне IP (Host Grouping), использование виртуального хостинга (shared hosting) означает, что ваш бюджет сканирования делится с другими сайтами на том же IP. Выделенный IP гарантирует, что весь Group Load Capacity доступен вашему сайту.
• Мониторинг статистики сканирования (Crawl Stats): Анализируйте активность разных краулеров (Web, Image, News) в логах или GSC. Помните, что они конкурируют за общую пропускную способность. Всплеск активности одного краулера может временно снизить ресурсы для другого.
• Обеспечение высокой доступности (Uptime) и стабильности: Надежный хостинг минимизирует ошибки (5xx). Нестабильная работа может привести к снижению Maximum Load Capacity и потере выделенной мощности из-за неэффективного использования Lease.

Worst practices (это делать не надо)

• Использование медленного или ненадежного хостинга: Это приводит к снижению Maximum Load Capacity и неэффективному использованию бюджета сканирования из-за высокого Estimated Download Time.
• Размещение крупных сайтов на перегруженном виртуальном хостинге: «Соседи» по IP-адресу будут потреблять общий Group Load Capacity, что может привести к load capacity starvation для вашего сайта, даже если он хорошо оптимизирован.
• Агрессивное ограничение скорости Googlebot (Rate Limiting) на сервере: Искусственное ограничение скорости на вашем файрволе будет интерпретировано как низкая Maximum Load Capacity, что приведет к долгосрочному снижению бюджета сканирования. Если ограничение необходимо, лучше использовать инструменты GSC.

Стратегическое значение

Этот патент раскрывает фундаментальные механики управления бюджетом сканирования. Он подтверждает, что техническое SEO и надежная инфраструктура являются необходимыми условиями для максимальной видимости в поиске. Стратегия Google направлена на максимизацию эффективности сканирования при минимизации негативного воздействия на серверы. Производительность сайта и архитектура хостинга — это критические факторы для обеспечения индексации.

Практические примеры

Сценарий 1: Влияние Shared-хостинга и решение через выделенный IP

1. Ситуация: Интернет-магазин (Site A) находится на виртуальном хостинге (IP 1.2.3.4) вместе с 50 другими сайтами (Site B, Site C…). Индексация новых товаров происходит медленно.
2. Анализ (на основе патента): Google применяет Host Grouping. Group Load Capacity этого IP (например, 10 запросов/сек) делится между всеми 51 сайтами.
3. Конкуренция: Если другие сайты активно сканируются или медленно отвечают, они потребляют общий бюджет. Host Load Server выделяет Site A лишь малую долю общей емкости.
4. Действие: Site A переносится на выделенный IP-адрес 5.6.7.8.
5. Результат: Google теперь рассматривает Site A как отдельную группу. Весь Maximum Load Capacity этого нового IP выделяется сайту. Скорость сканирования и индексации значительно увеличивается.

Сценарий 2: Приоритизация краулеров на новостном портале

1. Ситуация: Крупный портал имеет архивные статьи (обрабатываются Main Crawler) и свежие новости (обрабатываются News Crawler).
2. Приоритеты: Допустим, News Crawler имеет приоритет 10, а Main Crawler — 5.
3. Конкуренция: Оба краулера одновременно запрашивают мощность сервера у Host Load Server.
4. Распределение (Fair Share): HLS предоставит News Crawler в два раза большую долю (10/15 или ~66%) доступной мощности по сравнению с Main Crawler (5/15 или ~33%).
5. Результат: Свежие новости сканируются и индексируются быстрее, так как соответствующий краулер агрессивнее получает ресурсы сервера.

Вопросы и ответы