Как Google оптимизирует краулинговый бюджет, динамически изменяя частоту сканирования на основе популярности, значимых изменений контента и ошибок сервера

Термины и определения

Buckets (Корзины/Сегменты)

Группы ресурсов, объединенные по схожим характеристикам (популярности или частоте изменений). Каждой корзине назначается диапазон интервалов сканирования.

Change Frequency (Частота изменений)

Метрика, показывающая, как часто в ресурсе происходят «интересные» (существенные) изменения контента. Рассчитывается как скользящее среднее интервалов между такими изменениями.

Crawl Interval / estimated Crawl Interval (eCI) (Интервал сканирования)

Расчетный период времени между последовательными попытками сканирования ресурса.

Crawl Scheduler (Планировщик сканирования)

Компонент системы, который определяет, когда следует сканировать ресурс, основываясь на его здоровье, популярности и частоте изменений.

Crawl Status / Health (Статус сканирования / Здоровье)

Состояние доступности ресурса. Возможные статусы: Healthy (Здоров), Temporarily Dead (Временно мертв), Dead (Мертв).

Error Count (n) (Счетчик ошибок)

Количество последовательных неудачных попыток сканирования с момента последнего успешного сканирования.

External Server Issues (Проблемы внешнего сервера)

Ошибки сканирования, связанные с инфраструктурой: проблемы DNS, тайм-ауты, ограничения пропускной способности сервера.

Interesting Content Changes (Интересные/Существенные изменения контента)

Изменения контента, которые система считает значимыми. Определяются по расположению в «значимой секции» (Prominent Section) страницы.

Popularity (Популярность)

Мера важности ресурса. В патенте определяется через Subscription Count (количество подписчиков веб-фида), но может включать и другие сигналы (например, просмотры страниц).

Prominent Section (Значимая/Заметная секция)

Область страницы, идентифицированная как важная на основе анализа визуального макета (рендеринга). Учитываются размеры секции относительно размеров страницы (например, >50% ширины и высоты).

Rolling Average (Скользящее среднее)

Метод расчета Change Frequency, позволяющий адаптировать оценку к недавней активности ресурса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод планирования сканирования, сочетающий анализ значимости контента и специфическую обработку ошибок.

1. Система многократно сканирует ресурсы.
2. Для каждого ресурса определяется «значимая секция» (Prominent Section) на основе визуальных размеров рендеринга этой секции.
3. Определяется частота изменений (Change Frequency), основанная на обнаруженных изменениях именно в этой «значимой секции».
4. На основе этой частоты определяется интервал сканирования (Crawl Interval).
5. Для конкретного ресурса (когда интервал истек) выполняется проверка: счетчик ошибок (Error Count) с момента последнего успеха НЕ превышает максимум.
6. Если условие (5) выполнено (т.е. есть ошибки, но порог не достигнут), система УВЕЛИЧИВАЕТ интервал сканирования (создавая модифицированный интервал) на основе количества времени, прошедшего с момента последнего УСПЕШНОГО сканирования.

Ядром изобретения является метод определения частоты изменений через анализ визуально значимых блоков (рендеринг) И специфический механизм замедления (back-off) при наличии ошибок, который зависит от времени простоя ресурса (времени с последнего успеха).

Claim 2 (Зависимый от 1): Уточняет расчет Change Frequency.

Частота изменений рассчитывается как скользящее среднее (Rolling Average) разниц во времени между последовательными обнаруженными изменениями.

Claim 13 (Зависимый от 1): Уточняет формулу увеличения интервала сканирования (back-off).

Новый интервал сканирования устанавливается равным произведению времени, прошедшего с момента последнего успешного сканирования, и некоего коэффициента (фактора).

Claim 17 (Зависимый от 1): Описывает действия при превышении порога ошибок.

Если Error Count ПРЕВЫШАЕТ максимум, система определяет, следует ли продолжать попытки сканирования ресурса (т.е. принимает решение о статусе Dead или Temporarily Dead).

Где и как применяется

Изобретение полностью относится к этапу CRAWLING – Сканирование и Сбор данных.

Система является реализацией Crawl Scheduler, который управляет работой краулера (например, Googlebot).

Взаимодействие компонентов:

• Crawl Scheduler анализирует данные из Data Storage (история сканирования, популярность, частота изменений) и определяет приоритеты.
• Crawler выполняет запросы по заданию планировщика и возвращает контент или коды ошибок.
• Система анализа контента/Рендеринга (в патенте упоминается Web Feed Generation System) анализирует контент, определяет визуальный макет (Visual Layout), выделяет Prominent Sections и фиксирует Interesting Changes. Эта информация используется планировщиком для расчета Change Frequency.

Входные данные:

• Исторические данные сканирования (таймстампы, коды ответов, ошибки DNS/таймауты, Error Count).
• Метрики популярности (Subscription Count, просмотры).
• Метрики частоты изменений (Change Frequency).
• Данные о визуальном макете и значимых секциях.

Выходные данные:

• Приоритезированный список URL для сканирования.
• Обновленные статусы сканирования (Healthy, Temp. Dead, Dead).
• Обновленные расчетные интервалы сканирования (eCI).

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние оказывается на крупные сайты (eCommerce, новостные порталы, агрегаторы), где оптимизация краулингового бюджета критична для актуальности индекса.
• Техническое состояние сайтов: Сайты с нестабильным хостингом, частыми ошибками 5xx или проблемами DNS будут подвергаться механизму замедления сканирования (back-off).
• Структура контента: Влияет на сайты, часто обновляющие второстепенные блоки. Система может снизить частоту сканирования таких сайтов, так как фокусируется на Prominent Sections.

Когда применяется

Алгоритм применяется непрерывно. Конкретные механизмы активируются при следующих условиях:

• Триггер переоценки: Когда расчетный интервал сканирования (eCI) для ресурса истек.
• Триггер обработки ошибок: Когда попытка сканирования завершилась неудачей (активируется back-off).
• Пороговые значения:
  • Max failures threshold (max): Порог для счетчика ошибок (n), после которого меняется статус ресурса.
  • Пороги визуальных размеров (например, 50% ширины/высоты) для определения Prominent Section.

Пошаговый алгоритм

Процесс А: Обработка ресурса планировщиком (Управление очередью)

1. Проверка статуса: Определить текущий статус ресурса. Если «Dead», пропустить ресурс.
2. Проверка интервала: Сравнить время с последней попытки сканирования (t) с расчетным интервалом (eCI). Если t < eCI, пропустить ресурс.
3. Анализ последней попытки: Проверить, была ли последняя попытка успешной.
4. Сценарий успеха:
   • Установить статус «Healthy».
   • Обнулить счетчик ошибок (n).
   • Оценить следующий интервал (используя Процесс Б).
   • Выдать запрос на сканирование.
5. Сценарий неудачи:
   • Увеличить счетчик ошибок (n).
   • Сравнить n с порогом (max).
6. Обработка умеренных ошибок (n <= max) (Back-off):
   • Увеличить следующий интервал сканирования (например, используя формулу, основанную на времени с последнего успеха).
   • Выдать запрос на сканирование.
7. Обработка критических ошибок (n > max):
   • Проверить, установлен ли уже статус «Temporarily Dead». Если да, установить статус «Dead» и прекратить обработку.
   • Если нет, определить причину предыдущих сбоев (анализ кодов ошибок).
8. Классификация сбоев:
   • Если сбои вызваны External Server Issues (DNS, таймауты, перегрузка): Установить статус «Temporarily Dead». Установить значительно увеличенный интервал. Уменьшить счетчик ошибок (например, n=max/2), чтобы дать шанс на восстановление.
   • Если сбои вызваны другими причинами (например, 404): Установить статус «Dead» и прекратить обработку.

Процесс Б: Оценка интервала сканирования (Crawl Interval Estimation)

1. Определение Популярности и Частоты Изменений: Получить метрики Popularity и Change Frequency (скользящее среднее интервалов между «интересными» изменениями).
2. Сегментация (Bucketing): Назначить ресурс в «корзину» (Bucket) на основе его характеристик. Каждая корзина имеет диапазон допустимых интервалов.
3. Приоритезация внутри корзины: Распределить интервалы. Ресурсам с более высокой популярностью и частотой изменений назначаются более короткие интервалы.
4. Корректировка и Балансировка: Если частота изменений значительно отличается от интервала, назначенного по популярности (например, очень популярный, но редко обновляемый ресурс), интервал корректируется (увеличивается) для экономии ресурсов, или ресурс перемещается в другую корзину.
5. Сохранение результата: Сохранить рассчитанный интервал (eCI).

Какие данные и как использует

Данные на входе

Система использует комбинацию технических, контентных (визуальных) и поведенческих факторов.

• Технические факторы:
  • Коды ответа сервера (HTTP Status Codes: 403, 404, 5xx).
  • Информация об ошибках: проблемы DNS, таймауты соединения, достижение лимитов пропускной способности сервера (capacity limits).
  • Блокировки в robots.txt.
  • Время ответа сервера (длительность выполнения запроса).
• Структурные и Визуальные факторы (для определения Interesting Changes):
  • Данные визуального рендеринга страницы (visual layout information).
  • Размеры страницы и секций контента (ширина/высота) для определения Prominent Section.
  • Соотношение обычного текста и анкорного текста (используется для отличия портальных страниц от контентных).
• Временные факторы: Метки времени последней попытки, последнего успеха, последнего существенного изменения.
• Поведенческие/Пользовательские факторы (для определения Popularity):
  • Количество подписчиков веб-фида (Subscription Count) – основной пример.
  • Процент подписчиков, которые просматривают фид.
  • Количество просмотров страницы (Page Views).

Какие метрики используются и как они считаются

• Error Count (n): Счетчик последовательных неудач. Сбрасывается при успехе.
• Max Allowed Failures (max): Пороговое значение для Error Count.
• Change Frequency: Рассчитывается как скользящее среднее (Rolling Average) времени между «интересными» изменениями. В патенте отмечается, что больший вес может придаваться недавним изменениям для быстрой адаптации.
• Prominence Score (Оценка значимости секции): Рассчитывается на основе визуального макета. Например, секция значима, если ее ширина > 50% ширины страницы И высота > 50% высоты страницы.
• estimated Crawl Interval (eCI): Рассчитывается путем балансировки Popularity и Change Frequency через систему Buckets.
• Back-off Interval (Интервал замедления): При ошибках eCI увеличивается. Одна из ключевых формул (Claim 13):