Как Google динамически приоритизирует сканирование страниц, когда Googlebot отстает от графика

Описание

Какую задачу решает

Патент решает проблему неэффективного распределения ресурсов сканирования, особенно когда краулер отстает от графика (behind schedule) и не успевает обработать все запланированные URL. Он устраняет недостаток традиционных систем последовательного переобхода, при котором менее важные или редко обновляемые страницы могут сканироваться в ущерб более важным (important pages) или часто изменяющимся страницам.

Что запатентовано

Запатентован метод динамического управления расписанием сканирования (Crawl Schedule). Система рассчитывает оптимальную частоту сканирования и определяет дату следующего обхода (Due Date) для каждого URL. Ключевой особенностью является механизм обработки «просроченных» страниц (Past Due Items): в зависимости от степени отставания краулера от графика система динамически выбирает метод сортировки очереди сканирования, переключаясь с хронологического порядка на приоритизацию по важности (Importance Rank).

Как это работает

Система работает в два этапа:

• Планирование: Для каждого URL оценивается частота изменений (Change Period) на основе истории сканирования и его важность (Importance Rank, например, PageRank). На основе этих данных, а также административных правил (Hints), рассчитывается период сканирования (Crawl Period) и назначается Due Date.
• Исполнение и Приоритизация: Система идентифицирует просроченные URL. Если краулер работает по графику или отставание незначительно, эти URL сканируются в хронологическом порядке. Если отставание превышает установленный порог, система меняет метод сортировки, отдавая приоритет URL с наивысшим Importance Rank.

Актуальность для SEO

Высокая. Управление краулинговым бюджетом (Crawl Budget Management) и обеспечение свежести индекса для важных страниц остаются фундаментальными задачами поисковых систем. Хотя методы оценки важности и частоты изменений с 2005 года эволюционировали (например, с использованием ML), базовая логика динамической приоритизации сканирования при ограниченных ресурсах остается крайне актуальной.

Важность для SEO

Патент имеет высокое значение (8.5/10) для SEO, особенно для крупных веб-сайтов. Он раскрывает конкретный механизм распределения краулингового бюджета. Ключевой вывод: авторитетность страницы (Importance Rank/PageRank) является определяющим фактором для частоты и приоритета сканирования в условиях ограниченных ресурсов Google. Если сайт не обладает достаточной авторитетностью, его страницы могут сканироваться с большими задержками.

Детальный разбор

Термины и определения

Change Period (Период изменения)

Оценка того, как часто изменяется контент по данному URL. Рассчитывается на основе истории сканирований и сравнения хэшей контента.

Crawl Period (Период сканирования)

Запланированная частота, с которой система намерена сканировать URL. Может устанавливаться короче, чем Change Period (например, 50%), чтобы точнее отслеживать реальную частоту изменений.

Crawl Schedule (Расписание сканирования)

Список URL с указанием запланированного времени следующего сканирования (Due Date).

Hints (Подсказки)

Административные правила (например, на основе шаблонов URL), которые переопределяют расчетный Crawl Period. Включают Minimum Hints (не сканировать чаще, чем X) и Maximum Hints (сканировать не реже, чем Y).

History Server (Сервер истории)

Компонент, хранящий записи о предыдущих сканированиях, включая время и хэш (checksum) контента.

Importance Crawl Period (Период сканирования по важности)

Максимально допустимый интервал между сканированиями для страницы с определенным Importance Rank. Гарантирует частое сканирование важных страниц, даже если они редко меняются.

Importance Rank (Ранг важности)

Метрика важности страницы, независимая от поискового запроса. В патенте явно упоминается PageRank® как один из вариантов реализации.

Past Due Items / Overdue Items (Просроченные элементы)

URL, чье запланированное время сканирования (Due Date) уже прошло.

Ready to Crawl List (Список готовых к сканированию)

Очередь из просроченных элементов, отсортированная для обработки краулером.

Tardiness (Отставание от графика)

Метрика, показывающая, насколько сильно краулер отстает от расписания. Используется как триггер для изменения стратегии сортировки.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод управления расписанием повторного сканирования.

1. Оценка периода изменения (Change Period) для набора элементов (URL).
2. Генерация списка сканирования (Crawl List), включающего элементы, которые просрочены (overdue) для сканирования.
3. Ключевой шаг: Выбор метода сортировки из нескольких различных методов на основе одного или нескольких факторов (например, степени отставания краулера).
4. Сортировка списка сканирования с использованием выбранного метода перед началом сканирования.

Ядром изобретения является динамический выбор метода приоритизации (сортировки) для просроченных задач сканирования. Система адаптирует приоритеты на лету в зависимости от текущего состояния и нагрузки.

Claims 2, 3, 4 (Зависимые пункты): Детализируют возможные методы сортировки, упомянутые в Claim 1.

• Claim 2: Метод сортировки может основываться на ранге важности (Importance Rank).
• Claim 3: Метод сортировки может основываться на оценочном периоде изменения (Change Period).
• Claim 4: Метод сортировки может основываться на том, насколько просрочен каждый элемент (хронологический порядок).

Система может переключаться между приоритизацией по авторитетности, свежести или давности ожидания в очереди. Выбор режима зависит от степени отставания краулера от графика (Tardiness).

Где и как применяется

Изобретение полностью относится к этапу CRAWLING – Сканирование и Сбор данных. Оно является центральным компонентом системы планирования сканирования (Crawl Scheduling) и управления краулинговым бюджетом (Crawl Budget Management).

Взаимодействие компонентов:

• INDEXING (Косвенно): Ranking Engine на этапе индексации рассчитывает и предоставляет Importance Rank (например, PageRank). History Server хранит данные о предыдущих сканированиях.
• CRAWLING (Прямое применение):
  • Crawl Scheduler использует историю и Importance Rank для расчета Crawl Period и Due Date.
  • Crawl Manager отслеживает расписание, идентифицирует просроченные элементы, оценивает Tardiness и динамически выбирает метод сортировки очереди.
  • Crawler (Googlebot) выполняет сканирование согласно отсортированному списку.

Входные данные:

• История сканирования (время последнего обхода, хэши контента).
• Importance Rank для каждого URL.
• Административные правила (Hints).
• Текущее состояние системы (степень отставания от графика).

Выходные данные:

• Отсортированный список URL (Ready to Crawl List), передаваемый краулеру.

На что влияет

• Крупные сайты: Наибольшее влияние на сайты с миллионами страниц (e-commerce, порталы, агрегаторы), где краулинговый бюджет ограничен и система приоритизации работает постоянно.
• Авторитетность сайтов: Сайты с низким Importance Rank будут первыми страдать от задержек в сканировании, когда ресурсы Googlebot ограничены. Высокоавторитетные сайты получают приоритет.
• Свежесть контента: Влияет на скорость индексации обновлений. Часто обновляемый, но не авторитетный контент может индексироваться с задержкой при высокой нагрузке на краулер.

Когда применяется

Процесс планирования работает непрерывно, но ключевой механизм динамической сортировки активируется при определенных условиях:

• Триггер активации: Наличие просроченных задач (Past Due Items) в очереди.
• Пороговые значения (Thresholds): Система использует пороги отставания (Tardiness) для переключения стратегий.
  • Низкое отставание (например, < 3 часов): Используется стандартная сортировка (хронологическая, самые просроченные первыми).
  • Высокое отставание (например, > 3 часов): Активируется альтернативная сортировка.

Альтернативные методы сортировки (при высоком отставании):

1. По Importance Rank (PageRank). При этом может применяться отсечение: например, сканируются топ 80% самых важных страниц, а нижние 20% игнорируются (discarded).
2. Гибридный метод: Комбинация важности и давности. Например, Приоритет = $Importance Rank * Minutes Overdue$.
3. Комбинация Importance Rank, Due Date и Change Rate.

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов: Планирование сканирования и Исполнение сканирования.

Процесс А: Планирование следующего сканирования URL

1. Определение периода изменения: Анализ истории сканирования URL. Сравнение хэшей контента для оценки Change Period.
2. Установка базового периода сканирования: Рассчитывается Crawl Period. Например, он устанавливается равным половине Change Period, чтобы быстрее обнаруживать изменения частоты обновлений.
3. Корректировка по важности: Проверяется, не превышает ли Crawl Period максимально допустимый интервал для данного уровня важности (Importance Crawl Period). Если превышает, Crawl Period уменьшается до этого максимума.
4. Применение подсказок (Hints): Проверяется соответствие URL административным правилам (Minimum/Maximum Hints). Crawl Period корректируется, если он выходит за установленные рамки.
5. Планирование: Дата следующего сканирования (Due Date) устанавливается как Время последнего сканирования + итоговый Crawl Period.

Процесс Б: Исполнение сканирования и Приоритизация (Ключевая часть патента)

1. Проверка расписания: Система идентифицирует URL, чья Due Date уже прошла (Past Due Items).
2. Формирование списка: Просроченные задачи перемещаются в Ready to Crawl List.
3. Оценка состояния и выбор метода сортировки: Система анализирует степень отставания от графика (Tardiness).
   • Низкое отставание (ниже порога): Выбирается сортировка по хронологии (самые старые задачи вперед).
   • Высокое отставание (выше порога): Выбирается альтернативная сортировка (например, по Importance Rank или гибридный метод).
4. Сортировка списка: Ready to Crawl List сортируется выбранным методом. При сортировке по важности наименее важные URL могут быть отброшены.
5. Сканирование: Краулер обрабатывает элементы списка в отсортированном порядке до тех пор, пока список не опустеет.

Какие данные и как использует

Данные на входе

• Ссылочные факторы (Авторитетность): Importance Rank. Патент явно упоминает PageRank® как пример. Это ключевой сигнал для установки порогов сканирования и для приоритизации очереди при отставании.
• Временные факторы: Время последнего сканирования (Last Crawl) и исторические временные метки. Критичны для определения Change Period и статуса просрочки.
• Контентные факторы (Косвенно): Хэш или контрольная сумма (Checksum/Hash) контента. Используется для обнаружения факта изменения контента между сканированиями.
• Технические факторы: URL. Также упоминается возможность использования HTTP-заголовка If-Modified-Since.
• Конфигурационные данные: Подсказки (Hints) – правила на основе шаблонов URL.

Какие метрики используются и как они считаются

• Change Period: Оценивается путем анализа интервалов времени между обнаруженными изменениями контента (различия в хэшах).
• Crawl Period: Базовый расчет может быть функцией от Change Period (например, $Change Period / 2$). Далее корректируется ограничителями по важности и подсказками.
• Tardiness (Отставание): Степень отставания краулера от графика. Используется для переключения стратегии сортировки.
• Prioritization Score (Оценка приоритизации): При использовании альтернативной сортировки могут использоваться разные формулы. Пример из патента: $Importance Rank * Minutes Overdue$.

Выводы

1. Ресурсы Googlebot ограничены и динамичны: Патент описывает механизмы работы в условиях, когда краулер не справляется с нагрузкой. Управление дефицитом ресурсов является ключевой задачей системы сканирования.
2. Динамическая приоритизация сканирования: Google не использует единую стратегию сортировки очереди. В штатном режиме приоритет отдается хронологии. При перегрузке система адаптивно меняет метод сортировки.
3. Важность (PageRank) доминирует при дефиците ресурсов: Это ключевой вывод. Когда система перегружена (Tardiness высок), Importance Rank становится главным фактором приоритизации. Авторитетные страницы будут просканированы в первую очередь, даже если менее авторитетные страницы ждут дольше.
4. Важность гарантирует минимальную частоту сканирования: Высокий Importance Rank гарантирует, что страница не будет оставаться без внимания слишком долго, даже если она редко меняется (Importance Crawl Period).
5. Отсечение неважных страниц: В условиях сильного отставания система может полностью игнорировать (discard) наименее важные страницы из очереди сканирования, чтобы сосредоточить ресурсы на обновлении критически важного контента.
6. Стремление к опережению изменений: Система пытается сканировать страницы чаще, чем они изменяются (например, Crawl Period = 1/2 Change Period), чтобы поддерживать индекс максимально свежим и точнее определять частоту обновлений.

Практика

Best practices (это мы делаем)

• Максимизация Importance Rank (Авторитетность/PageRank): Это критически важная стратегия для обеспечения стабильного и частого сканирования. Необходимо системно работать над получением качественных внешних ссылок и оптимизировать внутреннюю перелинковку. Высокая важность является страховкой: если Google будет отставать от графика, он отдаст приоритет вашим страницам.
• Оптимизация внутренней перелинковки (IA): Структурируйте сайт так, чтобы ключевые страницы (категории, основные продукты, хабы) получали максимальный внутренний вес. Это повышает их Importance Rank и, следовательно, их приоритет в очереди сканирования.
• Оптимизация производительности сервера: Скорость ответа сервера влияет на краулинговый бюджет. Чем быстрее работает сайт, тем больше страниц Googlebot успевает обработать, снижая вероятность отставания от графика и активации жесткой приоритизации.
• Корректная сигнализация об изменениях: Используйте технические сигналы для помощи Google. Настраивайте HTTP-заголовки (Last-Modified, ETag) и поддерживайте актуальные даты в <lastmod> XML Sitemaps. Это помогает системе точнее определить Change Period и экономить ресурсы.

Worst practices (это делать не надо)

• Надеяться только на частоту обновлений: Ошибочно полагать, что частое обновление контента гарантирует частое сканирование. Без достаточного Importance Rank страницы будут деприоритизированы, как только ресурсы Googlebot окажутся ограничены.
• Скрывать важные страницы глубоко в структуре: Размещение ключевых страниц на большом расстоянии от главной или отсутствие на них сильных внутренних ссылок снижает их Importance Rank и приоритет сканирования.
• Генерация большого количества маловажных страниц: Наличие множества страниц с низким Importance Rank (например, фасеты, технические страницы) размывает краулинговый бюджет. При высокой нагрузке эти страницы рискуют быть отброшенными (discarded) из очереди сканирования.
• Генерация ложных сигналов изменения: Избегайте динамических элементов (например, текущее время, случайные блоки), которые меняют хэш страницы при каждом сканировании без изменения основного контента. Это может привести к пустой трате краулингового бюджета.

Стратегическое значение

Патент подтверждает фундаментальный принцип SEO: авторитетность (Importance Rank/PageRank) определяет не только ранжирование, но и сканирование. Оптимизация краулингового бюджета — это не просто техническая задача, а стратегическая задача повышения воспринимаемой важности ресурса. В условиях ограниченных ресурсов Google всегда будет отдавать предпочтение авторитетности.

Практические примеры

Сценарий: Приоритизация сканирования крупного E-commerce сайта во время пиковой нагрузки (например, Черная Пятница).

1. Ситуация: Googlebot сканирует сайт с миллионами товаров. Из-за возросшей нагрузки в интернете (много обновлений на других сайтах) он начинает отставать от графика. Tardiness превышает порог.
2. Переключение стратегии: Вместо того чтобы сканировать просроченные URL в хронологическом порядке, система переключается на сортировку по Importance Rank.
3. Исполнение:
   • Страницы популярных категорий и товаров-бестселлеров (Высокий Importance Rank) получают наивысший приоритет и сканируются в первую очередь.
   • Страницы новых, еще не раскрученных товаров (Низкий Importance Rank) смещаются вниз очереди.
   • Страницы старых архивных товаров (Очень низкий Importance Rank) могут быть полностью отброшены из текущей очереди сканирования.
4. Результат: Google обеспечивает актуальность информации (цены, наличие) на наиболее важных страницах сайта, жертвуя обновлением менее критичного контента.
5. Действие SEO: Убедиться, что перед распродажей ключевые товары и категории имеют максимальный внутренний ссылочный вес.

Вопросы и ответы