Как Google оптимизирует график повторного сканирования на основе частоты изменений и важности контента

Термины и определения

Change Period (Период изменения)

Оценка частоты изменения контента документа. Рассчитывается на основе истории сканирования.

Crawl Period (Период сканирования)

Желаемая частота, с которой система должна повторно сканировать документ. Рассчитывается на основе Change Period и корректируется.

Crawl Manager (Менеджер сканирования)

Компонент, который поддерживает информацию о URL, рассчитывает и корректирует Crawl Period, и выбирает URL для отправки краулеру.

Crawl Scheduler (Планировщик сканирования)

Компонент, который оценивает Change Period на основе данных от History Server.

Checksum / Hash (Контрольная сумма / Хеш)

Цифровой отпечаток контента документа. Используется для быстрого определения факта изменения контента между сканированиями.

Hints (Подсказки / Правила)

Определенные администратором правила (например, на основе шаблонов URL), которые переопределяют расчетный Crawl Period. Включают Minimum Hints (не сканировать чаще, чем X) и Maximum Hints (не сканировать реже, чем Y).

History Server (Сервер истории)

Компонент, хранящий записи о прошлых сканированиях, включая время и контрольную сумму контента.

Importance Rank (Ранг важности)

Метрика релевантности или важности страницы, не зависящая от запроса. В патенте в качестве примера приводится PageRank®.

Importance Crawl Period (Период сканирования по важности)

Пороговое значение Crawl Period, установленное для определенного уровня Importance Rank. Гарантирует, что важные страницы сканируются достаточно часто.

Ready to Crawl List (Список готовых к сканированию)

Очередь URL, которые должны быть просканированы (время настало или просрочено).

Search Appliance (Поисковое устройство)

Автономный сервер, устанавливаемый в сети организации (интранет) для индексирования и поиска по внутренним документам.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод определения графика повторного сканирования элементов в интранете с использованием Search Appliance.

1. Оценка Change Period (частоты изменения контента) для элементов на основе истории сканирования.
2. Расчет Crawl Period для каждого элемента, который устанавливается относительно Change Period.
3. Определение необходимости корректировки расчетного Crawl Period с использованием критериев корректировки (adjustment criteria). Критерии включают комбинацию Importance Rank элемента и списка Hints.
4. Корректировка Crawl Period для выбранных элементов. Корректировка происходит, если элемент соответствует Hint И расчетный Crawl Period превышает порог (threshold), связанный с этим Hint.
5. Создание графика повторного сканирования (recrawl schedule) с использованием времени повторного сканирования (recrawl time). Это время основано на времени последнего сканирования плюс расчетный или скорректированный Crawl Period.

Ядро изобретения — это процесс адаптивного планирования сканирования, который использует историю изменений как базовую линию, а затем применяет модификаторы (важность и правила) для оптимизации графика.

Claim 3 и 4 (Зависимые): Уточняют процесс использования графика.

1. График повторного сканирования может быть опционально отсортирован.
2. Сортировка графика выполняется таким образом, чтобы элементы, которые более просрочены (more overdue), сканировались раньше, чем менее просроченные (less overdue).

Где и как применяется

Изобретение целиком относится к этапу CRAWLING – Сканирование и Сбор данных. Оно описывает логику работы системы планирования сканирования (Crawl Scheduling) и управления бюджетом сканирования (Crawl Budget Management).

Хотя патент описывает применение в контексте Search Appliance для интранета, он также указывает, что изобретение может быть реализовано в веб-поисковой системе (например, Google.com).

Взаимодействие компонентов:

• History Server предоставляет данные о прошлых сканированиях (время, хеш).
• Crawl Scheduler использует эти данные для расчета Change Period.
• Ranking Engine (на этапе INDEXING) предоставляет Importance Rank (например, PageRank).
• Crawl Manager использует Change Period, Importance Rank и Hints для расчета и корректировки Crawl Period, поддерживает график и формирует Ready to Crawl List.
• Crawler запрашивает URL из Crawl Manager, скачивает их и обрабатывает.

Входные данные:

• История сканирования (URL, временные метки, контрольные суммы контента).
• Importance Rank (PageRank) для каждого URL.
• Определенные администратором правила (Hints).

Выходные данные:

• Приоритизированный график повторного сканирования (Recrawl Schedule).
• Очередь URL для немедленного сканирования (Ready to Crawl List).

На что влияет

• Свежесть индекса: Основное влияние. Система стремится обеспечить актуальность данных в индексе, минимизируя время между изменением контента и его повторным сканированием.
• Типы контента: Наибольшее влияние оказывается на контент, который часто обновляется (новости, блоги, главные страницы) или имеет высокую важность (корневые страницы, ключевые разделы). Меньшее влияние на статический контент (архивы).
• Распределение Crawl Budget: Система определяет, как ресурсы сканирования распределяются между различными страницами и разделами сайта.

Когда применяется

Алгоритм применяется непрерывно в рамках жизненного цикла управления сканированием.

• Расчет и корректировка Crawl Period: Выполняется периодически для каждого известного URL или после завершения сканирования URL.
• Проверка графика: Crawl Manager постоянно проверяет график, чтобы определить, какие URL готовы к сканированию.
• Триггеры активации альтернативной сортировки: Особые режимы сортировки очереди (alternate crawl order) активируются, если краулер отстает от графика на определенное пороговое значение (в патенте приведен пример порога в 3 часа).

Пошаговый алгоритм

Процесс А: Расчет периода сканирования (Crawl Period)

1. Определение периода изменения (Change Period): Crawl Scheduler анализирует историю сканирования URL, сравнивая контрольные суммы контента. Оценивается интервал между обнаруженными изменениями.
2. Установка начального периода сканирования (Crawl Period): Crawl Period устанавливается на основе Change Period. В описанном варианте он устанавливается равным половине Change Period. Это делается для агрессивного обнаружения изменений и более точного определения истинной частоты обновлений.
3. Проверка важности: Система сравнивает расчетный Crawl Period с Importance Crawl Period (максимально допустимым интервалом сканирования для данного уровня Importance Rank).
4. Корректировка по важности: Если расчетный Crawl Period длиннее, чем Importance Crawl Period, он сокращается до значения Importance Crawl Period. (Важные страницы сканируются чаще, даже если меняются редко).
5. Проверка правил (Hints): URL сравнивается со списком заданных администратором правил (Minimum Hints и Maximum Hints).
6. Корректировка по правилам:
   • Если URL соответствует Minimum Hint и его Crawl Period короче заданного минимума, он устанавливается на минимум (защита от перекрауливания).
   • Если URL соответствует Maximum Hint и его Crawl Period длиннее заданного максимума, он устанавливается на максимум (обеспечение свежести).
7. Финализация: Скорректированный Crawl Period сохраняется.

Процесс Б: Выполнение сканирования

1. Проверка графика: Crawl Manager проверяет график сканирования. Время следующего сканирования рассчитывается как время последнего сканирования плюс Crawl Period.
2. Идентификация готовых URL: Определяются URL, время сканирования которых наступило или уже прошло (просроченные). Если таких нет, система ожидает.
3. Формирование списка: Готовые URL перемещаются в Ready to Crawl List.
4. Сортировка списка: Список сортируется. Стандартный порядок — хронологический (наиболее просроченные сканируются первыми).
   • Альтернативная сортировка: Если краулер значительно отстает от графика (превышен порог задержки), порядок сортировки изменяется. Варианты: сортировка по Importance Rank (PageRank), или по комбинации важности и времени просрочки, или по комбинации важности, даты и частоты изменений. При сортировке по важности часть наименее важных страниц может быть отброшена.
5. Сканирование: Crawler обрабатывает элементы списка в отсортированном порядке, пока список не опустеет.

Какие данные и как использует

Данные на входе

• Временные факторы: Временные метки предыдущих сканирований (Time Crawled). Критически важны для расчета интервалов.
• Технические факторы: Идентификаторы URL. Контрольные суммы (Hash) содержимого, используемые для обнаружения изменений. Упоминается возможность использования HTTP-заголовка If-Modified-Since.
• Ссылочные факторы (Косвенно): Importance Rank. Патент явно упоминает PageRank® как один из вариантов реализации метрики важности, которая не зависит от запроса.
• Системные данные (Search Appliance): Заданные администратором правила (Hints), основанные на шаблонах URL (например, начало строки, окончание строки или регулярные выражения). Данные о состоянии системы (отставание от графика) для выбора метода сортировки.

Какие метрики используются и как они считаются

• Change Period: Оценка частоты изменений. Рассчитывается как интервал времени между последовательными сканированиями, в которых были обнаружены разные контрольные суммы.
• Crawl Period (Начальный): Желаемая частота сканирования. Рассчитывается как функция от Change Period. Пример эвристики из патента: $\text{Crawl Period} = \frac{\text{Change Period}}{2}$.
• Importance Crawl Period: Пороговые значения, определяемые на основе Importance Rank. (Например, Ранг 9 = макс. 4 дня, Ранг 1 = макс. 4 месяца).
• Recrawl Time: Время следующего сканирования. $\text{Recrawl Time} = \text{Last Crawl Time} + \text{Crawl Period}$.
• Метрики сортировки при отставании: В патенте предлагаются альтернативные методы сортировки, если краулер отстает от графика. Один из примеров расчета приоритета: $\text{Crawl Priority} = \text{Importance Rank} \times \text{Minutes Overdue}$.

1. Баланс свежести и важности: Система планирования сканирования постоянно балансирует между необходимостью поддерживать свежесть часто меняющегося контента (Change Period) и необходимостью поддерживать точность индекса для важного контента (Importance Rank/PageRank).
2. PageRank как ключевой фактор сканирования: Патент явно упоминает PageRank как реализацию Importance Rank. Эта метрика используется для установки верхней границы интервала сканирования. Очень важные страницы будут сканироваться часто, даже если их контент меняется редко.
3. Адаптивное обучение и агрессивное обнаружение: Система активно пытается определить истинную частоту изменений, изначально устанавливая Crawl Period короче, чем наблюдаемый Change Period (например, вдвое).
4. Обработка отставания от графика (Crawler Lag): Если краулер перегружен и отстает от графика, логика приоритизации меняется. Вместо того чтобы сканировать самые просроченные страницы (хронологический порядок), система переключается на сканирование самых важных страниц (по Importance Rank).
5. Защита от ложных изменений: Система признает проблему динамических страниц, которые меняют хэш без смысловых изменений. Механизм Minimum Hints предназначен для предотвращения чрезмерного сканирования таких страниц.
6. Контекст Search Appliance: Механизмы Hints (ручное управление частотой сканирования администратором) специфичны для контекста Search Appliance в интранете и недоступны в основном веб-поиске Google.

Best practices (это мы делаем)

• Повышение авторитетности (Importance Rank): Так как Importance Rank (PageRank) напрямую влияет на максимальную частоту сканирования и приоритет при перегрузке краулера, работа над повышением авторитетности ключевых страниц (через качественные внешние и внутренние ссылки) критически важна для обеспечения достаточного Crawl Budget.
• Четкая сигнализация об изменениях: Убедитесь, что сервер корректно настроен. Патент упоминает использование HTTP-заголовка If-Modified-Since. Корректная отдача заголовка Last-Modified помогает системе понять, изменился ли контент, экономя ресурсы.
• Поддержание консистентного графика обновлений: Система учится тому, как часто меняется контент (Change Period). Регулярное и значимое обновление контента тренирует краулер посещать страницы чаще.
• Оптимизация структуры сайта и перелинковки: Обеспечение того, чтобы важные страницы имели высокий внутренний Importance Rank за счет продуманной перелинковки, гарантирует их приоритетное сканирование.
• Оптимизация скорости ответа сервера: Быстрый сервер позволяет краулеру эффективно использовать бюджет и снижает вероятность отставания от графика, при котором менее важные страницы могут игнорироваться.

Worst practices (это делать не надо)

• Генерация ложных изменений: Добавление динамических элементов (например, текущее время, случайные блоки рекламы), которые меняют хэш страницы при каждой загрузке. Это может привести к ошибочному расчету Change Period и неэффективному расходованию Crawl Budget.
• Игнорирование ссылочного веса при работе над свежестью: Полагаться только на частое обновление контента для обеспечения индексации неэффективно. Если страница имеет низкий Importance Rank, интервал ее сканирования будет большим, независимо от частоты обновлений.
• Изоляция важного контента: Размещение важных страниц глубоко в структуре сайта без достаточного количества внутренних ссылок снижает их Importance Rank и, как следствие, частоту сканирования.

Стратегическое значение

Патент подтверждает критическую связь между авторитетностью (PageRank) и поведением краулера. Crawl Budget в значительной степени зависит от воспринимаемой важности (Importance Rank) и полезности обновления контента (Change Period). Хотя конкретные эвристики, описанные в патенте 2005 года, устарели и заменены ML-моделями, стратегический императив остается неизменным: для обеспечения максимальной видимости и быстрой индексации необходимо строить авторитетный ресурс.

Практические примеры

Сценарий 1: Улучшение частоты сканирования страницы категории интернет-магазина

Проблема: Новые товары в категории появляются в индексе Google с задержкой в несколько дней.

Анализ на основе патента: Задержка вызвана длинным Crawl Period. Это следствие либо низкого Importance Rank страницы категории, либо система считает, что Change Period страницы длинный.

Действия:

1. Повышение Importance Rank: Увеличить количество внутренних ссылок на эту категорию (из меню, с главной страницы, из блога). Получить внешние ссылки.
2. Стимулирование Change Period: Регулярно обновлять контент на странице категории (например, ротация рекомендуемых товаров), чтобы система зафиксировала более короткий период изменения.
3. Техническая проверка: Убедиться в корректности ответа сервера Last-Modified.

Ожидаемый результат: Сокращение Crawl Period за счет повышения важности и подтвержденной частоты изменений, что приведет к более быстрому обнаружению новых товаров.

Сценарий 2: Оптимизация сканирования новостного сайта при высокой нагрузке

Проблема: Во время пиковых новостных событий краулер не успевает оперативно индексировать все новые статьи.

Анализ на основе патента: Краулер отстает от графика и переключается в режим сортировки по Importance Rank.

Действия: Необходимо обеспечить быструю передачу Importance Rank новым статьям. Размещать ссылки на самые важные новости на главной странице и в топе рубрик (страницах с высоким Importance Rank).

Ожидаемый результат: При перегрузке краулер будет выбирать для сканирования те статьи, которые получили наибольший вес, гарантируя индексацию самого важного контента.