Как Google использует метаданные XML Sitemap (lastmod, changefreq, priority) для планирования и приоритизации сканирования

Термины и определения

Sitemap (Карта сайта)

Документ (часто XML), перечисляющий URL-адреса сайта, доступные для сканирования, и включающий метаданные для каждого URL.

Sitemap Index (Индекс Карты сайта)

Документ, перечисляющий один или несколько файлов Sitemap. Используется для группировки.

URL Scheduler (Планировщик URL)

Компонент системы краулера, который определяет, какие URL сканировать и когда, используя данные из Sitemap и внутренние сигналы.

SiteMap Crawler (Краулер Sitemap)

Компонент, отвечающий за загрузку и обработку файлов Sitemap.

lastmod (Document Modification Date Information)

Метаданные (тег <lastmod>), указывающие дату последнего изменения документа. Используется для определения факта обновления контента.

changefreq (Document Update Rate Information)

Метаданные (тег <changefreq>), указывающие ожидаемую частоту обновления (например, daily, weekly). Используется для прогнозирования необходимости сканирования.

priority (Document Importance Information)

Метаданные (тег <priority>), указывающие относительную важность документа. Используется для влияния на очередность сканирования.

Boost Factor (Повышающий коэффициент)

Коэффициент, основанный на значении priority, который используется для корректировки оценки приоритета сканирования URL.

PageRank

Внутренняя метрика важности страницы (упомянутая в патенте как пример page importance score), используемая планировщиком в сочетании с priority.

URL Status Information

Внутренние данные краулера об истории сканирования URL, включая дату последней загрузки.

Per-Site Information (Информация по сайту)

Опциональные данные в Sitemap Index, применяемые ко всему сайту. Примеры: предпочтительная скорость сканирования (crawl rate), время сканирования, язык, географическое положение.

Differential Sitemap (Дифференциальная Карта сайта)

Sitemap, содержащий только те URL, которые были добавлены или изменены с момента генерации предыдущего Sitemap.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько ключевых независимых пунктов, защищающих использование различных метаданных Sitemap для планирования.

Claim 1 (Независимый пункт) – Использование частоты обновления (changefreq):

1. Система получает уведомление от веб-сайта с URL файла Sitemap.
2. Система получает доступ к Sitemap и извлекает URL и метаданные, включая document update rate information (частоту обновления).
3. Система планирует загрузку документов.
4. Ключевая логика: Документ планируется к загрузке, если время, прошедшее с момента его последней загрузки, превышает продолжительность, соответствующую его частоте обновления.

Claim 6 (Независимый пункт) – Использование приоритета (priority):

1. Система получает уведомление и доступ к Sitemap.
2. Извлекаются метаданные, включая document importance information (приоритет).
3. Планирование выполняется на основе оценки (score), присвоенной каждому документу.
4. Ключевая логика: Оценка (score) документа корректируется с помощью boost factor (повышающего коэффициента), соответствующего значению приоритета из Sitemap.

Claim 3 и Claim 8 (Зависимые пункты) – Использование даты изменения (lastmod):

1. Метаданные включают document modification date information (дату изменения).
2. Ключевая логика: Система откладывает (deferring) планирование загрузки документа, если его дата изменения не позднее даты его последней загрузки краулером (т.е. контент не изменился).

Где и как применяется

Изобретение является центральной частью инфраструктуры сканирования.

CRAWLING – Сканирование и Сбор данных

Это основной этап применения патента. Система определяет ЧТО, КОГДА и В КАКОМ ПОРЯДКЕ сканировать.

• SiteMap Crawler и Processing Module: Получают уведомления (pings), загружают Sitemap и извлекают URL и метаданные.
• URL Scheduler: Ядро системы. Использует извлеченные метаданные для принятия решений о планировании. Он взаимодействует с:
  • URL Status Information (историей сканирования) для сравнения дат (lastmod) и времени (changefreq).
  • Page Rankers (метриками важности) для получения базовой оценки, которая затем корректируется с помощью priority.
• Robots (Googlebot): Выполняют сканирование в соответствии с расписанием, установленным URL Scheduler, и с учетом Per-Site Information (например, скорости сканирования).

INDEXING – Индексирование и извлечение признаков

Патент упоминает, что метаданные из Sitemap (такие как title, author) могут использоваться для создания Anchor Maps (карт анкоров), помогая индексировать контент без текста (например, изображения). Также Per-Site Information (язык, местоположение) может добавляться в индекс.

Входные данные:

• Уведомления от веб-сайтов (Sitemap Notifications).
• Файлы Sitemap и Sitemap Index (содержащие URL, lastmod, changefreq, priority, Per-Site Information).
• Внутренняя история сканирования (URL Status Information).
• Внутренние метрики важности (например, PageRank).

Выходные данные:

• Отсортированный и отфильтрованный список URL-кандидатов с оценками (scores), запланированных для загрузки краулерами.

На что влияет

• Типы контента: Влияет на все типы контента, перечисленные в Sitemap (веб-страницы, PDF, изображения, видео и т.д.).
• Конкретные ниши: Особенно критично для крупных сайтов (e-commerce, СМИ, порталы), где эффективное управление краулинговым бюджетом и своевременное обновление индекса жизненно важны.
• Обнаружение URL: Помогает обнаруживать URL, которые трудно найти через стандартный обход ссылок.

Когда применяется

• Триггеры активации:
  • Реактивный режим (Push): При получении уведомления (ping) от веб-сайта о новом или обновленном Sitemap.
  • Проактивный режим (Pull): Периодически, когда система решает перепроверить известный Sitemap на основе сохраненной информации о частоте обновлений (stored update rate information).
• Условия включения URL в расписание: URL становится кандидатом, если он новый, ИЛИ если lastmod новее даты последнего сканирования, ИЛИ если время, прошедшее с последнего сканирования, превышает интервал changefreq.

Пошаговый алгоритм

Процесс планирования сканирования на основе Sitemap:

1. Получение и Логирование Уведомлений: Система принимает уведомления о Sitemap. (Альтернативно: Периодический выбор Sitemap для обработки).
2. Загрузка Sitemap: SiteMap Crawler загружает выбранный файл Sitemap.
3. Обновление Базы Данных: Информация из Sitemap сохраняется в SiteMap Database. Per-Site Information также извлекается и сохраняется.
4. Идентификация Кандидатов: Для каждого URL определяется, является ли он кандидатом на сканирование путем сравнения метаданных с URL Status Information:
   • Проверка lastmod: Если дата изменения позже даты последнего сканирования, это кандидат. Если нет, сканирование может быть отложено (deferred).
   • Проверка changefreq: Если время с последнего сканирования превышает интервал changefreq, это кандидат.
5. Присвоение Оценки (Scoring): Каждому кандидату присваивается оценка (score). Оценка базируется на PageRank и корректируется с помощью Boost Factor, основанного на значении priority из Sitemap.
6. Фильтрация (Опционально): Список кандидатов фильтруется на основе краулинговых бюджетов (budgets) и ограничений сайта (site constraints), включая Per-Site Information о скорости сканирования.
7. Планирование Загрузки: Отсортированный и отфильтрованный список URL передается роботам для загрузки.

Какие данные и как использует

Данные на входе

Данные из Sitemap:

• Технические факторы: URL документа (loc).
• Временные факторы:
  • Last Modification Date (lastmod).
  • Change Frequency (changefreq).
• Факторы приоритета:
  • Priority (priority).
• Контентные факторы (для индексации): title, author (упоминаются как источники для Anchor Maps).
• Per-Site Information (из Sitemap Index): Скорость сканирования (crawl rate), предпочтительное время, язык, географическое положение.

Внутренние данные Google:

• URL Status Information: Дата и время последнего сканирования документа.
• Метрики важности: PageRank или аналогичные метрики авторитетности URL.
• Crawl Budgets: Выделенные ресурсы на сканирование сайта.

Какие метрики используются и как они считаются

Патент описывает конкретные логические операции и метрики:

1. Оценка на основе Last Modification (Claim 3):

   Логика: Отложить сканирование (Defer Crawl).

   Условие: Если $LastModDate \leq LastCrawlDate$.

2. Оценка на основе Change Frequency (Claim 1):

   Логика: Запланировать сканирование (Schedule Crawl).

   Условие: Если $(CurrentTime - LastCrawlTime) > Duration(ChangeFreq)$.

3. Расчет оценки сканирования (Crawl Score Calculation) (Claim 6):

   Оценка рассчитывается на основе комбинации внутренних метрик и данных Sitemap.

   Формула (концептуально): Оценка = Функция(PageRank, Boost Factor).

   Boost Factor определяется на основе значения Priority из Sitemap.

1. Sitemaps как механизм управления, а не только обнаружения: Патент подтверждает, что Sitemap — это ключевой инструмент для оптимизации процесса сканирования и управления краулинговым бюджетом.
2. Активное использование всех метаданных: Теги <lastmod>, <changefreq> и <priority> не игнорируются; они напрямую интегрированы в алгоритмы планирования (URL Scheduler).
3. Критичность <lastmod> для эффективности: Основной механизм экономии ресурсов — это откладывание сканирования неизмененного контента на основе точного lastmod (Claim 3).
4. <changefreq> для прогнозирования: Этот тег используется для прогнозирования вероятности обновления контента, определяя, когда следует вернуться на страницу (Claim 1).
5. <priority> как Boost Factor: Значение приоритета используется как повышающий коэффициент (boost factor) при расчете оценки сканирования. Оно комбинируется с внутренними сигналами важности, такими как PageRank (Claim 6).
6. Поддержка инструкций сайта (Per-Site Information): Система учитывает пожелания владельца сайта относительно скорости и времени сканирования, если они указаны в Sitemap Index.
7. Реактивный и Проактивный режимы: Система реагирует на уведомления (пинги), но также самостоятельно проверяет Sitemaps по расписанию.

Best practices (это мы делаем)

• Обеспечение абсолютной точности <lastmod>: Это критически важно для экономии краулингового бюджета (Claim 3). Убедитесь, что lastmod обновляется только при значительном изменении контента. Точный lastmod позволяет Googlebot сфокусироваться на обновленном контенте и не тратить ресурсы на неизмененные страницы.
• Стратегическое использование <priority>: Используйте priority для указания относительной важности страниц. Поскольку патент подтверждает его использование как boost factor (Claim 6), это помогает направить краулер на ключевые страницы (главная, категории) раньше, чем на менее важные (архивы).
• Реалистичное использование <changefreq>: Указывайте частоту, соответствующую реальным обновлениям. Это помогает планировщику прогнозировать визиты (Claim 1). Используйте 'daily' для новостей и 'monthly'/'yearly' для статического контента.
• Использование Sitemap Index и сегментация: Для крупных сайтов используйте Sitemap Index для разделения URL на логические части. Это упрощает управление и обработку данных.
• Активное уведомление (Pinging): Настройте автоматическое уведомление Google при обновлении файлов Sitemap. Патент описывает это как основной триггер для обработки.
• Поддержание чистоты Sitemaps: Включайте только канонические URL, отдающие код 200 OK. Исключайте ошибки, редиректы и неканонические страницы.

Worst practices (это делать не надо)

• Манипулирование <lastmod>: Установка текущей даты для всех страниц, независимо от изменений. Это заставляет Googlebot тратить бюджет на сканирование неизмененного контента и может подорвать доверие к вашим данным.
• Игнорирование относительности <priority>: Установка максимального приоритета (1.0) для всех страниц. Это делает сигнал бесполезным. Патент упоминает, что краулер может игнорировать значения приоритета, если они не соответствуют определенным критериям (например, среднему значению).
• Нереалистичный <changefreq>: Указание 'hourly' для контента, который редко меняется. Планировщик адаптируется к реальным наблюдениям и может начать игнорировать этот сигнал.
• Включение "мусорных" URL: Добавление в Sitemap дубликатов, неканонических версий или страниц, закрытых от индексации. Это тратит краулинговый бюджет и размывает сигналы приоритета.

Стратегическое значение

Этот патент подтверждает, что оптимизация сканирования (Crawl Optimization) является фундаментальной частью SEO. Google предоставляет инструменты (Sitemaps) для прямого влияния на поведение краулера. Стратегия должна заключаться в обеспечении надежной технической инфраструктуры для генерации точных и актуальных Sitemaps, чтобы максимально эффективно использовать краулинговый бюджет, гарантируя приоритетное сканирование важного и свежего контента.

Практические примеры

Сценарий: Оптимизация сканирования крупного E-commerce сайта

1. Задача: Ускорить индексацию новых товаров и обеспечить актуальность информации о наличии, минимизировав нагрузку на сервер.
2. Применение патента:
   • Разделение Sitemaps: Создается Sitemap Index, разделяющий URL на: Категории, Новые товары, Остальные товары.
   • Настройка метаданных:
     • Категории: Priority 0.9, Changefreq 'daily'.
     • Новые товары: Priority 0.8, Changefreq 'daily'. Точный lastmod.
     • Остальные товары: Priority 0.5, Changefreq 'weekly'. Точный lastmod обновляется только при изменении цены/наличия.
3. Механизм работы (по патенту):
   • URL Scheduler применяет boost factor к Категориям и Новым товарам (Claim 6), ставя их в начало очереди.
   • Планировщик откладывает сканирование Остальных товаров, если lastmod не изменился (Claim 3).
   • Планировщик использует Changefreq для определения частоты возврата на страницы (Claim 1).
4. Результат: Googlebot фокусирует ресурсы на сканировании ключевого и нового контента, быстрее обновляет индекс и эффективнее расходует краулинговый бюджет.