Как Google прогнозирует частоту обновления новых страниц для оптимизации краулингового бюджета

Описание

Какую задачу решает

Патент решает проблему эффективного планирования сканирования (crawling) для поддержания свежести поискового индекса. Постоянное сканирование всех документов требует огромных ресурсов. Системе необходимо прогнозировать, когда документ изменится, чтобы запланировать его повторное сканирование максимально близко к моменту изменения. Эта задача особенно сложна для недавно обнаруженных документов или документов с короткой историей сканирования, по которым еще не накоплена статистика изменений.

Что запатентовано

Запатентован метод оценки скорости изменения (Change Rate) документа, основанный на исторических данных об изменениях других, похожих документов. Система определяет сходство на основе метаданных, в первую очередь шаблонов URL (URL Patterns). Для нового документа система находит похожие документы и использует распределение их скоростей изменения (Prior Distribution) для статистического прогнозирования скорости изменения нового документа.

Как это работает

Ключевой механизм основан на предположении, что документы в пределах одного домена, сайта или директории имеют схожие скорости изменения.

• Сбор метаданных: Для нового документа извлекаются метаданные (шаблон URL, тип документа, категория).
• Поиск похожих документов: Система ищет документы с наиболее специфичным совпадающим шаблоном URL.
• Анализ истории: Анализируется распределение скоростей изменения этих похожих документов (Prior Distribution).
• Статистическая оценка: Используя это распределение и статистические методы (например, оценку максимального апостериорного правдоподобия — MAP estimate), система вычисляет наиболее вероятную скорость изменения для нового документа.
• Планирование и корректировка: На основе этой оценки планируется следующее сканирование. После сканирования оценка корректируется на основе фактических наблюдений, постепенно уточняя реальную скорость изменения.

Актуальность для SEO

Высокая. Оптимизация краулингового бюджета и поддержание свежести индекса являются постоянными приоритетами для Google. Описанные методы, использующие шаблоны URL и статистическое прогнозирование для планирования сканирования, остаются фундаментальными для эффективной работы поисковых систем в масштабах интернета.

Важность для SEO

Патент имеет значительное влияние на SEO, особенно для крупных сайтов и ресурсов с часто обновляемым контентом. Он напрямую влияет на скорость индексации нового контента и скорость отражения обновлений в поиске. Понимание этого механизма критически важно для управления краулинговым бюджетом, так как он показывает, что структура URL и согласованность частоты обновлений внутри разделов сайта напрямую влияют на эффективность сканирования.

Детальный разбор

Термины и определения

Change Rate (Скорость изменения)

Частота, с которой изменяется содержимое документа. Является ключевой метрикой для прогнозирования момента следующего изменения и планирования сканирования.

Change Rate Estimator (Оценщик скорости изменения)

Модуль поисковой системы, отвечающий за расчет предполагаемой скорости изменения документа.

Change Signals (Сигналы изменения)

Любые данные, указывающие на вероятность изменения документа. Включают историю сканирования, данные от вебмастеров (логи, фиды), уровень ошибок на домене (например, 404) и т.д.

Metadata (Метаданные)

Данные, ассоциированные с документом, используемые для поиска похожих документов. Включают URL, домен, термины в URL (например, «/archive»), тип документа (PDF, HTML), категорию контента (новости, блог).

Method-of-Moments (Метод моментов)

Статистический метод, используемый для подбора (fitting) параметров Prior Distribution путем сравнения моментов распределения (среднее, дисперсия и т.д.).

Maximum A-Posteriori (MAP) estimate (Оценка максимального апостериорного правдоподобия)

Статистический метод, используемый для вычисления наиболее вероятной Change Rate документа на основе Prior Distribution и наблюдаемых данных (если они есть).

Prior Distribution (Априорное распределение)

Распределение существующих скоростей изменения группы похожих документов. Используется как базовое предположение о том, как может вести себя новый документ из этой группы.

URL Pattern (Шаблон URL)

Структура URL, используемая для иерархической группировки документов (например, «example.org/news/» схож с «example.org/news/article1»).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод оценки скорости изменения.

1. Система получает первый документ.
2. Извлекаются метаданные для первого документа.
3. Система получает существующие скорости изменения (existing change rates) для вторых документов, выбранных на основе этих метаданных (т.е. похожих документов).
4. Вычисляется предполагаемая скорость изменения (estimated change rate) для первого документа на основе скоростей изменения вторых документов.

Claim 2 (Зависимый от 1): Уточняет метод вычисления.

Вычисление предполагаемой скорости изменения включает расчет Maximum A-Posteriori (MAP) estimate с учетом априорного распределения (Prior Distribution), основанного на существующих скоростях изменения, и выбор наиболее вероятной скорости.

Claims 3 и 4 (Зависимые от 1): Описывают применение оценки.

Предполагаемая скорость изменения используется для планирования сканирования (scheduling a crawl) первого документа. После выполнения сканирования по расписанию, предполагаемая скорость изменения корректируется на основе результатов сканирования (т.е. было ли изменение).

Claims 5 и 6 (Зависимые от 1): Уточняют роль URL.

Метаданные включают URL документа. Получение существующих скоростей изменения включает идентификацию документов, имеющих шаблон URL (URL pattern), схожий с URL первого документа.

Claim 7 (Зависимый от 6): Уточняет метод обработки распределения.

Система измеряет распределение существующих скоростей изменения и подбирает параметры распределения, используя Method-of-Moments.

Claim 9 (Независимый пункт): Описывает альтернативный вариант метода, использующий более широкий набор данных.

1. Система получает первый документ и его метаданные.
2. Определяются вторые документы, связанные с первым на основе метаданных.
3. Вычисляется предполагаемая скорость изменения для первого документа на основе сигналов изменения (change signals) для вторых документов (а не только их change rates).

Claim 11 (Зависимый от 9): Уточняет типы сигналов.

Change signals включают данные, полученные от вебмастера, связанного со вторыми документами (например, логи или фиды обновлений).

Где и как применяется

Изобретение напрямую связано с управлением процессом сканирования и поддержанием свежести данных.

CRAWLING – Сканирование и Сбор данных
Это основная фаза применения патента. Модуль Change Rate Estimator взаимодействует с планировщиком сканирования (Crawl Scheduling).

• Планирование: Система использует рассчитанную estimated change rate, чтобы определить, когда следует повторно посетить документ. Это напрямую влияет на управление краулинговым бюджетом (Crawl Budget Management).
• Обнаружение: Когда краулер обнаруживает новый документ, этот механизм активируется для определения начальной частоты сканирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе система обрабатывает историю сканирования и вычисляет фактические скорости изменения для документов с достаточной историей.

• Расчет и хранение: Система должна хранить историю изменений и рассчитывать Change Rates. Эти данные затем агрегируются по шаблонам URL для формирования Prior Distributions, которые используются на этапе CRAWLING.
• Извлечение признаков: Извлечение метаданных (тип документа, категория контента), которые могут использоваться для оценки скорости изменения.

Входные данные:

• Новый документ (или документ с короткой историей сканирования).
• Метаданные документа (URL, домен, тип, категория).
• База данных исторических Change Rates для корпуса документов, агрегированная по метаданным (например, по URL Patterns).
• Change Signals (например, данные от вебмастеров, уровень ошибок на домене).

Выходные данные:

• Estimated Change Rate для документа.
• Расписание следующего сканирования документа.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, сгруппированный в структурированные разделы: новостные статьи, карточки товаров в e-commerce, посты в блогах, страницы аукционов.
• Специфические запросы: Влияет на свежесть результатов по запросам, требующим актуальной информации (QDF — Query Deserves Freshness).
• Конкретные ниши или тематики: Критично для новостных порталов, сайтов с объявлениями, форумов и любых сайтов, где скорость обновления контента высока.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда система сталкивается с документом, для которого невозможно надежно определить скорость изменения на основе его собственной истории. В патенте упоминается, что это актуально для недавно обнаруженных документов или документов с небольшим количеством сканирований (например, 1-4 сканирования).
• Условия применения: Применяется, если система может найти достаточное количество похожих документов (на основе метаданных/URL Pattern) с известной историей изменений для формирования надежного Prior Distribution.
• Исключения: Для документов с обширной историей сканирования (например, более шести сканирований) система может полагаться на фактическую историю изменений этого документа, а не на прогнозируемую оценку на основе похожих страниц.

Пошаговый алгоритм

Процесс оценки скорости изменения нового документа:

1. Получение документа: Система обнаруживает новый документ в корпусе (например, во время сканирования сайта).
2. Извлечение метаданных: Извлекаются метаданные документа, такие как полный URL, домен, термины в URL, тип документа (например, PDF) и категория контента.
3. Идентификация похожих документов: Система ищет другие документы в индексе, которые имеют схожие метаданные. Приоритет отдается наиболее специфичному совпадению шаблона URL (например, совпадение по директории предпочтительнее совпадения только по домену).
4. Получение априорного распределения: Система извлекает существующие скорости изменения (Change Rates) для группы похожих документов. Этот набор данных формирует Prior Distribution. В некоторых реализациях параметры этого распределения могут быть предварительно рассчитаны для шаблона URL с использованием Method-of-Moments.
5. Учет дополнительных сигналов: Система может учитывать другие Change Signals, такие как данные от вебмастера или уровень ошибок на домене, для корректировки модели.
6. Расчет предполагаемой скорости изменения: Вычисляется MAP estimate на основе Prior Distribution. Система выбирает наиболее вероятную скорость изменения для нового документа. В патенте упоминается формула для априорного распределения: $P(λ|t,n) ∝ (e^{-\lambda t})^n (1-e^{-\lambda t})^n$, где переменная ‘n’ регулирует силу априорного распределения.
7. Сохранение и планирование: Рассчитанная скорость сохраняется как метаданные документа, и на ее основе планируется следующее сканирование.
8. Итеративное уточнение: При следующем сканировании система проверяет, изменился ли документ. Этот факт фиксируется в истории сканирования. Estimated Change Rate пересчитывается с учетом новых данных. Процесс повторяется, позволяя оценке постепенно приближаться к фактической скорости изменения документа.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании метаданных и исторических данных для планирования сканирования.

• Технические факторы:
  • URL-структура: Критически важный фактор. Используется для определения URL Patterns и поиска похожих документов на уровне домена, поддомена или директории.
  • Тип документа: (Например, PDF, HTML, JavaScript). Может использоваться как метаданные для поиска документов с похожими характеристиками изменения.
  • Код ответа: Упоминается, что высокий уровень ошибок (например, 404) на домене может быть сигналом изменения доступности других страниц на этом домене.
• Контентные факторы:
  • Категория документа: Система может классифицировать контент (например, срочные новости, блог, аукцион, рецепт) и использовать эту категорию как метаданные для оценки скорости изменения.
  • Индикаторы архивации: Наличие терминов типа «/archive» в URL или контенте может указывать на низкую вероятность изменения.
• Внешние сигналы (Change Signals):
  • Данные от вебмастеров: Логи, фиды или другие индикаторы от вебмастера о истории изменений документа или прогнозируемых изменениях.

Какие метрики используются и как они считаются

• Change Rate (λ): Основная метрика, которую система пытается оценить. Представляет собой частоту изменений.
• Prior Distribution Parameters (t, n): Параметры, описывающие априорное распределение. ‘t’ представляет ожидаемый период между изменениями, а ‘n’ представляет силу уверенности (strength of the belief), основанную на количестве наблюдаемых интервалов (сканирований).
• MAP estimate: Статистическая оценка, используемая для определения наиболее вероятной Change Rate. Рассчитывается с использованием вероятности Пуассоновского процесса (Poisson process likelihood) в дополнение к Prior Distribution.
• Методы анализа: Method-of-Moments используется для определения формы базового распределения скоростей изменения для группы похожих документов.

Выводы

1. Структура URL критически важна для эффективности сканирования: Google предполагает, что страницы с похожими шаблонами URL (например, в одной директории) имеют схожую частоту обновлений. Система использует эту иерархию для прогнозирования поведения новых страниц.
2. «Наследование» частоты сканирования: Новые документы «наследуют» предполагаемую скорость изменения от своих структурных соседей. Если раздел сайта обновляется часто, новые страницы в этом разделе будут сканироваться часто с момента их обнаружения.
3. Согласованность ускоряет обучение: Если документы в рамках одного URL Pattern действительно обновляются с одинаковой частотой, система быстрее определит оптимальный график сканирования. Несогласованность затрудняет прогнозирование.
4. Система самокорректируется, но с задержкой: Начальная оценка может быть неточной, но система итеративно корректирует Change Rate на основе фактических наблюдений. Однако для накопления достаточной истории требуется время (упоминается до 6 сканирований). Сила априорного распределения (параметр ‘n’) контролируется, чтобы не мешать системе сходиться к правильной скорости изменения.
5. Использование внешних сигналов: Система может использовать не только историю сканирования, но и другие Change Signals, включая данные от вебмастеров и анализ ошибок на сайте, для более точной оценки частоты изменений.

Практика

Best practices (это мы делаем)

• Логичная и последовательная структура URL: Проектируйте структуру сайта так, чтобы она отражала логику контента. Это помогает Google корректно определять URL Patterns и применять правильные Prior Distributions.
• Группировка контента по частоте обновления: Размещайте контент с одинаковой частотой обновления в общих директориях (шаблонах URL). Например, держите часто обновляемые новости в /news/, а редко обновляемые архивные материалы в /archive/.
• Предоставление четких сигналов об изменениях: Используйте атрибут lastmod в XML Sitemaps и поддерживайте его актуальность. Это может выступать в роли Change Signal, помогая системе быстрее определить фактическую скорость изменения.
• Мониторинг ошибок сканирования: Поддерживайте низкий уровень ошибок (404, 5xx) на сайте. Высокий уровень ошибок может негативно повлиять на оценку доступности и скорости изменения страниц на домене.
• Оптимизация краулингового бюджета для крупных сайтов: Используйте понимание этого механизма для управления сканированием. Если нужно ускорить индексацию нового раздела, убедитесь, что он находится в структуре, которая исторически часто сканируется, или предоставьте явные сигналы о его важности.

Worst practices (это делать не надо)

• Хаотичная структура URL: Использование неструктурированных URL или URL, не отражающих иерархию контента, затрудняет для Google поиск шаблонов и приводит к неоптимальному планированию сканирования.
• Смешивание статического и динамического контента в одном разделе: Размещение страниц, которые никогда не меняются, рядом со страницами, которые меняются ежечасно, в рамках одного URL Pattern. Это создает «шум» в Prior Distribution и может привести к слишком частому сканированию статики или слишком редкому сканированию динамики.
• Игнорирование скорости загрузки и доступности сервера: Если сервер медленно отвечает или часто недоступен, это нарушает график сканирования, необходимый для точного определения Change Rate, и может привести к снижению частоты сканирования.

Стратегическое значение

Этот патент подчеркивает важность технического SEO и архитектуры сайта для эффективного взаимодействия с поисковыми системами. Он демонстрирует, что Google не рассматривает страницы изолированно, а активно ищет закономерности на уровне всего сайта для оптимизации своих ресурсов. Для Senior SEO-специалистов это подтверждает необходимость стратегического подхода к структуре сайта, управлению контентом и краулинговым бюджетом, особенно при запуске новых сайтов или разделов.

Практические примеры

Сценарий: Запуск нового раздела блога на E-commerce сайте

1. Задача: Необходимо, чтобы новые статьи блога быстро индексировались и часто проверялись на обновления.
2. Применение патента: Система Google будет оценивать Change Rate новых статей на основе истории похожих страниц.
3. Действия SEO-специалиста:
   • Создать четкий URL Pattern, например, /blog/new-post-slug/.
   • На начальном этапе публиковать контент регулярно (например, ежедневно), чтобы сформировать Prior Distribution для шаблона /blog/ с высокой скоростью изменения.
   • Убедиться, что в этот раздел не попадают статические страницы (например, Политика конфиденциальности).
   • Добавить раздел в Sitemap с корректным lastmod.
4. Ожидаемый результат: Google быстро определит, что шаблон /blog/ часто обновляется, и будет присваивать новым статьям высокую Estimated Change Rate, обеспечивая их быстрое сканирование и индексацию.

Сценарий: Управление архивным контентом

1. Задача: Снизить нагрузку на сервер от сканирования старого новостного архива, который больше не обновляется.
2. Применение патента: Google использует историю изменений в разделе для планирования будущих сканирований.
3. Действия SEO-специалиста:
   • Переместить архивный контент под отдельный URL Pattern, например, /archive/2020/post-slug/.
   • Полностью прекратить обновление контента в этом разделе.
4. Ожидаемый результат: Со временем Google накопит статистику по шаблону /archive/, увидит, что контент не меняется, и сформирует Prior Distribution с очень низкой скоростью изменения. Частота сканирования этого раздела значительно снизится, экономя краулинговый бюджет.

Вопросы и ответы