Как Google оптимизирует частоту повторного сканирования, прогнозируя вероятность удаления страниц на сайте

Описание

Какую задачу решает

Патент решает проблему оптимизации ресурсов сканирования (Crawl Budget). Существует противоречие: слишком частое сканирование (re-crawling) создает избыточную нагрузку на сеть и серверы веб-сайтов, а слишком редкое приводит к тому, что удаленные страницы (например, истекшие объявления, проданные товары) остаются в поисковом индексе. Изобретение направлено на поиск оптимального баланса между актуальностью индекса и стоимостью сканирования.

Что запатентовано

Запатентована система для определения оптимального расписания повторного сканирования. Система анализирует историю сканирования (crawl history data), чтобы рассчитать вероятность удаления страницы (Deletion Probability) в будущем, в том числе для отдельных категорий контента. Затем используется функция «штрафа» (Crawl Penalty/Crawl Score), чтобы найти расписание, минимизирующее общие издержки — стоимость самого сканирования и штраф за показ удаленной страницы пользователю.

Как это работает

Система работает в два основных этапа:

1. Расчет вероятности удаления: Анализируется история сканирования за определенные периоды. Система подсчитывает, сколько страниц (особенно posting pages) в каждой категории было удалено. На основе этого рассчитывается Deletion Probability.
2. Оптимизация расписания: Система перебирает различные варианты расписания сканирования. Для каждого варианта вычисляется Crawl Penalty по специальной формуле. Эта формула взвешивает затраты на выполнение сканирования (P1) и потенциальный ущерб от показа устаревших результатов (P2). Выбирается расписание с минимальным общим штрафом.

Актуальность для SEO

Высокая. Управление краулинговым бюджетом (Crawl Budget Management) и обеспечение свежести индекса остаются критически важными задачами для Google. Описанные в патенте методы интеллектуального планирования сканирования (Crawl Scheduling) на основе прогнозирования изменений являются фундаментальными для эффективной работы поисковых систем.

Важность для SEO

Патент имеет высокое инфраструктурное значение для SEO (7/10), особенно для крупных и динамичных сайтов (e-commerce, доски объявлений, агрегаторы). Он не описывает факторы ранжирования, но раскрывает механизмы, определяющие, как часто Google будет возвращаться к контенту. Понимание этих механизмов позволяет оптимизировать управление краулинговым бюджетом и гарантировать своевременную индексацию и деиндексацию страниц.

Детальный разбор

Термины и определения

Crawl History Data (Данные истории сканирования)

Информация, сохраняемая в Web Site Crawling History DB. Включает снапшоты просканированных страниц, коды ответов HTTP, статус страницы (NEW, DELETED, MODIFIED, MOVED) и временные метки.

Crawl Penalty / Crawl Score (Штраф / Оценка за сканирование)

Метрика для оценки эффективности расписания. Является комбинацией штрафа за выполнение сканирования (затраты ресурсов) и штрафа за показ удаленной страницы пользователю (устаревший индекс).

Deletion Probability (Вероятность удаления)

Рассчитанная вероятность того, что страница на сайте (или в категории) будет удалена в течение определенного периода времени.

Listing Page (Страница листинга)

Страница категории или списка (например, страница категории товаров).

Posting Page (Страница публикации/Элемента)

Отдельная страница с детальной информацией об одном элементе (например, одно объявление, один товар). Основной тип контента, вероятность удаления которого прогнозируется.

Re-Crawl Analyzer (Анализатор повторного сканирования)

Компонент системы, который анализирует Crawl History Data для расчета Deletion Probability и определения оптимального расписания.

Re-Crawl Schedule (Расписание повторного сканирования)

Набор временных интервалов, определяющий, когда веб-сайт или его часть должны быть повторно просканированы.

Ключевые утверждения (Анализ Claims)

Патент содержит две основные группы утверждений: первая фокусируется на расчете вероятности удаления с учетом категорий, вторая — на использовании этой вероятности для оптимизации расписания сканирования.

Claim 1 (Независимый пункт, Система) и Claim 10 (Метод): Описывают расчет вероятности удаления с учетом категорий.

1. Система получает историю сканирования сайта, страницы которого ассоциированы с категориями.
2. Определяется статус страниц (например, DELETED).
3. Для каждой категории подсчитывается общее количество удаленных страниц.
4. Для каждой категории рассчитывается вероятность того, что другая страница в этой категории будет удалена.
5. Рассчитанная вероятность сохраняется в ассоциации с категорией и сайтом.

Claim 5 (Независимый пункт, Система) и Claim 14 (Метод): Описывают определение расписания сканирования.

1. Система получает историю сканирования за несколько предыдущих временных периодов.
2. Рассчитываются вероятности удаления для каждого периода.
3. Для множества потенциальных расписаний рассчитывается оценка сканирования (Crawl Score/Crawl Penalty). Оценка является комбинацией первой оценки (стоимость сканирования сайта) и второй оценки (стоимость показа удаленной страницы).
4. Определяется расписание повторного сканирования на основе этих оценок (выбирается расписание с минимальным штрафом).

Claim 8 и Claim 17 (Зависимые): Детализируют формулу расчета Crawl Score (Penalty Function) для категории ‘c’ и набора периодов ‘T’.

Оценка является суммой первой и второй величины.

• Первая величина (Штраф за сканирование) определяется как $p_1\ast$

Выводы

1. Прогнозирование для оптимизации: Google не просто реагирует на изменения, но активно прогнозирует вероятность удаления контента (Deletion Probability) для оптимизации расписания сканирования.
2. Баланс через функцию штрафа: Ключевым механизмом является Penalty Function. Она математически формализует компромисс между стоимостью сканирования (дорого) и показом устаревших результатов (плохо для пользователя). Google минимизирует этот общий штраф.
3. Гранулярность на уровне категорий: Система анализирует частоту удаления контента отдельно для разных разделов сайта. Это позволяет Google сканировать разные части одного сайта с разной частотой, адаптируясь к скорости изменений в них.
4. Важность корректной идентификации удаления: Система полагается на точное определение статуса DELETED. Это может быть основано как на явных сигналах (HTTP 404/410), так и на анализе контента страницы (распознавание soft 404s).
5. Фокус на контенте с высоким Churn Rate: Механизм в первую очередь направлен на сайты, где контент часто удаляется (E-commerce, Classifieds). Для них правильная техническая реализация удаления страниц критична.

Практика

Best practices (это мы делаем)

• Использование корректных кодов ответа: Всегда отдавайте HTTP 410 (Gone) или HTTP 404 (Not Found) для удаленного контента. Это самый чистый сигнал для Re-Crawl Analyzer, позволяющий точно рассчитать Deletion Probability и оптимизировать расписание для быстрого удаления страниц из индекса.
• Обеспечение четкой структуры категорий: Для крупных сайтов важно иметь логичную и последовательную структуру URL. Поскольку Google рассчитывает Deletion Probability на уровне категорий, четкая структура поможет ему эффективнее распределить краулинговый бюджет между разделами с разной частотой обновления.
• Консистентные страницы ошибок (Борьба с Soft 404s): Если вы вынуждены отдавать HTTP 200 на страницах удаленных товаров (soft 404), убедитесь, что эти страницы имеют стандартизированный шаблон. Это поможет Google распознать их как удаленные через анализ контента (DOM comparison), как описано в патенте. Однако лучше избегать Soft 404.
• Управление жизненным циклом контента: Для контента с ограниченным сроком жизни (акции, события) обеспечьте технически корректный процесс деактивации (своевременная отдача кодов 4xx), чтобы Google мог адаптировать частоту сканирования.

Worst practices (это делать не надо)

• Редирект удаленных страниц на главную или в категорию: Массовые редиректы (301/302) удаленных Posting Pages на нерелевантные страницы запутывают систему. Google не получит сигнал DELETED, что негативно повлияет на расчет Deletion Probability и приведет к неэффективному сканированию.
• Блокировка доступа к удаленным страницам через Robots.txt: Если страница удалена, Google должен иметь возможность ее просканировать, чтобы увидеть код 404/410. Блокировка не позволит обновить статус страницы в Crawl History DB.
• Нестабильная доступность контента (Flaky Content): Если страницы периодически отдают ошибки (например, 5xx), это может быть ошибочно интерпретировано как удаление, что приведет к неверному расчету вероятности и непредсказуемому графику сканирования.

Стратегическое значение

Патент подтверждает, что Google рассматривает сканирование как задачу оптимизации ресурсов. Стратегия SEO должна помогать Google сканировать сайт максимально эффективно. Это особенно важно для сайтов с миллионами страниц. Понимание того, что Google адаптирует частоту сканирования на основе наблюдаемой скорости удалений (а не только на основе PageRank или Sitemaps), подчеркивает важность технического SEO и правильного управления жизненным циклом контента.

Практические примеры

Сценарий: Оптимизация сканирования сайта недвижимости

На сайте есть два раздела: /аренда/ (высокая оборачиваемость, объекты сдаются быстро) и /продажа/ (низкая оборачиваемость, объекты продаются долго).

1. Наблюдение Google: Краулер фиксирует, что в разделе /аренда/ страницы часто начинают отдавать 410 уже через несколько дней. В разделе /продажа/ страницы актуальны месяцами.
2. Расчет вероятности: Re-Crawl Analyzer рассчитывает высокую Deletion Probability для категории /аренда/ и низкую для /продажа/.
3. Расчет Penalty и Оптимизация:
   • Для /аренда/: Система определяет, что редкое сканирование приведет к высокому штрафу p2 (пользователи увидят неактуальные объявления). Оптимальное расписание — частое (например, ежедневно).
   • Для /продажа/: Система определяет, что частое сканирование приведет к высокому штрафу p1 (затраты ресурсов) при низком риске p2. Оптимальное расписание — редкое.
4. Действия SEO: Гарантировать, что все сданные объекты в разделе /аренда/ немедленно отдают код 410. Это поддерживает эффективный график сканирования именно этого раздела.

Вопросы и ответы