Как Google использует машинное обучение (K-armed Bandits) и поведенческие факторы для оптимизации частоты сканирования динамического контента

Описание

Какую задачу решает

Патент решает проблему эффективного планирования переобхода (recrawl scheduling) для высокодинамичного контента (например, цен и наличия товаров на offer pages) в условиях ограниченных ресурсов сканирования (crawl budget). Традиционные подходы (например, равномерное сканирование) неоптимальны: они либо тратят избыточные ресурсы на неизменившийся контент, либо приводят к устареванию данных в индексе (staleness). Цель изобретения — максимизировать свежесть (freshness) фактической информации в репозитории поисковой системы, особенно той, которая важна для пользователей.

Что запатентовано

Запатентована система адаптивного управления сканированием, которая использует комбинацию нескольких стратегий переобхода (recrawl strategies). Для динамического выбора наилучшей стратегии в реальном времени применяется алгоритм машинного обучения с подкреплением — K-armed adversarial bandits (KAB). Ключевой особенностью является использование глубоких нейронных сетей (DNN) для прогнозирования входных параметров стратегий: частоты кликов (Click Rate μ), частоты показов (Impression Rate v) и вероятности изменения контента (Change Rate Δ).

Как это работает

Система работает итеративно, оптимизируя процесс сканирования:

• Прогнозирование: Для каждого URL система прогнозирует его популярность (μ, v) и волатильность (Δ), используя DNN-модели, обученные на исторических данных и метаданных (например, категория товара, бренд, мерчант).
• Выбор стратегии: Алгоритм KAB выбирает одну из доступных стратегий сканирования (например, приоритет по кликам, приоритет по изменениям, равномерная) на основе накопленных данных об их эффективности (Reward).
• Планирование и Исполнение: Выбранная стратегия определяет частоту переобхода (Recrawl Rate ρ) для каждого URL. Система выполняет сканирование.
• Обучение: Если было обнаружено изменение контента на популярной странице, стратегия получает высокое вознаграждение (оптимизация Click-weighted freshness). Система обновляет свою политику (Recrawl Policy), отдавая предпочтение более успешным стратегиям.

Актуальность для SEO

Высокая. Оптимизация краулингового бюджета и обеспечение свежести динамического контента (особенно в eCommerce и новостях) являются критически важными задачами для поисковых систем. Использование обучения с подкреплением (RL) и глубоких нейронных сетей (DNN) для управления инфраструктурой сканирования соответствует современным подходам Google.

Важность для SEO

Патент имеет высокое значение (8.5/10) для SEO, особенно для E-commerce и крупных сайтов с динамическим контентом. Он детально описывает механизм, определяющий приоритеты Google при переобходе страниц. Популярность страницы (клики и показы) и прогнозируемая волатильность контента напрямую влияют на частоту сканирования. Понимание этих механизмов необходимо для обеспечения актуальности информации в поиске.

Детальный разбор

Термины и определения

Change Rate (Δ – Вероятность изменения)

Вероятность того, что фактическое значение (Quantity) сущности (например, цена товара) изменится в заданный период времени.

Click Rate (μ – Частота кликов)

Количество кликов, которые получает страница сущности из результатов поиска за период времени.

Click-weighted freshness (Свежесть, взвешенная по кликам)

Основная метрика полезности (Utility) и цель оптимизации системы. Измеряет процент кликов, при которых пользователи увидели актуальную информацию.

Entity / Offer (Сущность / Предложение)

Объект, информация о котором отслеживается. В контексте патента часто используется страница товара (Offer Page).

Exploration Probability (γ) (Вероятность исследования)

Параметр в алгоритме KAB, который гарантирует, что система иногда выбирает случайные стратегии для адаптации к изменениям, а не только исторически лучшие.

History Features (Исторические признаки)

Данные из прошлых логов сканирования и поведения пользователей. Примеры: частота изменений в прошлом, время с последнего изменения, клики/показы за прошлые периоды.

Impression Rate (v – Частота показов)

Количество показов страницы сущности в результатах поиска за период времени.

K-armed Adversarial Bandits (KAB)

Алгоритм обучения с подкреплением, используемый для выбора оптимальной стратегии (Arm) в условиях неопределенности и меняющейся среды.

Metadata Features (Признаки метаданных)

Атрибуты сущности, используемые для прогнозирования. Примеры: Бренд, Страна, Язык, ID Мерчанта, Категория продукта, День недели.

Quantity (Значение)

Конкретная фактическая информация на странице, свежесть которой отслеживается (например, цена, наличие товара).

Recrawl Policy (Политика переобхода)

Распределение весов (Weight Distribution) между различными стратегиями сканирования, определяющее вероятность выбора каждой из них.

Recrawl Rate (ρ – Частота переобхода)

Количество запланированных переобходов URL за единицу времени.

Recrawl Strategy / Arm (Стратегия переобхода / Рука)

Конкретный алгоритм расчета Recrawl Rate. Примеры: Uniform, Change-weighted (по Δ), Click-weighted (по μ), Impression-weighted (по v), Resource-optimized.

Reward (Награда)

Численная оценка успеха стратегии сканирования. Награда начисляется, если сканирование обнаружило изменение Quantity, и взвешивается по Click Rate.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обновления данных (refresh policy).

1. Система получает набор сущностей (entities) со значениями (quantity), актуальными на предыдущий момент времени.
2. Для каждой сущности генерируются текущие значения параметров: частота доступа (access rate, например, клики) и/или вероятность изменения значения (likelihood of a change).
3. Выбирается стратегия обновления (refresh strategy) из множества доступных стратегий в соответствии с политикой обновления.
4. Политика включает распределение весов (weight distribution). Упомянуты стратегии: uniform, change-weighted, access-weighted, resource-optimized.
5. Для каждой сущности генерируется частота обновления (refresh rate) согласно выбранной стратегии и значениям параметров.
6. Выполняется операция обновления (сканирование) репозитория на основе рассчитанных частот.

Claim 4 (Зависимый): Детализирует генерацию параметров для расчета refresh rate.

Для генерации значений параметров (например, вероятности изменения или частоты доступа) используется соответствующая модель нейронной сети (neural network model).

Claims 5, 6, 7, 8 (Зависимые): Детализируют обучение нейронных сетей.

Модели обучаются на основе исторических признаков (history features) (Claim 5, 6) и метаданных (metadata) (Claim 7, 8). Исторические признаки включают прошлую частоту изменений и количество доступов. Метаданные включают день недели, бренд, ID мерчанта, страну.

Claim 11 и 12 (Зависимые, в рамках Computer Program Product): Уточняют механизм выбора и обучения.

Каждая стратегия представлена как «рука» (arm) алгоритма K-armed adversarial bandits (Claim 11). Веса генерируются с использованием обучения с подкреплением (reinforcement learning) для максимизации параметра награды (reward parameter), который указывает на полезность стратегии (Claim 12).

Где и как применяется

Изобретение применяется на этапе управления сканированием и напрямую влияет на сбор данных.

CRAWLING – Сканирование и Сбор данных

Это основная область применения патента. Система определяет приоритеты и частоту переобхода URL (Crawl Scheduling) и управляет распределением бюджета (Crawl Budget Management).

1. Prediction Manager: Использует данные из логов сканирования (Crawling Logs / History) и сигналы страниц (Entity Page Signals / Metadata) для прогнозирования параметров (μ, v, Δ) с помощью DNN.
2. Recrawl Policy Manager: Использует алгоритм K-armed bandit для выбора стратегии на текущий временной шаг.
3. Recrawl Manager: Рассчитывает конкретные частоты сканирования (ρ) на основе выбранной стратегии и прогнозов, а затем выполняет сканирование для обновления Content Data.

INDEXING – Индексирование и извлечение признаков

На этом этапе извлекаются и сохраняются Metadata Features (например, бренд, категория), которые затем используются Prediction Manager. Также здесь обновляются фактические данные (Quantity, например, цена).

Входные данные:

• Набор URL (Entities/Offers) и их предыдущие значения Quantity.
• History Features (из логов сканирования и взаимодействия).
• Metadata Features (из индекса).
• Ограничение на ресурсы сканирования (бюджет b).

Выходные данные:

• Расписание переобхода (Recrawl Rates ρ).
• Обновленные значения Quantity в индексе.
• Обновленная политика сканирования (Policy Weights).

На что влияет

• Конкретные типы контента и ниши: В первую очередь влияет на контент с высокодинамичными фактическими данными. Патент фокусируется на commercial offer pages (E-commerce), но также упоминает новости, события, прогнозы погоды, отзывы.
• Географические и языковые ограничения: Country code и Language используются как признаки для прогнозирования, что позволяет адаптировать политики сканирования под региональные особенности.

Когда применяется

• Условия работы: Алгоритм работает непрерывно для управления переобходом известного набора динамических URL в условиях ограниченного бюджета (b).
• Временные рамки: Процесс итеративный. В патенте упоминаются различные временные шаги (time step), например, два часа для выполнения итерации сканирования, и дневная гранулярность для прогнозирования параметров.

Пошаговый алгоритм

Процесс управления сканированием (на основе Algorithm 1 патента).

Этап 0: Инициализация и Обучение (Офлайн/Периодически)

1. Обучение DNN моделей для прогнозирования μ, v, Δ на основе History Features и Metadata Features.
2. Инициализация KAB: Установка равных весов (w) для всех доступных стратегий сканирования (K arms).

Этап 1: Итерация сканирования (Онлайн, на каждом временном шаге t)

1. Прогнозирование параметров: Использование обученных DNN для генерации текущих значений μ, v, Δ для всех URL.
2. Расчет вероятностей выбора (q): Для каждой стратегии рассчитывается вероятность выбора. Она зависит от текущего веса (w) и параметра исследования (exploration probability γ), который гарантирует, что даже стратегии с низким весом иногда будут выбираться (баланс exploration/exploitation).
3. Выбор стратегии: Выбор одной стратегии (Arm A) для применения ко всем URL на текущем шаге, согласно распределению вероятностей q.
4. Расчет частоты сканирования (ρ): Для каждого URL рассчитывается Recrawl Rate (ρ), используя формулу выбранной стратегии (например, из Table 2) и спрогнозированные параметры (μ, v, Δ), с учетом бюджетных ограничений (b).
5. Выполнение сканирования: Переобход URL и обновление локальных значений (Quantity) в репозитории.
6. Расчет награды (Reward): Рассчитывается суммарная награда для выбранной стратегии. Награда начисляется, если сканирование выявило изменение значения, и взвешивается по Click Rate (μ) (Формула Eq. 2). Это измеряет прирост Click-weighted freshness.
7. Обновление политики: Вес (w) выбранной стратегии A увеличивается пропорционально полученной награде (Reinforcement Learning).

Какие данные и как использует

Данные на входе

Система использует два основных типа данных для прогнозирования (детализировано в Table 3 патента): History Features и Metadata Features.

Исторические признаки (History Features):

• Поведенческие факторы (Критически важные): Клики (Clicks) и Показы (Impressions) за различные периоды (вчера, неделя, 2 недели, месяц).
• Временные факторы: Частота изменения цены за последний месяц; Время с момента последнего изменения.

Метаданные (Metadata Features):

• Структурные/Контентные факторы: Уникальный ID бренда (Brand); Уникальный ID продавца (Merchant); Категория продукта (Product Category); Состояние товара (Condition).
• Географические и языковые факторы: Код страны (Country); Язык страницы (Language).
• Контекстуальные факторы: День недели (Day of Week) на момент прогноза.

Какие метрики используются и как они считаются

• Прогнозируемые параметры (μ, v, Δ): Вычисляются с помощью Deep Neural Network (DNN). В патенте используется TensorFlow DNNClassifier с тремя скрытыми слоями, функцией активации ReLU и оптимизацией Adagrad. Прогнозирование рассматривается как задача классификации.
• Recrawl Rate (ρ): Рассчитывается по формулам конкретных стратегий (Table 2). Например, для Click-weighted: ρ пропорциональна μ и нормализована по бюджету b.
• Reward (Награда): Метрика для обучения KAB. Рассчитывается по формуле (Eq. 2). Это сумма полезности по всем URL, где полезность = индикатор изменения цены * нормализованный вес клика.
• Policy Weights (w) и Probabilities (q): Метрики KAB. Веса обновляются экспоненциально на основе наград. Вероятности рассчитываются на основе весов и параметра исследования (γ).

Выводы

1. Адаптивное сканирование с помощью Reinforcement Learning: Google использует сложные алгоритмы (K-armed adversarial bandits) для динамического управления краулингом. Система не полагается на одну стратегию, а постоянно учится и адаптируется, выбирая наиболее эффективный подход в текущий момент.
2. Приоритет сканирования = Популярность × Волатильность: Частота переобхода URL определяется двумя ключевыми факторами: его популярностью (Click Rate, Impression Rate) и прогнозируемой вероятностью изменения контента (Change Rate).
3. «Click-weighted freshness» как главная метрика: Цель системы — не просто обеспечить свежесть всех страниц, а максимизировать свежесть именно тех страниц, на которые кликают пользователи. Награда за обнаружение изменений напрямую взвешивается по кликам.
4. Сложное прогнозирование волатильности (DNN): Для предсказания вероятности изменений используются DNN, учитывающие не только историю изменений URL, но и его метаданные (категория, бренд, мерчант) и контекст (день недели). Это позволяет прогнозировать изменения даже для новых URL (решение проблемы холодного старта).
5. Важность метаданных для краулинга: Точность атрибутов страницы (Metadata Features), часто передаваемых через структурированные данные, напрямую влияет на прогнозирование и, следовательно, на частоту сканирования.

Практика

Best practices (это мы делаем)

• Обеспечение точности структурированных данных (Metadata): Критически важно поддерживать актуальность метаданных, используемых системой для прогнозирования (Metadata Features): бренд, категория продукта, ID мерчанта, состояние товара. Для eCommerce это означает тщательную работу с микроразметкой Schema.org/Product и фидами данных (Google Merchant Center).
• Повышение популярности контента (Clicks & Impressions): Поскольку Click Rate и Impression Rate являются ключевыми факторами для повышения частоты сканирования (как входные параметры и как вес в Reward), необходимо работать над улучшением поведенческих сигналов: оптимизация сниппетов для повышения CTR и улучшение позиций для увеличения показов.
• Оптимизация извлечения фактических данных (Quantity): Убедитесь, что ключевые динамические данные (цена, наличие) легко доступны для краулера и однозначно интерпретируемы. Это ускоряет процесс определения изменений и корректного расчета Reward.
• Анализ логов с учетом контекста: При анализе частоты посещения сайта роботом следует учитывать не только историю изменений на сайте, но и внешние факторы (например, день недели, сезонность), так как система прогнозирования Google учитывает этот контекст (Day of Week).

Worst practices (это делать не надо)

• Искусственная генерация изменений: Попытки увеличить частоту сканирования путем незначительных изменений контента неэффективны. Система фокусируется на изменении ключевых фактических данных (Quantity), и награда взвешивается по кликам.
• Игнорирование ошибок в метаданных: Неверная категоризация товара или ошибки в указании бренда могут привести к неверному прогнозированию Change Rate и, как следствие, к неоптимальному сканированию.
• Затруднение доступа к динамическим данным: Скрытие цен или статуса наличия за сложным для рендеринга JavaScript может привести к тому, что система не сможет эффективно отслеживать изменения, что приведет к устареванию данных в индексе.

Стратегическое значение

Патент подтверждает стратегическую важность поведенческих факторов (кликов и показов) не только в ранжировании, но и в управлении инфраструктурными процессами, такими как сканирование. Система отдает явный приоритет пользовательскому опыту, стремясь предоставить актуальную информацию там, где это наиболее востребовано (Click-weighted freshness). Для сайтов, зависящих от актуальности информации (E-commerce, новости), это означает, что популярность контента напрямую влияет на скорость его обновления в индексе.

Практические примеры

Сценарий 1: Управление сканированием во время распродажи (Black Friday)

1. Подготовка: SEO-специалист убеждается, что все товары имеют корректные метаданные (категория, бренд).
2. Прогнозирование Google: Система Google анализирует Metadata Features и History Features. Учитывая контекст (Day of Week, приближение распродажи), система прогнозирует резкое увеличение Change Rate (Δ) и Click Rate (μ).
3. Адаптация политики: Алгоритм K-armed bandits начинает отдавать предпочтение стратегиям Change-weighted и Click-weighted, так как они приносят большую награду.
4. Результат: Частота сканирования (ρ) для страниц популярных товаров значительно увеличивается. Это гарантирует, что акционные цены быстро попадают в индекс.

Сценарий 2: Новый товар (Cold Start)

1. Ситуация: На сайте появляется новый товар. Исторических данных нет.
2. Прогнозирование Google: Система использует только Metadata Features (например, популярный бренд, волатильная категория, авторитетный продавец) для прогнозирования μ и Δ.
3. Результат: Благодаря качественным метаданным, система может назначить новому товару адекватную частоту сканирования, решая проблему холодного старта.

Вопросы и ответы