Как Google использует машинное обучение для определения значимости обновлений контента на веб-страницах

Термины и определения

Change Notification (Уведомление об изменении)

Сообщение, указывающее на значимое обновление ресурса (например, запись в RSS/Atom-канале).

Content Features (Контентные признаки)

Признаки, основанные на содержании ресурса (текст, HTML-теги, сущности, расположение текста).

Delta Term Count (Дельта-счетчик терминов)

Сумма количества терминов, которые были изменены, добавлены или удалены в новой версии по сравнению со старой. Учитывает позиционность терминов.

Delta Text (Дельта-текст)

Объединение терминов, удаленных из старой версии, и терминов, добавленных в новую версию.

Feature Vector (Вектор признаков)

Структурированный набор числовых значений (feature data), описывающий разницу между двумя версиями ресурса, используемый моделью машинного обучения.

High IDF Terms (Термины с высоким IDF)

Термины с высокой обратной документной частотой. Редкие слова, которые часто несут большее семантическое значение.

Structure Features (Структурные признаки)

Признаки, основанные на графовой структуре веба, описывающие взаимосвязи (ссылки) между данным ресурсом и другими (входящие/исходящие ссылки, анкоры).

Support Vector Machine (SVM, Машина опорных векторов)

Модель машинного обучения (классификатор), используемая для определения, является ли изменение значимым.

Traffic Features (Трафиковые/Поведенческие признаки)

Признаки, основанные на взаимодействии пользователей с ресурсом в поисковой системе (клики, показы, запросы).

Version Pair (Пара версий)

Две последовательные версии одного и того же ресурса (старая и новая), полученные краулером в разное время.

Ключевые утверждения (Анализ Claims)

Патент содержит два ключевых независимых пункта: Claim 1 (процесс классификации) и Claim 11 (процесс обучения).

Claim 1 (Независимый пункт): Описывает метод классификации изменений.

1. Получение первой и второй (измененной) версий ресурса.
2. Определение данных признаков (feature data), включая контентные признаки (content feature data).
3. Расчет контентных признаков включает:
   • Вычисление разницы в количестве терминов (term count difference).
   • Вычисление Delta Term Count (сумма удаленных, добавленных и измененных терминов).
4. Создание Feature Vector на основе этих данных.
5. Передача вектора в обученную Support Vector Machine (SVM).
6. Классификация второй версии как требующей или не требующей уведомления на основе вывода SVM.

Ядром изобретения является использование SVM для классификации значимости изменений, при этом в качестве обязательных признаков защищается использование Term Count Difference и Delta Term Count.

Claim 11 (Независимый пункт): Описывает метод обучения классификатора.

1. Получение множества пар версий ресурсов.
2. Получение уведомлений об изменениях для подмножества этих пар (т.е. известно, где были уведомления, а где нет).
3. Для каждой пары вычисляются term count difference и Delta Term Count.
4. Создаются Feature Vector и индикатор уведомления (notification indicator) — метка, указывающая на наличие уведомления.
5. Классификатор обучается с использованием векторов признаков и соответствующих индикаторов.

Этот пункт описывает обучение модели на реальных данных (ground truth), используя существующие уведомления (например, RSS) как стандарт значимости.

Зависимые пункты (Claims 3, 7 и др.): Расширяют базовый метод, добавляя в Feature Vector другие типы признаков:

• Claim 3: Добавляет структурные признаки (structure feature data) — изменения в ссылочных связях.
• Claim 7: Добавляет трафиковые признаки (traffic feature data) — изменения во взаимодействии пользователей.

Где и как применяется

Изобретение является инфраструктурным и применяется на ранних этапах обработки контента.

CRAWLING – Сканирование и Сбор данных
Краулер (Webcrawler) собирает версии ресурсов и данные о веб-фидах. Описанный механизм может влиять на планирование сканирования (Crawl Scheduling): ресурсы с частыми значимыми обновлениями могут сканироваться чаще.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Когда новая версия ресурса поступает на индексацию:

1. Difference Engine сравнивает её с предыдущей версией.
2. Vectorizer извлекает признаки (Content, Structure, Traffic), описывающие изменения. Это требует доступа к контентному индексу, ссылочному графу и логам поисковой системы (Session Logs).
3. Trained SVM классифицирует изменение.

Если изменение классифицировано как «значимое», это может инициировать более глубокие процессы переиндексации и переоценки сигналов качества и релевантности страницы (например, активацию сигналов свежести).

Входные данные:

• Первая (V1) и вторая (V2) версии ресурса.
• Данные о ссылочном графе для V1 и V2.
• Логи поисковой системы (для Traffic Features) для V1 и V2.
• Обученная модель SVM.

Выходные данные:

• Классификация изменения (значимое/незначимое).

На что влияет

• Конкретные типы контента: Влияет на все типы HTML-контента. Особенно критично для страниц, где важна актуальность: новостные сайты, блоги, главные страницы, страницы листингов e-commerce.
• Специфические запросы: Влияет на запросы, чувствительные к свежести (QDF). Значимое обновление может активировать Freshness Boost, в то время как незначимое будет проигнорировано.

Когда применяется

• Условия работы: Алгоритм применяется, когда краулер обнаруживает, что контент ресурса изменился с момента последнего сканирования и новая версия поступает в конвейер индексирования.
• Триггеры активации: Любое обнаруженное изменение в контенте, структуре или связанных сигналах.

Пошаговый алгоритм

Процесс А: Классификация изменений (Runtime/Indexing)

1. Получение версий: Система получает первую версию (V1) и вторую, обновленную версию (V2) ресурса.
2. Определение Feature Data (Извлечение признаков): Vectorizer анализирует V1 и V2 для вычисления признаков:
   1. Контентные: Расчет Delta Term Count, изменений в HTML-элементах, сущностях, High IDF Terms, расположения изменений на странице и т.д.
   2. Структурные: Анализ изменений во входящих и исходящих ссылках (внутренних и внешних) и их анкорном тексте.
   3. Трафиковые: Анализ изменений в кликах, показах и запросах из поиска.
3. Создание Feature Vector: Извлеченные признаки компилируются в единый вектор.
4. Классификация: Вектор передается в предварительно обученную модель (Trained SVM).
5. Принятие решения: SVM классифицирует изменение как значимое или незначимое.
6. Генерация уведомления (Опционально): Если изменение значимое, Change Notification Generator может создать уведомление.

Процесс Б: Обучение классификатора (Offline)

1. Сбор данных: Сбор множества ресурсов с ассоциированными фидами (RSS/Atom) и сохранение их последовательных версий.
2. Идентификация пар и Ground Truth: Создание пар версий (V1, V2) и определение, было ли сгенерировано уведомление в фиде между V1 и V2 (Notification Indicator Да/Нет).
3. Генерация признаков: Для всех пар вычисляются Feature Vectors (как в Процессе А).
4. Обучение модели: Классификатор (SVM) обучается на наборе Feature Vectors и соответствующих им Notification Indicators.

Какие данные и как использует

Данные на входе

Патент детально описывает три категории признаков, используемых для анализа изменений:

1. Контентные факторы (Content Features):

• Текст и термины: Количество терминов в V1 и V2 (общее или на уровне HTML-тегов/DOM).
• Delta Term Count: Количество добавленных, удаленных и измененных слов (с учетом позиции).
• Delta Text: Текст, который был добавлен или удален.
• Структурные факторы (HTML): Количество и типы HTML-элементов (тегов) в V1 и V2 (например, <h1>, <table>) и разница между ними.
• Сущности (Named Entities): Количество именованных сущностей (имена, адреса, цены).
• Значимость терминов (High IDF Terms): Количество терминов с высоким показателем IDF (редкие слова).
• Тематика (Categorical Similarity): Сходство категорий V1 и V2, а также V1 и Delta Text.
• Технические факторы (Рендеринг): Расположение Delta Text на отрендеренной странице и его видимость для пользователя.
• Языковые модели: Статистики типа TF-IDF.

2. Ссылочные факторы (Structure Features):

• Входящие ссылки (Inverse Anchor Count): Количество ссылок на ресурс с внешних доменов (Remote) и внутренних страниц (Domain). Могут быть взвешены по важности ссылающегося ресурса.
• Исходящие ссылки (Anchor Count): Количество ссылок с ресурса на внешние и внутренние страницы.
• Анкорный текст: Текст входящих и исходящих ссылок и его изменения (Delta Anchor Text). Также анализируется тематика анкорного текста.
• Связность графа: Изменение количества ресурсов, находящихся в пределах N переходов (например, 2 кликов) от ресурса.

3. Поведенческие факторы (Traffic Features):

(Агрегируются за период времени, например, день или неделю).

• Клики (CTR): Количество кликов по результату поиска, ведущему на ресурс.
• Клики на кэш (Cached Version Clicks): Количество просмотров кэшированной версии страницы из поиска.
• Показы (Impressions): Количество показов ресурса в ТОП-N результатов поиска.
• Запросы (Query Count): Количество запросов, по которым ресурс был показан в поиске.

Какие метрики используются и как они считаются

• Term Count Difference: Простая разница в количестве терминов. $Count(V2) - Count(V1)$.
• Delta Term Count: Метрика объема изменений текста. $Terms_{Added} + Terms_{Deleted} + Terms_{Changed}$TermsDeleted​+TermsChanged​. Это позиционная метрика (например, перестановка двух слов считается двумя изменениями).
• Categorical Similarity (Тематическая близость): Рассчитывается как скалярное произведение (dot product) векторов категорий, полученных от Category Identifier Engine.
• Anchor/Traffic Differences: Разница в количестве ссылок или трафиковых событий между периодами актуальности V1 и V2.
• Алгоритмы машинного обучения: Используется Support Vector Machine (SVM) для классификации итогового Feature Vector.

1. Google измеряет «значимость» обновлений: Система не просто фиксирует факт изменения контента, но и классифицирует его важность с помощью машинного обучения. Это означает, что не все обновления одинаково влияют на переиндексацию и оценку свежести (Freshness).
2. Комплексный анализ изменений (Триада признаков): Для оценки значимости обновления Google анализирует три типа сигналов одновременно:
   • Изменения в самом контенте и HTML-структуре (Content Features).
   • Изменения в ссылочном профиле страницы — входящие и исходящие ссылки, анкоры (Structure Features).
   • Изменения в поведении пользователей по отношению к странице в поиске (Traffic Features).
3. Обучение на поведении издателей: Модель учится определять значимость, анализируя, когда сами издатели считают нужным уведомить пользователей об обновлении (через RSS). Это позволяет Google применять стандарты качества обновлений ко всему вебу.
4. Важность объема и характера изменений (Delta Term Count): Эта метрика подчеркивает, что система детально анализирует, сколько контента было добавлено, удалено или изменено (включая перестановку блоков), а не просто сравнивает итоговый объем. Существенные изменения текста с большей вероятностью будут признаны значимыми.
5. Влияние рендеринга и расположения: Система учитывает расположение и видимость изменений на отрендеренной странице. Изменения в основном контенте (Main Content) имеют больший вес, чем изменения в футере или скрытых блоках.

Best practices (это мы делаем)

• Делайте обновления существенными и видимыми: При актуализации контента стремитесь к значимому объему изменений (высокий Delta Term Count). Добавление новых разделов, переписывание абзацев, добавление новой информации более эффективно, чем мелкие правки. Убедитесь, что ключевые обновления находятся в основном контенте страницы, так как система учитывает расположение и видимость Delta Text.
• Используйте структурные изменения HTML: Добавление новых структурных элементов (таблиц, списков, заголовков) при обновлении контента увеличивает HTML Element Count Difference, что является сильным сигналом значимого изменения.
• Обновляйте ссылочную структуру: Если контент значительно изменился, обновите связанные ссылки (Structure Features). Это включает добавление новых релевантных исходящих ссылок, а также обновление внутренних ссылок (и их анкорного текста), ведущих на эту страницу.
• Стимулируйте взаимодействие с обновленным контентом: Поскольку Traffic Features используются для оценки значимости, привлекайте трафик на обновленные страницы (рассылки, социальные сети). Рост кликов и показов после обновления подтвердит его важность для системы.
• Включайте семантически богатый контент: Добавление именованных сущностей (Named Entities) и релевантных редких терминов (High IDF Terms) при обновлении может повысить оценку значимости изменения.

Worst practices (это делать не надо)

• Имитация свежести (False Freshness): Обновление даты публикации статьи без внесения реальных изменений в контент (низкий Delta Term Count) будет классифицировано как незначимое изменение и не даст эффекта свежести.
• Частые незначительные правки: Постоянное внесение мелких правок (исправление опечаток, изменение одного слова) создает шум. Система классифицирует такие изменения как незначимые, что может негативно сказаться на краулинговом бюджете.
• Изменения только в шаблонных элементах: Обновления, затрагивающие только футер, сайдбар или навигацию, с меньшей вероятностью будут признаны значимыми, так как модель обучена фокусироваться на основном контенте.
• Скрытие изменений: Внесение изменений в невидимые пользователю части страницы снижает их значимость для классификатора.

Стратегическое значение

Патент подтверждает, что эффективность индексирования является ключевым приоритетом для Google. Система стремится тратить ресурсы только на анализ значимых изменений. Для SEO-стратегий, ориентированных на актуальность контента (Freshness), критически важно понимать, что не все обновления равны. Патент подчеркивает глубокую интеграцию контентных, ссылочных и поведенческих факторов уже на этапе индексации: значимое обновление — это то, которое меняет содержание страницы, ее место в структуре веба и то, как с ней взаимодействуют пользователи.

Практические примеры

Сценарий: Актуализация старой статьи-руководства

Плохой подход (Незначимое обновление):

• Изменить дату публикации на текущую.
• Исправить несколько опечаток.
• Заменить одно изображение на аналогичное.
• Результат: Delta Term Count низкий, Structure Features и Traffic Features не изменились. SVM классифицирует как незначимое. Эффекта свежести нет. Краулер может не приоритизировать переиндексацию.

Хороший подход (Значимое обновление):

• Добавить 2 новых раздела по теме (высокий Delta Term Count).
• Обновить устаревшие данные и добавить новую таблицу (изменение HTML Element Count).
• Добавить исходящие ссылки на новые исследования (изменение Structure Features).
• Обновить анкорный текст нескольких внутренних ссылок, ведущих на это руководство.
• Анонсировать обновление в рассылке, получив всплеск трафика (изменение Traffic Features).
• Результат: Вектор признаков указывает на существенные изменения по всем фронтам. SVM классифицирует как значимое. Страница получает приоритет в переиндексации и потенциальный бонус за свежесть.