Как Google анализирует структуру DOM для автоматического определения основного контента на странице

Описание

Какую задачу решает

Патент решает фундаментальную проблему автоматического отделения основного контента (Primary Content), такого как статьи или посты, от шаблонных элементов или «boilerplate» (навигация, футеры, сайдбары, виджеты). Задача состоит в том, чтобы надежно идентифицировать основной контент и создать для него стабильный идентификатор (Stable Identifier). Это необходимо как для точного анализа содержимого страницы, так и для динамической вставки стороннего контента (например, рекламы) без ручной разметки.

Что запатентовано

Запатентована система для анализа структуры Document Object Model (DOM) веб-страницы с целью генерации Stable Identifier (например, CSS-селектора) для основного контента. Система использует набор правил, основанных на HTML-тегах, CSS-классах и характеристиках рендеринга, чтобы найти контейнеры контента, а затем выбирает наиболее надежный способ ссылки на них.

Как это работает

Механизм работает в несколько этапов:

• Обнаружение контента: Система ищет Content-related DOM nodes — узлы с текстом, которые не являются ссылками и соответствуют определенным критериям длины и рендеринга.
• Идентификация контейнеров: Определяются ближайшие родительские Container Nodes. Используются строгие правила, включающие тип тега (например, ARTICLE, DIV) и наличие «стабильных» CSS-классов.
• Генерация идентификаторов: Создаются потенциальные идентификаторы (селекторы) для этих контейнеров.
• Валидация и Скоринг: Идентификаторы проверяются на точность (указывают ли они только на нужные контейнеры). Рассчитывается Content Identification Score, измеряющий полноту охвата основного контента.
• Выбор: Идентификатор с наивысшей оценкой и лучшими характеристиками стабильности выбирается как Stable Identifier.

Актуальность для SEO

Высокая. Изоляция основного контента (boilerplate detection) остается критически важной задачей для поисковых систем на этапе рендеринга и индексирования. Это необходимо для точной оценки релевантности и качества контента (например, алгоритмами Helpful Content). Кроме того, технология актуальна для систем автоматического размещения рекламы (например, Google Auto Ads).

Важность для SEO

Патент имеет высокое значение для технического SEO (7.5/10). Он не описывает факторы ранжирования, но детально раскрывает механизмы, с помощью которых Google идентифицирует основной контент для последующей оценки. Понимание этих механизмов позволяет оптимизировать структуру HTML и CSS так, чтобы гарантировать корректную интерпретацию контента поисковой системой, что является необходимым условием для высокого ранжирования.

Детальный разбор

Термины и определения

Container Node (Узел-контейнер)

DOM-узел, оборачивающий основной контент. Определяется по строгим правилам: должен иметь определенный тег (например, ARTICLE или DIV со стабильным классом) И структурные признаки (например, начинаться с заголовка или иметь класс ‘post’).

Content Identification Score (Оценка идентификации контента)

Метрика для выбора лучшего идентификатора. Показывает, насколько полно идентификатор охватывает основной контент страницы. Рассчитывается на основе количества символов и параграфов.

Content-related DOM node (DOM-узел, связанный с контентом)

Узел, вероятно содержащий основной контент. Определяется по политике: должен быть Effective Text Node, не быть ссылкой, содержать достаточно символов и соответствовать критериям рендеринга.

Effective Link Node (Эффективный узел-ссылка)

Текстовый узел, являющийся потомком тега <A>. Система старается исключить такие узлы из основного контента.

Effective Text Node (Эффективный текстовый узел)

Текстовый узел, содержащий видимый текст.

Primary Content (Основной контент)

Основное содержимое страницы (статьи, посты), которое система стремится идентифицировать.

Stable Class Name / Stable ID (Стабильное имя класса / Стабильный ID)

Имя класса или ID, которое считается надежным. В патенте используется правило: идентификатор стабилен, если он НЕ заканчивается на число.

Stable Identifier (Стабильный идентификатор)

Конечный результат работы системы. Идентификатор (например, CSS-селектор), который надежно и точно указывает на Container Nodes основного контента.

Title (Заголовок)

Эффективный текстовый узел, связанный с тегом заголовка (H1-H6).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации стабильного идентификатора.

1. Идентификация Content-related DOM nodes на основе политики обнаружения.
2. Определение Container Nodes, содержащих эти узлы.
3. Генерация идентификаторов для каждого Container Node.
4. Определение соответствия: проверка, каким узлам на странице соответствует каждый идентификатор.
5. Валидация (Идентификация подмножества): выбор только тех идентификаторов, которые соответствуют ИСКЛЮЧИТЕЛЬНО контейнерам основного контента.
6. Расчет Content Identification Score для каждого валидного идентификатора на основе измерения текстовых данных.
7. Выбор одного идентификатора как Stable Identifier на основе этой оценки.
8. Указана цель: использование для вставки стороннего контента (third-party content, например, рекламы).

Claim 3 (Зависимый от 2): Детализирует строгие критерии для определения Container Node. Это ключевой пункт для SEO.

Узел идентифицируется как контейнер, если он удовлетворяет двум наборам критериев (Критерий А И Критерий Б):

• Критерий А (Структура/Семантика): Узел ЛИБО (i) начинается с заголовка (Title), ЛИБО (ii) является членом CSS-класса, указывающего, что это пост (например, ‘post’).
• Критерий Б (Теги/Атрибуты): Узел ЛИБО (i) имеет тег ARTICLE, ЛИБО (ii) имеет тег DIV, INS или TD И имеет хотя бы одно Stable Class Name.

Claims 5, 6, 7 (Зависимые от 1): Детализируют расчет Content Identification Score.

Оценка основывается на различных соотношениях количества контента (символов или параграфов) внутри контейнеров, соответствующих идентификатору, к общему количеству контента на странице или внутри самих контейнеров.

Где и как применяется

Изобретение применяется на этапе анализа структуры страницы после ее рендеринга.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения. В процессе рендеринга (например, Web Rendering Service) система строит DOM-дерево и анализирует его.

1. Анализ структуры (Layout Analysis / Boilerplate Detection): Описанный механизм используется для отделения основного контента от шаблонных элементов.
2. Извлечение признаков (Feature Extraction): Изоляция Primary Content позволяет системам индексирования сфокусироваться на нем при оценке качества и релевантности.

Другие системы (AdTech)
Как указано в патенте, сгенерированный Stable Identifier используется для динамической вставки стороннего контента (рекламы) при отображении страницы пользователю.

Входные данные:

• Рендеренное DOM-дерево страницы.
• CSS правила и атрибуты узлов (классы, ID).
• Данные рендеринга (видимость текста, высота узлов, высота строки текста).

Выходные данные:

• Stable Identifier (например, CSS-селектор), указывающий на контейнеры основного контента.

На что влияет

• Конкретные типы контента: Наибольшее влияние на структурированный контент: статьи, блоги (списки постов), новостные ленты.
• Техническая реализация: Подчеркивает важность семантической верстки (HTML5) и использования стабильных, консистентных CSS-селекторов. Влияет на интерпретацию сайтов, использующих сложные DOM-структуры.

Когда применяется

• Триггеры активации: Алгоритм применяется при обработке информационного ресурса (во время индексирования или анализа для вставки рекламы), когда необходимо определить его структуру и выделить основной контент.

Пошаговый алгоритм

Фаза 1: Обнаружение контента и контейнеров

1. Идентификация контент-узлов: Анализ DOM для поиска Content-related DOM nodes. Правила: узел должен быть Effective Text Node (видимый текст), не быть Effective Link Node (не ссылка), превышать порог по символам, и соответствовать критериям высоты рендеринга или следовать за заголовком (Title).
2. Определение контейнерных узлов: Для каждого контент-узла находится ближайший родительский Container Node. Применяются правила из Claim 3 (Теги: ARTICLE или DIV/INS/TD + Stable Class Name; И Структура: начинается с Title или имеет класс типа ‘post’).
3. Составление списка контейнеров: Создание дедуплицированного списка всех идентифицированных контейнеров.

Фаза 2: Генерация и выбор идентификатора

4. Генерация кандидатов: Для каждого контейнера генерируются идентификаторы на основе его тега, стабильного ID и стабильных классов.
5. Сортировка по предпочтениям (Preference Policy): Идентификаторы сортируются. Приоритет: Только Тег (например, ARTICLE) > Тег+ID > Тег+Класс. Внутри классов приоритет отдается семантическим именам (‘post-container’ > ‘post’) или более длинным именам.
6. Валидация идентификаторов (Специфичность): Каждый идентификатор проверяется по всему DOM. Если он указывает на узел, который НЕ находится в списке контейнеров основного контента (Шаг 3), он отбрасывается.
7. Расчет Оценки (Покрытие): Для оставшихся идентификаторов рассчитывается Content Identification Score. Оценка измеряет, какую долю всего основного контента страницы покрывает идентификатор.
8. Выбор Стабильного Идентификатора: Выбирается идентификатор с максимальным Content Identification Score.

Какие данные и как использует

Данные на входе

Система использует исключительно данные, доступные при анализе структуры и рендеринга страницы.

• Структурные и Технические факторы:
  • Структура DOM-дерева.
  • HTML-теги. Явно упомянуты: ARTICLE, DIV, INS, TD, H1—H6, A, P.
  • Атрибуты узлов: class (CSS-классы) и id.
• Контентные факторы:
  • Текст внутри узлов (видимый текст).
  • Количество символов.
• Данные Рендеринга (Визуальные факторы):
  • Рендеренная высота узла.
  • Высота строки текста.

Какие метрики используются и как они считаются

• Stable Class Name / Stable ID (Проверка стабильности): Алгоритмическое определение. Правило: идентификатор стабилен, если он не заканчивается цифрой. В патенте упоминается регулярное выражение: /^.*[0-9]+$/.
• Preference Policy (Политика предпочтений): Иерархия для сортировки идентификаторов (см. Алгоритм, Шаг 5).
• Content Identification Score (S): Ключевая метрика для выбора лучшего идентификатора. В патенте приводится формула (в Description):

  S = (C_PARA / C_TOTAL) + k1 * (P_CONTAINED / P_TOTAL) + K2 * (D_CONTAINED / D_TOTAL)

  Где учитываются соотношения символов в параграфах (C_PARA, D_CONTAINED) и количества параграфов (P_CONTAINED) внутри контейнеров, покрытых идентификатором, к общим значениям на странице (P_TOTAL, D_TOTAL) или внутри контейнера (C_TOTAL). k1, K2 — весовые коэффициенты.

Выводы

1. Google обладает продвинутыми методами анализа DOM: Патент демонстрирует детальный алгоритм изоляции основного контента, основанный на комбинации структурных (теги, иерархия), семантических (классы типа ‘post’, теги ARTICLE) и рендеринговых (высота блока) сигналов.
2. Семантическая верстка критически важна: Система явно предпочитает семантические сигналы. Тег ARTICLE является приоритетным способом идентификации контейнера контента.
3. Требования к стабильности кода: Система алгоритмически оценивает «стабильность» CSS-классов и ID, отбрасывая те, которые заканчиваются на число. Это важно для надежной идентификации контента и создает проблемы для некоторых динамических фреймворков.
4. Структура контента имеет значение: Наличие заголовков (H1-H6) в начале блока контента является важным критерием для его идентификации как Container Node.
5. Точность и Полнота (Precision/Recall): Алгоритм включает строгую валидацию (Precision), чтобы идентификатор не захватывал лишнего, и использует Content Identification Score (Recall), чтобы максимизировать охват основного контента.

Практика

Best practices (это мы делаем)

• Использовать семантический HTML5, особенно <ARTICLE>: Оборачивайте посты, статьи и другие самодостаточные блоки контента в тег <ARTICLE>. Это наиболее предпочтительный идентификатор для Container Node согласно патенту.
• Применять стабильные и осмысленные CSS-классы: Используйте консистентные классы для основного контента, которые НЕ заканчиваются числами (например, .post-content, .story-body). Используйте классы типа .post, так как они явно упомянуты в патенте как индикаторы контента.
• Обеспечить логичную структуру заголовков: Убедитесь, что блоки основного контента начинаются с корректного заголовка (H1-H6). Наличие Title является одним из критериев идентификации контейнера.
• Поддерживать чистоту основного контента: Убедитесь, что контейнер основного контента содержит преимущественно текст (Effective Text Nodes), а не смесь контента с навигационными ссылками (Effective Link Nodes) или виджетами. Это повысит Content Identification Score.

Worst practices (это делать не надо)

• Использование динамических или пронумерованных классов для MC: Избегайте классов вида .block-123 или рандомизированных классов (часто в CSS-in-JS) для основного контента. Они будут классифицированы как нестабильные (Unstable) и проигнорированы.
• Использование несемантической верстки («Div-суп») без четких идентификаторов: Построение страницы на <DIV> без стабильных, осмысленных классов усложняет изоляцию основного контента.
• Смешивание основного и дополнительного контента в одном контейнере: Если один и тот же класс используется для основного контента и для сайдбара, система отбросит этот идентификатор на этапе валидации.
• Размещение заголовков вне контейнера контента: Если заголовок H1 находится вне основного DIV или ARTICLE с текстом, система может не распознать этот блок как Container Node.

Стратегическое значение

Патент подтверждает стратегическую важность технического SEO и качественной фронтенд-архитектуры. Способность Google программно отделять сигнал (основной контент) от шума (boilerplate) является фундаментом для всех алгоритмов оценки качества контента. Хорошо структурированный сайт с чистым, семантическим кодом и стабильными селекторами позволяет Google более эффективно и точно изолировать и оценивать основной контент.

Практические примеры

Сценарий 1: Оптимизация структуры блога

1. Ситуация (Плохо): Лента блога использует <div class=»item-1″>, <div class=»item-2″>.
2. Анализ по патенту: Классы нестабильны (заканчиваются на число). Система не сможет сгенерировать Stable Identifier.
3. Действие (Хорошо): Изменить верстку на <article class=»post-excerpt»><h2>Title</h2>…</article>.
4. Результат: Используется тег ARTICLE, стабильный класс post-excerpt, и структура начинается с заголовка. Система легко идентифицирует контент.

Сценарий 2: Проблемы с CSS-in-JS фреймворком

1. Ситуация (Плохо): Фреймворк генерирует рандомизированные классы для контейнера статьи: <div class=»aB3xZ9″>.
2. Анализ по патенту: Класс неинформативен. Система не сможет сгенерировать надежный идентификатор, если не используется <article>.
3. Действие (Хорошо): Настроить фреймворк так, чтобы он добавлял стабильный семантический класс: <div class=»story-body aB3xZ9″>.
4. Результат: Система может использовать DIV.story-body как Stable Identifier.

Вопросы и ответы