Как Google идентифицирует и игнорирует шаблонный контент (Boilerplate) для фокусировки на основном содержании страницы

Термины и определения

Boilerplate (Шаблонный контент)

Повторяющиеся элементы документа, которые не являются его основным содержанием. Примеры: хедеры, футеры, навигационные меню, уведомления об авторских правах.

Common element (Общий элемент)

Элемент (текст, фраза, блок), который встречается в нескольких связанных документах.

Content element (Элемент содержания)

Часть документа, которая не является boilerplate и представляет основное уникальное содержание.

Indexer (Индексатор)

Компонент системы, отвечающий за анализ документов, идентификацию boilerplate и создание индекса.

Inverse Document Frequency (IDF)

Метрика, показывающая, насколько редко термин встречается в документах в целом. Термины с низким IDF (встречаются часто глобально, например, "Контакты") чаще являются boilerplate.

Markup (Разметка)

Структурные элементы вокруг текста, такие как HTML-теги, ссылки, JavaScript. Используется для идентификации boilerplate.

Related articles (Связанные статьи/документы)

Группа документов, анализируемых совместно для выявления общих элементов. Например, несколько страниц одного веб-сайта.

Spatial location (Пространственное расположение)

Физическое положение элемента на странице (верх, низ, лево, право). Используется как сильный сигнал для идентификации boilerplate.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на конкретных методах идентификации boilerplate при анализе группы документов.

Claim 1 (Независимый пункт): Описывает метод анализа boilerplate с фокусом на пространственном расположении и последующей индексации.

1. Идентификация общего элемента (common element) во множестве документов.
2. Анализ пространственного расположения (spatial location) этого общего элемента в документе.
3. Определение того, является ли общий элемент boilerplate, основываясь, по крайней мере частично, на этом пространственном расположении.
4. В случае положительного определения: удаление (removing) элемента boilerplate из документа.
5. Индексация документа (после удаления).

Ядром изобретения здесь является использование физического расположения повторяющегося блока на странице как критерия для его классификации как шаблона и последующее исключение этого блока из индекса.

Claim 2 (Независимый пункт): Описывает метод анализа boilerplate с фокусом на анализе ссылок.

1. Идентификация общего элемента (common element) во множестве документов.
2. Анализ ссылки (link), связанной с этим общим элементом в документе. Этот анализ включает анализ адреса (address), на который ссылается ссылка.
3. Определение того, является ли общий элемент boilerplate, основываясь, по крайней мере частично, на этой связанной ссылке.

Ядром изобретения здесь является использование наличия и назначения ссылки (например, ссылка на help.html или главную страницу) внутри повторяющегося блока как критерия для его классификации как шаблона.

Где и как применяется

Изобретение применяется преимущественно на этапе обработки и индексирования контента.

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает группу связанных документов (plurality of related articles), например, сканируя веб-сайт. Эти данные необходимы для последующего сравнительного анализа.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Indexer выполняет обработку сырого контента:

1. Сравнительный анализ: Происходит сравнение элементов между разными документами группы для выявления common elements.
2. Boilerplate Detection: Применяются описанные методы (анализ расположения, ссылок, разметки, частоты) для классификации элементов как boilerplate или content element.
3. Очистка и Взвешивание: Boilerplate удаляется (согласно Claim 1) или ему присваивается низкий вес (согласно описанию патента).
4. Индексация: Основное содержание индексируется для последующего поиска.

RANKING – Ранжирование
На этапе ранжирования система использует индекс, который уже очищен от boilerplate или содержит информацию о весе элементов. Это позволяет рассчитывать релевантность на основе основного содержания, игнорируя шаблонный шум.

Входные данные:

• Группа связанных документов (например, страницы сайта).
• Сырой контент и разметка документов (HTML, JavaScript).
• Данные о пространственном расположении блоков (могут быть получены после рендеринга).
• Структура ссылок и их адреса назначения.

Выходные данные:

• Индексное представление документа, сфокусированное на основном содержании.
• Аннотации документа с разметкой зон (boilerplate vs content) и присвоенными весами.

На что влияет

• Конкретные типы контента и ниши: Влияет на все типы сайтов. Особенно критично для ресурсов с обширными и сложными шаблонами: новостные порталы (множество блоков в сайдбарах), E-commerce (сложная навигация, фильтры, сквозные блоки), корпоративные сайты.
• Структура страницы (Page Layout): Патент напрямую влияет на то, как поисковая система интерпретирует структуру страницы, отдавая приоритет уникальному содержанию над навигацией и вспомогательными блоками.

Когда применяется

• Условия применения: Алгоритм применяется во время индексации или переиндексации веб-страниц.
• Требования: Для методов, описанных в Claims 1 и 2, требуется анализ множества связанных страниц (plurality of related articles) для выявления повторений. Однако в описании патента также упоминаются методы, которые могут работать на основе анализа одного документа (например, анализ разметки или предопределенных списков терминов).

Пошаговый алгоритм

Процесс идентификации Boilerplate во время индексации:

1. Сбор данных: Получение группы связанных документов (например, страниц сайта).
2. Идентификация кандидатов (Frequency Analysis): Выявление элементов (текстовых блоков, структур), которые часто повторяются в разных документах группы (common elements).
3. Анализ пространственного расположения (Spatial Location Analysis): Оценка положения кандидатов на странице. Общие элементы, постоянно находящиеся внизу, вверху или по бокам страницы, получают более высокий балл вероятности boilerplate.
4. Анализ ссылок (Link Analysis): Анализ наличия ссылок внутри кандидата и их назначения. Ссылки на главную страницу, страницу помощи (help.html) или страницу авторских прав (copyright.html) являются сильными индикаторами boilerplate.
5. Анализ разметки (Markup Analysis): (Из описания патента) Анализ окружающих HTML-тегов и JavaScript. Наличие навигационных скриптов или определенных структур разметки увеличивает вероятность boilerplate.
6. Анализ терминов (Term Analysis): (Из описания патента) Сравнение текста кандидата с предопределенным списком шаблонных фраз или использование метрики IDF для выявления глобально частых терминов.
7. Классификация и Взвешивание: Агрегация всех сигналов. Тексту присваивается вес, указывающий на вероятность того, что он является boilerplate.
8. Обработка: Boilerplate может быть полностью удален из индексируемого текста или сохранен с низким весом.
9. Индексация: Сохранение обработанного контента (content element) в индексе.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные, извлеченные из документов и их взаимосвязей.

• Контентные факторы: Текст, термины, фразы. Используются для анализа частоты и сравнения со списками предопределенных терминов.
• Структурные и Технические факторы: Markup (HTML-теги, JavaScript, стили). Анализируются для выявления паттернов, характерных для навигации или шаблонов.
• Ссылочные факторы: Наличие ссылок и адреса их назначения. Используются для идентификации навигационных элементов.
• Пространственные данные: Расположение элементов на странице (Spatial location).
• Междокументные данные: Данные о том, какие элементы повторяются на разных страницах (related articles).

Какие метрики используются и как они считаются

• Частота элементов (Frequency): Подсчет количества повторений элемента в наборе связанных документов.
• Inverse Document Frequency (IDF): Упоминается как метод идентификации терминов с низким IDF (глобально частых), что повышает вероятность того, что они являются boilerplate.
• Вес разметки (Markup Weight): Различным видам разметки могут присваиваться разные веса. Например, ссылки или JavaScript могут иметь больший вес как индикаторы boilerplate, чем теги форматирования (bold, italics).
• Вероятность Boilerplate (Boilerplate Probability Weight): В одном из вариантов реализации тексту присваивается вес, указывающий на вероятность того, что этот текст является boilerplate. Этот вес используется для изменения ранжирования.

1. Фундаментальность отделения контента от шаблона: Google активно использует сложные механизмы для отделения основного содержания страницы (Main Content) от шаблонных элементов (Boilerplate). Это ключевой процесс на этапе индексации.
2. Многофакторный анализ Boilerplate: Идентификация шаблонов не основана на одном сигнале. Система использует комбинацию анализа повторяемости контента на сайте, его физического расположения (spatial location), анализа окружающей разметки и структуры ссылок.
3. Игнорирование или удаление Boilerplate: Контент, классифицированный как boilerplate, может быть полностью исключен из индекса (как указано в Claim 1) или ему может быть присвоен значительно более низкий вес при расчете релевантности.
4. Важность уникальности основного содержания: Релевантность страницы определяется почти исключительно тем контентом, который остается после вычитания boilerplate. Страницы с малым количеством уникального контента будут иметь низкую ценность для поиска.
5. Структура ссылок как индикатор шаблонов: Патент подчеркивает, что назначение ссылок (например, навигация на главную или страницу помощи) является сильным сигналом для идентификации шаблонных блоков (Claim 2).

Best practices (это мы делаем)

• Четкое структурное разделение контента: Проектируйте шаблоны так, чтобы основное содержание было четко отделено от навигации, сайдбаров и футера. Использование семантических тегов HTML5 (<main>, <nav>, <aside>, <footer>) помогает алгоритмам корректно определить Main Content.
• Концентрация SEO-сигналов в Main Content: Убедитесь, что все ключевые сигналы релевантности (ключевые слова, сущности, уникальный текст) находятся в зоне основного содержания, а не в шаблонных блоках.
• Оптимизация объема Boilerplate: Минимизируйте объем шаблонного текста. Большие блоки повторяющегося текста (например, обширные описания условий доставки в футере) могут снижать общее соотношение уникального контента к шаблону.
• Консистентность шаблонов: Поддерживайте согласованную структуру навигации и футеров на всем сайте. Это облегчает системе задачу идентификации повторяющихся элементов и их классификации как boilerplate.

Worst practices (это делать не надо)

• Размещение ключевых слов или "SEO-текстов" в шаблонных блоках: Оптимизация футера или сквозного сайдбара ключевыми словами неэффективна. Такой контент будет идентифицирован как boilerplate и проигнорирован или понижен в весе.
• Доминирование шаблона над контентом: Создание страниц, где объем навигации, рекламы и других шаблонных элементов значительно превышает объем уникального основного содержания.
• Игнорирование структуры страницы: Использование нелогичной или запутанной верстки, которая затрудняет алгоритмам определение того, где заканчивается навигация и начинается основное содержание.
• Размещение уникального контента в шаблонных зонах: Размещение важного контента в блоках, которые по расположению (spatial location) или структуре выглядят как boilerplate (например, уникальный текст в сайдбаре).

Стратегическое значение

Патент подтверждает стратегическую важность архитектуры сайта и дизайна шаблонов (Page Layout) для SEO. Поисковая система не оценивает весь текст на странице одинаково; она сегментирует страницу на функциональные блоки. Долгосрочная стратегия должна фокусироваться на создании высококачественного, уникального основного содержания и обеспечении технической структуры, которая помогает поисковой системе корректно его идентифицировать и изолировать от шаблонов.

Практические примеры

Сценарий: Оптимизация страницы категории E-commerce

1. Проблема: Страница категории имеет обширную боковую панель с фильтрами (сайдбар) и стандартный футер. Уникальный SEO-текст для категории размещен в самом низу страницы, под листингом товаров.
2. Анализ по патенту: Система Google анализирует сайт. Сайдбар и футер идентифицируются как boilerplate из-за их повторяемости и расположения (spatial location). SEO-текст внизу страницы также рискует быть пониженным в весе из-за расположения, близкого к футеру. Основным содержанием считается листинг товаров.
3. Действия по оптимизации: Переместить уникальный SEO-текст в верхнюю часть зоны Main Content (над листингом товаров). Убедиться, что верстка четко отделяет сайдбар (например, с помощью <aside>) от основного блока (<main>).
4. Ожидаемый результат: Google более точно определяет тематику страницы на основе SEO-текста, так как он теперь находится в приоритетной зоне Main Content и надежно отделен от boilerplate.