Как Google определяет основной контент страницы, анализируя визуальную структуру и характеристики разделов

Термины и определения

Characteristics (Характеристики)

Метрики, вычисляемые для раздела. Примеры: количество и размер изображений, расположение заголовков, объем текста, количество ссылок и слов, размер шрифта (font), расположение раздела на странице.

Graphical Representation (Графическое представление)

Визуальный макет веб-документа после рендеринга. Включает расположение, размеры и пространственные взаимосвязи компонентов.

Main Content / Highest-ranked content (Основной контент)

Наиболее значимая часть страницы (например, тело статьи), которая не является навигационным блоком, баннером или группой навигационных ссылок. Идентифицируется как секция с наивысшей оценкой.

Mobile Search Transcoder Server

Сервер (упомянутый в патенте), который анализирует страницы и генерирует их модифицированные версии для мобильных устройств, фокусируясь на Main Content.

Nodes / Components (Ноды / Компоненты)

Элементы, составляющие раздел (текст, ссылки, изображения, границы, формы и т.д.).

Overall Page Characteristics (Общие характеристики страницы)

Агрегированные или усредненные характеристики всей страницы (например, среднее соотношение ссылок, среднее количество слов на раздел). Используются как контекст для оценки отдельных разделов.

Score (Оценка)

Числовое значение, присваиваемое разделу на основе его характеристик относительно общих характеристик страницы. Определяет значимость раздела.

Section (Раздел)

Логическая часть графического представления веб-документа. Определяется на основе пространственных отношений элементов (spatial relationships).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации и отображения контента.

1. Система получает веб-документ.
2. Анализирует его для идентификации разделов (sections) и их последовательности на основе graphical representation.
3. Определяет оценки (scores) для разделов на основе как минимум трех характеристик из списка (включает: количество/типы элементов, расположение заголовка, количество ссылок/слов, шрифт, расположение раздела).
4. Идентифицирует раздел с Highest-ranked content (Основной контент) на основе этих оценок.
5. Генерирует и инициирует отображение модифицированного документа, отформатированного так, чтобы начинаться с этого идентифицированного раздела.

Ядро изобретения — это метод визуальной сегментации страницы и последующая оценка значимости сегментов с использованием набора конкретных характеристик, с целью переформатирования страницы для выделения основного контента.

Claim 5 (Зависимый): Детализирует метод идентификации разделов (пункт 2 из Claim 1).

Разделы определяются путем:

• Идентификации связанных компонентов на основе пространственных отношений (spatial relationship) в графическом представлении.
• Идентификации границ между группами компонентов на основе вертикального сдвига (vertical shift) ИЛИ сдвига между вертикальной и горизонтальной конфигурацией.

Система использует визуальный анализ макета (рендеринг) для определения логических блоков. Изменение паттерна верстки (например, переход от горизонтального меню к вертикальной колонке статьи) служит для системы сигналом границы раздела.

Claim 7 и 8 (Зависимые): Детализируют механизм оценки (Scoring) (пункт 3 из Claim 1).

Оценка (Score) раздела основывается на сравнении характеристик этого раздела с характеристиками совокупности разделов (plurality of sections).

Значимость раздела определяется не абсолютными значениями его метрик, а в контексте всей страницы. Система сравнивает метрики раздела (например, количество слов) со средними или общими метриками страницы. Это позволяет адаптировать оценку к разным типам документов.

Claim 12 (Зависимый): Уточняет метод идентификации основного контента.

Идентификация Main Content может основываться на информации о предыдущих взаимодействиях пользователей (prior user interactions) с документом.

Система может использовать поведенческие данные как механизм обратной связи. Если пользователи часто покидают автоматически выбранный раздел и переходят в другой, система может скорректировать идентификацию основного контента.

Где и как применяется

Патент описывает применение технологии в контексте Mobile Search Transcoder Server (уровень представления данных). Однако, описанные методы анализа структуры страницы и идентификации основного контента имеют критическое значение для основных этапов работы поисковой системы.

INDEXING – Индексирование и извлечение признаков

Технология применяется на двух ключевых подэтапах:

1. Рендеринг (WRS): Система должна выполнить рендеринг страницы, чтобы получить её graphical representation. Это необходимо для анализа визуальной структуры и пространственных отношений (spatial relationships).
2. Анализ структуры и извлечение признаков (Feature Extraction): Модули, аналогичные описанным Section Detection Module и Main Content Processing Module, используются для разделения страницы на логические блоки. Это позволяет системе:
   • Отделить основной контент от boilerplate (сквозные блоки, навигация, футеры, реклама).
   • По-разному взвешивать сигналы ранжирования (ключевые слова, ссылки, сущности) в зависимости от раздела, в котором они находятся. Сигналы из Main Content имеют больший вес.

Входные данные:

• Исходный веб-документ (HTML, CSS, JS).
• Данные рендеринга (визуальный макет, координаты и размеры элементов).
• (Опционально) Данные о предыдущих взаимодействиях пользователей.

Выходные данные:

• Сегментированная структура документа (идентифицированные разделы).
• Характеристики и оценки (Scores) для каждого раздела.
• Идентификация блока Main Content.

На что влияет

• Типы контента: Наиболее сильно влияет на информационные страницы (статьи, новости, блоги), где существует четкое разделение между уникальным контентом страницы и шаблонными элементами сайта.
• Форматы контента: Влияет на оценку лонгридов и статей, так как система идентифицирует основной контент по признакам, характерным для них (большое количество слов, низкое соотношение ссылок к тексту).
• Техническое SEO и Дизайн: Повышает важность чистой верстки, семантической структуры и продуманного визуального дизайна, который помогает алгоритмам корректно идентифицировать разделы и выделять основной контент.

Когда применяется

• Условия: Алгоритм применяется при обработке веб-документов, имеющих сложную визуальную структуру с несколькими разделами.
• В контексте Индексирования: Применяется каждый раз, когда Googlebot выполняет рендеринг и анализ контента страницы (Page Understanding).

Пошаговый алгоритм

Процесс состоит из двух основных этапов: Сегментация и Оценка.

Этап 1: Сегментация страницы (Section Detection)

1. Рендеринг и Сегментация на Ноды: Веб-документ рендерится для получения graphical representation и сегментируется на базовые элементы (Ноды/Компоненты).
2. Анализ Пространственных Отношений: Идентифицируются связанные компоненты на основе их пространственного расположения (spatial relationship) – например, выравнивание, вложенность, близость.
3. Идентификация Границ Разделов: Определяются границы между группами компонентов. Триггерами для новой границы служат:
   • Вертикальный сдвиг или скачок (vertical shift) в позициях компонентов.
   • Смена конфигурации макета (например, переход от горизонтального расположения элементов к вертикальному).
4. Определение Разделов и Последовательности: Группы нод объединяются в логические разделы (Sections), и определяется их порядок на странице.

Этап 2: Оценка и Выбор Основного Контента (Main Content Processing)

1. Расчет Характеристик Разделов: Для каждого раздела вычисляются метрики (Characteristics): количество слов, ссылок, изображений, расположение заголовков, размер шрифта и т.д.
2. Расчет Общих Характеристик Страницы: На основе метрик всех разделов определяются Overall Page Characteristics, например, среднее количество слов на раздел, среднее соотношение ссылок к тексту.
3. Присвоение Оценок (Scoring): Каждому разделу присваивается оценка (Score). Оценка базируется на сравнении характеристик раздела с общими характеристиками страницы. Алгоритм оценки адаптивен и может меняться в зависимости от типа страницы.
   • Позитивные критерии (примеры): низкое Link/Text Ratio, много слов (относительно среднего), крупные изображения, заголовок в начале раздела, расположение вверху и слева.
   • Негативные критерии (примеры): мало элементов в разделе, расположение, требующее прокрутки (below the fold).
4. Идентификация Основного Контента: Раздел с наивысшей оценкой идентифицируется как Main Content (или несколько разделов, если их оценки высоки).

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст (для подсчета слов, символов); Заголовки (их наличие и расположение внутри раздела).
• Технические факторы: HTML-код (для сегментации на ноды); CSS и JS (необходимы для рендеринга и определения визуальной структуры).
• Ссылочные факторы: Количество ссылок в разделе.
• Структурные и Визуальные факторы (из рендеринга): Пространственные отношения (spatial relationships); Вертикальные/горизонтальные конфигурации макета; Размер шрифта (text size/font); Расположение раздела на странице (location), включая видимость без прокрутки (above the fold).
• Мультимедиа факторы: Количество и размер изображений в разделе. Наличие форм или других типов контента.
• Поведенческие факторы: (Опционально, согласно Claim 12) Информация о предыдущих взаимодействиях пользователей с документом.

Какие метрики используются и как они считаются

Система вычисляет следующие ключевые метрики для оценки разделов:

• Link/Text Ratio (Соотношение ссылок к тексту): Критическая метрика для дифференциации контента от навигации. Высокое соотношение указывает на навигационный характер раздела.
• Relative Word Count (Относительное количество слов): Сравнение количества слов в разделе со средним количеством слов на раздел по всей странице. Позволяет выделить наиболее насыщенные текстом блоки.
• Image Metrics: Количество и размер изображений. Крупные изображения являются позитивным фактором.
• Positional Metrics: Расположение раздела (приоритет отдается разделам выше и левее). Расположение заголовка внутри раздела (чем ближе к началу, тем лучше).
• Score (Оценка значимости): Агрегированная оценка раздела. Рассчитывается путем комбинирования взвешенных значений, присвоенных характеристикам раздела. Расчет является относительным и адаптивным, зависящим от контекста всей страницы.

1. Визуальная структура определяет интерпретацию контента: Google активно использует анализ графического представления (рендеринг) страницы. Логические разделы определяются не только по HTML-структуре, но и по визуальным признакам, таким как пространственные отношения и смена паттернов макета.
2. Критичность отделения Main Content от Boilerplate: Система целенаправленно идентифицирует основной контент и отделяет его от навигационных и шаблонных блоков. Это ключевой процесс для корректного извлечения и взвешивания сигналов ранжирования.
3. Link/Text Ratio как детектор навигации: Высокое соотношение ссылок к тексту является сильным индикатором того, что раздел является навигационным, а не основным контентом.
4. Контекстуальная и адаптивная оценка значимости: Оценка раздела происходит не изолированно, а в сравнении с общими характеристиками страницы (Overall Page Characteristics). Алгоритм адаптируется к различным типам сайтов и макетов.
5. Конкретные признаки Main Content: Патент явно указывает позитивные индикаторы основного контента: низкое Link/Text Ratio, большое количество слов (относительно среднего по странице), наличие и расположение заголовков в начале раздела, а также крупные изображения.
6. Расположение контента имеет значение: При прочих равных, приоритет при оценке получают разделы, расположенные выше на странице и "выше сгиба" (above the fold).

Best practices (это мы делаем)

• Обеспечение четкого визуального дизайна и чистой верстки: Используйте верстку, которая создает явное визуальное и структурное разделение между Main Content, навигацией, боковыми панелями и футером. Переход от навигационных блоков к контенту должен сопровождаться изменением визуальной конфигурации (например, от горизонтального меню к вертикальной колонке), чтобы помочь системе сегментации.
• Оптимизация Link/Text Ratio в основном контенте: Убедитесь, что основной контент имеет низкое соотношение ссылок к тексту. Основной объем текста не должен состоять из ссылок. Блоки перелинковки следует размещать отдельно.
• Правильное размещение основного заголовка: Размещайте главный заголовок (H1) в самом начале раздела основного контента. Это служит сильным позитивным сигналом для его идентификации.
• Размещение контента "Above the Fold": Начало основного контента должно быть расположено как можно выше и быть видимым без необходимости прокрутки, так как расположение является фактором оценки.
• Насыщенность основного раздела: Стремитесь к тому, чтобы раздел основного контента был самым значительным блоком на странице по объему текста и/или размеру медиафайлов по сравнению с любым другим отдельным разделом (так как оценка производится относительно среднего).

Worst practices (это делать не надо)

• Сложная и запутанная верстка: Использование макетов, которые визуально или структурно смешивают навигационные элементы, рекламу и основной контент. Это затруднит системе корректную сегментацию и оценку.
• "Размывание" основного контента: Дробление основного контента на множество мелких визуальных блоков вместо одного доминирующего раздела. Это увеличивает риск того, что система неверно определит Main Content.
• Переоптимизация внутренней перелинковки в тексте: Чрезмерное количество ссылок внутри основного текста статьи повышает Link/Text Ratio и может привести к ошибочной классификации контентного раздела как навигационного.
• Размещение основного контента внизу страницы: Размещение больших баннеров, сложных слайдеров или избыточно длинных навигационных/вводных блоков над основным контентом.

Стратегическое значение

Патент подтверждает стратегию Google по переходу от анализа "плоского" HTML к глубокому анализу визуального представления и структуры страницы (Visual Understanding / Page Layout Analysis). Это подчеркивает тесную связь между UX, дизайном, качеством верстки и SEO. Для эффективного ранжирования критически важно, чтобы поисковая система могла точно идентифицировать Main Content, так как именно из него извлекаются основные сигналы релевантности и качества.

Практические примеры

Сценарий: Улучшение идентификации основного контента для страницы статьи

1. Ситуация: На странице статьи, сразу после главного меню и перед текстом статьи, расположен большой блок "Читайте также" с 10 ссылками и изображениями.
2. Риск по патенту: Система может визуально объединить блок "Читайте также" и начало статьи в один раздел, что повысит Link/Text Ratio. Или, если блок достаточно крупный, ошибочно принять его за начало Main Content или значимый навигационный элемент.
3. Решение на основе патента:
   • Визуальное отделение: Использовать явный визуальный разделитель (отступ, линию), чтобы создать "vertical shift" между блоком "Читайте также" и статьей.
   • Изменение конфигурации: Убедиться, что блок "Читайте также" имеет явно отличную визуальную конфигурацию (например, сетка 2x5), в то время как статья представляет собой единую вертикальную колонку текста.
   • Расположение заголовка: Переместить блок "Читайте также" после статьи или в сайдбар. Убедиться, что H1 статьи является первым элементом в разделе основного контента.
4. Ожидаемый результат: Система точнее идентифицирует границы. Блок "Читайте также" получит низкую оценку из-за высокого Link/Text Ratio. Раздел статьи получит высокую оценку благодаря H1 в начале и большому объему текста, что обеспечит корректное извлечение сигналов ранжирования.