Как Google сегментирует веб-страницы на семантические блоки (хедер, футер, контент) с помощью анализа геометрии рендеринга

Термины и определения

Chunk Tree (Дерево чанков)

Итоговая иерархическая структура данных. Представляет собой семантическую структуру документа, где каждый узел (чанк) соответствует семантически различной области (semantically distinct region) на отображаемой странице (например, хедер, футер, основной контент).

Geometric Parameters (Геометрические параметры)

Атрибуты, описывающие визуальное представление элемента на странице. Включают координаты (X_Pos, Y_Pos), размеры (Width, Height), а также могут включать размер шрифта (Font Size) и цвет (Color).

Geometric Token List (Список геометрических токенов)

Список всех отдельных элементов (слов, изображений) на странице, аннотированных их геометрическими параметрами и ссылками на соответствующие узлы в Quasi-DOM Tree и Chunk Tree.

Pseudo-rendering (Псевдо-рендеринг)

Процесс определения приблизительного положения и размера каждого элемента документа без выполнения полного и точного визуального отображения. Используется для быстрого получения геометрической информации.

Pseudo-title (Псевдо-заголовок)

Текст внутри чанка, который идентифицируется как вероятный заголовок данной семантической области на основе критериев визуальной заметности (например, размер шрифта, расположение).

Quasi-DOM Tree (Квази-DOM дерево)

Начальная иерархическая структура данных, основанная на синтаксических элементах документа (HTML-тегах), но упрощенная и аннотированная геометрическими параметрами, полученными в ходе pseudo-rendering.

Row and Grid Analysis (Анализ рядов и сеток)

Эвристический метод для выявления групп элементов, которые расположены в периодическом или полупериодическом порядке (например, сетка товаров, список статей). Использует сравнение хэш-кодов структурных элементов и их геометрического расположения.

Semantic Element (Семантический элемент)

Компонент отображаемого документа, имеющий смысловое значение (текст, изображение, ссылка).

Syntactic Element (Синтаксический элемент)

Элемент разметки исходного документа (например, HTML-теги <TABLE>, <TR>, <TD>).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод разделения структурированного документа.

1. Трансляция документа в начальную иерархическую структуру данных (Quasi-DOM Tree) на основе синтаксических элементов (тегов).
2. Аннотирование каждого узла набором атрибутов, включающих геометрические параметры. Эти параметры определяются в ходе pseudo-rendering документа.
3. Слияние узлов начальной структуры в итоговое дерево узлов (Chunk Tree) в соответствии с их атрибутами (включая геометрические параметры) и набором предопределенных правил. Правила включают слияние узлов, имеющих близкое расположение в псевдо-рендеринге и/или совместимые атрибуты.

Claim 9 (Зависимый): Детализирует процесс слияния узлов (шаг 3 из Claim 1), указывая конкретные действия:

• Слияние дочернего узла с родительским, если это единственный дочерний узел (упрощение структуры).
• Разделение (расширение) одного узла на несколько, если он связан с несколькими семантическими элементами (например, разделение текста большими вертикальными пробелами).
• Идентификация группы узлов с совместимыми атрибутами, включая схожие геометрические параметры и периодическое или полупериодическое расположение (Row and Grid Analysis).
• Присвоение предварительных тегов узлам, определяющих функцию и расположение.
• Слияние соседних узлов (siblings) с совместимыми предварительными тегами.
• Присвоение финальных тегов.

Claims 11, 12, 15, 16 (Зависимые): Описывают применение результата сегментации.

• Система присваивает ссылкам (Claims 11, 15) или тексту (Claims 12, 16) в одной семантической области вес, отличный от веса ссылок или текста в другой семантической области, и использует эти веса для дальнейших вычислений (например, ранжирования).

Claim 17 (Независимый пункт, система): Описывает систему (Geometry Detector) для разделения документа, включающую модули для выполнения pseudo-rendering, генерации Quasi-DOM Tree и преобразования его в Chunk Tree.

Где и как применяется

Изобретение применяется на этапе анализа контента после его получения и рендеринга.

CRAWLING – Сканирование и Сбор данных
На этом этапе система получает исходный HTML документ.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. После того как краулер загрузил контент, система выполняет рендеринг (или pseudo-rendering, как описано в патенте). Описанный механизм (Geometry Detector) анализирует результат рендеринга, чтобы понять структуру страницы.

1. Рендеринг/Псевдо-рендеринг: Вычисляются геометрические параметры всех элементов.
2. Feature Extraction (Извлечение признаков): Вместо анализа сырого HTML, система анализирует структурированный Chunk Tree. Это позволяет извлекать более точные признаки: определение основного контента, классификация ссылок (навигационные, рекламные), идентификация Pseudo-titles и шаблонных элементов (boilerplate).

RANKING – Ранжирование
Сам патент не описывает алгоритмы ранжирования, но предоставляет критически важные данные для них. Как указано в Claims 11-16, система использует сегментацию для присвоения различных весов тексту и ссылкам в зависимости от их семантической области. Это напрямую используется алгоритмами ранжирования.

Входные данные:

• Структурированный документ (например, HTML файл).
• Данные pseudo-rendering (геометрические параметры элементов).

Выходные данные:

• Chunk Tree – семантическая структура документа.
• Geometric Token List – список всех токенов с их расположением и принадлежностью к чанкам.

На что влияет

• Конкретные типы контента: Влияет на все типы контента. Особенно важен для страниц со сложной структурой, где необходимо отделить основной контент от вспомогательного.
• Определенные форматы контента: Критичен для анализа списков и сеток (например, категории в e-commerce, списки статей в блогах), так как Row and Grid Analysis специально предназначен для их идентификации.
• Конкретные ниши или тематики: Важен для e-commerce (идентификация карточек товаров), контентных проектов (выделение статьи), новостных сайтов (разделение новостных блоков, навигации и рекламы).

Когда применяется

Алгоритм применяется во время индексирования для каждой страницы, которая проходит процесс рендеринга. Цель – преобразовать синтаксическую структуру в семантическую перед тем, как извлекать факторы ранжирования.

Пошаговый алгоритм

Процесс работы Geometry Detector по преобразованию документа в Chunk Tree.

1. Псевдо-рендеринг (Pseudo-rendering): Система обрабатывает HTML файл для вычисления Geometric Parameters (координаты, размеры, шрифты) для каждого элемента.
2. Генерация Quasi-DOM Tree: Создается начальная иерархическая структура на основе HTML. Узлы аннотируются геометрическими параметрами.
3. Конвертация в Chunk Tree (Начальный этап):
   • Упрощение структуры: Узлы, не несущие семантической нагрузки, удаляются. Дочерние узлы без соседей сливаются с родителями.
   • Разделение узлов: Узлы, содержащие несколько визуально разделенных семантических элементов (например, текст с большими пробелами), разделяются на несколько узлов.
4. Анализ рядов и сеток (Row & Grid Analysis):
   • Хеширование структуры: Для групп узлов вычисляются хэш-коды, отражающие их внутреннюю структуру (например, H("CELL"+H("Image")+H("Text"))).
   • Анализ периодичности: Система сравнивает хэш-коды и геометрическое расположение узлов для выявления периодических или полупериодических паттернов по горизонтали и вертикали.
   • Группировка: Элементы, соответствующие паттерну, группируются под общим родительским узлом (например, Grid Root).
5. Предварительная разметка (Preliminary Tagging): Узлам присваиваются теги на основе их геометрического расположения и содержимого (например, Header, LHS_Sidebar, Footer, On-Site Links). На этом этапе также могут идентифицироваться Pseudo-titles.
6. Слияние соседних узлов (Sibling Merging): Семантически связанные соседние узлы с совместимыми тегами и геометрией сливаются для дальнейшего упрощения Chunk Tree.
7. Финальная разметка (Final Tagging): Узлам присваиваются финальные теги, формируя итоговый Chunk Tree.
8. Генерация Geometric Token List: Создается список всех токенов (слов, изображений) с указанием их точного расположения и принадлежности к финальным чанкам.

Какие данные и как использует

Данные на входе

Система использует комбинацию структурных, геометрических и контентных данных.

• Структурные факторы (Синтаксис): Исходная структура документа (HTML теги: TABLE, ROW, CELL и т.д.). Используется для построения Quasi-DOM Tree.
• Геометрические факторы (Визуальное представление):
  • Координаты (X_Pos, Y_Pos).
  • Размеры (Width, Height).
  Эти данные критически важны для всех этапов: слияния узлов, Row & Grid Analysis и разметки (Tagging).
• Контентные факторы (Типы данных): Типы семантических элементов (Image, Text, Link). Используются при анализе и разметке.
• Визуальные атрибуты: Размер шрифта (Font Size) и цвет (Color). Упоминаются как часть атрибутов узла и могут использоваться для определения Pseudo-titles и оценки заметности элемента.

Какие метрики используются и как они считаются

• Геометрическое расстояние: Расстояние между элементами по горизонтали и вертикали. Используется для определения близости и выявления пробелов (gaps) при разделении узлов.
• Периодичность / Полупериодичность: Метрика, используемая в Row & Grid Analysis. Рассчитывается как процент совпадающих пар элементов на определенном расстоянии. Пороговые значения используются для определения, формируют ли элементы сетку или список.
• Хэш-коды структуры (Hash Codes): Используются для сравнения внутренней структуры различных узлов. Если два узла имеют одинаковый хэш-код и расположены периодически, они считаются элементами одной сетки.
• Визуальная заметность (Prominence): Критерии для идентификации Pseudo-title. Основываются на размере шрифта, типе шрифта или расположении текста в начале блока.

1. Приоритет визуальной структуры над HTML-кодом: Google полагается на геометрический анализ отображаемой страницы (через pseudo-rendering), чтобы понять её семантическую структуру. Структура HTML (Quasi-DOM) является лишь отправной точкой и активно перестраивается в Chunk Tree.
2. Геометрия определяет функцию: Расположение элемента на странице (вверху, в центре, сбоку, внизу) является ключевым фактором для определения его функции (Header, Main Content, Sidebar, Footer).
3. Идентификация повторяющихся структур: Система активно ищет списки и сетки с помощью Row & Grid Analysis. Этот метод устойчив к шуму (полупериодичность) и позволяет группировать схожие элементы (например, товары в категории), даже если HTML-разметка не идеальна.
4. Сегментация для взвешивания: Основная цель создания Chunk Tree – это возможность применять различные веса к контенту и ссылкам в зависимости от семантической области, в которой они находятся (явно указано в Claims 11, 12, 15, 16 патента).
5. Идентификация заголовков блоков (Pseudo-titles): Система пытается найти заголовок для каждой семантической области, анализируя визуально заметный текст внутри чанка.

Best practices (это мы делаем)

• Обеспечивать четкое визуальное разделение блоков: Проектировать макет так, чтобы основное содержимое (Main Content) было визуально отделено от навигации, рекламы и футера. Это помогает Geometry Detector корректно сегментировать страницу на чанки.
• Размещать основной контент централизованно: Так как система использует геометрическое расположение для определения функции блока, основной контент должен занимать центральное и наиболее заметное место на странице.
• Использовать стандартные и предсказуемые макеты для списков и сеток: Для страниц категорий e-commerce или списков статей следует использовать чистую, периодическую верстку. Это гарантирует, что Row & Grid Analysis корректно идентифицирует все элементы как часть единой структуры (Grid Root).
• Использовать визуально заметные заголовки для секций: Убедитесь, что ключевые разделы страницы имеют четкие, визуально выделяющиеся (размер шрифта, расположение) заголовки. Это повышает вероятность их идентификации как Pseudo-titles, что помогает понять тему чанка.
• Оптимизировать внутренние ссылки в основном контенте: Поскольку ссылки в разных семантических областях получают разный вес, наиболее важные внутренние ссылки должны располагаться в основном контенте, а не только в футере или боковой панели.

Worst practices (это делать не надо)

• Использовать запутанную и неконсистентную верстку: Сложные макеты, где элементы не имеют четкой периодичности или визуального разделения, могут привести к ошибкам в Row & Grid Analysis и некорректной сегментации страницы.
• Смешивать контент и рекламу без визуального разделения: Если рекламные блоки визуально неотличимы от основного контента и интегрированы в него, система может ошибочно классифицировать их или понизить вес всего блока контента.
• Прятать важный контент внизу или сбоку: Размещение ключевой информации в областях, которые обычно классифицируются как Footer или Sidebar, приведет к тому, что этот контент получит меньший вес.
• Игнорирование визуального представления: Оценка SEO только по исходному коду неэффективна. Важно анализировать, как страница выглядит после рендеринга, так как именно геометрия рендеринга используется для сегментации.

Стратегическое значение

Этот патент подтверждает, что пользовательский опыт (UX) и дизайн интерфейса (UI) являются факторами, напрямую влияющими на SEO. Google анализирует страницу так, как её видит пользователь (или аппроксимирует это через pseudo-rendering). Стратегия SEO должна включать тесное взаимодействие с дизайнерами и разработчиками для создания макетов, которые не только удобны для пользователей, но и легко интерпретируются алгоритмами геометрического анализа. Приоритет отдается чистоте структуры и четкому выделению основного контента.

Практические примеры

Сценарий: Оптимизация страницы категории E-commerce

1. Задача: Убедиться, что Google корректно идентифицирует сетку товаров и придает ссылкам на карточки товаров максимальный вес.
2. Действия (Верстка): Разработчики используют чистую сетку (Grid/Flexbox) для отображения товаров. Каждая карточка товара имеет идентичную внутреннюю структуру (Изображение, Название, Цена). Между карточками соблюдаются одинаковые отступы.
3. Анализ Google (Row & Grid Analysis):
   • Система выполняет pseudo-rendering и определяет геометрические параметры.
   • Row & Grid Analysis вычисляет хэш-коды для каждой карточки. Хэш-коды совпадают.
   • Система фиксирует высокую степень периодичности расположения карточек.
4. Результат: Система успешно группирует все карточки под одним узлом Grid Root в Chunk Tree и классифицирует этот блок как основной контент страницы категории. Ссылки внутри этого блока получают соответствующий вес.
5. Ошибка (Антипаттерн): Если разработчики вставят рекламный баннер или блок "Популярные статьи" прямо в середину сетки товаров, нарушив периодичность, Row & Grid Analysis может не сработать или разбить сетку на несколько отдельных чанков, что усложнит интерпретацию страницы.