Как Google анализирует визуальный макет страницы и White Space для сегментации контента и привязки его к сущностям

Описание

Какую задачу решает

Патент решает проблему неточного анализа структуры веб-страниц, когда система полагается исключительно на объектную модель документа (DOM). Структура DOM не всегда соответствует визуальному макету, который видит пользователь. Это затрудняет корректную ассоциацию контента с сущностями, особенно когда на одной странице их несколько (например, привязка отзыва к конкретному ресторану в списке). Изобретение позволяет системе понять визуальную организацию контента, используя визуальные разрывы (white space) для точной сегментации.

Что запатентовано

Запатентован метод сегментации документа на основе его визуального макета. Система генерирует визуальную модель (visual model) документа, количественно оценивая визуальные разрывы (visual gaps), создаваемые элементами разметки при рендеринге. На основе этой модели определяется иерархическая структура (hierarchical structure) документа. Это позволяет точно сегментировать контент и связывать его с соответствующими сигналами (например, географическими сигналами для бизнес-листингов).

Как это работает

Система анализирует документ после рендеринга и оценивает визуальные пробелы между блоками контента. Элементам разметки (например, HTML-тегам <h2>, <hr>), создающим эти пробелы, присваиваются числовые веса (weights). Большие веса соответствуют большим визуальным разрывам. На основе этих весов строится иерархическая структура: большие разрывы определяют более высокие уровни иерархии. Затем документ сегментируется. Контент, находящийся внутри наименьшего сегмента (lowest level), окружающего определенный сигнал (например, адрес), ассоциируется с этим сигналом при индексировании.

Актуальность для SEO

Высокая. Понимание визуальной структуры и сегментации страниц (Visual Page Segmentation) критически важно для современных поисковых систем. Хотя конкретные методы реализации могли эволюционировать с момента подачи патента (2004 г.), фундаментальная концепция использования визуального рендеринга для понимания взаимосвязей контента является основой современного индексирования, извлечения информации и отделения основного контента от шаблонов (boilerplate).

Важность для SEO

Влияние на SEO значительное (85/100). Патент демонстрирует, что Google анализирует не только исходный код или DOM, но и финальное визуальное представление страницы для интерпретации контента. Это напрямую влияет на то, как Google связывает текст с сущностями (бизнесами, продуктами, изображениями), что критично для Local SEO, E-commerce и сайтов-агрегаторов. Плохая или запутанная визуальная структура может привести к неправильной атрибуции контента и снижению релевантности.

Детальный разбор

Термины и определения

Geographic Signals (Географические сигналы)

Информация в документе, связанная с местоположением, такая как полный или частичный адрес, номер телефона или название компании. В патенте используются как основной пример анкорей (сигналов) для сегментации контента.

Hierarchical Structure (Иерархическая структура)

Иерархическая организация документа, определенная на основе Visual Model. Уровни иерархии определяются весами визуальных разрывов: большие разрывы определяют более высокие уровни иерархии.

Segmentation Component (Компонент сегментации)

Компонент системы, который выполняет автоматическую сегментацию документов на основе их визуального макета.

Visual Gaps / White Space (Визуальные разрывы / Пробелы)

Пустое пространство или разделители (например, линии) в отображаемом (отрендеренном) документе. Используются системой для определения границ между различными сегментами контента.

Visual Model (Визуальная модель)

Представление документа, основанное на его визуальном макете после рендеринга, в частности на расположении и размере Visual Gaps.

Weights (Веса)

Числовые значения, присваиваемые элементам документа (например, HTML-тегам), которые количественно оценивают величину визуального разрыва, создаваемого этими элементами при рендеринге. Веса могут быть асимметричными (разные значения до и после элемента).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод сегментации документа, содержащего geographic signal.

1. Генерация visual model документа.
2. Идентификация hierarchical structure документа на основе этой модели.
3. Сегментация документа на основе иерархической структуры и визуальной модели.
4. Ассоциация части документа с geographic signal при выполнении условий: эта часть содержит сигнал И эта часть находится на самом низком уровне (lowest level) иерархической структуры, включающей этот сигнал.

Ключевым моментом является использование визуальной модели для определения иерархии и правило «самого низкого уровня», которое гарантирует, что с сущностью ассоциируется только тот текст, который визуально сгруппирован с ней и не отделен значительными разделителями.

Claim 2 (Зависимый от 1): Уточняет генерацию visual model.

Она включает присвоение значений (weights) элементам документа, которые контролируют его внешний вид. Эти значения количественно определяют размер визуальных разрывов (visual gaps), вносимых элементами в отображаемую версию документа.

Claim 3 (Зависимый от 2): Уточняет идентификацию hierarchical structure.

Более высокие уровни иерархии соответствуют более высоким присвоенным значениям (весам), т.е. большим визуальным разрывам.

Claim 7 (Зависимый от 1): Описывает ассоциацию дополнительного контента (контекста).

Текст в документе ассоциируется с geographic signal, даже если сам текст не содержит этот сигнал, при условии, что текст находится на более высоком иерархическом уровне, чем сигнал. Это позволяет ассоциировать заголовки секций и категорий с конкретными листингами внутри этих секций.

Claim 17 (Независимый пункт): Описывает аналогичный метод с акцентом на процесс присвоения весов.

1. Генерация визуальной модели на основе разрывов между элементами.
2. Присвоение весов элементам на основе размера этих разрывов.
3. Идентификация иерархической структуры, где уровни основаны на весах.
4. Ассоциация наименьшего уровня, включающего текст, окружающий информацию о локации, с этой информацией.

Где и как применяется

Изобретение применяется на этапе анализа и обработки контента после его получения и рендеринга.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. После того как документ был сканирован (CRAWLING) и отрендерен (например, WRS), Segmentation Component анализирует визуальный макет.

• Рендеринг и Анализ Структуры: Система строит Visual Model и определяет Hierarchical Structure на основе визуальных разрывов.
• Извлечение Признаков (Feature Extraction): Сегментация позволяет точно определить, какой текст относится к какой сущности (сигналу). Это критически важно для извлечения атрибутов сущностей и определения контекста. В патенте это показано на примере Local Search (ассоциация отзывов с бизнес-листингами), но также упоминается применение к изображениям (image signals).
• Индексация: Сегментированный текст индексируется с привязкой к соответствующей сущности.

Входные данные:

• Кандидатный документ (например, HTML-страница) и данные для его рендеринга (CSS, JS).
• Предопределенные или рассчитанные Weights для элементов разметки, оценивающие визуальные разрывы.
• Идентифицированные сигналы в документе (например, Geographic Signals или изображения).

Выходные данные:

• Иерархическая структура документа, основанная на визуальной модели.
• Сегментированные блоки контента.
• Установленные ассоциации между текстовыми блоками и идентифицированными сигналами (сущностями).

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на страницы, содержащие списки сущностей: каталоги товаров (E-commerce), списки компаний (Директории), страницы обзоров, агрегаторы, форумы, листиклы (статьи типа «Топ-10»).
• Конкретные ниши или тематики: Критически важно для Local SEO (правильная интерпретация отзывов и адресов) и E-commerce (понимание структуры листингов и карточек товаров).
• Другие сигналы: В патенте упоминается, что техника может быть обобщена, например, для определения того, какой текст релевантен какому изображению на странице.

Когда применяется

• При каких условиях работает алгоритм: Алгоритм применяется во время индексирования и анализа документов после этапа рендеринга.
• Триггеры активации: Активируется, когда документ содержит идентифицируемые сигналы (например, Geographic Signals) и необходимо связать окружающий текст с этими сигналами. Особенно важен, когда на странице много таких сигналов и структура DOM неоднозначна.
• Общая сегментация: Патент также упоминает, что механизм может использоваться для общей классификации блоков контента, например, для отделения основного контента от менее релевантных блоков (навигация, boilerplate).

Пошаговый алгоритм

Процесс сегментации документа:

1. Идентификация документа и сигналов: Выбор документа и определение в нем конкретных сущностей или сигналов (например, бизнес-листингов на основе Geographic Signals).
2. Генерация Visual Model: Анализ визуального макета документа после рендеринга. Присвоение Weights элементам разметки (HTML) на основе размера создаваемых ими Visual Gaps.
3. Расчет асимметричных весов: Система может присваивать разные веса до и после элемента. Например, у тега <h2> вес до элемента может быть больше (50), чем после (30), что отражает идею, что заголовок относится к последующему тексту.
4. Определение Hierarchical Structure: Использование рассчитанных весов для построения иерархии. Большие веса (большие пробелы) определяют разделение контента на более высоком иерархическом уровне. Наименьший вес, который разделяет элементы, содержащие сигналы, определяет самый низкий уровень сегментации.
5. Ассоциация контента (Lowest Level): Связывание порций контента с идентифицированными сигналами. Текст, находящийся внутри наименьшего иерархического уровня, окружающего сигнал, ассоциируется с этим сигналом.
6. Ассоциация контента (Higher Levels): Текст на более высоких уровнях (например, заголовки разделов, категорий) также ассоциируется с сигналами, находящимися под ним в иерархии, если этот текст не связан с другими сигналами на том же уровне.
7. Индексирование: Индексирование контента с учетом установленных ассоциаций. Например, текст отзыва индексируется как относящийся к конкретному бизнес-листингу.

Какие данные и как использует

Данные на входе

• Технические и Структурные факторы (Разметка/Рендеринг): Используются элементы документа, контролирующие его внешний вид. В патенте прямо упоминаются HTML-элементы, такие как <hr> (horizontal rule), <h1>-<h6> (headings), <br> (break). Система оценивает визуальный эффект этих элементов при рендеринге (включая CSS).
• Контентные факторы: Текст документа, который необходимо сегментировать.
• Географические факторы (Сигналы сущностей): В контексте основного примера используются Geographic Signals (адреса, названия компаний, телефоны) как анкоря для сегментации.
• Мультимедиа факторы: Изображения (image signals) также могут использоваться как анкоря для сегментации окружающего текста.

Какие метрики используются и как они считаются

• Weights (Веса): Ключевая метрика патента. Это количественная оценка размера визуального разрыва. Веса присваиваются элементам разметки.
  • Примеры из патента: <hr> может иметь вес 20 до и после. <h2> может иметь асимметричный вес: 50 до элемента и 30 после.
• Методы расчета весов: Патент предлагает несколько способов определения весов:
  • Субъективный анализ HTML-документов и ручная настройка весов до достижения приемлемой сегментации.
  • Анализ поведения или исходного кода веб-браузеров (для понимания того, как они рендерят элементы).
  • Использование машинного обучения на корпусе вручную сегментированных веб-страниц.
• Hierarchical Levels (Иерархические уровни): Определяются путем сравнения весов. Иерархия строится по принципу: чем больше вес (разрыв), тем выше уровень разделения в иерархии.

Выводы

1. Приоритет визуального представления над DOM: Для понимания структуры контента Google полагается на визуальное отображение (рендеринг) страницы, а не только на структуру DOM. Система стремится интерпретировать страницу так, как ее видит пользователь.
2. White Space как сигнал структуры: Система количественно оценивает визуальные разрывы (white space). Размер пустого пространства является ключевым сигналом для сегментации контента. Дизайн и верстка напрямую влияют на извлечение информации.
3. Иерархия определяется визуальными разрывами: Иерархическая структура контента определяется величиной визуальных разрывов, а не только семантическими тегами. Большие разрывы сигнализируют о смене темы или раздела высокого уровня.
4. Точная ассоциация контента (Правило «Lowest Level»): Для ассоциации основного контента с сущностью используется самый маленький иерархический блок, содержащий сигнал (например, Geographic Signal). Это предотвращает «утечку» контента между соседними сущностями.
5. Использование иерархического контекста: Система учитывает контекст более высоких уровней (заголовки разделов), используя визуальную иерархию для обогащения данных о сущностях внутри этих разделов.
6. Асимметричная оценка разделителей: Концепция асимметричных весов (например, для заголовков) показывает понимание того, что заголовок сильнее связан с последующим текстом, чем с предыдущим.

Практика

Best practices (это мы делаем)

• Обеспечение четкой визуальной иерархии: Используйте логичную структуру заголовков (H1-H6) и достаточное количество пустого пространства (white space), чтобы визуально отделить различные блоки контента друг от друга. Это помогает поисковой системе правильно сегментировать страницу.
• Четкое визуальное разделение сущностей: При публикации страниц, перечисляющих несколько сущностей (компании, продукты, отзывы), используйте последовательный и визуально различимый макет для каждого элемента. Контент, относящийся к одной сущности (название, цена, описание), должен быть визуально сгруппирован и четко отделен от соседнего блока с помощью отступов или разделителей.
• Управление визуальной иерархией и Асимметрия: Учитывайте асимметрию восприятия заголовков. Заголовок должен визуально относиться к контенту под ним. Это значит, что отступ над заголовком обычно должен быть больше, чем отступ под ним (как в примере с асимметричными Weights в патенте).
• Аудит рендеринга и CLS: Регулярно проверяйте, как Googlebot рендерит ключевые страницы (например, с помощью инструментов Google Search Console). Важно убедиться, что визуальная структура сохраняется на разных устройствах. Минимизируйте Cumulative Layout Shift (CLS), так как сдвиги макета могут привести к неправильному расчету Visual Gaps.

Worst practices (это делать не надо)

• Создание перегруженных и запутанных макетов (Clutter): Размещение различных сущностей или тем слишком близко друг к другу без четкого визуального разделения (недостаточно отступов, отсутствие границ или заголовков). Это может привести к тому, что Google неправильно свяжет контент с сущностями.
• Непоследовательное использование стилей и отступов: Хаотичные отступы (margins/paddings) и непоследовательное использование разделителей могут привести к созданию некорректной визуальной модели и ошибочной иерархии.
• Игнорирование визуальных эффектов структурных элементов: Использование структурных HTML-элементов (например, заголовков для разделения блоков), но обнуление их визуальных отступов через CSS может запутать алгоритм, который полагается на анализ Visual Gaps.

Стратегическое значение

Патент подтверждает стратегическую важность User Experience (UX), дизайна и качественной фронтенд-разработки как критических компонентов SEO. Понимание того, что Google анализирует рендеринг и использует визуальные сигналы для интерпретации контента (Visual Page Segmentation), должно быть интегрировано в процессы аудита и разработки. Стратегия должна включать контроль за визуальным представлением контента, так как это напрямую влияет на извлечение данных (Information Extraction), понимание структуры страницы и, как следствие, на ранжирование и представление сайта в SERP.

Практические примеры

Сценарий: Оптимизация статьи «Лучшие кафе в центре города»

Статья перечисляет 10 кафе, для каждого указано название, адрес (Geographic Signal) и краткий обзор.

Проблема: В текущей верстке расстояние между концом обзора Кафе №1 и началом Кафе №2 минимально. Система может посчитать их одним блоком или неправильно определить границы.

Действия по оптимизации (на основе патента):

1. Увеличение веса разделителя: Необходимо увеличить visual gap между блоками разных кафе. Это можно сделать, добавив значительный вертикальный отступ (margin-bottom) к блоку каждой кофейни или используя явный разделитель (например, <hr> или border-bottom).
2. Обеспечение иерархии: Название каждой кофейни выделяется заголовком (например, H3). Убедиться, что этот заголовок имеет больший отступ сверху (отделение от предыдущего кафе) и меньший отступ снизу (связь со своим обзором) – имитация асимметричных весов.
3. Группировка (Lowest Level): Убедиться, что название, адрес и обзор находятся в одном визуальном блоке (например, внутри <article> или <div>) с минимальными внутренними разрывами.

Ожидаемый результат: Система сегментации Google корректно определит границы обзора для каждого кафе. Обзор кафе №1 будет проиндексирован только в связи с адресом кафе №1, что повысит качество данных для локального поиска.

Вопросы и ответы