Как Google анализирует оглавления и визуальную верстку для понимания структуры документа и повышения веса заголовков в ранжировании

Термины и определения

Classifier Module (Модуль классификации)

Компонент системы, использующий машинное обучение для определения того, какие страницы документа являются страницами оглавления (TOC pages).

Digital Volume (Цифровой том)

Цифровое представление контента, например, оцифрованная книга, PDF или журнал. Может состоять из изображений страниц.

Match Score (Оценка совпадения)

Метрика, указывающая на вероятность того, что найденная в тексте фраза является заголовком раздела. Зависит от качества текстового совпадения, шрифта и верстки (layout).

Normalized Phrase (Нормализованная фраза)

Фраза, извлеченная из TOC, из начала и конца которой удалены числа (номера страниц или глав).

OCR (Optical Character Recognition)

Оптическое распознавание символов. Технология для извлечения текста, шрифтов и данных о верстке из изображений.

Ordering Constraints (Ограничения порядка)

Ключевое правило, согласно которому заголовки в теле документа должны появляться примерно в том же порядке, что и соответствующие им ссылки в оглавлении.

Section Heading (Заголовок раздела)

Название раздела, появляющееся в теле документа в начале этого раздела. Идентифицируется системой как Best Matching Phrase.

Section Reference (Ссылка на раздел)

Название раздела, указанное в оглавлении (TOC). Идентифицируется системой как Extracted Phrase.

Word Index (Индекс слов)

Структура данных для быстрого поиска точных или приблизительных (для учета ошибок OCR) совпадений слов в документе.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения информации о разделах.

1. Определение страниц оглавления (TOC) с помощью классификатора. Классификатор использует машинное обучение и генерирует оценку точности классификации.
2. Извлечение фраз (Extracted Phrases) из TOC.
3. Идентификация совпадающих фраз (Matching Phrases) в теле документа (допускается приблизительное совпадение).
4. Определение наилучших совпадающих фраз (Best Matching Phrases). Выбор основан на порядке следования фраз в TOC и в тексте (Ordering Constraints).
5. Генерация информации о разделах: заголовков (Section Headings) и их начального местоположения.

Claim 3 и 4 (Зависимые): Детализируют механизм расчета Match Scores. Это критически важные пункты для понимания сигналов.

Система рассчитывает Match Scores. Эти оценки основаны на схожести слов (Claim 3). Кроме того, оценки основаны на шрифте или верстке (font or layout) совпадающих фраз в документе (Claim 4). Это подтверждает использование визуальных признаков для идентификации структуры.

Claim 5 (Зависимый): Описывает применение для навигации.

Представление документа пользователю с кликабельными ссылками из TOC к соответствующим заголовкам разделов.

Claim 6 (Зависимый): Описывает критически важное применение для поиска и ранжирования.

Определение результатов поиска по запросу в цифровом томе. Присвоение результатам поиска, содержащим идентифицированные заголовки разделов (Section Headings), большего веса (weighting more heavily), чем другим результатам.

Где и как применяется

Изобретение применяется преимущественно на этапе индексирования для глубокого анализа структуры документа.

CRAWLING – Сканирование и Сбор данных
Система получает сырые данные цифрового тома (изображения страниц или PDF) и выполняет первичную обработку (OCR) для извлечения текста и данных о верстке.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Система анализирует полученные данные для определения структуры документа:

1. Идентификация TOC pages с помощью Classifier Module.
2. Извлечение Section References из TOC.
3. Создание Word Index основного текста.
4. Поиск и оценка Matching Phrases в тексте с учетом шрифта и верстки (Claim 4).
5. Определение Best Matching Phrases (структуры разделов).
6. Сохранение информации о разделах и аннотирование идентифицированных заголовков для последующего взвешивания.

RANKING – Ранжирование
На этом этапе Search Module использует предварительно вычисленную информацию о разделах. При обработке запроса система применяет логику из Claim 6: если результат поиска содержит идентифицированный Section Heading, этому результату присваивается больший вес.

Входные данные:

• Цифровой том (изображения страниц или PDF).
• Данные OCR: текст, информация о шрифтах (размер), информация о верстке (положение текста, пробелы).

Выходные данные:

• Структурированная информация о разделах (заголовки, начальные страницы).
• Улучшенный индекс документа, в котором заголовкам присвоен повышенный вес.

На что влияет

• Типы контента: Наибольшее влияние оказывается на длинные формы контента (long-form content), такие как научные статьи, руководства, книги, объемные PDF-документы, где присутствует четкая структура и оглавление.
• Структура документа: Влияет на способность системы сегментировать контент на логические блоки, что улучшает понимание иерархии контента и может способствовать лучшему ранжированию фрагментов (Passage Ranking).

Когда применяется

• Условия применения: Алгоритм применяется во время индексации документов, для которых система способна извлечь текст и данные о верстке.
• Триггеры активации: Идентификация страниц, похожих на оглавление, с помощью ML-классификатора. Если TOC не найден, патент упоминает альтернативный метод: поиск фраз с необычно большим размером шрифта в документе.

Пошаговый алгоритм

Этап 1: Подготовка данных

1. Получение текстовой информации: Выполнение OCR для извлечения текста, шрифтов и данных о верстке.
2. Классификация страниц оглавления: Использование обученного классификатора для идентификации TOC pages.
3. Извлечение фраз: Обработка TOC pages построчно для извлечения потенциальных Section References. Нормализация фраз (удаление номеров страниц).
4. Создание индекса слов: Индексация основного текста документа с поддержкой нечеткого поиска.

Этап 2: Поиск и оценка соответствий

5. Идентификация совпадающих фраз: Поиск извлеченных фраз в основном тексте с помощью индекса.
6. Расчет оценок соответствия (Match Scores): Для каждой найденной фразы рассчитывается оценка. Оценка повышается при высокой текстовой схожести, а также если фраза имеет крупный шрифт и окружена пробелами (визуальные признаки заголовка).

Этап 3: Определение структуры

7. Определение наилучших соответствий: Выбор одного соответствия для каждой извлеченной фразы. Цель — максимизировать суммарный Match Score при соблюдении Ordering Constraints (порядок в тексте должен соответствовать порядку в TOC).
8. Постобработка: Объединение смежных наилучших соответствий, которые, вероятно, являются частью одного многострочного заголовка.
9. Сохранение информации о разделах: Запись найденных заголовков и их местоположения.

Этап 4: Применение (Во время поиска)

10. Презентация: Отображение документа с навигационными ссылками из TOC к разделам.
11. Поиск: При обработке поискового запроса по документу, результатам, содержащим идентифицированные заголовки разделов, придается больший вес (Claim 6).

Какие данные и как использует

Данные на входе

Система использует данные, извлеченные из документа (часто с помощью OCR), и фокусируется на следующих факторах:

• Контентные факторы: Текст страниц оглавления и основного тела документа. Сравнение текстовой схожести между Section Reference и Section Heading.
• Структурные факторы: Порядок следования фраз в TOC и порядок следования потенциальных заголовков в основном тексте. Это критически важный фактор (Ordering Constraints).
• Визуальные факторы (Верстка и Оформление):
  • Размер шрифта (Font Size): Фразы с большим размером шрифта считаются более вероятными кандидатами на роль заголовка (используется в Match Score).
  • Верстка (Layout) и Пробелы (Whitespace): Положение текста на странице и окружающее пространство. Используется как для идентификации TOC, так и для расчета Match Score.

Какие метрики используются и как они считаются

• Match Distance (Расстояние совпадения): Метрика для приблизительного поиска слов (например, расстояние Левенштейна). Используется для обработки ошибок OCR.
• Match Score (Оценка совпадения): Комплексная метрика для оценки качества совпадения. Рассчитывается на основе:
  • Текстового сходства (обратно пропорционально Match Distance).
  • Визуальных признаков (шрифт и верстка, Claim 4).
  • Совпадения местоположения с ожидаемым номером страницы (если он был в TOC).
• Ordering Constraints (Ограничения порядка): Условие, используемое для выбора логически последовательного набора наилучших соответствий.
• Classifier Score (Оценка классификатора): Оценка уверенности ML-модели в том, что страница является оглавлением.
• Weighting (Взвешивание): В патенте прямо указано применение повышенного веса (weighting... more heavily) к идентифицированным заголовкам разделов при поиске (Claim 6).

1. Google активно реконструирует внутреннюю структуру документов: Патент демонстрирует сложный механизм для понимания того, как документ сегментирован на разделы, используя оглавление как дорожную карту, даже при отсутствии семантической разметки.
2. Важность визуальных сигналов (Visual Prominence): Это ключевой вывод. Патент явно указывает (Claim 4), что размер шрифта и верстка (layout) используются как сигналы для идентификации заголовков. Визуально выделенный текст с большей вероятностью будет интерпретирован как важный структурный элемент.
3. Заголовки как фактор ранжирования (Claim 6): Самый важный вывод для SEO. Патент прямо утверждает, что идентифицированные заголовки разделов (Section Headings) получают больший вес в результатах поиска. Это подтверждает, что заголовки являются сильным сигналом релевантности.
4. Использование ML для анализа верстки: Google применяет обученные классификаторы (машинное обучение) для определения функции различных частей страницы (например, идентификация оглавления) на основе комплексных визуальных и текстовых признаков.
5. Порядок и согласованность критичны: Ordering Constraints играют центральную роль. Система ожидает, что структура документа будет логичной и последовательной.

Best practices (это мы делаем)

Принципы патента применимы к общей SEO-стратегии, особенно в отношении структуры контента, визуального представления и оптимизации PDF.

• Использование четких и описательных заголовков: Поскольку Section Headings получают повышенный вес в ранжировании (Claim 6), критически важно использовать заголовки, которые точно отражают содержание раздела и содержат релевантные ключевые фразы.
• Соблюдение визуальной иерархии (Visual Hierarchy): Убедитесь, что визуальное представление контента соответствует его семантической структуре (H1-H6). Важные заголовки должны визуально выделяться (больший размер шрифта, больше свободного пространства). Это помогает алгоритмам, анализирующим визуальную верстку (Claim 4), правильно интерпретировать важность элементов.
• Включение оглавления (TOC) для длинного контента: Для лонгридов создавайте TOC (например, с помощью анкорных ссылок). Это предоставляет системе четкую карту структуры контента, которую она обучена распознавать.
• Обеспечение точного соответствия TOC и заголовков: Текст в оглавлении (Section Reference) должен точно или очень близко соответствовать тексту фактического заголовка (Section Heading) в теле документа.
• Оптимизация PDF-документов: При работе с PDF уделяйте особое внимание созданию четкого оглавления и последовательному использованию стилей заголовков. Алгоритм идеально подходит для анализа таких документов.

Worst practices (это делать не надо)

• Расхождение визуальной и семантической иерархии: Использование CSS для того, чтобы сделать незначительный текст визуально похожим на важный заголовок, или наоборот (например, делать H1 маленьким, а H4 огромным). Это может запутать алгоритмы, которые учитывают визуальные признаки.
• Плоская визуальная структура: Создание "стены текста", где заголовки визуально не отличаются от основного текста. Это снижает их потенциальный Match Score и затрудняет идентификацию структуры.
• Несогласованность заголовков и TOC: Если оглавление ссылается на разделы с одними названиями, а в тексте используются совершенно другие заголовки, система не сможет надежно определить структуру документа.
• Нарушение логического порядка: Хаотичное расположение разделов или непоследовательное использование заголовков затрудняет работу алгоритмов, основанных на Ordering Constraints.

Стратегическое значение

Патент подтверждает, что Google не полагается исключительно на семантическую разметку (HTML-теги). Система способна интерпретировать визуальные сигналы для понимания иерархии контента. Это согласуется с развитием алгоритмов анализа макета страницы (Page Layout) и подчеркивает важность качественного UX/UI дизайна и четкой структуры. Понимание структуры также является необходимой предпосылкой для технологий типа Passage Ranking (ранжирования фрагментов).

Практические примеры

Сценарий: Оптимизация длинного руководства (Ultimate Guide) на сайте

1. Анализ структуры: Убедиться, что руководство разбито на логические разделы с четкой иерархией (H1 -> H2 -> H3).
2. Оптимизация заголовков: Переписать заголовки H2/H3 так, чтобы они были информативными и содержали релевантные запросы, так как им может быть присвоен больший вес (Claim 6).
3. Внедрение TOC: Создать в начале документа кликабельное оглавление (TOC) с анкорными ссылками на заголовки H2.
4. Обеспечение соответствия: Убедиться, что текст пунктов в TOC дословно совпадает с текстом соответствующих заголовков H2 в статье.
5. Проверка визуального оформления: Убедиться, что заголовки H2 визуально крупнее и имеют большие отступы, чем основной текст, чтобы повысить их потенциальный Match Score (Claim 4).
6. Ожидаемый результат: Система Google с большей вероятностью распознает структуру руководства. Заголовки H2 получат повышенный вес при ранжировании. Фрагменты статьи могут лучше ранжироваться в Passage Ranking.