Как Google использует семантическую структуру HTML (списки и заголовки) для расчета расстояния между ключевыми словами

Термины и определения

Semantic Distance (Семантическое расстояние)

Мера близости между терминами, основанная на их расположении внутри семантических структур документа, а не только на физическом расстоянии (количестве слов или Word Count).

Implicitly Defined Semantic Structure (Неявно определенная семантическая структура) / Implicit List

Структура контента (например, список), которая создана без использования стандартных HTML-тегов (например, <ul>, <ol>). Создается с помощью других тегов (<div>, <br>, <p>, <table>) и обнаруживается путем анализа повторяющихся паттернов.

Tree Structure (Древовидная структура)

Иерархическое представление структуры документа (например, DOM-дерево HTML-документа), используемое для анализа разметки.

Text Formatting Commands (Команды форматирования текста)

HTML-теги, влияющие на отображение текста (например, <br>, <b>, <div>). Повторение этих команд используется для обнаружения неявных структур.

Page Analyzer Component (Компонент анализа страницы)

Модуль, который анализирует Tree Structure для обнаружения семантически значимых структур (списки, заголовки, названия).

Distance Component (Компонент расчета расстояния)

Модуль, который вычисляет показатели расстояния (Distance Metrics/Value) между парами терминов.

Relevance Component (Компонент релевантности)

Модуль, использующий метрики расстояния для генерации Ranking Score.

Ключевые утверждения (Анализ Claims)

Ядром изобретения является метод расчета расстояния, который использует различные функции в зависимости от того, как термины расположены относительно границ семантических элементов, в частности списков.

Claim 1 (Независимый пункт): Описывает основной метод расчета Distance Value с учетом неявной семантической структуры.

1. Идентификация неявно определенной семантической структуры в документе. Конкретно: списка с заголовком (header) и элементами (items).
2. Определение местоположения первого и второго термина внутри этого списка.
3. Выбор одного правила из набора правил на основе соотношения местоположений терминов. Правила строго определены:
   • Правило 1 (First rule): Термины находятся в разных элементах списка.
   • Правило 2 (Second rule): Термины находятся в одном и том же элементе списка.
   • Правило 3 (Third rule): Один термин в заголовке, другой в элементе списка.
4. Определение Distance Value с использованием функции, которая зависит от выбранного правила. Ключевое утверждение: функции для Правил 1, 2 и 3 различаются.
5. Вывод Distance Value для ранжирования документа по запросу.

Claim 6 (Зависимый от 1): Уточняет, как рассчитывается значение расстояния.

Функция рассчитывает Distance Value как количество слов (word count) между терминами, скорректированное (augmented) с помощью выбранного правила.

Claim 7 (Зависимый от 1): Уточняет метод идентификации неявной структуры.

Идентификация включает обнаружение повторяющихся вхождений (repeating occurrences) набора из двух или более команд форматирования текста (Text Formatting Commands).

Claim 9 (Независимый пункт): Описывает метод ранжирования документов на основе семантического расстояния (применимо к явным и неявным структурам).

Логика аналогична Claim 1: идентификация семантической структуры (списка), локализация терминов запроса, выбор правила (1, 2 или 3), расчет Distance Value с использованием функции, специфичной для правила, и ранжирование документов на основе этого значения.

Где и как применяется

Изобретение применяется на этапах индексирования и ранжирования для улучшения расчета релевантности.

INDEXING – Индексирование и извлечение признаков
На этом этапе Page Analyzer Component анализирует документ. Происходит парсинг HTML в Tree Structure. Система обнаруживает явные и неявные семантические структуры. Ключевой процесс — поиск неявных списков путем обнаружения повторяющихся паттернов форматирования. Документ или его представление в индексе аннотируется этой структурной информацией. Эта работа выполняется заранее (офлайн).

RANKING – Ранжирование
На этом этапе (вероятно, L2 или L3, где происходит детальная оценка релевантности) система использует аннотированную структуру. Distance Component определяет местоположение терминов запроса и применяет правила семантического расстояния для расчета Distance Metrics. Relevance Component использует эти метрики для вычисления итогового Ranking Score.

Входные данные:

• (Индексирование) Исходный документ (HTML).
• (Ранжирование) Термины поискового запроса и Аннотированная Tree Structure документа.

Выходные данные:

• (Индексирование) Аннотированная структура документа.
• (Ранжирование) Distance Metrics и Ranking Score документа.

На что влияет

• Типы контента: Наибольшее влияние оказывается на контент, организованный в виде списков, перечислений, таблиц, рецептов, обзоров (Ecommerce), инструкций и статей с четкой структурой заголовков.
• Специфические запросы: Влияет на запросы, состоящие из нескольких терминов, где важно не только наличие терминов, но и их взаимное расположение и контекстуальная связь (например, [объект] + [характеристика]).
• Техническое качество HTML: Влияет на сайты с несемантической версткой, заставляя систему активировать механизм распознавания неявных структур.

Когда применяется

• Условия применения: Алгоритм расчета Semantic Distance применяется, когда в документе найдено более одного термина из поискового запроса и система оценивает их близость для расчета релевантности.
• Триггеры активации (для обнаружения неявных списков): Активируется, когда Page Analyzer Component обнаруживает повторяющиеся шаблоны команд форматирования в Tree Structure документа во время индексирования.

Пошаговый алгоритм

Этап 1: Анализ структуры документа (INDEXING - Офлайн)

1. Парсинг: Получение документа и его парсинг в Tree Structure (например, DOM-дерево).
2. Обнаружение явных структур: Идентификация явных списков (<ul>, <ol>) и заголовков/названий (Titles/Headings) на основе иерархии дерева.
3. Обнаружение неявных структур: Анализ Tree Structure на предмет повторяющихся наборов команд форматирования (например, последовательности <b>...<br> или повторяющиеся <div> с одинаковой структурой). Идентификация Implicit Lists на основе этих повторений.
4. Аннотирование: Разметка Tree Structure для обозначения границ семантических элементов (заголовок списка, элемент списка А, элемент списка Б и т.д.).

Этап 2: Расчет расстояния и ранжирование (RANKING - В реальном времени)

1. Получение данных: Получение поискового запроса и аннотированного документа.
2. Локализация терминов: Определение местоположения терминов запроса (Термин 1 и Термин 2) в аннотированной структуре.
3. Выбор правила и функции: Выбор функции расчета расстояния на основе местоположения терминов (согласно Claim 1):
   • Правило 2 (Один элемент): Если Термин 1 и Термин 2 в одном элементе списка. Расстояние считается близким.
   • Правило 3 (Заголовок-Элемент): Если Термин 1 в заголовке, а Термин 2 в элементе списка. Расстояние считается относительно близким (и равным для всех элементов относительно заголовка).
   • Правило 1 (Разные элементы): Если Термин 1 в элементе А, а Термин 2 в элементе Б. Расстояние считается большим (штраф), даже если физически слова рядом.
4. Применение дополнительных правил: Термин в названии документа (Title) считается близким ко всем терминам. Термин в заголовке раздела (Heading) считается близким к терминам под ним в иерархии.
5. Вычисление метрик: Расчет Distance Metrics с использованием выбранной функции (Word Count, модифицированный правилом).
6. Расчет релевантности: Генерация Ranking Score. Документы, в которых термины семантически ближе, получают более высокий балл.

Какие данные и как использует

Данные на входе

Патент фокусируется на структурных и контентных факторах для определения близости.

• Структурные факторы (HTML-теги): Критически важные данные. Анализируется иерархия и последовательность HTML-тегов в Tree Structure. Особое внимание уделяется тегам (Text Formatting Commands), используемым для создания списков:
  • Явные: <ul>, <ol>.
  • Неявные (повторяющиеся): <div>, <br> (line break), <p> (paragraph), <table>, <tr>, <b> (bold), <font>.
• Контентные факторы: Текст документа и расположение поисковых терминов внутри этого текста, используемые для подсчета базового Word Count.

Какие метрики используются и как они считаются

• Pattern Recognition (Распознавание шаблонов): Используется для обнаружения неявных списков путем поиска повторяющихся вхождений (repeating occurrences) наборов команд форматирования.
• Word Count (Количество слов): Базовая метрика физического расстояния.
• Semantic Distance (Семантическое расстояние): Основная вычисляемая метрика. Патент описывает ее как значение расстояния (Word Count), дополненное (augmented by) концепцией семантической близости, основанной на структуре документа (Claim 6).
• Rule-Based Functions (Функции на основе правил): Расчет Semantic Distance зависит от того, где расположены термины (Правила 1, 2, 3). Для каждого сценария используется своя функция расчета расстояния, что означает применение разных весов или штрафов при пересечении семантических границ.

1. Приоритет семантической структуры над физической близостью: Google активно интерпретирует логическую организацию страницы (DOM-дерево) для оценки связи между терминами. Semantic Distance является более важным показателем, чем простое количество слов между терминами.
2. Штраф за пересечение семантических границ: Термины, расположенные в разных семантических блоках (например, в разных пунктах списка), считаются далекими друг от друга (Правило 1), даже если физически они находятся рядом. Это предотвращает случайное связывание несвязанных понятий.
3. Обнаружение неявных структур: Система не полагается только на корректную семантическую разметку. Она способна распознавать списки и разделы, созданные с помощью общих тегов (<div>, <br>), анализируя повторяющиеся паттерны форматирования.
4. Ключевая роль заголовков и названий: Заголовки (Headings) и названия (Titles) служат важными связующими элементами (Правило 3). Термины в заголовке считаются семантически близкими к контенту, который структурно им подчиняется.
5. Структура контента влияет на релевантность: То, как организована информация на странице (группировка связанных идей в одном блоке — Правило 2), напрямую влияет на расчет релевантности по многословным запросам.

Best practices (это мы делаем)

• Используйте явную семантическую разметку: Всегда предпочитайте стандартные HTML-теги для списков (<ul>, <ol>, <dl>) и заголовков (H1-H6). Это гарантирует правильную интерпретацию структуры системой и устраняет зависимость от алгоритмов распознавания неявных структур.
• Группируйте связанные концепции в одном блоке: Ключевые слова и фразы, которые должны рассматриваться вместе (например, название продукта и его ключевая характеристика), должны находиться в одном семантическом блоке (одном абзаце <p> или одном элементе списка <li>). Это обеспечивает минимальное расстояние (Правило 2).
• Используйте релевантные и иерархичные заголовки: Размещайте важные ключевые слова в заголовках. Согласно патенту, термины в заголовке считаются семантически близкими к контенту, следующему за ним в иерархии (Правило 3).
• Соблюдайте консистентность при кастомной верстке: Если по причинам дизайна необходимо использовать <div> для создания списков, убедитесь, что шаблон форматирования абсолютно одинаков и консистентен для всех элементов. Это поможет Google корректно распознать Implicit List через повторяющиеся паттерны.

Worst practices (это делать не надо)

• Разделение связанных терминов между блоками: Размещение тесно связанных ключевых слов в разных семантических блоках. Например, если в списке характеристик название свойства находится в одном пункте <li>, а значение — в следующем <li>. Они будут считаться семантически далекими (Правило 1).
• Использование форматирования вместо семантики: Создание списков с помощью <br> и <b>. Это менее надежно и может привести к ошибкам интерпретации структуры, если форматирование не идеально консистентно.
• Непоследовательное форматирование: Использование разных HTML-структур для элементов одного и того же списка (например, часть элементов через <div>, часть через <p>). Это помешает системе идентифицировать структуру как единый список.
• "DIV-soup" и запутанная структура DOM: Сложная, избыточно вложенная структура затрудняет анализ Tree Structure и может привести к неверному определению семантических границ.

Стратегическое значение

Патент подтверждает фундаментальную важность архитектуры контента и технического SEO. Он показывает, что Google стремится понять документ как структурированную информацию, анализируя DOM-дерево. Для SEO-специалистов это означает, что оптимизация — это не просто наличие ключевых слов, но и их расположение относительно друг друга в контексте семантической структуры документа.

Практические примеры

Сценарий: Оптимизация списка характеристик товара

Необходимо оптимизировать страницу под запрос "смартфон с камерой 108 Мп".

Плохая реализация (Большое семантическое расстояние):

<h2>Характеристики</h2>
<ul>
 <li>Наш лучший <b>смартфон</b></li>
 <li>Разрешение <b>камеры</b></li>
 <li>Целых <b>108 Мп</b></li>
</ul>

Анализ: Все ключевые термины ("смартфон", "камера", "108 Мп") находятся в разных элементах списка (<li>). Согласно Правилу 1, семантическое расстояние между ними будет считаться большим, что снизит релевантность по точному запросу.

Хорошая реализация (Малое семантическое расстояние):

<h2>Характеристики Смартфона</h2>
<ul>
 <li><b>Камера</b>: Сенсор на <b>108 Мп</b></li>
 <li>Батарея: 5000 мАч</li>
</ul>

Анализ: Термины "Камера" и "108 Мп" находятся в одном элементе списка (Правило 2) – расстояние минимально. Термин "Смартфон" находится в заголовке (H2), который связан со списком, и расстояние до элементов списка также считается малым (Правило 3). Это повысит релевантность страницы по данному запросу.