Как Google сегментирует веб-страницы и игнорирует нерелевантные блоки для определения основного смысла контента

Описание

Какую задачу решает

Патент решает проблему «размывания» (dilution) основного смысла документа из-за наличия нерелевантных или шаблонных блоков (boilerplate content), таких как навигационные меню, футеры или рекламные вставки. Если анализировать весь текст страницы целиком, контент из этих блоков вносит шум и затрудняет точное определение главной темы документа. Изобретение позволяет системе идентифицировать и игнорировать эти нерелевантные регионы для более точного понимания контента.

Что запатентовано

Запатентована система определения основного значения (Source Meaning) документа путем его интеллектуальной сегментации. Система идентифицирует различные регионы (Regions) на странице, используя структурные и форматные признаки (HTML/XML теги). Для каждого региона определяются локальные концепции (Local Concepts). Затем система выявляет и исключает регионы, чьи концепции не соответствуют общему значению документа. Итоговое значение формируется только на основе релевантных блоков.

Как это работает

Система работает в несколько этапов:

• Сегментация: Документ разделяется на регионы на основе HTML-тегов, форматирования и структуры текста (например, Title Region, Text Region, Link Region).
• Локальный анализ: Для каждого региона определяются и взвешиваются ключевые Local Concepts.
• Глобальный анализ: Локальные концепции объединяются в глобальный список (Global List). При этом учитывается важность и размер каждого региона (например, заголовок важнее ссылок).
• Фильтрация регионов: Система определяет, присутствуют ли основные концепции региона в топе глобального списка. Если нет, регион помечается как нерелевантный (шаблонный) и исключается.
• Определение значения: Итоговое Source Meaning, представленное как взвешенный вектор концепций (weighted vector of concepts), рассчитывается только на основе концепций из оставшихся релевантных регионов.

Актуальность для SEO

Высокая. Понимание структуры страницы и отделение основного контента (Main Content) от шаблонных блоков (Boilerplate) остается критически важной задачей для современных поисковых систем. Этот патент, разработанный ключевыми фигурами Applied Semantics (ядро AdSense), описывает фундаментальный механизм для такого анализа контента, который необходим как для ранжирования, так и для контекстной рекламы.

Важность для SEO

Патент имеет критическое значение для SEO. Он описывает конкретный механизм, позволяющий Google игнорировать целые блоки контента на странице, если система сочтет их нерелевантными основной теме. Это напрямую влияет на стратегии оптимизации структуры шаблонов, размещения ключевой информации и внутренней перелинковки, так как контент в «неправильном» блоке может быть полностью исключен из определения смысла страницы.

Детальный разбор

Термины и определения

Concept (Концепция)

Единица смысла, представленная кластером связанных слов или терминов (синонимов). Концепции имеют характеристики, такие как широта значения (breadth) и частота использования (frequency).

Formatting Information (Информация о форматировании)

Признаки, используемые для идентификации регионов. Включают HTML/XML теги (<title>, <a>) и структурные характеристики текста.

Global List / Ranked Global List (Глобальный список)

Объединенный и ранжированный список всех локальных концепций из всех регионов документа. Используется как предварительное приближение значения документа для выявления нерелевантных регионов.

Local Concepts (Локальные концепции)

Концепции, идентифицированные и ранжированные внутри конкретного региона документа.

Region (Регион)

Сегмент документа, идентифицированный системой на основе эвристик, форматирования или структуры. Примеры: Title Region (заголовок), Link Region (ссылки), Text Region (текст), List Region (список).

Semantic Network (Семантическая сеть)

Структура данных, содержащая взаимосвязанные концепции. Используется для сопоставления слов документа с концепциями.

Source Meaning (Значение источника)

Итоговое определение основного смысла документа после фильтрации нерелевантных регионов. Представляется как взвешенный вектор релевантных концепций (weighted vector of relevant concepts).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод определения значения веб-страницы.

1. Получение веб-документа.
2. Идентификация различных регионов на основе formatting information (включая контент между открывающими и закрывающими HTML или XML тегами).
3. Определение концепций в каждом регионе.
4. Определение оценок (scores) для концепций. Оценка может базироваться на размере региона (size of the region).
5. Создание ranked global list концепций.
6. Удаление несвязанных (unrelated) концепций из глобального списка.
7. Определение Source Meaning как вектора концепций (vector of concepts).

Claim 6 (Независимый пункт): Описывает более детальный процесс, включающий исключение целых регионов и финальное сопоставление.

1. Идентификация регионов на основе форматирования (HTML/XML теги).
2. Определение Local Concepts в каждом регионе.
3. Определение оценок (scores) для локальных концепций, учитывая важность региона (importance associated with the region) (в отличие от размера в Claim 1).
4. Анализ и исключение несвязанных концепций путем создания ranked global list.
5. Анализ и исключение несвязанных регионов путем сравнения ранжированного списка локальных концепций для каждого региона с Global List. (Это ключевой механизм удаления boilerplate).
6. Определение Source Meaning как взвешенного вектора (weighted vector) оставшихся концепций.
7. Сопоставление Source Meaning со значением внешнего элемента (Item).

Claim 16 (Зависимый): Детализирует критически важный механизм выявления и исключения несвязанных концепций и регионов (шаги 4 и 5 из Claim 6).

1. Рассчитываются пересмотренные оценки (revised scores) для всех локальных концепций.
2. Создается ранжированный Global List.
3. Удаляются концепции, чей суммарный вклад в общую оценку ниже определенного порога (создается результирующий список).
4. Идентифицируются регионы, чьи наиболее релевантные локальные концепции (most relevant local concepts – концепция с наивысшей оценкой в регионе) отсутствуют в результирующем списке.
5. Все локальные концепции из этих идентифицированных (нерелевантных) регионов удаляются для создания финального списка релевантных концепций.

Где и как применяется

Изобретение применяется на этапе анализа и понимания контента для определения его основной тематики.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. В процессе извлечения признаков (Feature Extraction) система (Document Engine) должна проанализировать структуру документа (HTML/XML), отделить основной контент от шаблонных элементов и точно определить его тематику (Source Meaning). Этот процесс необходим для сохранения релевантной информации о документе в индексе.

RANKING – Ранжирование
Рассчитанное Source Meaning (взвешенный вектор концепций) используется алгоритмами ранжирования для определения семантической релевантности документа запросу пользователя.

Примечание: Патент также описывает применение этого механизма для контекстной рекламы (AdSense).

Входные данные:

• Исходный документ (HTML, XML, PDF).
• Semantic Network для идентификации концепций.

Выходные данные:

• Source Meaning (взвешенный вектор концепций).
• Идентификация релевантных и нерелевантных регионов страницы.

На что влияет

• Конкретные типы контента: Наиболее сильно влияет на веб-страницы (HTML/XML) со сложной структурой, содержащие множество разнородных блоков (меню, сайдбары, футеры, реклама, основной текст).
• Структурные факторы: Влияет на то, как Google воспринимает шаблон сайта. Контент, размещенный в блоках, которые система классифицирует как нерелевантные (например, обширные Link Regions), может быть проигнорирован при определении основной темы.
• Лингвистические факторы: Влияет на восприятие стиля текста. Текст, написанный полноценными предложениями, с большей вероятностью будет классифицирован как важный Text Region, чем рубленые фразы (List Region).

Когда применяется

• Условия работы и Триггеры: Алгоритм применяется при индексации (или переиндексации) документа, или в момент, когда требуется определить его значение для контекстного сопоставления (например, при запросе на размещение рекламы на этой странице).

Пошаговый алгоритм

Процесс определения значения документа (Source Meaning):

1. Предварительная обработка документа: Документ парсится. Выполняется NLP-анализ для идентификации слов (токенов), которые затем сопоставляются с концепциями из Semantic Network.
2. Идентификация регионов: Документ сегментируется на регионы (Regions). Используются эвристики, основанные на:
   • HTML-тегах (например, <title> для Title Region).
   • Плотности ссылок (например, если >70% текста в абзаце внутри <a>, это Link Region).
   • Структуре текста (длина абзацев, наличие глаголов, пунктуация) для различения Text Region и List Region.
   • Крупные регионы (например, >20% документа) могут быть разбиты на более мелкие части.
3. Определение локальных концепций: Для каждого региона составляется ранжированный список Local Concepts. Оценка концепции (Score) зависит от ее связей с другими концепциями в регионе, частотности, широты значения и признаков важноosti (например, выделение жирным шрифтом).
4. Создание глобального списка (Global List): Все Local Concepts объединяются. Оценки концепций пересчитываются (Revised Score) с учетом факторов смещения (Biasing Factors): важности региона (Region Importance), размера региона и присутствия концепции в нескольких регионах.
5. Предварительная фильтрация концепций: Из Global List удаляются концепции с низким вкладом в общую оценку (например, нижние 20%). Оставшийся список представляет собой приблизительный смысл всего документа.
6. Исключение нерелевантных регионов: Система проверяет каждый регион: присутствуют ли его наиболее важные Local Concepts в отфильтрованном Global List. Если ключевые концепции региона отсутствуют в глобальном списке, регион помечается как нерелевантный (шаблонный) и исключается из дальнейшего анализа.
7. Определение итогового значения: Source Meaning пересчитывается заново, используя только концепции из оставшихся релевантных регионов. Результат нормализуется и представляется как взвешенный вектор концепций.

Какие данные и как использует

Данные на входе

Система активно использует структурные, контентные и лингвистические данные для сегментации и анализа:

• Структурные и Технические факторы: Критически важны для сегментации. Используются HTML/XML теги (<title>, <a> и другие).
• Контентные факторы: Текст внутри каждого региона, который анализируется для извлечения концепций.
• Лингвистические факторы: Структура предложений (наличие глаголов, пунктуация), длина предложений и абзацев используются для определения типа региона (например, отличие Text Region от List Region).
• Факторы форматирования: Упоминается использование визуального форматирования (например, жирный шрифт/bold) для повышения оценки важности (importance) концепции.

Какие метрики используются и как они считаются

• Local Concept Score (Локальная оценка концепции): Рассчитывается внутри региона. Зависит от связей концепции, ее частотности (frequency), широты значения (breadth/focus) и признаков важности (форматирование). Слишком частые или широкие концепции могут пессимизироваться.
• Region Importance (Важность региона): Метрика, присваиваемая региону на основе его типа (например, Title Region важнее, чем Link Region) и его размера (size).
• Revised/Global Concept Score (Пересмотренная оценка): Глобальная оценка концепции в Global List. Агрегирует Local Concept Scores с учетом Region Importance и появления в нескольких регионах.
• Пороги (Thresholds):
  • Порог плотности ссылок (например, 70%) для идентификации Link Region.
  • Порог размера региона (например, 20%) для его разделения на части.
  • Порог фильтрации глобального списка (например, 20%) для удаления нерелевантных концепций.

Выводы

1. Активная сегментация и игнорирование Boilerplate: Google не рассматривает страницу как единый монолитный текст. Система активно сегментирует ее на регионы (Regions) и применяет сложную логику для отделения основного контента от шаблонных элементов (навигация, футер, реклама).
2. Механизм определения релевантности блока: Ключевой механизм — это сравнение локальной и глобальной тематики. Регион считается релевантным, только если его основные темы (Local Concepts) соответствуют общим темам документа (Global List). Если темы блока уникальны и не поддерживаются другими частями документа, он будет проигнорирован.
3. Важность структуры и разметки: Идентификация регионов и определение их типа напрямую зависят от HTML-разметки (теги <title>, <a>) и лингвистических характеристик текста. Чистая верстка критична для корректного анализа.
4. Дифференцированное взвешивание регионов: Разные типы регионов имеют разный вес (Region Importance). Контент в Title Region получает больший вес, чем контент в Link Region или List Region. Также учитывается размер региона.
5. Смысл как вектор концепций: Итоговое понимание страницы (Source Meaning) — это не набор ключевых слов, а взвешенный вектор концепций, извлеченных исключительно из релевантных блоков документа.

Практика

Best practices (это мы делаем)

• Использование четкой семантической структуры (HTML5): Активно использовать семантические теги (<header>, <nav>, <main>, <article>, <aside>, <footer>). Это помогает системе корректно идентифицировать регионы и правильно оценить их важность (Region Importance).
• Обеспечение доминирования основного контента: Убедиться, что основной контент страницы составляет значительную ее часть, классифицируется как Text Region и содержит ключевые концепции страницы.
• Согласованность тематики (Thematic Consistency): Основные темы должны прослеживаться в разных важных регионах (например, Title Region и Text Region). Это повышает их вес в Global List и гарантирует, что регионы будут признаны релевантными.
• Оптимизация заголовков: Патент подтверждает высокую важность Title Region. Концепции в заголовках получают повышенный вес при формировании Global List.
• Качество написания текста: Писать контент, используя полноценные предложения с правильной структурой и пунктуацией. Это помогает классифицировать блок как Text Region (более важный), а не как List Region.
• Использование форматирования для акцентов: Использование выделения (например, жирным шрифтом) для важных терминов может повысить оценку важности (importance) соответствующей концепции.

Worst practices (это делать не надо)

• Размещение ключевой информации в шаблонных блоках: Размещение важного для ранжирования контента в футере, сайдбаре или обширных меню. Эти блоки с высокой вероятностью будут классифицированы как Link Regions или признаны нерелевантными и проигнорированы.
• Чрезмерная перелинковка внутри основного контента: Если в абзаце основного текста более 70% содержимого составляют ссылки (<a>), весь абзац может быть классифицирован как Link Region, что значительно снизит его вес.
• Использование неструктурированного текста: Представление основной информации в виде коротких, рубленых фраз без глаголов или пунктуации. Это может привести к классификации блока как List Region вместо Text Region.
• Запутанная верстка («Div Soup» или таблицы): Использование несемантических тегов или табличной верстки для макета затрудняет сегментацию и может привести к ошибкам в идентификации регионов.
• Тематическое несоответствие блоков: Наличие больших блоков текста, тематически не связанных с основной темой страницы. Такие блоки рискуют быть исключенными как Unrelated Regions.

Стратегическое значение

Патент демонстрирует фундаментальный подход Google к пониманию контента: анализ страницы не как единого целого, а как набора структурных компонентов с разной степенью релевантности. Для SEO это подтверждает важность технической оптимизации шаблонов и архитектуры сайта. Чтобы контент работал на ранжирование, он должен быть не только качественным, но и расположенным в той части документа, которую Google идентифицирует как основной релевантный регион. Этот механизм является основой для работы систем, определяющих полезность контента (Helpful Content).

Практические примеры

Сценарий: Оптимизация шаблона статьи в блоге

1. Проблема: В шаблоне статьи используется большой сайдбар, содержащий список последних новостей, облако тегов и рекламный баннер. Основной текст статьи занимает менее 50% ширины экрана.
2. Анализ по патенту: Система сегментирует страницу. Сайдбар, вероятно, будет разбит на Link Regions (новости, теги) и нерелевантный блок (баннер). Основной текст будет идентифицирован как Text Region. Концепции из сайдбара могут «зашумлять» Global List и размыть основную тему статьи.
3. Действие: Использовать тег <aside> для сайдбара и <article> внутри <main> для основного текста. Это поможет системе правильно определить важность регионов. Убедиться, что текст статьи написан полноценными предложениями и тематически согласован с заголовком (Title Region).
4. Результат: Система с большей вероятностью присвоит высокий Region Importance блоку <article> и низкий блокам в <aside>. При формировании Source Meaning основной вес будет отдан концепциям из статьи, что улучшит ее тематическую релевантность.

Вопросы и ответы