Как Google автоматически создает шаблоны для извлечения структурированных данных из форумов и UGC-сайтов

Термины и определения

Annotation Criteria (Критерии аннотирования)

Набор правил или схем, используемых для идентификации и маркировки (аннотирования) конкретных элементов внутри поста, таких как автор, дата или основной текст.

Aggregator (Агрегатор)

Компонент системы, отвечающий за группировку элементов. Включает Boilerplate Aggregator (группирует страницы по схожести Boilerplate) и Post-type Aggregator (группирует посты по схожести их типа).

Boilerplate (Шаблонный/Статический контент)

Часть веб-страницы, которая остается неизменной или почти неизменной на нескольких страницах сайта. Обычно это контент, предоставляемый владельцем сайта (навигация, заголовки, футеры, реклама), а не UGC.

Boilerplate Template (Шаблон статического контента)

Обобщенное представление Boilerplate, созданное путем слияния схожих статических частей из группы страниц.

Crawler (Краулер)

Компонент, который извлекает страницы сайта и анализирует их структуру (например, HTML/DOM).

Merger (Модуль слияния)

Компонент, который объединяет схожие элементы для создания шаблонов. Включает Boilerplate Merger и Post-type Merger.

Page Splitter (Разделитель страниц)

Компонент, который анализирует структуру страницы и разделяет ее на Boilerplate и Posts.

Post (Пост)

Единица пользовательского контента (UGC). Это динамическая, структурированная и повторяющаяся часть страницы (например, сообщение на форуме, комментарий).

Post Analyzer (Анализатор постов)

Компонент, который исследует сгруппированные посты определенного типа для идентификации и аннотирования их элементов (автор, дата, текст) на основе Annotation Criteria.

Post-type (Тип поста)

Классификация постов на основе их структуры, формата или стиля. Разные типы могут быть связаны с разными классами пользователей (например, модератор vs. обычный пользователь).

Post-type Template (Шаблон типа поста)

Обобщенное и аннотированное представление постов определенного типа.

Site Template (Шаблон сайта)

Конечный результат работы системы. Состоит из Boilerplate Template и всех связанных с ним Post-type Templates. Используется для извлечения и анализа контента с других страниц этого сайта.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации шаблона сайта.

1. Система (Page Splitter) разделяет первую страницу сайта на первый Boilerplate и первые посты, и вторую страницу на второй Boilerplate и вторые посты.
2. Система (Aggregator) ассоциирует первую страницу со второй на основе схожести их Boilerplate (т.е. группирует их).
3. Система (Aggregator) ассоциирует посты с первой и второй страниц с первым типом поста (first post-type), и по крайней мере один пост со второй страницы со вторым типом поста (second post-type).
4. Система (Merger) выполняет слияние:
   • Первый и второй Boilerplate сливаются в Boilerplate Template.
   • Посты первого типа с обеих страниц сливаются в First Post-type Template.
   • Посты второго типа со второй страницы сливаются в Second Post-type Template.
5. Система объединяет Boilerplate Template, First Post-type Template и Second Post-type Template в Site Template, ассоциированный с сайтом.

Ядро изобретения заключается в автоматическом определении структуры сайта путем последовательной агрегации и слияния как статических (Boilerplate), так и динамических (Posts) элементов, с учетом вариативности типов постов.

Claim 2 (Зависимый от 1): Дополняет процесс функцией анализа и аннотирования.

Система включает Post Analyzer, который анализирует объединенные посты (например, первого типа), извлекает из них элементы и аннотирует эти элементы на основе Annotation Criteria для включения в соответствующий Post-type Template.

Claim 3 (Зависимый от 2): Уточняет критерии аннотирования.

Посты включают UGC, а Annotation Criteria включают метки для текста (text label), автора (author label) и даты (date label).

Где и как применяется

Изобретение является частью инфраструктуры сбора и первичной обработки данных Google. Оно применяется на ранних этапах поискового конвейера для понимания структуры и контента сайтов.

CRAWLING – Сканирование и Сбор данных
Crawler собирает исходные данные (веб-страницы). Система использует эти данные для генерации шаблона. В дальнейшем сгенерированный шаблон может использоваться на этом этапе или сразу после него для эффективного извлечения UGC.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Описанная система (Template Generator) работает в рамках конвейера индексирования для структурирования неструктурированных данных и извлечения признаков (Feature Extraction).

1. Структурирование данных: Система анализирует HTML/DOM для разделения контента на Boilerplate и Posts.
2. Очистка контента: Отделение Boilerplate позволяет системе индексирования сосредоточиться на основном контенте (Posts), игнорируя навигацию и рекламу.
3. Извлечение признаков: Аннотирование позволяет точно извлечь метаданные, такие как автор (важно для E-E-A-T и определения сущностей) и дата (важно для определения свежести).

Входные данные:

• Набор веб-страниц (HTML/DOM) с одного сайта, полученный краулером.
• Annotation Criteria (предопределенные схемы аннотирования).

Выходные данные:

• Site Template (состоящий из Boilerplate Template и Post-type Templates).
• Структурированные и аннотированные данные постов (текст, автор, дата), извлеченные с помощью Site Template.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на страницы с повторяющимся структурированным UGC: форумы, треды обсуждений, Q&A сайты, разделы комментариев к статьям, списки отзывов о товарах.
• Специфические запросы: Улучшает качество индексации и, как следствие, ранжирование по запросам, ответы на которые часто содержатся в UGC (технические вопросы, отзывы, мнения).

Когда применяется

• Условия применения: Алгоритм применяется к сайтам, которые идентифицированы как содержащие UGC или повторяющиеся структурированные данные.
• Частота применения (Генерация): Генерация Site Template происходит периодически (офлайн) на основе выборки страниц или запускается при обнаружении значительных изменений в структуре сайта (редизайн).
• Частота применения (Использование): Применение сгенерированного Site Template происходит при каждом сканировании и индексировании страниц этого сайта.

Пошаговый алгоритм

Процесс А: Генерация шаблона сайта (Template Generation)

1. Определение сайта и Сканирование: Выбор целевого сайта и сбор выборки страниц с помощью Crawler.
2. Разделение страниц (Итерация по страницам):
   • Выбор страницы из выборки.
   • Page Splitter разделяет страницу на Boilerplate (общие части) и Posts (повторяющиеся структуры с разным содержанием), анализируя DOM-дерево.
   • Предварительное разделение постов на основе их типа (Post-type).
3. Агрегация страниц (Boilerplate Aggregation): Группировка страниц на основе схожести их Boilerplate. Формируются группы страниц (Page Groups).
4. Обработка групп страниц (Итерация по группам):
   • Выбор группы страниц.
   • Создание Boilerplate Template: Boilerplate Merger объединяет Boilerplate всех страниц в группе, формируя единый шаблон.
   • Обработка типов постов (Итерация по типам):
     • Выбор типа поста.
     • Агрегация постов (Post-type Aggregation): Группировка всех постов данного типа со всех страниц группы.
     • Слияние постов: Post-type Merger объединяет сгруппированные посты в обобщенную структуру.
     • Анализ и Аннотирование: Post Analyzer анализирует результат, используя Annotation Criteria. Он проверяет согласованность данных (например, форматы дат) во всех примерах постов, чтобы выбрать наилучший паттерн для идентификации автора, даты, текста.
     • Создание Post-type Template: Сохранение аннотированного шаблона.
5. Создание Site Template: Объединение всех созданных Boilerplate Templates и соответствующих им Post-type Templates в финальный Site Template.

Процесс Б: Применение шаблона (Template Application)

1. Сканирование новой страницы: Crawler загружает новую страницу сайта.
2. Применение Site Template: Система использует Site Template для идентификации и удаления Boilerplate и для извлечения Posts.
3. Аннотирование: Извлеченные посты структурируются и аннотируются согласно соответствующим Post-type Templates.
4. Индексирование: Структурированные данные передаются в индекс.

Какие данные и как использует

Данные на входе

Патент фокусируется на анализе структуры страниц для извлечения контента.

• Технические/Структурные факторы: Основные данные для анализа. Система анализирует структуру страниц (DOM-дерево), HTML-теги, их иерархию, расположение и форматирование элементов. Схожесть структуры используется для разделения на Boilerplate и Posts, а также для агрегации.
• Контентные факторы: Текстовое содержимое элементов используется на этапе анализа постов (Post Analyzer) для аннотирования. Система ищет паттерны в контенте, соответствующие Annotation Criteria (например, форматы дат, имена/никнеймы).

Какие метрики используются и как они считаются

Патент не приводит конкретных формул для расчета схожести, но описывает используемые метрики и методы:

• Метрики схожести (Similarity Measures): Используются для группировки страниц (по Boilerplate) и постов (по Post-type). Эти метрики оценивают структурное сходство между DOM-деревьями или их частями. В патенте упоминается возможность использования техник, основанных на "Tree Edit Distance" (расстояние редактирования дерева) для определения схожести.
• Пороговые значения схожести (Similarity Thresholds): Используются для определения, достаточно ли похожи два элемента для их группировки или слияния в шаблон. Пороги настраиваются для баланса между точностью (Precision) и полнотой (Recall) шаблона.
• Анализ согласованности и Паттернов (Consistency Analysis / Pattern Recognition): Используется Post Analyzer для идентификации элементов поста. Система анализирует расположение и паттерн (формат) данных на нескольких страницах. Например, для дат система выбирает наиболее правдоподобный паттерн, проверяя валидность данных (например, отличая MM/DD от DD/MM, найдя примеры с числами больше 12 в первом блоке).

1. Автоматизация извлечения UGC: Патент описывает масштабируемый способ понимания структуры сайтов с UGC без ручной настройки под каждый сайт. Это позволяет Google эффективно индексировать форумы и аналогичные ресурсы.
2. Важность отделения контента от шума: Ключевым элементом является способность системы отличать основной контент (Posts) от статического окружения (Boilerplate). Точность этого разделения напрямую влияет на качество индексации и оценку релевантности.
3. Учет вариативности структуры (Post-types): Система разработана с учетом того, что посты на одном сайте могут иметь разную структуру (например, в зависимости от статуса пользователя). Создание отдельных Post-type Templates позволяет точно извлекать данные из всех вариантов.
4. Структура первична для извлечения: Первичная идентификация и группировка Boilerplate и Posts основана в первую очередь на структурной схожести (HTML/DOM), а не на семантике контента.
5. Точность метаданных через анализ паттернов: Система использует анализ паттернов и эвристики на множестве примеров для точного аннотирования метаданных (автор, дата), что критично для последующих этапов ранжирования (например, оценки свежести).

Best practices (это мы делаем)

• Обеспечение консистентности структуры сайта (Consistency): Используйте постоянную и чистую HTML-структуру для Boilerplate (навигация, сайдбары) на всех страницах одного типа. Это поможет системе точно определить Boilerplate Template и сгруппировать страницы.
• Четкое структурное выделение UGC: Посты, комментарии или отзывы должны быть реализованы как повторяющиеся, структурно идентичные блоки. Используйте семантическую разметку (например, <article> для каждого поста), чтобы помочь Page Splitter отделить их от Boilerplate.
• Консистентность типов постов: Если на сайте есть разные типы постов (например, ответ эксперта и комментарий пользователя), убедитесь, что каждый тип имеет уникальную и постоянную структуру. Это позволит системе корректно сгенерировать отдельные Post-type Templates.
• Стандартизация метаданных: Используйте консистентные и недвусмысленные форматы для дат и времени (например, ISO 8601, желательно в теге <time> с атрибутом datetime). Размещайте автора и дату в одних и тех же местах внутри структуры поста. Это повысит точность работы Post Analyzer.
• Применение микроразметки (Schema.org): Хотя система работает без нее, использование структурированных данных (например, DiscussionForumPosting, Comment, QAPage) предоставляет прямые сигналы и гарантирует правильную интерпретацию данных, дополняя автоматическое извлечение.

Worst practices (это делать не надо)

• Частое изменение или непоследовательность структуры Boilerplate: Постоянный редизайн, A/B тестирование структуры навигации или использование разного Boilerplate на однотипных страницах может помешать системе создать стабильный шаблон.
• Смешивание контента и Boilerplate: Вставка рекламы, навигационных ссылок или блоков "похожие посты" внутрь основного потока UGC таким образом, что они структурно неотличимы от постов. Это может привести к индексации шума как части UGC.
• Неконсистентное форматирование постов: Использование разных HTML-структур или динамически меняющихся классов CSS для одного и того же типа поста затруднит агрегацию и создание Post-type Template.
• Использование неоднозначных форматов дат: Использование форматов типа XX/XX/XX или относительного времени («вчера») без технической разметки усложняет точное аннотирование даты.

Стратегическое значение

Патент подчеркивает важность технического SEO и качества веб-разработки для успешной индексации. Google не просто читает текст; он активно анализирует структуру сайта, чтобы понять назначение различных блоков. Для владельцев сайтов с UGC стратегически важно обеспечить техническую возможность для Google легко извлекать и структурировать этот контент. Чистая, консистентная и семантически верная структура напрямую влияет на то, насколько полно и точно пользовательский контент будет представлен в индексе Google.

Практические примеры

Сценарий: Оптимизация структуры форума для лучшего извлечения данных

1. Анализ текущей структуры: SEO-специалист обнаруживает, что посты на форуме индексируются с "мусором" (например, включают кнопки "Пожаловаться", "Цитировать" как часть текста поста), а даты публикации определяются неверно.
2. Применение принципов патента: Это означает, что Site Template, сгенерированный Google, неточно определяет границы основного текста и неверно аннотирует дату.
3. Действия по оптимизации:
   • Пересмотреть HTML-шаблоны форума.
   • Убедиться, что основной текст поста заключен в отдельный контейнер (например, <div class="post-content">), а служебные кнопки структурно отделены.
   • Внедрить стандартный формат даты, используя тег <time datetime="..."> с указанием времени в формате ISO 8601.
   • Убедиться, что структура постов одинакова на всех страницах тредов.
4. Ожидаемый результат: Система Google при следующем обновлении Site Template сможет более точно извлечь и аннотировать текст, автора и дату. Это улучшит качество индексации, позволит лучше оценивать свежесть контента и может привести к более информативным сниппетам в выдаче.