Как Google находит, объединяет и обогащает связанные таблицы, разбросанные по разным веб-страницам

Термины и определения

Alignment (Выравнивание)

Процесс сопоставления последовательностей сегментов, извлеченных с разных веб-страниц, для идентификации общих паттернов и различающихся элементов (скрытых атрибутов). Может использоваться Iterative Pairwise Alignment.

Class Label Database (База данных меток классов)

Репозиторий сущностей и связанных с ними меток классов (например, сущности "Арканзас" и "Массачусетс" связаны с меткой "Штат"). Используется для автоматического наименования новых колонок в Union Table.

Hidden Attributes (Скрытые атрибуты)

Контекстуальные данные, которые относятся к таблице, но находятся вне ее структуры (например, в окружающем тексте, URL, заголовке страницы). Эти атрибуты извлекаются и добавляются в Union Table для обогащения данных.

Segmentation (Сегментация)

Процесс разделения контекстного текста веб-страницы на отдельные фрагменты (сегменты) с использованием эвристик, таких как пунктуация, HTML-теги, самые длинные общие подпоследовательности (longest common subsequences) или привязка текста к репозиторию сущностей.

Semantic Equivalence (Семантическая эквивалентность)

Критерий для определения связи между заголовками таблиц. Заголовки считаются эквивалентными, если они являются синонимами, акронимами или семантически сохраняющими вариациями (например, "Number of Students" и "# of Students").

Stitchable Tables (Сшиваемые таблицы)

Две или более таблицы (часто с разных страниц), которые идентифицированы как части одного набора данных. Критерий сшиваемости — наличие взаимно однозначного соответствия (one-to-one mapping) между семантически эквивалентными заголовками таблиц.

Union Table (Объединенная таблица)

Итоговая таблица, синтезированная путем объединения данных из Stitchable Tables и обогащенная Hidden Attributes.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс синтеза таблиц.

1. Система получает две или более таблицы, извлеченные из веб-документов, причем документы содержат текстовые части (контекст), отдельные от таблиц.
2. Проводится сравнение заголовков таблиц и определяется их семантическая эквивалентность.
3. На основе этой эквивалентности таблицы идентифицируются как Stitchable Tables.
4. Для каждой таблицы определяются соответствующие текстовые части (контекст) на исходных веб-страницах.
5. Из этого контекста извлекается как минимум один Hidden Attribute, связанный с контентом таблиц.
6. Создается Union Table путем объединения Stitchable Tables, при этом Hidden Attribute добавляется в новую колонку.

Claim 4 (Зависимый от 3): Детализирует критерии для определения Stitchable Tables.

Определение семантической эквивалентности требует строгого взаимно однозначного соответствия (one-to-one mapping): каждый заголовок из первой таблицы должен быть семантически эквивалентен ровно одному соответствующему заголовку из второй таблицы, и наоборот.

Claim 5 (Зависимый от 4): Уточняет, что такое семантическая эквивалентность.

Заголовок из первой таблицы семантически эквивалентен заголовку из второй таблицы, если они являются синонимами, акронимами или семантически сохраняющими вариациями.

Claim 7 (Зависимый от 1): Описывает механизм извлечения Hidden Attributes.

1. Текст, ассоциированный с веб-документом, сегментируется (Segmentation) для получения последовательностей сегментов.
2. Оцениваются (scoring) возможные варианты выравнивания (Alignment) между этими последовательностями.
3. Сегменты выравниваются на основе этой оценки для получения выровненных сегментов (из которых извлекаются атрибуты).

Claim 8 (Зависимый от 7): Уточняет эвристики для сегментации.

Сегментация использует эвристики, включающие: пунктуацию, HTML-разделители, самые длинные общие подпоследовательности или связь текста с репозиторием сущностей (entity repository).

Claim 10 (Зависимый от 7): Описывает фильтрацию выровненных сегментов.

Выровненный сегмент отбрасывается, если он содержит значения, которые одинаковы для всех таблиц, И это значение не найдено в корпусе заголовков таблиц, идентифицированных как значимые (meaningful table headers).

Claim 11 (Зависимый от 1): Описывает процесс маркировки извлеченных атрибутов.

Процесс включает определение метки класса (Class Label) для Hidden Attribute и добавление этой метки в Union Table для наименования новой колонки.

Где и как применяется

Изобретение применяется на этапе обработки и структурирования собранного контента.

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает исходные данные: веб-страницы, содержащие HTML-таблицы, а также полный контекст этих страниц (HTML, текст, URL).

INDEXING – Индексирование и извлечение признаков
Основное применение патента. В рамках индексирования (в частности, подсистемами Information Extraction) происходит:

1. Извлечение таблиц: Парсинг HTML для извлечения сырых табличных данных.
2. Анализ и структурирование: Идентификация Stitchable Tables, извлечение Hidden Attributes с помощью NLP-техник (Segmentation и Alignment) и синтез Union Tables.
3. Обогащение Знаний: Использование Class Label Database (вероятно, часть Knowledge Graph или репозитория сущностей) для маркировки атрибутов. Полученные структурированные данные используются для пополнения базы знаний.

Входные данные:

• Извлеченные таблицы (Extracted Tables) из корпуса веб-документов.
• Полный контент (текст, HTML) и URL исходных веб-страниц.
• Class Label Database (репозиторий сущностей).
• Корпус значимых заголовков таблиц (для фильтрации).

Выходные данные:

• Union Tables — обогащенные, структурированные наборы данных, объединяющие информацию из нескольких источников.

На что влияет

• Конкретные типы контента: В первую очередь влияет на контент, представленный в виде HTML-таблиц. Также может быть применимо к спискам (<ul>, <ol>), если они используются для представления структурированных данных.
• Определенные форматы контента: Списки сущностей, сравнения продуктов, статистические данные, директории (например, списки школ, компаний, спортивных результатов).
• Конкретные ниши или тематики: Наибольшее влияние в нишах, где данные часто представлены в табличном виде и фрагментированы: E-commerce (характеристики товаров), финансы, спорт, недвижимость, локальные данные (муниципальная статистика).

Когда применяется

• Условия работы алгоритма: Применяется в процессе индексирования после того, как таблицы были извлечены из веб-страниц.
• Триггеры активации: Обнаружение двух или более таблиц, которые удовлетворяют критериям Stitchable Tables (взаимно однозначное соответствие семантически эквивалентных заголовков).

Пошаговый алгоритм

Процесс синтеза Union Table:

1. Получение данных: Система получает набор таблиц, извлеченных из веб-страниц, и сохраняет связь с исходными страницами.
2. Определение Stitchable Tables:
   • Сравнение заголовков пар таблиц для определения Semantic Equivalence (учет синонимов, акронимов).
   • Проверка наличия строгого взаимно однозначного соответствия между всеми заголовками двух таблиц.
   • Группировка таблиц, удовлетворяющих этим условиям.
3. Извлечение Hidden Attributes: Для каждой группы Stitchable Tables:
   • Сегментация контекста: Извлечение контекстного текста (вокруг таблицы, заголовок страницы, URL) с исходных страниц. Применение эвристик (HTML-теги, пунктуация, связь с сущностями) для разделения текста на сегменты.
   • Выравнивание (Alignment): Использование Iterative Pairwise Alignment для сопоставления последовательностей сегментов с разных страниц. Вычисление оценок соответствия сегментов (Segment Matching Scores).
   • Фильтрация: Удаление выровненных сегментов, которые имеют одинаковое значение на всех страницах И это значение не найдено в корпусе значимых заголовков таблиц (например, удаление навигационных элементов типа "Home").
   • Идентификация атрибутов: Оставшиеся выровненные сегменты, которые различаются между страницами, определяются как Hidden Attributes.
4. Объединение таблиц (Stitching):
   • Объединение данных (строк) из Stitchable Tables в единую Union Table.
   • Переупорядочивание колонок при необходимости для соответствия единой схеме.
5. Обогащение и Маркировка:
   • Добавление новых колонок в Union Table для Hidden Attributes и заполнение их соответствующими значениями из контекста.
   • Определение типа значений атрибутов и поиск соответствующей метки в Class Label Database.
   • Присвоение имен новым колонкам.

Какие данные и как использует

Данные на входе

Система использует несколько типов данных для анализа и синтеза таблиц:

• Структурные факторы: Структура HTML-таблиц (<table>, <tr>, <th>, <td>). Заголовки колонок (Headers) являются ключевыми для определения Stitchable Tables. HTML-теги окружающего контента (включая теги форматирования, меняющие шрифт, цвет, размер) используются для сегментации.
• Контентные факторы: Текст внутри ячеек таблиц. Текст, окружающий таблицу на веб-странице (contextual data), заголовки страницы (Title). Этот контент используется для извлечения Hidden Attributes.
• Технические факторы: URL страницы. Может использоваться для извлечения Hidden Attributes.
• Внешние данные (Системные):
  • Class Label Database (репозиторий сущностей): используется для маркировки новых колонок и как эвристика для сегментации (Entity Linking).
  • Корпус значимых заголовков таблиц: используется для фильтрации незначимых атрибутов.

Какие метрики используются и как они считаются

• Semantic Equivalence Score: Метрика, определяющая, являются ли два заголовка синонимами, акронимами или семантически сохраняющими вариациями. Используется для установления соответствия схем.
• Segment Matching Score (Оценка соответствия сегментов): Оценка соответствия между парой сегментов во время процесса выравнивания. Патент предлагает конкретные веса:
  • $\lambda_h$: если сегменты сгенерированы одной и той же эвристикой.
  • $\lambda_{gap}$: если один из сегментов пуст (null segment). (При этом $\lambda_h$ > $\lambda_{gap}$).
• Meaningfulness (Значимость атрибута): Определяется путем проверки наличия значения атрибута в корпусе часто встречающихся заголовков таблиц. Если атрибут одинаков для всех таблиц и не является значимым заголовком, он отбрасывается.
• Class Label Confidence: Определение наиболее подходящей метки класса для набора значений Hidden Attribute путем запроса к Class Label Database.

1. Google активно реконструирует фрагментированные данные: Система не полагается только на то, как данные представлены на одной странице. Если данные концептуально связаны, но физически разделены (например, пагинация или разные страницы для категорий), Google попытается "сшить" их обратно в единый набор данных (Union Table).
2. Контекст определяет данные (Hidden Attributes): Информация, расположенная вне самой HTML-таблицы (в окружающем тексте, заголовках, URL), критически важна для интерпретации данных внутри таблицы. Система использует сложные методы (Segmentation и Alignment) для извлечения этого контекста.
3. Семантическое понимание структуры: Google анализирует схемы таблиц (заголовки колонок) на семантическом уровне (Semantic Equivalence), понимая синонимы и вариации. Это позволяет объединять таблицы с разными, но эквивалентными схемами.
4. Важность HTML-структуры и верстки: Эвристики сегментации явно полагаются на HTML-теги (включая теги форматирования) и структуру документа. Консистентная и чистая верстка облегчает работу системы по извлечению и объединению данных.
5. Автоматическое обогащение через Knowledge Graph: Система активно использует внешние базы знаний (Class Label Database / Репозиторий сущностей) для распознавания сущностей в тексте и для автоматической маркировки новых атрибутов, что необходимо для интеграции данных в Knowledge Graph.

Best practices (это мы делаем)

• Использование четких и описательных заголовков таблиц: Используйте стандартные, недвусмысленные названия для колонок (<th>). Это повышает вероятность того, что Google корректно определит Semantic Equivalence и сможет использовать ваши данные.
• Размещение контекста рядом с таблицей: Критически важная информация, которая применяется ко всей таблице (например, год, регион, категория), должна быть размещена в непосредственной близости от таблицы — в теге <caption>, в предшествующем заголовке (Hn), абзаце текста или в хлебных крошках. Это облегчает извлечение Hidden Attributes.
• Последовательность при фрагментации данных: Если большой набор данных разбит на несколько страниц (например, пагинация или разделы по категориям):
  • Сохраняйте абсолютно идентичную структуру таблиц на всех страницах.
  • Убедитесь, что дифференцирующий контекст (например, название категории) четко указан на каждой странице в схожем формате и схожей HTML-структуре.
  Это позволит Google успешно применить механизм Stitching.
• Использование нативных HTML-таблиц для данных: Представляйте структурированные данные с помощью тега <table>, а не через <div>, CSS-Grid или Flexbox, если цель — максимальная доступность для извлечения поисковыми системами.

Worst practices (это делать не надо)

• Использование неоднозначных или пустых заголовков: Отсутствие заголовков или использование неинформативных названий (например, "Колонка 1", "Данные") делает невозможным определение Semantic Equivalence и блокирует процесс объединения таблиц.
• Отделение таблицы от ее контекста: Размещение таблицы в документе далеко от текста, который ее описывает, или использование сложных скриптов для динамической загрузки контекста может помешать извлечению Hidden Attributes.
• Непоследовательные схемы для связанных данных: Изменение порядка колонок, добавление или удаление колонок в таблицах, которые являются частью одного набора данных (например, на разных страницах пагинации). Это нарушает требование взаимно однозначного соответствия.
• Сложная и неконсистентная верстка вокруг таблиц: Избыточная вложенность и непоследовательное использование HTML-тегов или стилей на похожих страницах могут ухудшить работу эвристик сегментации и выравнивания, что приведет к ошибкам при извлечении контекста.

Стратегическое значение

Патент подтверждает стратегическое направление Google на извлечение и понимание структурированных данных из веба любыми доступными способами, далеко выходя за рамки микроразметки Schema.org. Для SEO-специалистов это означает, что качественное, чистое и семантически понятное представление данных в HTML-таблицах является значимым активом. Эти данные могут напрямую использоваться для формирования ответов в поиске (Featured Snippets) и для пополнения Knowledge Graph, повышая видимость и авторитетность ресурса как источника данных.

Практические примеры

Сценарий: Оптимизация директории филиалов компании

Компания имеет филиалы в нескольких регионах и представляет их списком на сайте, разделяя по страницам (например, /branches/moscow, /branches/spb).

1. Структура данных: На каждой странице используется HTML-таблица с заголовками: "Название филиала", "Адрес", "Телефон", "Часы работы". Структура идентична на всех страницах.
2. Контекст (Hidden Attributes): На странице /branches/moscow над таблицей расположен заголовок H1 "Филиалы в Москве". На странице /branches/spb — H1 "Филиалы в Санкт-Петербурге". Верстка заголовков идентична.
3. Действия Google (согласно патенту):
   • Google определяет таблицы как Stitchable Tables (схемы идентичны).
   • Система сегментирует контекст (H1) и выравнивает его. Она идентифицирует, что "Москва" и "Санкт-Петербург" являются переменными значениями в схожем контексте (H1 "Филиалы в [Значение]").
   • Google извлекает их как Hidden Attributes.
   • Система создает Union Table, объединяя все филиалы.
   • Используя Class Label Database, Google определяет, что "Москва" и "Санкт-Петербург" — это "Город", и добавляет новую колонку "Город" в объединенную таблицу.
4. Результат: Google получает полный и структурированный набор данных о всех филиалах компании, что может быть использовано в локальном поиске или для прямых ответов на запросы о филиалах.