Как Google классифицирует веб-таблицы, определяя их тематику и структуру для улучшения поиска по структурированным данным

Описание

Какую задачу решает

Патент решает проблему сложности поиска релевантных таблиц в интернете и других репозиториях. Традиционные методы поиска плохо подходят для таблиц, так как семантика (смысл и структура данных) таблицы часто не является явной – у таблиц могут отсутствовать заголовки или метаданные. Изобретение улучшает поиск, позволяя системе автоматически восстанавливать семантическую информацию из таблиц и использовать ее для идентификации и ранжирования табличных данных в ответ на запрос пользователя.

Что запатентовано

Запатентована система для автоматического восстановления семантической информации из коллекций таблиц и использования этой информации в поиске. Суть изобретения заключается в методе классификации таблиц путем идентификации Subject Column (главной колонки, содержащей сущности) и определения класса этих сущностей с помощью внешней Instance-Class Hierarchy (иерархии Класс-Сущность). Таблицы помечаются этими классами, что позволяет системе отвечать на запросы, состоящие из класса и свойства (например, «президенты, политическая партия»), находя соответствующие таблицы.

Как это работает

Система работает в два основных этапа: индексирование и поиск.

Индексирование (Офлайн):

1. Сбор таблиц: Система собирает таблицы из веба, фильтруя нерелевантные (например, календари, пустые таблицы, таблицы для верстки).
2. Идентификация Subject Column: Для каждой таблицы определяется колонка, содержащая основные сущности. Это делается с помощью SVM-классификатора или эвристик (например, первая колонка без чисел/дат).
3. Классификация: Сущности из Subject Column сопоставляются с Instance-Class Repository (базой знаний, построенной на основе анализа текстов и логов запросов).
4. Маркировка: Таблица помечается наиболее релевантными классами.

Поиск (Онлайн):

1. Анализ запроса: Система получает запрос, который интерпретируется как пара (Класс, Свойство).
2. Поиск: Идентифицируются таблицы, помеченные данным классом и содержащие искомое свойство.
3. Ранжирование: Таблицы ранжируются по различным критериям, включая размер таблицы (полноту) и авторитетность источника (например, PageRank).

Актуальность для SEO

Высокая. Понимание и извлечение структурированных данных из веба является ключевым направлением развития поиска (например, для формирования Featured Snippets с таблицами, Google Dataset Search). Методы, описанные в патенте, лежат в основе способности Google интерпретировать и использовать табличные данные, даже если они не размечены с помощью Schema.org. Участие таких изобретателей, как Alon Halevy и Marius Pasca, подчеркивает важность этого направления для семантического поиска.

Важность для SEO

Патент имеет высокое значение для SEO (85/100), особенно в контексте работы со структурированными данными. Он раскрывает механизмы, с помощью которых Google понимает содержание таблиц. Если таблица структурирована так, что система может легко идентифицировать Subject Column и классифицировать ее содержимое, такая таблица имеет больше шансов ранжироваться по запросам, ищущим структурированную информацию, и потенциально попадать в специальные блоки выдачи.

Детальный разбор

Термины и определения

Class (Класс)

Категория или концепция, к которой принадлежат сущности (например, «азиатские страны», «президенты»).

Instance (Сущность / Экземпляр)

Конкретный объект, принадлежащий классу (например, «Сингапур», «Обама»). В таблице это обычно значение ячейки в Subject Column.

Instance-Class Hierarchy (Иерархия Класс-Сущность)

Структура данных, содержащая пары (Instance, Class). Строится путем извлечения информации из текстовых паттернов в веб-документах и логов запросов. Отражает иерархические отношения между классами.

Instance-Class Repository

Хранилище пар (Instance, Class), используемое для построения иерархии и классификации таблиц.

MergedScore (Объединенная оценка)

Метрика для ранжирования потенциальных классов для таблицы. Рассчитывается на основе относительных рангов класса в списках, сгенерированных для каждой отдельной сущности в Subject Column.

Property (Свойство)

Атрибут или характеристика класса (например, для класса «президенты» свойством может быть «политическая партия»).

Subject Column (Главная колонка / Колонка субъекта)

Колонка в таблице, которая содержит названия основных сущностей (Instances), описываемых в таблице. Например, в таблице ВВП стран, колонка с названиями стран является Subject Column.

SVM Classifier (Support Vector Machine Classifier)

Классификатор на основе метода опорных векторов. Используется в патенте как один из методов для автоматического определения Subject Column в таблице на основе признаков этой колонки.

Ключевые утверждения (Анализ Claims)

Патент содержит две основные группы независимых утверждений: первая (Claim 1) описывает процесс обработки и классификации таблиц, вторая (Claim 10) описывает процесс поиска по этим таблицам.

Claim 1 (Независимый пункт): Описывает метод восстановления семантической информации из таблиц (Офлайн-процесс).

1. Система получает коллекцию таблиц.
2. Для каждой таблицы восстанавливается семантическая информация. Это включает:
   • Идентификацию Subject Column в каждой таблице.
   • Определение класса для таблицы в соответствии с Instance-Class Hierarchy (на основе Subject Column).
3. Каждая таблица в коллекции помечается (маркируется) соответствующим классом.

Claim 4 (Зависимый от 1): Уточняет метод идентификации Subject Column.

Subject Column идентифицируется с использованием SVM classifier.

Claim 8 (Зависимый от 1): Описывает источник данных для иерархии.

Instance-Class Hierarchy генерируется из Instance-Class Repository, который формируется путем идентификации паттернов из коллекции текстов и коллекции запросов.

Claim 9 (Зависимый от 1): Детализирует процесс классификации.

Система вычисляет кандидатов в классы для каждой ячейки в Subject Column, а затем назначает метки классов для всей колонки как объединенный ранжированный список (merged ranked list) из этих кандидатов.

Claim 10 (Независимый пункт): Описывает метод поиска по таблицам (Онлайн-процесс).

1. Система получает запрос, содержащий термины, идентифицирующие Класс (Class) и Свойство (Property) этого класса.
2. Идентифицируются таблицы, которые помечены тем же классом, что и в запросе.
3. Среди этих таблиц идентифицируются те, которые также включают свойство из запроса.
4. Эти таблицы ранжируются.

Claim 14 (Зависимый от 10): Уточняет метод ранжирования.

Таблицы ранжируются в соответствии с их размером (size of the one or more tables).

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, фокусируясь на обработке структурированных данных.

CRAWLING – Сканирование и Сбор данных
На этом этапе система обнаруживает и загружает веб-страницы, содержащие таблицы. Происходит первичная фильтрация (удаление layout-таблиц, пустых таблиц и т.д.). Также собираются тексты и логи запросов для построения Instance-Class Repository.

INDEXING – Индексирование и извлечение признаков
Основная часть офлайн-обработки происходит здесь:

• Извлечение Признаков (Feature Extraction): Вычисление признаков колонок (уникальность, тип данных и т.д.) для SVM.
• Идентификация Subject Column: Система анализирует структуру и содержание колонок (используя SVM или эвристики) для определения главной колонки.
• Классификация и маркировка: Сущности из Subject Column сопоставляются с Instance-Class Hierarchy, вычисляются MergedScore для классов, и таблицы маркируются соответствующими метками.
• Построение Instance-Class Repository (Офлайн): Параллельный процесс, включающий анализ текстов и логов запросов для извлечения пар (Instance, Class).

QUNDERSTANDING – Понимание Запросов
На этапе обработки запроса система должна распознать намерение пользователя найти структурированную информацию и интерпретировать запрос как пару (Class, Property).

RANKING – Ранжирование
Если запрос интерпретирован как поиск по таблицам, запускается специализированный процесс:

• Отбор кандидатов: Отбор таблиц, маркированных соответствующим классом и содержащих свойство.
• Ранжирование таблиц: Применение специфических сигналов ранжирования (размер таблицы, PageRank страницы-источника, анкорный текст, окружающий текст).

METASEARCH – Метапоиск и Смешивание
Результаты поиска по таблицам могут быть смешаны с обычными результатами поиска (non-table search results) или показаны как отдельный блок.

На что влияет

• Конкретные типы контента: В первую очередь влияет на веб-страницы, содержащие HTML-таблицы со списками сущностей и их свойств (например, списки товаров, рейтинги, статистические данные).
• Специфические запросы: Влияет на информационные и исследовательские запросы, где пользователь ищет структурированные данные или сравнения (например, «ВВП азиатских стран», «побочные эффекты антибиотиков»).
• Конкретные ниши или тематики: Любые ниши, где данные часто представляются в табличном виде: E-commerce, финансы, здоровье (YMYL), наука, спорт.

Когда применяется

• Триггеры активации (Индексирование): При обнаружении HTML-таблицы, которая проходит первичные фильтры качества. Патент упоминает фильтрацию очень маленьких таблиц (например, с одной колонкой или менее пяти строк).
• Триггеры активации (Поиск): Когда запрос пользователя может быть интерпретирован как поиск пары (Class, Property) и в индексе существуют релевантные таблицы.

Пошаговый алгоритм

Процесс А: Построение Instance-Class Repository (Офлайн)

1. Сбор данных: Сбор коллекции текстов и анонимизированных запросов.
2. Идентификация паттернов: Поиск в текстах паттернов вида «[…] C [such as|including] I […]» (например, «страны, такие как X, Y и Z»).
3. Извлечение Классов (C) и Сущностей (I): Определение границ C (например, с помощью POS-tagging) и I (валидация через логи запросов).
4. Расчет оценок: Вычисление Score(I,C) для каждой пары. Формула: Score(I,C) = Size({Pattern(I,C)})^2 * Freq(I,C). Учитывается количество паттернов и частота встречаемости (с контролем дубликатов предложений).
5. Сохранение: Сохранение пар в репозиторий.

Процесс Б: Индексирование и Классификация Таблиц (Офлайн)

1. Сбор и фильтрация таблиц: Идентификация и очистка коллекции таблиц.
2. Идентификация Subject Column: Для каждой таблицы определяется главная колонка.
   1. Метод 1 (Эвристика): Сканирование слева направо, выбор первой колонки, не являющейся числом или датой.
   2. Метод 2 (SVM): Вычисление признаков для каждой колонки (уникальность контента, доля чисел, индекс колонки и т.д.) и применение обученного SVM-классификатора. Выбирается колонка с наивысшей оценкой.
3. Извлечение Сущностей (IL): Получение списка сущностей из Subject Column.
4. Получение Кандидатских Классов: Для каждой сущности извлекается список релевантных классов из Репозитория (Процесс А).
5. Объединение списков (MergeLists): Вычисление MergedScore(C) для каждого класса на основе его ранга в списках разных сущностей. Формула: MergedScore(C) = (Σ Rank(C, L)) / |{L}| (средний ранг).
6. Маркировка таблицы: Присвоение таблице ранжированного списка классов (классы с наименьшим MergedScore считаются лучшими).

Процесс В: Поиск по таблицам (Онлайн)

1. Получение запроса: Получение запроса в форме (Class C, Property P).
2. Идентификация таблиц по классу: Поиск таблиц в индексе, маркированных классом C.
3. Фильтрация по свойству: Отбор таблиц, которые содержат свойство P.
4. Ранжирование таблиц: Ранжирование отобранных таблиц. Критерии включают:
   1. Размер (Size): Предпочтение более длинным таблицам или таблицам, размер которых близок к оценочному размеру класса C.
   2. Внешние сигналы: PageRank, входящий анкорный текст.
   3. Контентные сигналы: Количество строк, окружающий текст.
5. Представление результатов: Отображение ранжированного списка таблиц.

Какие данные и как использует

Данные на входе

• Контентные факторы: Содержимое ячеек таблицы (текст, числа, даты). Текст, окружающий таблицу (surrounding text). Текстовые данные из большого корпуса документов (для построения репозитория).
• Структурные факторы: Структура таблицы (строки, колонки). Индекс колонки (Column index from the left). Размер таблицы (количество строк/колонок).
• Ссылочные факторы: Упоминаются как возможные факторы ранжирования найденных таблиц: PageRank, входящий анкорный текст (incoming anchor text).
• Поведенческие факторы: Логи запросов (collection of queries) используются для валидации сущностей (Instances) при построении Instance-Class Repository.

Какие метрики используются и как они считаются

Метрики для идентификации Subject Column (SVM Features): Патент выделяет 5 ключевых признаков, которые показали наилучшие результаты для SVM:

• Fraction of cells with unique content (Доля ячеек с уникальным контентом).
• Fraction of cells with numeric content (Доля ячеек с числовым контентом).
• Variance in the number of date tokens in each cell (Дисперсия количества токенов даты в ячейках).
• Average number of words in each cell (Среднее количество слов в ячейке).
• Column index from the left (Индекс колонки слева).

Метрики для классификации:

• Score(I,C): Оценка релевантности класса C для сущности I. Формула: Score(I,C) = Size({Pattern(I,C)})^2 * Freq(I,C).
• MergedScore(C): Агрегированная оценка класса C для всей таблицы. Вычисляется как средний ранг класса C по всем сущностям в колонке. Формула: MergedScore(C) = (Σ Rank(C, L)) / |{L}|. Цель – минимизировать эту оценку, так как меньший ранг (ближе к 1) лучше.

Метрики для ранжирования таблиц:

• Размер таблицы (Size): Количество строк. Используется для предпочтения более полных таблиц (Claim 14).
• Стандартные метрики ранжирования ресурсов (PageRank, анкоры).

Выводы

1. Автоматическое понимание таблиц: Google активно инвестирует в технологии, позволяющие понимать семантику таблиц без явной разметки. Система стремится автоматически определить, о чем таблица (Класс) и какие сущности в ней перечислены (Subject Column).
2. Критичность структуры таблицы и Subject Column: Способность системы идентифицировать Subject Column критически важна для классификации. Для этого используются как эвристики (позиция слева, тип данных), так и машинное обучение (SVM), анализирующее статистические признаки данных в колонках (уникальность, количество слов и т.д.).
3. Зависимость от внешних знаний (Knowledge Graph): Классификация таблиц напрямую зависит от качества и полноты Instance-Class Repository (по сути, части Knowledge Graph), который строится путем анализа веб-текстов и логов запросов. Таблицы, содержащие известные системе сущности, будут классифицированы точнее.
4. Поиск структурированных данных: Патент описывает механизм целенаправленного поиска таблиц по запросам типа (Class, Property). Это означает, что Google может использовать веб-таблицы для прямого ответа на запросы, требующие списков или сравнений.
5. Ранжирование таблиц и важность полноты данных: При ранжировании таблиц учитываются как стандартные сигналы (PageRank, анкоры), так и специфические сигналы, в частности, размер таблицы. Более полные (длинные) таблицы могут получать предпочтение, так как они считаются более репрезентативными для класса.

Практика

Best practices (это мы делаем)

• Обеспечивайте четкую структуру таблиц: Проектируйте таблицы так, чтобы Subject Column (главная колонка с сущностями) была легко идентифицируема. В большинстве случаев размещайте ее крайней слева.
• Используйте однозначные и известные сущности: В Subject Column используйте стандартные, общепринятые названия сущностей (названия стран, имена людей, наименования продуктов), которые Google может распознать и связать со своим Instance-Class Repository (Knowledge Graph). Это критично для правильной классификации таблицы.
• Соблюдайте чистоту данных в колонках: Избегайте смешивания разных типов данных в одной колонке. SVM-классификатор использует признаки, такие как доля уникального контента и доля числового контента, для определения роли колонки. Subject Column должна быть преимущественно текстовой и уникальной.
• Создавайте полные и авторитетные таблицы: Поскольку размер таблицы (количество строк) используется как сигнал ранжирования (Claim 14), стремитесь создавать наиболее полные списки по теме. Более длинная таблица часто считается более репрезентативной.
• Используйте четкие заголовки свойств (Properties): Колонки свойств должны иметь понятные заголовки (желательно в теге <th>), чтобы система могла корректно идентифицировать их при запросе пользователя типа (Class, Property).
• Усиливайте авторитетность страницы: Стандартные сигналы, такие как PageRank и incoming anchor text, используются для ранжирования найденных таблиц. Таблицы на авторитетных страницах будут ранжироваться лучше.

Worst practices (это делать не надо)

• Использование таблиц для верстки (Layout Tables): Система пытается отфильтровать такие таблицы. Использование HTML-таблиц не по назначению создает шум.
• Сложная и запутанная структура таблиц: Размещение Subject Column в середине таблицы, после числовых колонок или дат, увеличивает риск ошибки идентификации. Использование сложных шапок или частое объединение ячеек также может помешать анализу.
• Использование неоднозначных или неизвестных сущностей: Если сущности в таблице неизвестны Google (не присутствуют в Instance-Class Repository), система не сможет классифицировать таблицу. Избегайте использования только внутренних артикулов или аббревиатур в Subject Column.
• Создание множества мелких, неполных таблиц: Система фильтрует очень маленькие таблицы (например, менее 5 строк) и может предпочесть более крупные таблицы при ранжировании.

Стратегическое значение

Патент подтверждает стратегическую важность структурированных данных для Google. Способность извлекать и понимать данные из таблиц позволяет поисковой системе напрямую использовать контент веб-страниц для формирования ответов и обогащения выдачи (например, в Featured Snippets или специализированных поисковых вертикалях). Для SEO-специалистов это означает, что оптимизация таблиц – это не только улучшение UX, но и важный элемент семантической оптимизации контента, позволяющий сделать данные доступными для алгоритмов извлечения знаний.

Практические примеры

Сценарий: Оптимизация таблицы сравнения характеристик смартфонов

Задача: Улучшить видимость таблицы сравнения в поиске по запросам типа «характеристики смартфонов» (Class: смартфоны, Property: характеристики).

Действия:

1. Структурирование Subject Column: Убедиться, что первая колонка слева содержит только названия моделей смартфонов (например, «iPhone 15 Pro», «Samsung Galaxy S25»). Это будет Subject Column.
2. Валидация сущностей: Использовать полные и официальные названия моделей, которые Google знает и может найти в своем репозитории.
3. Полнота таблицы: Включить в таблицу как можно больше актуальных моделей для сравнения. Большая таблица может получить преимущество в ранжировании согласно Claim 14.
4. Четкие свойства (Properties): Использовать понятные заголовки для колонок характеристик (например, «Процессор», «Оперативная память», «Разрешение экрана»).
5. Чистота данных: Убедиться, что в Subject Column нет чисел или дат, а в колонках свойств данные консистентны (например, только числа в колонке «Оперативная память»).

Ожидаемый результат: Система корректно идентифицирует Subject Column (модели), классифицирует таблицу как относящуюся к классу «смартфоны» и распознает свойства. Это повышает шансы на ранжирование таблицы по релевантным запросам и ее попадание в Featured Snippets.

Вопросы и ответы