Как Google извлекает, проверяет и отображает структурированные факты из веб-страниц для создания Панелей Знаний (Knowledge Panels)

Описание

Какую задачу решает

Патент решает проблему трудоемкости поиска конкретных фактов в стандартных результатах поиска. Пользователям часто приходится переходить по нескольким ссылкам и анализировать контент веб-страниц, чтобы найти нужную информацию (например, дату рождения человека или характеристики продукта). Изобретение автоматизирует этот процесс, извлекая ключевые факты и представляя их в структурированном виде непосредственно на странице результатов поиска (SERP), экономя время пользователя.

Что запатентовано

Запатентована система, которая дополняет стандартные результаты поиска блоком структурированной информации, извлеченной непосредственно из этих же результатов. Система идентифицирует пары «атрибут-значение» ((Attribute, Value) pairs) в документах, релевантных запросу, агрегирует эти пары, выбирает наиболее достоверные с помощью сложных механизмов валидации и отображает их в отдельной области интерфейса (например, в Панели Знаний).

Как это работает

Система работает в два этапа:

1. Офлайн-извлечение (Индексирование): Во время индексации система сканирует документы на наличие полуструктурированных данных (например, таблиц). Извлеченные пары (Attribute, Value) нормализуются (приводятся к единому формату), проверяются на внутренние конфликты в рамках документа и сохраняются в базе данных с привязкой к документу.
2. Обработка запроса (Runtime): При получении запроса система определяет набор релевантных документов (Топ-N). Затем она агрегирует все сохраненные пары для этих документов. Происходит сложный отбор: сначала выбираются пары, достигающие консенсуса (превышают порог Threshold). Затем используется итеративный механизм «Усиления» (Reinforcement), который определяет наиболее полный источник фактов и уточняет итоговый набор данных. Выбранные факты отображаются на SERP со ссылками на источники.

Актуальность для SEO

Крайне высокая. Описанные механизмы лежат в основе современных функций Google, таких как Панели Знаний (Knowledge Panels) и блоки с фактами. Извлечение неструктурированных данных и их преобразование в структурированные факты для прямого ответа пользователю (и наполнения Knowledge Graph) является центральным элементом эволюции поиска в 2025 году.

Важность для SEO

Патент имеет фундаментальное значение для SEO (9.5/10). Он описывает конкретные технические методы, которыми Google извлекает и, что более важно, проверяет факты с веб-страниц. Понимание процессов Thresholding и Reinforcement критически важно для оптимизации под entity-based search. Патент подчеркивает важность наличия четко структурированных, точных и максимально полных фактических данных на странице для повышения авторитетности сайта как источника знаний.

Детальный разбор

Термины и определения

(Attribute, Value) pair (Пара (Атрибут, Значение))

Единица структурированной информации, извлеченная из документа. Например, (Date of Incorporation; March 31, 1973).

Normalization (Нормализация)

Процесс приведения различных форм написания атрибутов и значений к единому стандарту. Например, нормализация дат, чисел или синонимичных атрибутов («Date of Incorp» и «Incorporation Date»).

Conflict Resolution (Разрешение конфликтов)

Процесс проверки наличия противоречивых значений для одного атрибута в рамках одного документа (Intra-document). Если конфликт обнаружен, пара отбрасывается.

Thresholding (Пороговая фильтрация / Консенсус)

Механизм отбора пар на этапе обработки запроса. Пара считается кандидатом, если определенное количество документов (порог, например, 3) в результатах поиска согласны с этим значением.

Reinforcement (Усиление)

Итеративный процесс уточнения набора достоверных фактов. Документ, содержащий наибольшее количество кандидатских пар, признается наиболее авторитетным (Trustworthy Document). Набор фактов корректируется на основе этого документа: конфликтующие факты удаляются, а недостающие факты из этого документа добавляются.

Trustworthy Document (Доверенный документ — концепция)

Документ в наборе результатов, который содержит наибольшее количество кандидатских пар (Attribute, Value) и используется как эталон в процессе Reinforcement.

Related Information Section (Секция связанной информации)

Отдельная область на SERP, где отображаются извлеченные структурированные данные (например, Knowledge Panel).

Ключевые утверждения (Анализ Claims)

Патент US10140297B2 является продолжением (continuation) более ранних заявок. Его Claims фокусируются на методе отображения, но для полного понимания механизмов извлечения и валидации необходимо анализировать Description.

Claim 1 (Независимый пункт): Описывает метод предоставления результатов поиска.

1. Поисковая система получает запрос.
2. Идентифицируется первый набор данных: результаты поиска для множества документов, релевантных запросу.
3. Идентифицируется второй набор данных: пары (Attribute, Value), полученные из этих релевантных документов.
4. Генерируется документ с результатами поиска (SERP), который включает:
   • (i) Первую часть, содержащую результаты поиска (ссылки).
   • (ii) Вторую часть, содержащую извлеченные пары (Attribute, Value).
5. Вторая часть (а) расположена рядом с первой и (b) включает ссылку (цитату), связанную с парой (Attribute, Value).
6. Документ предоставляется пользователю.

Claim 3 (Зависимый): Уточняет формат отображения. Вторая часть может быть представлена в виде таблицы с как минимум двумя колонками (одна для атрибутов, другая для значений).

Claim 6 (Зависимый): Детализирует процесс выбора данных для второго набора. Выбор основан на превышении порога: пара выбирается, если количество документов, содержащих эту пару, превышает предопределенный порог (консенсус).

Claim 7 (Зависимый): Указывает на процесс нормализации множества значений, соответствующих одному атрибуту, в предопределенный формат.

Где и как применяется

Изобретение является мостом между неструктурированным контентом и структурированным представлением знаний, затрагивая несколько этапов поиска.

INDEXING – Индексирование и извлечение признаков
Ключевой этап (Офлайн-процесс). Система анализирует структуру документов (HTML), выявляет полуструктурированные данные (таблицы, списки), извлекает пары (Attribute, Value), проводит их нормализацию и разрешение внутренних конфликтов. Результаты сохраняются в хранилище с привязкой к Doc ID.

RANKING – Ранжирование
Стандартные алгоритмы определяют Топ-N документов, релевантных запросу. Этот набор служит входными данными для системы агрегации фактов.

METASEARCH – Метапоиск и Смешивание (Universal Search & Blending)
На этом этапе происходит Runtime-процесс. Система агрегирует извлеченные ранее факты из Топ-N документов, применяет сложную логику отбора (Thresholding и Reinforcement) и формирует отдельный блок выдачи (Related Information Section). Этот блок смешивается с основными результатами поиска.

Входные данные:

• Набор Топ-N документов, релевантных запросу.
• База данных предварительно извлеченных и нормализованных пар (Attribute, Value) для этих документов.

Выходные данные:

• Набор достоверных пар (Attribute, Value).
• Список ссылок (цитат) на документы, подтверждающие эти факты.
• Сформированный блок (например, Knowledge Panel) для отображения на SERP.

На что влияет

• Специфические запросы: Наибольшее влияние на информационные запросы, связанные с поиском фактов о сущностях (люди, компании, продукты, места).
• Конкретные типы контента: Страницы, содержащие полуструктурированные данные: профили, спецификации продуктов, биографии, справочная информация.
• Форматы контента: Таблицы (особенно двухколоночные), списки определений (DL/DT/DD), текстовые шаблоны вида «Атрибут: Значение».

Когда применяется

• Триггеры активации: Алгоритм активируется, когда в Топ-N результатов поиска обнаруживается достаточное количество извлеченных пар (Attribute, Value), позволяющее начать процесс валидации.
• Условие применения: Система должна быть способна верифицировать факты с достаточной степенью уверенности, используя механизмы консенсуса (Thresholding) и усиления (Reinforcement).

Пошаговый алгоритм

Процесс А: Офлайн-извлечение и индексация

1. Сбор данных: Получение документа из репозитория.
2. Извлечение пар: Идентификация пар (Attribute, Value) в документе путем поиска предопределенных шаблонов: двухколоночные таблицы или текстовые строки формата «<BR>(текст атрибута):(текст значения)<BR>».
3. Нормализация: Приведение атрибутов и значений к стандартному формату (даты, числа, синонимы атрибутов).
4. Разрешение конфликтов (Intra-document): Анализ атрибутов для выявления противоречивых значений в одном документе.
5. Фильтрация: Отбрасывание пар, для которых обнаружены конфликтующие значения в документе.
6. Сохранение: Сохранение непротиворечивых пар в базе данных с привязкой к Doc ID.

Процесс Б: Обработка запроса (Runtime)

1. Получение запроса и идентификация документов: Система получает запрос и определяет набор релевантных документов (Топ-N).
2. Агрегация пар (Union): Вычисление объединения пар (Attribute, Value) для всех документов в наборе. Дубликаты из связанных источников (например, cnet.com и cnet.co.uk) могут быть устранены.
3. Отбор кандидатов (Thresholding): Выбор пар, которые встречаются в количестве документов, превышающем установленный порог (например, 3). Эти пары становятся кандидатами.
4. Усиление и уточнение (Reinforcement) — Итеративный процесс:
   1. Идентификация Trustworthy Document – документа, который содержит наибольшее количество кандидатских пар.
   2. Переоценка кандидатов: Отбрасывание кандидатских пар, которые конфликтуют с данными в Trustworthy Document.
   3. Дополнение: Добавление новых пар из Trustworthy Document в список кандидатов (даже если они не прошли Thresholding).
   4. Повторение шагов a-c до тех пор, пока список кандидатов не стабилизируется (перестанет расти).
5. Выбор ссылок (Цитат): Для каждой финальной пары выбираются ссылки на подтверждающие документы. Приоритет отдается документам, которые содержат наибольшее количество пар из финального списка. Количество ссылок может быть ограничено.
6. Формирование и предоставление SERP: Отображение финального списка пар и ссылок в Related Information Section вместе с результатами поиска.

Какие данные и как использует

Данные на входе

Патент фокусируется на извлечении данных из контента и структуры документа.

• Структурные и Контентные факторы:
  • Таблицы: Система идентифицирует таблицы, особенно двухколоночные (two-column table), предполагая, что левая колонка содержит атрибут, а правая — значение.
  • Текстовые шаблоны: Поиск строк, следующих шаблону, например, «(текст атрибута):(текст значения)», часто разделенных переносом строки (<BR>). Это соответствует спискам определений или аналогичным структурам.

Какие метрики используются и как они считаются

• Количество вхождений пары (Threshold): Метрика для определения консенсуса. Считается количество уникальных источников в Топ-N выдачи, содержащих идентичную (после нормализации) пару (Attribute, Value).
• Количество кандидатских пар в документе: Ключевая метрика для механизма Reinforcement. Документ с максимальным значением этой метрики определяется как Trustworthy Document и используется как эталон для валидации и дополнения фактов.
• Количество финальных пар в документе: Метрика для выбора и сортировки ссылок (цитат). Чем больше финальных фактов подтверждает документ, тем выше вероятность цитирования.
• Нормализация данных: Используются правила и словари для стандартизации форматов и разрешения синонимии атрибутов.

Выводы

1. Извлечение фактов из полуструктурированных данных: Патент детально описывает, как Google автоматически извлекает фактическую информацию из веб-страниц без использования Schema.org. Основной фокус — на HTML-таблицах и списках определений.
2. Валидация через консенсус (Thresholding): Достоверность факта определяется тем, насколько часто он встречается в топовых результатах поиска. Если несколько сайтов согласны с фактом, Google считает его надежным кандидатом.
3. Механизм Усиления (Reinforcement) и Авторитет Полноты: Это ключевой механизм валидации. Google не просто считает упоминания, но и определяет наиболее полный источник фактов (Trustworthy Document) среди топовых результатов. Этот источник используется для валидации других фактов и дополнения набора данных. Это означает, что наиболее полные и точные страницы имеют больший вес в определении истины.
4. Нормализация критична для сопоставления: Система активно стандартизирует данные (даты, числа, названия), что позволяет ей сопоставлять информацию, представленную в разных форматах на разных сайтах.
5. Внутренняя согласованность обязательна: Наличие противоречивых фактов на одной странице приводит к отбраковке этих данных на этапе индексирования (Conflict Resolution).
6. Приоритет при цитировании: Ссылки на источники отображаются вместе с фактами. Приоритет отдается сайтам, которые подтверждают наибольшее количество отображаемых фактов.

Практика

Best practices (это мы делаем)

• Использование таблиц и списков определений: Структурируйте ключевые факты о сущности (продукте, компании, человеке) с помощью HTML-таблиц (<table>) или списков определений (<dl>/<dt>/<dd>). Это напрямую соответствует шаблонам извлечения, описанным в патенте (двухколоночные таблицы и формат Атрибут:Значение).
• Стремление к полноте данных (Стратегия Trustworthy Document): Старайтесь предоставить наиболее полный набор фактов о сущности по сравнению с конкурентами в Топ-N. Это увеличивает шансы стать «Доверенным документом» в процессе Reinforcement, что повышает авторитетность страницы и вероятность использования именно ваших данных и получения цитаты.
• Фактическая точность и консистентность: Убедитесь, что факты на странице точны и не противоречат друг другу (избегайте внутренних конфликтов). Также важно, чтобы объективные факты соответствовали консенсусу авторитетных источников (для прохождения Thresholding).
• Четкие заголовки и стандартные форматы: Используйте ясные названия для атрибутов (например, «Дата основания») и стандартные форматы для значений (даты, числа, адреса), чтобы облегчить системе процесс нормализации.

Worst practices (это делать не надо)

• Представление фактов только в виде прозы: Скрытие ключевых характеристик и фактов в длинных абзацах текста затрудняет их извлечение описанной системой.
• Противоречивая информация на одной странице: Наличие конфликтующих данных для одного атрибута на странице приведет к тому, что эти данные будут отброшены на этапе офлайн-извлечения.
• Использование изображений или сложного JS для представления данных: Размещение таблиц в виде изображений или их генерация через сложный JavaScript, который может быть не обработан, делает невозможным извлечение пар (Attribute, Value).
• Нестандартные или неоднозначные названия атрибутов: Использование креативных, но неясных названий для характеристик может привести к ошибкам в нормализации и извлечении данных.

Стратегическое значение

Этот патент является одним из фундаментальных документов, объясняющих технические методы наполнения баз знаний Google (Knowledge Graph) без зависимости от ручной разметки. Он демонстрирует переход от индекса строк к индексу сущностей и фактов. Для SEO это означает, что структура контента и его фактическая полнота играют решающую роль в том, как Google воспринимает экспертизу и авторитетность сайта. Стратегия должна включать оптимизацию под извлечение данных (Data Extraction Optimization) для повышения видимости в Knowledge Panels и других структурированных блоках выдачи.

Практические примеры

Сценарий: Оптимизация страницы спецификаций продукта

Задача: Увеличить вероятность того, что характеристики смартфона будут извлечены и показаны в блоке фактов Google, и стать предпочтительным источником цитирования.

1. Анализ конкурентов (Топ-N): Изучить, какие атрибуты предоставляют конкуренты. Составить максимально полный список всех возможных атрибутов (чтобы максимизировать шансы стать Trustworthy Document).
2. Структурирование контента: Создать раздел «Спецификации». Использовать HTML-таблицу или список определений для представления данных.
3. Реализация (Пример с <dl>):

   <dl> <dt>Процессор</dt><dd>Snapdragon 8 Gen X</dd> <dt>Оперативная память</dt><dd>12 ГБ</dd> <dt>Дата выпуска</dt><dd>1 ноября 2025</dd> <!-- Добавить больше атрибутов, чем у конкурентов --> </dl> 

4. Ожидаемый результат:
   • Система легко идентифицирует пары (Attribute, Value).
   • Благодаря полноте данных, страница имеет высокие шансы стать Trustworthy Document в процессе Reinforcement.
   • Факты со страницы отображаются в SERP, и сайт получает ссылку (цитату) как авторитетный источник.

Вопросы и ответы