Как Google автоматически определяет ключевые характеристики (атрибуты) сущностей, анализируя неструктурированный веб-контент

Термины и определения

Attribute (Атрибут)

Свойство, особенность или характеристика сущности (например, «Режиссер» для фильма или «Разрешение» для камеры).

Instance (Экземпляр Сущности)

Индивидуально идентифицируемая сущность (например, конкретный фильм «Филадельфия» или конкретная модель камеры).

Instance/Attribute Collection (Коллекция Экземпляров/Атрибутов)

База данных или хранилище, которое содержит извлеченные из веба ассоциации между сущностями и их атрибутами.

Structured Components (Структурированные компоненты)

Части или области электронного документа, которые имеют внутреннюю структуру, такие как таблицы, списки, записи или пары атрибут-значение (например, HTML-таблицы).

Structured Presentation (Структурированное представление)

Систематическое расположение информации, соответствующее структурированному дизайну (например, таблица, набор карточек или записей), где связи между сущностями и их атрибутами определяются расположением элементов.

Template (Шаблон)

Паттерн или макет для организации контента в подмножестве документов (например, стандартная HTML-структура, используемая сайтом для всех страниц продуктов).

Unstructured Collection of Electronic Documents (Неструктурированная коллекция электронных документов)

Набор документов, формат которых не является строго заданным или постоянным для всей коллекции (например, Интернет).

Value (Значение)

Конкретные данные для атрибута экземпляра сущности (например, «Джонатан Демме» для атрибута «Режиссер»).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод расширения данных.

1. Система получает данные, описывающие существующее структурированное представление (preexisting structured presentation).
2. Система проводит поиск в неструктурированной коллекции документов, сравнивая характеристики существующего представления с контентом документов.
3. Цель поиска — найти документы, которые идентифицируют новый атрибут (new attribute), релевантный существующему представлению.
4. В ответ на обнаружение таких документов система добавляет идентификатор нового атрибута к существующему представлению, формируя расширенное представление (expanded structured presentation).
5. Система выводит инструкции для отображения расширенного представления.

Ключевым элементом Claim 1 является детализация процесса добавления атрибута (шаг 4 выше), который включает:

• Формулирование коллекции предложений атрибутов (attribute suggestions).
• Это формулирование включает:
  • Идентификацию документа, релевантного сущности из существующего представления, который организован в соответствии с шаблоном (template).
  • Добавление атрибута, используемого в этом документе (и соответствующего шаблону), в коллекцию предложений.
• Предоставление коллекции предложений пользователю.
• Получение выбора пользователя.

Ядро изобретения — это механизм использования существующей структуры и анализа шаблонов в неструктурированных данных для автоматического обнаружения и предложения новых релевантных атрибутов.

Claim 14 (Независимый пункт): Описывает метод с фокусом на механизме предложений.

1. Система формулирует коллекцию предложений атрибутов на основе контента двух или более документов из неструктурированной коллекции.
2. Система предоставляет эту коллекцию пользователю.
3. Система получает выбор пользователя.
4. Система добавляет идентификатор выбранного атрибута в структурированное представление.

Этот пункт подчеркивает, что источником атрибутов является именно неструктурированный контент, а процесс может быть полуавтоматическим (с участием пользователя в выборе).

Где и как применяется

Изобретение в первую очередь относится к этапам сбора и обработки данных для преобразования неструктурированного контента в структурированные знания.

CRAWLING – Сканирование и Сбор данных
Система должна сканировать Unstructured Collection (Интернет) для сбора сырых данных, которые будут анализироваться на наличие атрибутов.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. В процессе индексирования система выполняет глубокий анализ контента для извлечения фактов и структуры.

1. Извлечение структурированных компонентов: Идентификация таблиц, списков и других структурированных элементов на веб-страницах.
2. Анализ и извлечение шаблонов (Template Extraction): Распознавание повторяющихся макетов страниц для идентификации того, как атрибуты представлены в HTML.
3. Построение базы знаний: Создание и обновление Instance/Attribute Collection — базы данных, связывающей сущности с обнаруженными атрибутами.

QUNDERSTANDING и RANKING
Патент напрямую не описывает применение на этих этапах, но структурированные данные (например, Knowledge Graph), полученные в результате работы этого механизма, оказывают огромное влияние на понимание запросов и ранжирование, позволяя системе лучше понимать семантику контента и интент пользователя.

Входные данные:

• Существующее структурированное представление (или стартовый запрос, генерирующий его).
• Неструктурированная коллекция электронных документов (веб-корпус).
• База данных Instance/Attribute Collection (если используется).

Выходные данные:

• Коллекция предложений новых атрибутов (New Attribute Suggestions).
• Расширенное структурированное представление.
• Обновления для Instance/Attribute Collection.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, богатый фактами, спецификациями и сравнениями. Это включает страницы продуктов, обзоры, биографии, описания мест, рецепты и т.д.
• Конкретные ниши или тематики: E-commerce, медиа (фильмы, музыка), путешествия, а также любые информационные сайты (справочники, энциклопедии), где преобладают структурированные данные.
• Структурные факторы: Влияет на то, как система воспринимает HTML-структуру страницы, отдавая предпочтение контенту, который легко извлечь через анализ шаблонов или структурированных компонентов (таблицы, списки).

Когда применяется

• Триггеры активации: Когда система (или пользователь) имеет набор сущностей (instances) и необходимо обнаружить релевантные атрибуты для их описания или сравнения. Это может происходить при построении Knowledge Panel, ответе на запрос, подразумевающий сравнение (например, «лучшие гибридные автомобили»), или при автоматическом расширении базы знаний.
• Условия работы: Наличие достаточного количества информации в неструктурированной коллекции, позволяющей идентифицировать структурированные компоненты или шаблоны, связанные с интересующими сущностями.

Пошаговый алгоритм

Описание процесса обнаружения и добавления новых атрибутов (на основе FIG. 9 и 10):

1. Получение характеристик: Система получает характеристики существующего структурированного представления (идентификаторы сущностей, существующие атрибуты, значения, предполагаемую категорию).
2. Идентификация релевантных документов: Поиск документов в неструктурированной коллекции, которые релевантны полученным характеристикам (например, содержат упоминания сущностей).
3. Формулирование предложений атрибутов: Применение одной или нескольких стратегий для извлечения потенциальных новых атрибутов из найденных документов:
   • Стратегия А: Анализ структурированных компонентов (FIG. 11): Идентификация таблиц, списков или записей в документах, которые описывают интересующие сущности. Извлечение заголовков или меток из этих компонентов как кандидатов в атрибуты.
   • Стратегия Б: Извлечение шаблонов (FIG. 13): Идентификация документов, использующих общий шаблон (Template). Извлечение структуры шаблона и идентификация меток внутри шаблона как кандидатов в атрибуты (например, текст внутри тегов <h5> в повторяющихся блоках <div class="info">, как показано на FIG. 14).
   • Стратегия В: Использование коллекции знаний (FIG. 17): Обращение к Instance/Attribute Collection для поиска атрибутов, которые часто ассоциируются с интересующими сущностями или их атрибутами.
   • Стратегия Г: Категоризация (FIG. 20): Определение категории, к которой принадлежат сущности, и выбор атрибутов, которые часто используются для описания сущностей в этой категории.
4. Фильтрация и Ранжирование (FIG. 22): Применение фильтров (категориальный фильтр, фильтр по связанным сущностям/атрибутам, фильтр по значениям) для уточнения списка потенциальных атрибутов.
5. Предоставление предложений: Вывод списка предложенных атрибутов (пользователю или системе).
6. Выбор и Добавление: Получение выбора атрибутов (автоматически или вручную) и добавление их в структурированное представление (например, добавление новых колонок в таблицу).

Какие данные и как использует

Данные на входе

Система использует следующие данные для обнаружения новых атрибутов:

• Контентные факторы: Текст веб-страниц, заголовки, метки и подписи внутри структурированных компонентов (например, заголовки колонок таблиц).
• Структурные факторы: HTML-разметка критически важна. Система анализирует теги (<table>, <ul>, <dl>, <div>, <h1>-<h6>) и их взаимное расположение для идентификации структурированных компонентов и извлечения шаблонов страниц. Имена классов CSS также могут использоваться при анализе шаблонов.
• Системные данные: Существующие структурированные представления, а также внутренняя база знаний Instance/Attribute Collection, содержащая ранее извлеченные факты.

Какие метрики используются и как они считаются

Патент не приводит конкретных формул, но описывает следующие методы и метрики для анализа и выбора атрибутов:

• Релевантность документа: Оценка релевантности веб-страниц интересующим сущностям (instances) и атрибутам (attributes).
• Идентификация шаблона (Template Identification): Распознавание повторяющихся HTML-структур на разных страницах (часто с одного источника). Используются методы парсинга HTML для сравнения структуры документов.
• Частотность атрибутов (Attribute Commonality): Частота использования атрибута для описания сущностей внутри определенной категории или в релевантных документах.
• Авторитетность источников (Authoritative Sources): Идентификация источников, считающихся авторитетными для конкретных сущностей (FIG. 18), для приоритизации атрибутов, извлеченных из них.
• Совпадение характеристик: Сравнение атрибутов и значений в существующем представлении с данными, найденными в вебе, для определения контекста и выбора наиболее подходящих новых атрибутов (как показано на FIG. 12 и 21, где выбирается контекст «Фильмы», а не «Города» или «Спортивные команды»).

1. Автоматическое обнаружение схемы: Google активно стремится определить релевантную схему (набор ключевых атрибутов) для любой сущности, анализируя неструктурированный веб. Система не полагается только на ручную разметку (вроде Schema.org), а учится на том, как информация представлена в интернете.
2. Критичность структуры веб-страницы: Патент явно описывает методы извлечения данных из Structured Components (таблицы, списки) и распознавания Templates (шаблонов страниц). Четкая и консистентная HTML-структура значительно облегчает этот процесс.
3. Контекст определяется через сравнение: Система определяет правильный контекст сущности (например, является ли «Ягуар» автомобилем или животным), сравнивая существующие атрибуты с теми, что найдены в вебе. Это позволяет выбирать релевантные новые атрибуты.
4. Коллективный интеллект и полнота данных: То, как веб коллективно описывает сущность, определяет ее атрибуты в глазах системы. Цель системы — найти новые атрибуты, что подразумевает стремление к получению максимально полной информации о сущности.
5. Инфраструктура извлечения фактов: Описанные механизмы, включая Instance/Attribute Collection, являются частью инфраструктуры для построения и расширения баз знаний, таких как Knowledge Graph.

Best practices (это мы делаем)

• Использование структурированных компонентов для фактов: Представляйте спецификации, факты и ключевые характеристики сущностей с использованием семантически верных HTML-элементов. <table> для табличных данных, <dl> (definition lists) для пар атрибут-значение, <ul>/<ol> для списков. Патент явно указывает на извлечение данных из таких компонентов.
• Поддержание консистентных шаблонов страниц (Templates): Используйте единую HTML-структуру и имена классов CSS для однотипных страниц (например, все страницы товаров или все статьи блога). Это облегчает системе распознавание Template и точное извлечение атрибутов из соответствующих мест на странице.
• Полнота описания сущностей (Comprehensiveness): Включайте все релевантные атрибуты, которые пользователи и другие авторитетные сайты используют для описания сущности. Если вы продаете камеры, убедитесь, что указаны разрешение, тип сенсора, светосила объектива и т.д. Система ищет эти атрибуты.
• Четкие и описательные названия атрибутов: Используйте понятные и общепринятые названия для характеристик (например, «Время работы от аккумулятора», а не «Длительность»). Это помогает системе корректно идентифицировать атрибут при извлечении из структурированных компонентов или шаблонов.
• Развитие авторитетности в тематике: Стремитесь к тому, чтобы ваш сайт рассматривался как Authoritative Source (упоминается в патенте), так как это может повысить приоритет извлеченных с него данных.

Worst practices (это делать не надо)

• Скрытие спецификаций в неструктурированном тексте: Размещение ключевых атрибутов внутри длинных абзацев прозы или на изображениях затрудняет их извлечение с помощью описанных механизмов.
• Непоследовательная HTML-структура: Использование разных макетов или хаотичной HTML-верстки для однотипных страниц препятствует эффективному извлечению шаблонов (Template Extraction).
• Использование неясной разметки для таблиц/списков: Использование <div> для построения того, что семантически является таблицей или списком, усложняет идентификацию Structured Components.
• Упущение ключевых атрибутов: Отсутствие важных характеристик, определяющих сущность, снижает ценность контента и заставляет Google полагаться на сторонние сайты для получения полной информации.

Стратегическое значение

Этот патент подтверждает фундаментальную важность entity-oriented SEO и автоматического извлечения структурированных данных. Он демонстрирует, что Google инвестирует в технологии, позволяющие понимать веб без зависимости от добровольной разметки (хотя разметка помогает). Стратегически, чтобы быть авторитетным источником, сайт должен представлять информацию в наиболее полном и легко извлекаемом формате. Это означает, что техническое SEO, касающееся структуры HTML и консистентности шаблонов, напрямую влияет на способность Google извлекать знания с вашего сайта.

Практические примеры

Сценарий: Оптимизация страницы обзора фильма на сайте

1. Анализ (Применение патента): Google хочет узнать ключевые атрибуты фильма. Он будет искать Structured Components и анализировать Template страницы, чтобы найти такие атрибуты, как «Режиссер», «Актеры», «Дата выхода», «Время выполнения».
2. Действие SEO-специалиста: Вместо того чтобы просто упоминать эти факты в тексте обзора, необходимо создать отдельный блок (например, боковую панель или блок под заголовком). В этом блоке использовать семантическую разметку, например, список определений (<dl>):
   <dl class="movie-specs">
  <dt>Режиссер:</dt><dd>Имя Режиссера</dd>
  <dt>Время выполнения:</dt><dd>120 мин</dd>
</dl>
3. Ожидаемый результат: Система Google с большей вероятностью точно извлечет эти атрибуты, используя методы анализа структурированных компонентов (FIG. 11) или извлечения шаблонов (FIG. 13, благодаря консистентному использованию class="movie-specs" на всех страницах обзоров). Это повышает шансы на попадание данных в Knowledge Graph или формирование расширенных сниппетов.