Как Google использует базу данных сущностей (Knowledge Graph) для формирования прямых ответов на вопросы о фактах

Термины и определения

Entity (Сущность)

Человек, бизнес, географическое местоположение, фильм, песня, книга или любой другой идентифицируемый объект или концепция.

Entity Identifier (Идентификатор сущности)

Имя или метка, используемая для обозначения сущности (например, "Joe's Soup Kitchen").

Attribute (Атрибут)

Характеристика сущности (например, "Адрес", "Дата рождения", "Категория бизнеса").

Attribute Value (Значение атрибута)

Конкретное значение, связанное с атрибутом (например, для атрибута "Адрес" значением может быть "1234 Main St.").

Entity-Triggering Question (Вопрос, триггерящий сущность)

Запрос, ответ на который включает идентификатор сущности или информацию об атрибуте сущности. Цель такого запроса — получить конкретный факт о сущности.

Entity Information Repository (База данных сущностей)

Хранилище, содержащее информацию о сущностях, их атрибутах и значениях атрибутов. (На практике это соответствует Knowledge Graph).

Document-Entity Association System (Система ассоциации документов и сущностей)

Система, которая анализирует документы (например, веб-страницы) и идентифицирует сущности, связанные с ними, сохраняя эти связи.

Document-Entity Association Repository (Репозиторий ассоциаций документов и сущностей)

База данных, хранящая связи между идентификаторами документов (например, URL) и идентификаторами сущностей.

Entity Confidence Score (Оценка уверенности в сущности)

Метрика, рассчитываемая для оценки релевантности конкретной сущности в ответ на запрос. Учитывает частоту упоминания сущности в результатах поиска, оценки релевантности этих результатов и другие факторы.

Snippet Confidence Score (Оценка уверенности в сниппете)

Метрика для оценки того, насколько хорошо сниппет отвечает на вопрос, основанная на совпадении терминов сниппета с ожидаемым значением атрибута.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ответа на вопрос с использованием базы данных сущностей.

1. Система получает вопрос на вычислительном устройстве.
2. Определяется, что вопрос содержит термины, связанные с атрибутом, который определен для одной или нескольких сущностей в Entity Information Repository.
3. В ответ на это определение система выполняет следующие шаги:
   1. Получает набор результатов поиска (search result set) в ответ на вопрос.
   2. Идентифицирует одну или несколько сущностей-кандидатов (candidate entities), которые (i) есть в репозитории и (ii) связаны хотя бы с одним документом из результатов поиска.
   3. Выбирает конкретную сущность (particular entity) из кандидатов, которая связана с терминами вопроса или сущностью, идентифицированной из вопроса.
   4. Получает значение (value), которое хранится для атрибута этой конкретной сущности в репозитории.
   5. Генерирует ответ на вопрос, основываясь как минимум на этом полученном значении.
   6. Предоставляет ответ для вывода.

Claim 2 (Зависимый от 1): Уточняет механизм выбора сущности.

Выбор конкретной сущности включает генерацию оценки (score) для каждой сущности-кандидата и выбор на основе этой оценки.

Claim 3 (Зависимый от 1): Детализирует факторы для расчета оценки сущности.

Оценка сущности базируется на одном или нескольких факторах: количество результатов поиска, в которых идентифицирована сущность; пропорция результатов поиска, в которых она идентифицирована; появление идентификатора сущности в сниппетах; оценка релевантности (result score) результата поиска, в котором она идентифицирована; количество появлений идентификатора в конкретном результате; совпадение сущности с терминами вопроса; индикация спама в результате поиска.

Claim 6 (Зависимый от 1): Описывает альтернативный способ генерации ответа.

Генерация ответа включает анализ сниппетов из результатов поиска, которые содержат идентификаторы выбранной сущности, и выбор одного из этих сниппетов в качестве ответа на вопрос.

Claim 7 (Зависимый от 6): Уточняет механизм выбора сниппета.

Выбор сниппета включает генерацию Snippet Confidence Score для каждого сниппета на основе идентификации терминов в сниппете, которые связаны с идентифицированным атрибутом выбранной сущности, и выбор сниппета на основе этой оценки.

Где и как применяется

Изобретение охватывает несколько ключевых этапов поисковой архитектуры, работая как офлайн, так и онлайн.

INDEXING – Индексирование и извлечение признаков (Офлайн)
Document-Entity Association System работает на этом этапе. Она анализирует документы (веб-страницы) и идентифицирует упомянутые в них сущности, сравнивая текст документа с данными в Entity Information Repository (Knowledge Graph). Установленные связи сохраняются в Document-Entity Association Repository.

QUNDERSTANDING – Понимание Запросов (Онлайн)
Entity-Triggering Question Identification Engine анализирует входящий запрос, чтобы определить, является ли он фактоидным вопросом о сущности и какой именно атрибут запрашивается (например, "Где" -> Адрес).

RANKING – Ранжирование (Онлайн)
Система использует стандартный поисковый движок (Search engine server) для получения первичного набора релевантных документов (search result set).

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование (Онлайн)
Это основной этап работы Entity-Triggering Question Answering System.

1. Анализ SERP: Система анализирует топ результатов, полученных на этапе RANKING.
2. Извлечение сущностей: Используя Document-Entity Association Repository, система определяет, какие сущности связаны с этими топовыми документами.
3. Скоринг сущностей: Candidate Entity Scoring Engine рассчитывает Entity Confidence Score для каждой сущности.
4. Генерация ответа: Answer Generation Engine выбирает лучшую сущность, извлекает запрошенный атрибут из Entity Information Repository ИЛИ рассчитывает Snippet Confidence Score и выбирает лучший сниппет.
5. Формирование выдачи: Прямой ответ (Direct Answer/Featured Snippet) вставляется в итоговую выдачу, часто на нулевую позицию.

Входные данные:

• Запрос пользователя (Question).
• Entity Information Repository (База сущностей и атрибутов).
• Document-Entity Association Repository (Связи документов и сущностей).
• Набор результатов поиска (Search Result Set), включая URL, сниппеты и оценки релевантности (Result Scores).

Выходные данные:

• Прямой ответ (Answer), который может быть значением атрибута или выбранным сниппетом.
• Сформированная страница результатов (Answer Document), включающая прямой ответ и стандартные результаты поиска.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на информационные фактоидные запросы (кто, что, где, когда, сколько).
• Конкретные типы контента: Влияет на контент, который содержит четкие факты о сущностях (справочники, энциклопедии, страницы о компаниях, биографии, карточки товаров).
• Форматы контента: Повышает значимость контента, структурированного таким образом, чтобы факты было легко извлечь (списки определений, таблицы, четкие формулировки "Сущность - это...").
• Конкретные ниши: Критично в любых нишах, где пользователи ищут факты: локальный бизнес (адреса, часы работы), медиа (даты выхода, актеры), история, наука и т.д.

Когда применяется

• Триггеры активации: Когда система классифицирует запрос как Entity-Triggering Question. Это происходит, если запрос содержит термины, указывающие на поиск атрибута сущности (например, "who", "where", "how tall") или не содержит терминов, указывающих на необходимость развернутого ответа (например, "why", "how does").
• Условия применения: Когда система может с достаточной степенью уверенности (высокий Entity Confidence Score) идентифицировать релевантную сущность и найти значение запрошенного атрибута в своей базе данных или в сниппетах топовых результатов.

Пошаговый алгоритм

Процесс А: Ассоциация документов и сущностей (Офлайн)

1. Идентификация документа: Система выбирает документ для анализа из корпуса документов.
2. Анализ контента: Document-entity association engine анализирует текст документа.
3. Идентификация сущностей: Система ищет в тексте термины, которые соответствуют идентификаторам сущностей (Entity Identifiers) или значениям атрибутов (Attribute Values) из Entity Information Repository. Соответствие может быть точным или неточным (с учетом порога схожести).
4. Сохранение ассоциации: Информация, связывающая идентификатор документа с идентификаторами найденных сущностей, сохраняется в Document-Entity Association Repository.

Процесс Б: Ответ на вопрос (Онлайн)

1. Получение вопроса: Система получает запрос от пользователя.
2. Классификация запроса: Entity-triggering question identification engine определяет, что запрос является Entity-Triggering и идентифицирует тип запрашиваемого атрибута (например, локация, дата).
3. Получение результатов поиска: Result identification engine отправляет запрос в поисковую систему и получает набор результатов (документы, сниппеты, оценки релевантности).
4. Идентификация сущностей-кандидатов: Candidate entity identification engine анализирует топовые результаты поиска. Для каждого документа извлекаются связанные с ним сущности из Document-Entity Association Repository. Также проверяется связь этих сущностей с терминами исходного запроса.
5. Скоринг сущностей: Candidate entity scoring engine рассчитывает Entity Confidence Score для каждого кандидата. Учитывается количество и качество результатов поиска, в которых найдена сущность, совпадение с запросом и т.д.
6. Выбор релевантной сущности: Выбирается сущность с наивысшим Entity Confidence Score.
7. Генерация ответа (Вариант 1 - Извлечение факта): Answer generation engine получает значение запрошенного атрибута для выбранной сущности из Entity Information Repository.
8. Генерация ответа (Вариант 2 - Выбор сниппета): Answer generation engine анализирует сниппеты результатов поиска. Рассчитывается Snippet Confidence Score на основе того, содержит ли сниппет ожидаемое значение атрибута. Выбирается лучший сниппет.
9. Вывод ответа: Система генерирует итоговую страницу (Answer Document), включающую сгенерированный ответ (часто в виде блока прямого ответа) и результаты поиска.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных о сущностях и результатах поиска. Он не детализирует факторы ранжирования самих документов, но использует их результаты.

• Контентные факторы: Текст документов и сниппеты используются для установления связи с сущностями (офлайн) и для выбора лучшего сниппета в качестве ответа (онлайн).
• Структурные факторы (Косвенно): Entity Information Repository хранит структурированные данные о сущностях (Атрибут -> Значение).
• Системные данные:
  • Result Scores: Оценки релевантности документов, полученные от основной поисковой системы. Используются для взвешивания значимости сущностей, найденных в этих документах.
  • Данные о сущностях: Идентификаторы, атрибуты и значения атрибутов из Entity Information Repository.
  • Ассоциации: Предварительно рассчитанные связи между документами и сущностями.

Какие метрики используются и как они считаются

• Entity Confidence Score: Оценка для выбора наиболее релевантной сущности. Рассчитывается на основе агрегации следующих факторов:
  • Количество результатов поиска, с которыми ассоциирована сущность.
  • Пропорция результатов поиска (в топе), с которыми ассоциирована сущность.
  • Result Scores документов, с которыми ассоциирована сущность (сущности из более авторитетных документов получают больший вес).
  • Наличие идентификатора сущности в сниппетах.
  • Количество упоминаний идентификатора сущности в документе (с учетом защиты от спама, когда слишком частое повторение может игнорироваться).
  • Степень совпадения идентификатора сущности с терминами запроса.
• Snippet Confidence Score: Оценка для выбора лучшего сниппета в качестве ответа. Рассчитывается на основе:
  • Совпадения (точного или близкого) текста сниппета с ожидаемым значением атрибута (Attribute Value).
  • Result Score документа, из которого взят сниппет.
• Similarity Threshold (Порог схожести): Используется для определения неточного соответствия между терминами в документе/запросе и идентификаторами/значениями атрибутов сущностей.

1. Фундамент для прямых ответов: Патент описывает базовый механизм, позволяющий Google отвечать на фактоидные вопросы напрямую, используя Knowledge Graph (Entity Information Repository) и анализ результатов поиска.
2. Важность ассоциации Контент-Сущность: Ключевым элементом системы является предварительно рассчитанная база данных (Document-Entity Association Repository), связывающая веб-страницы с сущностями. Это подчеркивает важность четкой идентификации сущностей в контенте для SEO.
3. SERP как источник валидации сущностей: Google не просто полагается на свою базу знаний. Он использует топовые результаты поиска для определения того, какая сущность наиболее релевантна запросу в текущем контексте. Сущность, которая чаще упоминается в авторитетных результатах, побеждает.
4. Два пути формирования ответа: Система может либо извлечь факт напрямую из своей базы данных, либо выбрать лучший сниппет с веб-страницы, содержащий этот факт. Это объясняет, почему Featured Snippets часто берутся из контента сторонних сайтов.
5. Скоринг сущностей и сниппетов: Внедрены специфические метрики (Entity Confidence Score и Snippet Confidence Score) для выбора наилучшего ответа, которые учитывают как релевантность, так и авторитетность источников.
6. Понимание интента на уровне атрибутов: Система не просто понимает, о какой сущности идет речь, но и определяет, какой именно атрибут интересует пользователя (например, отличает запрос адреса от запроса телефона).

Best practices (это мы делаем)

• Оптимизация под сущности (Entity-Oriented SEO): Убедитесь, что ваш контент четко идентифицирует ключевые сущности, о которых идет речь. Используйте однозначные идентификаторы (названия, имена) и предоставляйте достаточно контекста, чтобы Document-Entity Association System могла корректно связать вашу страницу с сущностью в Knowledge Graph.
• Использование структурированных данных (Schema.org): Внедряйте микроразметку для явного указания сущностей и их атрибутов (например, адрес, телефон, автор, дата публикации). Это напрямую помогает Google пополнять Entity Information Repository и устанавливать ассоциации.
• Форматирование контента для сниппетов: Структурируйте контент так, чтобы он давал четкие и лаконичные ответы на потенциальные Entity-Triggering Questions. Используйте форматы (таблицы, списки, блоки определений), которые увеличивают вероятность выбора вашего сниппета системой на основе высокого Snippet Confidence Score.
• Построение тематического авторитета (Topical Authority): Становитесь авторитетным источником информации о конкретных сущностях. Если ваш сайт часто появляется в топе выдачи по запросам, связанным с сущностью, это увеличивает Entity Confidence Score для этой сущности применительно к вашему сайту.
• Ответы на фактоидные вопросы: Создавайте контент, который напрямую отвечает на вопросы типа Кто/Что/Где/Когда, касающиеся релевантных для вашей ниши сущностей.

Worst practices (это делать не надо)

• Неоднозначное упоминание сущностей (Entity Ambiguity): Использование сокращений, аббревиатур или жаргона без достаточного контекста может помешать системе корректно идентифицировать сущность.
• Спам ключевыми словами (Keyword Stuffing): Патент упоминает механизмы защиты от спама при подсчете упоминаний сущности. Попытки манипулировать Entity Confidence Score путем неестественного повторения названия сущности будут неэффективны или могут привести к игнорированию страницы.
• Предоставление неточной или устаревшей информации: Если информация на вашем сайте противоречит данным в Entity Information Repository или другим авторитетным источникам, ваш сниппет вряд ли будет выбран в качестве ответа.
• Игнорирование семантики в пользу ключевых слов: Фокус только на вхождении ключевых слов без учета связи контента с реальными сущностями и их атрибутами снижает потенциал сайта в контексте этого патента.

Стратегическое значение

Этот патент подтверждает стратегический курс Google на семантический поиск и использование сущностей как основы для организации информации. Для долгосрочного SEO это означает переход от оптимизации страниц под ключевые слова к оптимизации сайтов как источников знаний о сущностях. Успех в SEO все больше зависит от способности сайта корректно интегрироваться в Knowledge Graph и предоставлять информацию в формате, удобном для систем прямых ответов.

Практические примеры

Сценарий: Оптимизация страницы локального бизнеса для прямого ответа об адресе.

1. Цель: Получить прямой ответ (Direct Answer) по запросу "Где находится [Название Компании]".
2. Действия:
   • Четкая идентификация сущности: Убедиться, что название компании ("Joe's Soup Kitchen") четко указано на главной странице и странице контактов.
   • Внедрение Schema.org: Использовать разметку LocalBusiness, явно указав атрибуты name и address (со всеми компонентами: улица, город, индекс). Это помогает заполнить Entity Information Repository.
   • Форматирование контента: На странице контактов разместить адрес в чистом текстовом формате, легко доступном для парсинга. Использовать фразы, которые система ассоциирует с атрибутом адреса, например: "Наш адрес:", "Мы находимся по адресу:".
   • Повышение авторитетности: Получение ссылок и упоминаний (цитирований NAP) с других авторитетных локальных сайтов для повышения Result Scores страниц сайта.
3. Ожидаемый результат: Система классифицирует запрос как Entity-Triggering. Сайт появляется в топе выдачи. Система ассоциирует сайт с сущностью "Joe's Soup Kitchen". Answer Generation Engine извлекает адрес из Knowledge Graph (куда он попал через Schema) или выбирает сниппет со страницы контактов, так как он имеет высокий Snippet Confidence Score благодаря четкому форматированию и совпадению с ожидаемым фактом.