Как Google использует Knowledge Graph для автодополнения фактов и проверки точности информации при создании контента

Термины и определения

Attribute (Атрибут)

Характеристика или свойство сущности (например, «столица» для сущности «Канада»).

Confidence Score (Оценка Достоверности)

Метрика, указывающая на уверенность системы в том, что Result Value является корректным значением для атрибута сущности.

Document Editing Application (Приложение для редактирования документов)

Программное обеспечение, используемое для создания контента (например, текстовый процессор, почтовый клиент, блог-платформа).

Entity (Сущность)

Тема дискурса; концепт или объект, отличимый от других. Часто соответствует узлу в графе знаний (Knowledge Graph).

Entity Text (Текст Сущности)

Текст во входных данных, который используется для идентификации сущности. Может включать местоимения.

Qualification / Restriction (Уточнение / Ограничение)

Текст, который ограничивает потенциальные значения атрибута (например, «скорость звука в воде»).

Query Indicator (Индикатор Запроса)

Один или несколько предопределенных символов (например, «??»), ввод которых явно запускает процесс поиска подсказки.

Result Value (Результирующее Значение)

Фактическое значение атрибута сущности, возвращаемое поисковой системой (например, «Оттава»).

Search System (Поисковая Система)

Источник фактических данных. Может быть интернет-поисковиком, базой данных или Knowledge Graph.

Suggestion System (Система Подсказок)

Компонент, который анализирует ввод, формирует запросы и предоставляет подсказки.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод предоставления фактических предложений во время редактирования документа.

1. Получение текстового ввода (textual input) в приложении для редактирования.
2. Идентификация сущности (Entity) на основе Entity Text.
3. Идентификация атрибута (Attribute) на основе Attribute Text.
4. Генерация запроса (Query), указывающего сущность и атрибут.
5. Отправка запроса в Search System и получение Result Value.
6. Предоставление Result Value пользователю как предложения для включения в документ.

Claim 2 и 3 (Зависимые): Детализируют механизм проверки фактов (Fact-Checking).

1. Система идентифицирует первое значение (first value), введенное пользователем для атрибута.
2. На основе Result Value (полученного из Search System) определяется, что у первого значения есть альтернативное значение (alternate value). Это означает, что введенное пользователем значение неверно или неоптимально.
3. Пользователю предоставляется индикация альтернативного значения, или (Claim 3) система заменяет first value на Result Value.

Claim 4 и 5 (Зависимые): Описывают использование Confidence Score для контроля качества.

• (Claim 4) Решение о показе Result Value принимается на основе его Confidence Score (например, при превышении порога).
• (Claim 5) Если получено несколько Result Values, система генерирует список, упорядоченный по Confidence Score, и представляет его пользователю.

Claim 6 (Зависимый): Уточняет обработку местоимений (Coreference Resolution).

Если Entity Text является местоимением (pronoun), идентификация сущности происходит путем анализа другого текста в документе (контекста), к которому относится это местоимение.

Claim 7 (Зависимый): Описывает обработку уточнений.

Система идентифицирует Qualification (ограничение) в тексте и включает его в запрос к Search System для получения более точного факта.

Claim 8 (Независимый пункт): Описывает альтернативный режим работы, активируемый явным запросом пользователя.

Весь процесс (идентификация сущности/атрибута, генерация запроса и т.д.) выполняется только в ответ на обнаружение в тексте Query Indicator (например, "??").

Где и как применяется

Этот патент описывает технологию, применяемую на уровне приложений для создания контента (Google Docs, Gmail и т.д.), а не непосредственно в основном конвейере ранжирования веб-поиска. Однако он активно использует инфраструктуру и технологии поиска Google.

INDEXING – Индексирование (Knowledge Graph)
Search System, упомянутая в патенте, полагается на обширную базу знаний о сущностях и их атрибутах. Это, по сути, Knowledge Graph, который формируется на этапе индексирования интернета. Система использует эти данные для поиска Result Values и получения Confidence Scores.

QUNDERSTANDING – Понимание Запросов
Suggestion System выполняет функции, аналогичные пониманию запросов, но в контексте редактируемого документа. Она использует NLP в реальном времени для распознавания Entity Text и Attribute Text. Это требует сложных NLU-механизмов, включая разрешение кореференции (понимание местоимений). Затем она генерирует внутренний запрос к Search System.

Входные данные:

• Текстовый ввод пользователя (Textual Input).
• Предшествующий текст документа (Prior Text), используемый для контекста и разрешения местоимений.
• Данные пользователя (опционально, для персонализированных фактов, например, данные календаря для уточнения рейса).

Выходные данные:

• Result Value (факт), предоставляемый пользователю как предложение или исправление в интерфейсе редактора.

На что влияет

• Типы контента и приложения: Патент напрямую влияет на процесс создания контента в текстовых процессорах, почтовых клиентах, электронных таблицах, блогах.
• Качество контента: Косвенно влияет на качество контента, создаваемого с помощью этих инструментов, способствуя его большей фактической точности.
• Ранжирование: Не влияет напрямую на алгоритмы ранжирования сайтов.

Когда применяется

Алгоритм применяется во время сеанса редактирования документа.

• Триггеры активации: Система может активироваться тремя способами:
  1. Автоматически, если система распознает контекст, указывающий на потребность в факте (наличие сущности и атрибута без значения).
  2. При обнаружении потенциальной фактической ошибки (введенное значение не совпадает с данными Search System).
  3. По явному запросу пользователя с помощью Query Indicator (например, ввод символов "??").
• Пороговые значения: Ключевым порогом является Confidence Score. Предложение показывается или исправление предлагается, только если система достаточно уверена в найденном Result Value.

Пошаговый алгоритм

1. Получение ввода: Система получает текстовый ввод от пользовательского устройства через приложение для редактирования документа.
2. Анализ триггеров: Система определяет необходимость поиска подсказки. Проверяется наличие Query Indicator или анализируется контент для автоматической активации.
3. Идентификация Сущности: Анализ текста для поиска Entity Text. Если текст является местоимением, используется предшествующий текст (Prior Text) для его разрешения (Pronoun Resolution) и определения сущности.
4. Идентификация Атрибута: Анализ текста для поиска Attribute Text, связанного с идентифицированной сущностью.
5. Идентификация Уточнений (Опционально): Поиск Qualifications или Restrictions (например, дата или местоположение), которые сужают область поиска факта.
6. Идентификация Значения (Опционально, для Fact-Checking): Определение, ввел ли пользователь значение для атрибута (first value).
7. Генерация Запроса: Формирование внутреннего запроса, включающего Сущность, Атрибут и Уточнения.
8. Выполнение Поиска: Отправка запроса в Search System.
9. Обработка Результатов: Получение одного или нескольких Result Values с соответствующими Confidence Scores.
10. Выбор Подсказки: Фильтрация результатов по порогу Confidence Score. Если результатов несколько, они ранжируются.
11. Применение:
    • Если инициирована подсказка: Предоставление лучшего Result Value пользователю (например, в виде списка или автозамены).
    • Если инициирована проверка фактов: Сравнение введенного пользователем first value с Result Value. Если они различаются и Confidence Score высок, система помечает введенное значение как неверное и предлагает Result Value в качестве замены.

Какие данные и как использует

Данные на входе

• Контентные факторы:
  • Textual Input: Текущее предложение или фраза, вводимая пользователем. Это основной источник для извлечения Entity Text и Attribute Text.
  • Prior Text: Существующий текст документа. Критически важен для понимания контекста и разрешения местоимений (определения, к какой сущности относится "он", "она", "это").
• Пользовательские факторы: В патенте упоминается возможность использования данных, связанных с пользователем. Например, система может использовать информацию из календаря или предыдущих писем пользователя для разрешения таких сущностей, как "мой рейс".

Какие метрики используются и как они считаются

• Confidence Score (Оценка Достоверности): Ключевая метрика патента. Представляет собой уверенность системы в корректности факта (Result Value). Патент не описывает расчет этой метрики, но указывает, как она используется для фильтрации и принятия решений.
• Пороговые значения (Thresholds): Система использует пороги Confidence Score для определения, следует ли предоставлять предложение или исправление пользователю.
• Методы анализа текста (NLP/NLU): Система использует модели машинного обучения для распознавания именованных сущностей (entity identification model) и идентификации атрибутов (attribute identification model). Также применяются методы разрешения кореференции (Coreference Resolution) для обработки местоимений.

1. Глубокое понимание сущностей и атрибутов: Патент демонстрирует продвинутые возможности Google в области NLP для идентификации не только сущностей, но и их конкретных атрибутов в неструктурированном тексте в реальном времени.
2. Knowledge Graph как «Источник Истины»: Система полагается на Search System (функционально эквивалентный Knowledge Graph) как на арбитра для верификации и предоставления фактов. Это подтверждает центральную роль Knowledge Graph в экосистеме Google.
3. Достоверность как измеримая метрика (Confidence Score): Google активно рассчитывает и использует Confidence Score для оценки достоверности информации. Эта метрика является ключевой для принятия решений о вмешательстве системы (подсказка или исправление).
4. Автоматизированная проверка фактов: Описан конкретный механизм для автоматического выявления фактических ошибок в тексте путем сравнения утверждений пользователя с данными из базы знаний.
5. Важность контекста (Coreference Resolution): Способность системы разрешать местоимения, анализируя предыдущий текст, подтверждает, что Google анализирует контент на уровне дискурса и контекста, а не только на уровне отдельных предложений или ключевых слов.

Best practices (это мы делаем)

Хотя патент не описывает алгоритмы ранжирования, он дает критически важные инсайты о том, как Google обрабатывает и верифицирует фактическую информацию.

• Фокус на фактической точности и достоверности (E-E-A-T): Убедитесь, что все факты на сайте точны, верифицируемы и соответствуют авторитетным источникам. Предоставление точной информации повышает вероятность того, что ваш контент станет источником для Knowledge Graph и получит высокий Confidence Score.
• Оптимизация под извлечение фактов (E-A-V): Структурируйте контент так, чтобы явно указывать отношения между сущностями (Entity), их атрибутами (Attribute) и значениями (Value). Используйте ясные формулировки (например, «Столица Канады – Оттава»), которые облегчают извлечение фактов.
• Использование структурированных данных и семантической верстки: Активно используйте микроразметку Schema.org, а также семантическую верстку (таблицы, списки определений <dl>) для четкого представления фактов. Это помогает Google извлекать информацию и повышать Confidence Score для нее.
• Четкая структура текста и разрешение неоднозначности: Пишите текст так, чтобы NLP-модели могли легко его интерпретировать. Следите за тем, чтобы местоимения четко ссылались на конкретные сущности (антецеденты), так как патент явно описывает механизм разрешения кореференции.

Worst practices (это делать не надо)

• Фактические неточности и вводящие в заблуждение данные: Публикация неверной или непроверенной информации. Механизмы, описанные в патенте, показывают, что Google имеет инструменты для автоматизированной проверки фактов. Неточный контент будет иметь низкий Confidence Score.
• Отсутствие структуры для фактических данных: Предоставление спецификаций или характеристик сплошным неструктурированным текстом. Это затрудняет извлечение атрибутов и значений.
• Двусмысленность и сложность изложения: Использование синтаксиса, который затрудняет для NLP-систем извлечение триплетов Сущность-Атрибут-Значение, или чрезмерное использование местоимений без четкого контекста.

Стратегическое значение

Стратегическое значение патента заключается в подтверждении курса Google на семантический поиск (Entity-Based Search) и критическую роль достоверности информации (Confidence Score). Google все больше оперирует фактами, а не ключевыми словами. Долгосрочная SEO-стратегия должна быть направлена на то, чтобы сайт стал авторитетным и легко обрабатываемым источником фактов о сущностях в своей нише.

Практические примеры

Сценарий: Оптимизация страницы продукта в E-commerce для извлечения фактов

1. Задача: Улучшить представление характеристик смартфона (Сущность), чтобы Google мог легко извлечь спецификации (Атрибуты и Значения) с высоким Confidence Score.
2. Действие (Плохо): Описать характеристики в виде абзаца: "Новый смартфон Модель X имеет экран 6.7 дюймов, работает на процессоре Snapdragon 8 Gen 3 и оснащен батареей 5000 мАч".
3. Действие (Хорошо):
   1. Организовать характеристики в виде списка определений (<dl>) или таблицы (<table>):
      Экран: 6.7 дюймов
      Процессор: Snapdragon 8 Gen 3
      Батарея: 5000 мАч
   2. Добавить разметку Schema.org/Product, используя additionalProperty для каждой спецификации.
4. Ожидаемый результат: Поисковая система с большей легкостью и более высоким Confidence Score извлекает точные характеристики. Эти данные используются в Knowledge Graph, товарных сниппетах и могут служить источником для систем, подобных описанной в патенте.