Как Google оценивает отсутствующие факты для Knowledge Graph и объясняет, на чем основана эта оценка

Термины и определения

Aggregate Feature (Агрегированный признак/фактор)

Комбинация нескольких схожих Features (например, возраст всех детей), рассматриваемая как единый фактор при расчете вклада. Создается путем кластеризации.

Contribution Score / Contribution Value (Оценка вклада)

Метрика, показывающая, насколько сильно конкретный Feature повлиял на итоговую Estimate. Рассчитывается путем сравнения оценки с признаком и без него.

Data Graph (Граф данных)

База знаний (например, Knowledge Graph), хранящая информацию в виде узлов (сущностей) и ребер (отношений).

Estimate (Оценка)

Предполагаемое (вычисленное) значение отсутствующего факта.

Explanation Engine (Механизм генерации объяснений)

Компонент системы, который генерирует читаемое объяснение на основе Influential Features.

Features (Признаки/Факторы)

Связанные факты в Data Graph, используемые моделью для вычисления оценки (например, возраст супруга при оценке возраста целевой сущности).

Influential Features (Влиятельные факторы)

Подмножество Features с наивысшими Contribution Scores, которые используются для объяснения оценки.

Joint Distribution Model (Модель совместного распределения)

Статистическая модель, используемая для вычисления оценки на основе вероятностных связей между различными фактами.

Prediction Engine (Механизм прогнозирования)

Компонент системы, который идентифицирует пробелы и вычисляет Estimate.

Statistical Descriptor (Статистический дескриптор)

Характеристика распределения признака, такая как дисперсия (variance). Может использоваться для оценки надежности признака и расчета Contribution Score.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый): Описывает основной метод заполнения пробелов в графе данных и предоставления объяснений, с акцентом на агрегацию факторов и сохранение данных.

1. Система определяет отсутствие информации о сущности в Data Graph.
2. Вычисляется оценка (Estimate) с помощью Joint Distribution Model на основе множества факторов (Features).
3. Estimate добавляется в Data Graph и связывается с сущностью через отношение, указывающее, что оценка не верифицирована.
4. Выбирается подмножество влиятельных факторов. Этот шаг включает:
   • Вычисление Contribution Value для каждого фактора.
   • Идентификацию связанных факторов путем кластеризации целевой сущности с другими сущностями, имеющими схожие признаки.
   • Агрегацию этих факторов в Aggregate Feature и их оценок вклада в New Contribution Score.
   • Выбор этого агрегированного набора как основного подмножества.
5. Выбранные факторы добавляются в Data Graph и связываются с Estimate.
6. При получении запроса генерируется объяснение на основе связанных с Estimate факторов (используя Aggregate Feature).
7. Estimate и объяснение предоставляются в результатах поиска.

Claim 2 (Зависимый от 1): Уточняет метод выбора подмножества факторов на основе порогов.

Включает выбор фактора с наивысшей Contribution Value, если он превышает порог, ИЛИ выбор нескольких факторов, если их комбинированная Contribution Value превышает порог.

Claim 3 (Зависимый от 2): Определяет способ расчета Contribution Value для фактора.

Он рассчитывается как разница между двумя оценками: первой оценкой, вычисленной с использованием этого фактора, и второй оценкой, вычисленной без его использования. (Большая разница = высокое влияние).

Claim 4 (Зависимый от 2): Указывает, что Contribution Value может быть связана со Statistical Descriptor (например, дисперсией) признака.

Где и как применяется

Изобретение связывает процессы построения базы знаний и генерации ответов.

INDEXING – Индексирование и извлечение признаков
Основная работа происходит здесь, преимущественно в офлайн-режиме. Prediction Engine анализирует Data Graph, идентифицирует отсутствующие факты, вычисляет Estimates, определяет Influential Features и сохраняет эти вычисленные данные обратно в Data Graph для последующего быстрого использования.

QUNDERSTANDING – Понимание Запросов
Система может анализировать Search Records (логи запросов) офлайн, чтобы определить, какие типы фактов часто запрашиваются, но отсутствуют. Это используется для приоритизации работы Prediction Engine.

METASEARCH – Метапоиск и Смешивание
На этом этапе (онлайн) происходит использование предварительно вычисленных данных. Если запрос касается факта, для которого существует Estimate, система извлекает ее и связанные Influential Features. Explanation Engine генерирует читаемое объяснение (используя Templates) и формирует блок ответа (Knowledge Panel, Direct Answer).

Входные данные:

• Data Graph (Сущности, отношения, известные факты).
• Joint Distribution Models (Статистические данные о взаимосвязях фактов).
• Search Records (Логи запросов).

Выходные данные:

• Обогащенный Data Graph, содержащий новые узлы: Estimates (помеченные как неверифицированные) и связанные с ними Influential Features.
• Сформированный блок ответа в SERP с оценкой и объяснением.

На что влияет

• Конкретные типы контента: Влияет на представление фактологической информации о сущностях (люди, компании, продукты, места).
• Специфические запросы: Информационные запросы, направленные на получение конкретного факта (Кто? Что? Когда? Где?).
• Форматы контента: Knowledge Panels, Featured Snippets, прямые ответы (Direct Answers).

Когда применяется

• Триггеры активации (Офлайн): Обнаружение отсутствующего факта в Data Graph при условии, что для него существует Joint Distribution Model и доступно достаточно связанных данных (Features) для проведения надежной оценки.
• Триггеры активации (Онлайн): Когда пользователь запрашивает факт, который отсутствует в верифицированном виде, но для которого была предварительно вычислена и сохранена Estimate с объяснением.

Пошаговый алгоритм

Процесс А: Офлайн-оценка и подготовка объяснений (Prediction Engine)

1. Определение пробелов: Идентификация отсутствующих фактов для целевых сущностей (возможно, на основе логов запросов).
2. Генерация оценки: Вычисление Estimate с использованием Joint Distribution Model и множества доступных Features.
3. Расчет вклада: Вычисление Contribution Score для каждого Feature. (Сравнение оценки с фактором и без него, или анализ дисперсии).
4. Кластеризация и Агрегация: Группировка схожих Features в Aggregate Feature и расчет нового комбинированного Contribution Score.
5. Выбор влиятельных факторов (Логика порога):
   1. Выбирается фактор (или агрегат) с наивысшим вкладом.
   2. Если его оценка превышает порог, он выбирается, и процесс завершается.
   3. Если нет, добавляется следующий по значимости фактор.
   4. Если комбинированная оценка превышает порог, оба фактора выбираются, и процесс завершается.
   5. Процесс продолжается до достижения порога или максимального количества факторов (например, 3).
6. Сохранение: Сохранение Estimate и выбранных Influential Features как узлов в Data Graph. Estimate помечается как неверифицированная и связывается с сущностью; факторы связываются с Estimate.

Процесс Б: Обработка запроса (Search & Explanation Engines)

1. Получение запроса: Получение запроса, ищущего конкретный факт.
2. Извлечение оценки: Если верифицированный факт отсутствует, но найдена сохраненная Estimate, система извлекает ее и связанные Influential Features.
3. Генерация объяснения: Формирование читаемого объяснения на основе Influential Features (например, с использованием шаблонов).
4. Предоставление результата: Отображение Estimate и объяснения в SERP.

Какие данные и как использует

Данные на входе

Система опирается в первую очередь на структурированные данные и статистические модели.

• Структурные факторы (в контексте Data Graph): Факты, атрибуты сущностей и отношения между сущностями. Это основной источник Features для моделей оценки.
• Системные данные (Models of Joint Distribution): Предварительно обученные статистические модели, которые определяют взаимосвязи между различными типами фактов (например, связь между возрастом супругов).
• Поведенческие факторы (Search Records): Логи запросов используются для определения того, какие отсутствующие факты следует приоритизировать для оценки.

Какие метрики используются и как они считаются

• Contribution Score (Оценка вклада): Ключевая метрика. Рассчитывается двумя основными способами:
  1. Дифференциальный анализ (Claim 3): Разница между оценкой, полученной с использованием признака, и оценкой, полученной без него.
  2. На основе Statistical Descriptor (Claim 4): Например, обратная зависимость от дисперсии (variance) признака. Высокая дисперсия = низкая оценка вклада.
• Aggregate Contribution Score: Сумма или взвешенная сумма Contribution Scores для факторов, объединенных в кластер (Aggregate Feature).
• Threshold (Порог): Минимальный уровень Contribution Score, необходимый для включения фактора(ов) в объяснение. Используется для минимизации количества факторов при сохранении надежности объяснения.

1. Автоматическое расширение Knowledge Graph: Google активно использует статистический вывод (inference) для заполнения пробелов в Data Graph. Граф содержит не только извлеченные факты, но и вычисленные Estimates.
2. Объяснимость как фактор доверия (XAI): Основная цель патента — не просто вывести факт, а объяснить его происхождение пользователю, повышая доверие к автоматически сгенерированным данным.
3. Критичность взаимосвязей сущностей: Качество оценки полностью зависит от наличия и точности связанных фактов (Features). Связи между сущностями являются топливом для этого механизма вывода.
4. Фильтрация по силе доказательств: Система использует расчет Contribution Score и пороговые значения (Threshold), чтобы выделить только самые значимые и статистически надежные факторы для объяснения.
5. Агрегация слабых сигналов: Механизм кластеризации и агрегации (Aggregate Feature) позволяет объединять множество слабых, но схожих сигналов, чтобы сформировать сильное доказательство.
6. Офлайн-процессинг и хранение в графе: Оценки и данные для объяснений рассчитываются заранее (офлайн) и сохраняются непосредственно в Data Graph (помечаясь как неверифицированные) для ускорения ответов.

Best practices (это мы делаем)

• Обеспечение полноты данных о сущностях (Entity Completeness): Стремитесь к максимально полному описанию ключевых сущностей (компании, продукты, персоны) в авторитетных источниках и через микроразметку. Чем меньше пробелов, тем реже Google будет вынужден их оценивать.
• Укрепление и точность связей (Relationships): Четко определяйте отношения между сущностями (основатели, дочерние компании, авторы, семья). Патент показывает, что именно эти связи (Features) используются для вывода. Убедитесь в точности атрибутов связанных сущностей (например, даты рождения связанных людей), так как они напрямую влияют на оценки.
• Использование атрибутов для кластеризации: Предоставляйте атрибуты, которые позволяют Google кластеризовать вашу сущность с другими схожими (например, точная отрасль, категория продукта, география). Это помогает механизму агрегации (Aggregate Features) работать точнее.
• Мониторинг Панели Знаний: Регулярно проверяйте Панель Знаний на предмет появления оценочных данных. Если оценка неверна, проанализируйте объяснение, чтобы понять, какие связанные данные (Influential Features) привели к ошибке, и скорректируйте их в источниках.

Worst practices (это делать не надо)

• Игнорирование пробелов в данных: Оставлять ключевые факты о сущности незаполненными. Это вынуждает Google использовать механизм оценки, который может быть неточным.
• Предоставление противоречивой информации: Наличие несогласованных данных о сущности или связанных сущностях в разных источниках. Это может привести к некорректным Features, что снизит точность Estimate или повысит ее дисперсию.
• Фокус только на целевой сущности: Оптимизация информации только о главном бренде без учета связанных персон или продуктов. Точность данных о связанных сущностях критична.

Стратегическое значение

Патент подтверждает стратегическую важность Entity SEO и управления Графом Знаний. Понимание сущности в Google является целостным и зависит от всей экосистемы связанных фактов. Система готова выводить и объяснять факты, что усиливает роль поисковика как источника знаний. Долгосрочная стратегия должна быть направлена на построение точного и полного цифрового представления сущности и ее связей в сети, чтобы контролировать информацию, которую Google использует и выводит.

Практические примеры

Сценарий: Оценка даты основания компании

1. Отсутствующий факт: Дата основания Компании X в Knowledge Graph.
2. Анализ связанных фактов (Features): Google знает:
   • Основатель А уволился с предыдущей работы в Январе 2020.
   • Основатель Б уволился с предыдущей работы в Феврале 2020.
   • Первый продукт выпущен в Октябре 2020.
3. Оценка и Вклад: Система оценивает дату основания как Март 2020. Даты увольнения основателей агрегируются (Aggregate Feature) и вместе с датой выпуска продукта имеют наивысший Contribution Score.
4. Действие SEO-специалиста: Проверить точность дат увольнения и выпуска продукта на официальном сайте и в профилях (LinkedIn, Crunchbase). Если фактическая дата основания иная, необходимо четко указать ее (например, через foundingDate в Schema.org), чтобы заменить оценку фактом.
5. Результат в поиске (до оптимизации): "Компания X. Лучшая оценка даты основания: Март 2020. Основано на: Основатели начали работу (2020), Выпущен продукт (Октябрь 2020)".