Как Google проверяет, выбирает и подтверждает факты из интернета для своей базы знаний (Knowledge Graph)

Термины и определения

Accepted A-V pair (Принятая пара A-V)

Пара атрибут-значение, которая удовлетворила всем требованиям подтверждения и была принята в базу фактов.

Attribute-Value Pair (A-V Pair) (Пара Атрибут-Значение)

Структура данных для представления факта. Например, Атрибут="Столица", Значение="Варшава".

Common Subject (Общий субъект)

Сущность (человек, место, организация), к которой относятся извлеченные факты.

Corroboration Requirement (Требование подтверждения)

Критерии, которым должен удовлетворять факт для его принятия в базу. Включает First Corroboration Requirement (для атрибута) и Second Corroboration Requirement (для значения).

Fact Repository (База фактов)

Хранилище подтвержденной фактической информации (аналог Knowledge Graph). Сущности представлены как Objects.

Page Importance Metric (Метрика важности страницы)

Оценка авторитетности, популярности или репутации исходного документа. Патент явно упоминает PageRank в качестве примера.

Page importance-weighted score (Оценка, взвешенная по важности страницы)

Метрика для оценки достоверности значения. Рассчитывается как сумма или среднее значение Page Importance Metrics источников, поддерживающих данное значение.

Predefined Margin (Предопределенный отрыв)

Минимальная разница в оценках между лучшим значением и его конкурентами, необходимая для принятия лучшего значения. Обеспечивает "однобокий" (lopsided) консенсус.

Source (Источник)

Документ (например, веб-страница), из которого был извлечен факт.

Source Count Score (Оценка количества источников)

Количество независимых источников, подтверждающих атрибут (First Source Count Score) или конкретное значение (Second Source Count Score).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод подтверждения фактов.

1. Система идентифицирует множество исходных документов, содержащих факты об общем субъекте.
2. Из них извлекаются пары атрибут-значение (A-V pairs).
3. Происходит подтверждение факта путем определения, соответствует ли конкретная пара A-V предопределенным требованиям.
4. В ответ на подтверждение обновляется статус этой пары в Fact Repository.
5. Ключевой аспект: Подтверждение включает в себя определение того, что атрибут пары соответствует First Corroboration Requirement, И что сама пара (атрибут+значение) соответствует Second Corroboration Requirement.

Это определяет двухуровневую систему проверки: сначала проверяется атрибут, затем значение.

Claim 7 (Независимый пункт): Описывает метод подтверждения с акцентом на механизм оценки.

1. Идентифицируются источники и извлекаются A-V pairs.
2. Процесс подтверждения включает:
   • Идентификацию кандидата в атрибуты.
   • Вычисление первой оценки (first score) на основе атрибута.
   • Определение, что первая оценка превышает первый порог.
   • Идентификацию кандидата в значения для этого атрибута.
   • Вычисление второй оценки (second score) на основе атрибута и значения.
   • Определение, что вторая оценка превышает вторые оценки других кандидатов в значения по крайней мере на predefined margin.
3. В ответ на подтверждение обновляется статус соответствующей пары A-V в Fact Repository.

Этот пункт детализирует, как работают требования подтверждения: через сравнение оценок с порогами и обеспечение значительного отрыва победителя.

Где и как применяется

Изобретение применяется на этапе обработки данных для наполнения базы знаний (Knowledge Graph).

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются исходные документы (Sources) и вычисляются их метрики авторитетности (Page Importance Metric, например, PageRank).

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Это не стандартное индексирование веб-страниц, а процесс обработки данных для Fact Repository.

1. Извлечение фактов: Импортер (Importer) извлекает A-V pairs из документов.
2. Группировка: Факты группируются по общему субъекту (Common Subject).
3. Подтверждение (Corroboration): Менеджер репозитория (Repository Manager) применяет описанный алгоритм для проверки фактов с использованием Source Count Scores и Page Importance Metrics.
4. Сохранение: Подтвержденные факты (Accepted A-V pairs) сохраняются в Fact Repository и индексируются в Fact Index.

RANKING / METASEARCH
Подтвержденные факты из Fact Repository используются на этих этапах для формирования ответов на фактические запросы и отображения Knowledge Panels.

Входные данные:

• Извлеченные A-V pairs.
• Идентификаторы источников (URL).
• Page Importance Metrics (например, PageRank) для каждого источника.

Выходные данные:

• Набор подтвержденных фактов (Accepted A-V pairs) в Fact Repository.
• Обновленный статус фактов (принято/отклонено).

На что влияет

• Типы контента и форматы: Наибольшее влияние оказывается на структурированные и полуструктурированные данные, а также текст, из которого можно извлечь четкие фактические утверждения (пары атрибут-значение).
• Специфические запросы: Влияет на информационные запросы, где пользователь ищет конкретный факт (например, "возраст Илона Маска", "столица Польши", "дата основания Google").
• Конкретные ниши: Влияет на все тематики, представленные в Knowledge Graph, включая бренды, локальный бизнес, биографии, продукты, медиа. Критически важно для YMYL-тематик, где точность фактов имеет первостепенное значение.

Когда применяется

• Временные рамки: Алгоритм применяется в процессе импорта новых фактов в Fact Repository или при периодической переоценке уже хранящихся фактов для поддержания их актуальности и точности.
• Условия работы: Применяется, когда система обнаруживает факты об одном и том же субъекте в нескольких источниках, что делает возможным процесс подтверждения через сравнение.

Пошаговый алгоритм

Процесс подтверждения фактов можно разделить на три фазы.

Фаза 1: Первичное подтверждение (Initial Corroboration)

1. Идентификация источников и субъекта: Определяются источники, содержащие факты об общем субъекте.
2. Извлечение фактов: Извлекаются пары атрибут-значение (A-V pairs).
3. Оценка Атрибутов (Уровень 1): Для каждого атрибута вычисляется First Source Count Score (количество независимых источников, упоминающих этот атрибут).
4. Фильтрация Атрибутов: Отбираются атрибуты, чья оценка превышает первый порог (N).
5. Оценка Значений (Уровень 2): Для отобранных атрибутов анализируются их значения. Для каждого значения вычисляется Second Source Count Score и Page importance-weighted score (на основе PageRank источников).
6. Фильтрация Значений: Отбираются значения, чья Second Source Count Score превышает второй порог (M).
7. Выбор Победителя: Среди отобранных значений выбирается то, чья Page importance-weighted score превышает оценки конкурентов на predefined margin (например, по формуле