Как Google итеративно распознает сущности на страницах и рассчитывает их важность с помощью PageRank

Термины и определения

Disambiguation Engine (Механизм устранения неоднозначности)

Компонент системы, который рассчитывает вероятность того, что документ ссылается на конкретную сущность, используя итеративные модели.

Entity (Сущность)

Конкретный объект, человек, место или концепция (например, Майкл Джексон – певец), который система пытается идентифицировать и отличить от других сущностей с тем же именем.

Fact Repository (Репозиторий фактов)

База данных, хранящая фактическую информацию, извлеченную из документов. Факты связаны с сущностями через Object ID. Функциональный аналог Knowledge Graph.

Feature (Признак)

Любое свойство, которое может быть представлено в документе и связано с сущностью. Это могут быть факты (дата рождения, профессия), имена, текст, n-граммы, изображения, метаданные, URL источника и т.д.

Importance (Важность сущности)

Метрика значимости сущности. Рассчитывается на основе количества и качества (например, PageRank) документов, ссылающихся на нее.

Model (Модель)

Набор правил или вероятностная модель, определяющая комбинацию признаков, достаточную для идентификации документа, ссылающегося на конкретную сущность. Модель определяет вероятность ссылки на сущность при наличии определенного набора признаков.

PageRank

Метрика важности документа. Явно используется в патенте как свойство документа (Property of document) для расчета важности сущности.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной итеративный метод идентификации документов, ссылающихся на сущность, и обнаружения новых признаков.

1. Система идентифицирует первый набор документов, используя Первую Модель (first model) и Первый Набор Признаков (first set of features). Модель определяет, какие комбинации признаков достаточны для идентификации.
2. Система определяет Вторую Модель (second model) на основе анализа признаков, найденных в первом наборе документов. (Этап уточнения понимания того, какие признаки лучше всего идентифицируют сущность).
3. Система идентифицирует второй набор документов, используя Вторую Модель.
4. Система идентифицирует Второй Набор Признаков (потенциально новые признаки) на основе анализа второго набора документов.
5. Система определяет, связаны ли эти новые признаки с сущностью.
6. Если ДА, система использует эти новые признаки (и Третью Модель) для идентификации третьего набора документов.

Ядро изобретения — это итеративный процесс обучения (бутстрэппинг), который позволяет системе одновременно уточнять модель дисамбигуации и автоматически обнаруживать новые релевантные признаки (features) для сущности на основе анализа корпуса документов.

Claim 4 (Зависимый от 1): Уточняет механизм определения второй модели.

Определение второй модели включает определение количества вхождений (number of occurrences) первого набора признаков в первом наборе документов. Это указывает на статистический анализ, где частота признаков используется для обучения или уточнения весов в модели.

Claim 8, 9, 10 (Зависимые от 1): Описывают расчет важности сущности.

Важность (importance) сущности оценивается на основе второго набора документов (Claim 8). Эта оценка может базироваться на количестве документов (Claim 9) или на оценке важности самих этих документов (Claim 10), например, их PageRank.

Где и как применяется

Изобретение в первую очередь применяется на этапах анализа данных для построения и уточнения базы знаний Google (Fact Repository или Knowledge Graph).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения. Система извлекает признаки из документов. Описанный механизм (Disambiguation Engine) затем обрабатывает эти данные для устранения неоднозначности сущностей и связывания фактов с правильными Object ID. Это процесс аннотирования контента и его связи с семантической базой данных. Также на этом этапе рассчитывается и обновляется Entity Importance.

RANKING / RERANKING – Ранжирование и Переранжирование
Результаты работы этого алгоритма напрямую влияют на ранжирование:

• Понимание контента: Точная идентификация сущностей на странице необходима для оценки ее релевантности запросу.
• Сигналы E-E-A-T: Правильная идентификация авторов и организаций критична для оценки авторитетности.
• Важность сущности: Рассчитанная оценка важности сущности, основанная на PageRank, может использоваться как сигнал ранжирования или для определения приоритета показа сущности в Knowledge Panel.

Входные данные:

• Набор документов (веб-страницы, базы данных и т.д.).
• Начальный набор признаков (фактов), связанных с сущностью.
• Свойства документов (например, PageRank).

Выходные данные:

• Вероятность того, что документ ссылается на сущность.
• Уточненные модели для распознавания сущности.
• Новые признаки/факты, связанные с сущностью.
• Оценка важности сущности (Entity Importance).

На что влияет

• Специфические запросы: Наибольшее влияние на информационные запросы, связанные с сущностями, имеющими общие имена (например, запросы о людях, географических названиях, названиях компаний или продуктов).
• Конкретные ниши: Критически важно в YMYL-тематиках для правильной идентификации экспертов, организаций и медицинских понятий, где точность идентификации сущности влияет на оценку E-E-A-T.

Когда применяется

Алгоритм применяется в процессе обработки и анализа индекса (офлайн или во время индексации) для построения и обновления Fact Repository. Он активируется, когда необходимо обработать документы, содержащие неоднозначные ссылки на сущности, или когда система стремится расширить знания о конкретной сущности и оценить ее важность. Итеративный процесс останавливается при достижении сходимости (стабилизации модели), исчерпания ресурсов или по достижении заданного числа итераций.

Пошаговый алгоритм

Процесс итеративного распознавания и обучения (Бутстрэппинг).

1. Инициализация: Выбор Сущности E. Загрузка известных Признаков F1 (например, имя, дата рождения, профессия). Определение начальной Модели M1 (например, "документ релевантен, если содержит Имя + любой другой Признак").
2. Первичная Идентификация: Поиск и идентификация первого набора документов D1, которые удовлетворяют условиям M1 на основе F1.
3. Анализ Признаков и Уточнение Модели:
   • Анализ частоты встречаемости всех признаков в наборе D1.
   • Сравнение этой частоты с частотой встречаемости признаков во всем корпусе документов.
   • Выявление дискриминативных признаков (часто встречаются в D1, редко в остальном корпусе).
   • Создание уточненной Модели M2, где дискриминативным признакам присваивается больший вес.
4. Вторичная Идентификация: Поиск и идентификация второго набора документов D2, используя Модель M2. Этот набор более точен, чем D1.
5. Обнаружение Новых Признаков (Опционально): Идентификация признаков, которые часто встречаются в D2, но еще не входят в F1. Валидация этих новых признаков и добавление их в набор (формирование F2).
6. Итерация: Повторение шагов 3-5 с использованием обновленных моделей и наборов признаков до достижения сходимости.
7. Расчет Важности Сущности: Для финального набора идентифицированных документов рассчитывается Важность Сущности (I). В описании патента приводится формула: