Как Google автоматически распознает сущности в тексте и связывает их в Knowledge Graph с помощью динамических поисковых ссылок

Термины и определения

Fact Repository (Хранилище фактов)

База данных, хранящая фактическую информацию, извлеченную из множества документов. Основа для базы знаний (Knowledge Graph).

Object (Объект)

Сущность (человек, место, организация и т.д.), представленная в хранилище уникальным Object ID и набором связанных фактов.

Fact (Факт)

Единица информации об объекте, состоящая из Атрибута (Attribute) и Значения (Value).

Name Fact (Факт имени)

Специализированный факт, значение которого является именем объекта.

Importer (Импортер)

Компонент системы, который извлекает факты из документов-источников.

Janitor (Уборщик/Смотритель)

Компонент системы, который обрабатывает извлеченные факты. Выполняет очистку, нормализацию и, как описано в патенте, автоматическое связывание объектов.

Search Link (Поисковая ссылка) / Object Reference Link

Динамическая ссылка, встроенная в значение факта. Вместо фиксированного URL она содержит поисковый запрос (search query), который ищет объекты по определенным критериям (например, имени).

Object Names List (Список имен объектов)

Список, содержащий имена всех объектов в хранилище. Используется для сверки с фразами, найденными в тексте.

Phrase-identification metric (Метрика идентификации фраз)

Статистическая метрика, используемая для определения того, является ли последовательность слов значимой фразой.

Information Gain (Прирост информации)

Конкретная метрика для идентификации фраз. Измеряет, насколько вероятность появления последовательности слов превышает ожидаемую вероятность совместного появления отдельных слов в этой последовательности.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод автоматического связывания объектов в хранилище фактов.

1. Система хранит объекты и связанные с ними факты.
2. Система автоматически (без вмешательства пользователя) модифицирует факты:
   1. Создается список имен объектов (list of object names), который хранится в виде хеш-таблицы (hash table).
   2. Для факта с несколькими терминами система сравнивает phrase-identification metric для разных комбинаций терминов, чтобы идентифицировать потенциальные фразы (candidate phrases).
   3. Потенциальные фразы сверяются со списком имен. Проверка включает определение того, вызывает ли хеш (hash) фразы коллизию в хеш-таблице имен.
   4. Если фраза совпадает с именем объекта, система создает и сохраняет search link для факта. Выбор этой ссылки инициирует выполнение поискового запроса (search query) к хранилищу, используя имя объекта как критерий поиска.
3. При выполнении предопределенных критериев (predefined criteria), система автоматически повторяет шаги a-d (обновление связей).

Claim 3, 4 и 5 (Зависимые): Уточняют процесс идентификации фраз.

Идентификация включает формирование последовательностей смежных терминов и проверку, является ли последовательность значимой фразой. Проверка (Claim 4, 5) основана на том, превышает ли Information Gain последовательности порог, или превышает ли вероятность последовательности совместную вероятность отдельных терминов.

Claim 6 и 7 (Зависимые): Описывают возможность уточнения поискового запроса в ссылке (дизамбигуация).

Система может включать в критерии поискового запроса (search criteria) в search link дополнительные атрибуты объекта (например, категорию — Claim 6, или другой атрибут — Claim 7) для повышения точности связывания.

Где и как применяется

Изобретение описывает процессы, происходящие внутри системы обработки данных Google, и затрагивает этап индексирования и структурирования данных.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Процесс происходит после того, как Importers извлекли факты из документов (CRAWLING), и выполняется компонентом Janitor.

1. Извлечение фактов: Importers помещают факты в Fact Repository.
2. Обработка фактов (Janitor): Janitor выполняет очистку, нормализацию и процесс автоматического связывания. Это включает распознавание сущностей (NER) внутри значений фактов и их связывание (Entity Linking) с другими объектами в хранилище.

Этот процесс создает структурированную, взаимосвязанную базу знаний (граф знаний) из изначально слабоструктурированных данных.

Входные данные:

• Факты в Fact Repository (включая Name Facts и факты с текстовыми значениями).
• Статистические данные о частотности терминов для расчета Information Gain.

Выходные данные:

• Object Names List (список имен объектов).
• Модифицированные факты в Fact Repository, содержащие встроенные Search Links (ссылки на другие объекты).

На что влияет

• Структурирование знаний: Влияет на то, насколько полно и точно Google понимает связи между различными сущностями в Knowledge Graph.
• Все типы контента и тематики: Применяется универсально ко всем тематикам. Любой контент, из которого могут быть извлечены факты о сущностях, подвержен этому процессу.

Когда применяется

• Триггеры активации: Процесс связывания активируется после того, как факты были извлечены и помещены в хранилище (постобработка).
• Частота применения: Патент указывает (Claim 1), что процесс повторяется автоматически при выполнении "предопределенных критериев" (predefined criteria). Эти критерии могут включать (Claims 9-11):
  • Истечение заданного периода времени (например, ежедневно, еженедельно).
  • Модификация определенного количества фактов в хранилище.
  • Создание определенного количества новых фактов или объектов.

Пошаговый алгоритм

Процесс автоматической идентификации и связывания объектов (выполняется компонентом Janitor).

1. Инициализация (Сбор имен): Система обходит Fact Repository и извлекает все Name Facts. Создается Object Names List. Он хранится в виде хеш-таблицы для быстрого поиска. Опционально, вместе с именами сохраняются ключевые атрибуты (например, категория).
2. Итерация по фактам: Система начинает обход значений (Value) фактов в хранилище.
3. Идентификация фраз (Токенизация и Оценка): Для текстового значения каждого факта система идентифицирует потенциальные фразы (candidate phrases).
   • Текст разбивается на последовательности смежных слов (N-граммы).
   • Для каждой последовательности рассчитывается phrase-identification metric (например, Information Gain). Метрика определяет статистическую значимость совместного появления этих слов.
   • Последовательности, чья метрика превышает определенный порог (K), считаются потенциальными фразами.
4. Сверка с именами объектов (Entity Linking): Каждая потенциальная фраза сверяется с Object Names List. Это делается путем хеширования фразы и проверки наличия коллизии в хеш-таблице имен.
5. Создание связи (Конструирование Search Link): Если фраза совпадает с именем объекта:
   • Система конструирует поисковый запрос (search query). Например: [attribute{name} value{"Имя Объекта"}].
   • При необходимости добавляются уточняющие атрибуты (например, категория) для дизамбигуации.
   • Текстовое упоминание фразы становится анкорным текстом (anchor text) для этой поисковой ссылки.
6. Сохранение: Модифицированный факт со встроенной ссылкой сохраняется в Fact Repository.
7. Повторение (Обновление): Весь процесс повторяется автоматически при срабатывании predefined criteria.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке данных, уже находящихся в хранилище фактов.

• Контентные факторы (Внутри хранилища):
  • Значения фактов (Values): Текстовое содержание фактов, которое анализируется для поиска упоминаний объектов.
  • Имена объектов (Name Facts): Используются для создания Object Names List.
  • Атрибуты фактов (Attributes): Используются для идентификации Name Facts и опционально для уточнения поисковых запросов (например, атрибут "Категория").

Какие метрики используются и как они считаются

• Phrase-identification metric: Метрика для определения значимых фраз.
• Information Gain (Прирост информации): Основной пример метрики. Рассчитывается на основе вероятности появления последовательности слов в корпусе по сравнению с произведением вероятностей отдельных слов.
• Пороговые значения для Information Gain (Порог K): Чтобы последовательность считалась фразой, ее вероятность должна превышать совместную вероятность ее отдельных терминов в K раз. В описании патента предлагается формула для K: $K = 10^L$, где L — длина последовательности (количество слов). Например, для фразы из 3 слов (L=3) ее вероятность должна быть в 1000 раз выше ожидаемой.
• Хеш-функции и Хеш-таблицы: Используются для быстрого хранения списка имен и эффективного сопоставления фраз со списком имен объектов (Claim 1).

1. Автоматизация построения Графа Знаний: Патент описывает ключевой механизм автоматического и масштабируемого построения связей между сущностями (объектами) в базе знаний Google. Система не зависит от ручной разметки или существующих гиперссылок в исходных документах.
2. Статистическое распознавание сущностей (NER): Для идентификации упоминаний сущностей в тексте Google использует статистические методы (Information Gain). Система определяет значимые фразы, основываясь на том, насколько часто слова появляются вместе по сравнению с их индивидуальной частотой.
3. Динамическое связывание (Entity Linking): Связывание осуществляется путем сравнения идентифицированных фраз со списком известных имен объектов (Object Names List). Использование Search Links вместо фиксированных ссылок делает систему гибкой и позволяет связывать упоминания с сущностями, добавленными в базу позже исходного текста.
4. Механизм дизамбигуации: Система предусматривает возможность уточнения Search Link с помощью дополнительных атрибутов (например, категории объекта) для разрешения неоднозначностей, когда одно имя относится к разным сущностям.
5. Постоянное обновление: Процесс является итеративным и запускается автоматически по расписанию или при накоплении изменений (predefined criteria), что обеспечивает постоянное обогащение и актуализацию Графа Знаний.

Best practices (это мы делаем)

• Последовательное и четкое именование сущностей: Используйте полные и официальные имена сущностей (брендов, продуктов, людей) последовательно во всем контенте. Это повышает вероятность того, что статистический алгоритм (Information Gain) идентифицирует имя как значимую фразу и корректно свяжет его с объектом в Knowledge Graph.
• Оптимизация под распознавание фраз: Создавайте контент, в котором ключевые сущности упоминаются в естественных, но четких конструкциях. Частое совместное употребление терминов, составляющих имя сущности, увеличивает их статистическую значимость как фразы.
• Предоставление контекста для дизамбигуации: Поскольку система может использовать дополнительные атрибуты (например, категорию) для уточнения связей, важно предоставлять четкий контекст вокруг упоминания сущности. Указывайте тип сущности (например, "компания X", "актер Y"), чтобы помочь отличить ее от других сущностей с тем же именем.
• Создание авторитетных профилей сущностей (Entity SEO): Работайте над тем, чтобы ваша сущность была признана Google и добавлена в Fact Repository (через Schema.org, авторитетные источники и т.д.). Чем раньше сущность попадает в Object Names List, тем быстрее система начнет автоматически связывать упоминания о ней.

Worst practices (это делать не надо)

• Использование неоднозначных или сокращенных имен: Использование аббревиатур или общих слов в качестве основного имени бренда без достаточного контекста затрудняет идентификацию фразы и ее корректное связывание.
• Непоследовательное написание: Вариативность в написании имени сущности может снизить статистическую значимость каждой отдельной фразы, мешая алгоритму Information Gain идентифицировать ее.
• Изолированное упоминание сущностей: Упоминание сущности без контекста или связанных фактов может привести к ошибкам в связывании (Entity Linking) или игнорированию упоминания.

Стратегическое значение

Патент подтверждает фундаментальную роль автоматизированного извлечения знаний и построения Графа Знаний в поиске. Стратегия SEO должна быть сфокусирована на оптимизации сущностей (Entity-Oriented SEO). Важно помогать Google корректно идентифицировать ваши ключевые сущности и понимать их взаимосвязи. Понимание того, что Google использует статистический анализ фраз для распознавания сущностей, подчеркивает важность последовательности, частотности и контекста упоминаний.

Практические примеры

Сценарий: Помощь Google в распознавании нового продукта

Компания запускает новый продукт с уникальным названием, например, "Synergix Quantum Processor". Цель — чтобы Google быстро распознал это название как значимую фразу и связал ее с сущностью продукта.

1. Действие: Обеспечить частое и последовательное использование полного названия "Synergix Quantum Processor" на официальном сайте, в пресс-релизах и авторитетных публикациях.
2. Механизм (по патенту): Компонент Importer извлекает эти тексты. Алгоритм Information Gain анализирует частоту совместного появления этих трех слов. Из-за высокой частоты совместного употребления система идентифицирует "Synergix Quantum Processor" как значимую фразу (candidate phrase).
3. Действие: Предоставить четкий контекст, например, всегда указывать категорию: "The Synergix Quantum Processor, a new CPU for data centers...".
4. Механизм (по патенту): Система извлекает факты (например, Категория: CPU). При связывании эта информация может быть использована для дизамбигуации (уточнения Search Link), если появится другой продукт с похожим названием.
5. Ожидаемый результат: Google быстрее создает объект для продукта в своей базе знаний. Последующие упоминания продукта будут автоматически распознаваться и связываться с этим объектом, укрепляя его авторитетность.