Как Google извлекает факты из неструктурированного текста, используя «Контекстные Облака» для наполнения Knowledge Graph

Термины и определения

Context Cloud (Контекстное Облако)

Набор объектов (слова, числа, сущности), которые встречаются в документе рядом (пространственно или синтаксически) с целевым объектом. Контекстное облако характеризует контекст использования целевого объекта в данном документе.

Target Object (Целевой объект)

Сущность или объект, обнаруженный в неструктурированном тексте, для которого система пытается определить значение или отношение.

Proximate Object (Близлежащий объект)

Объект, находящийся рядом с целевым объектом в документе. Является элементом Контекстного Облака.

Occurrence List (Список встречаемости)

База данных или индекс, хранящий статистику о том, какие объекты совместно встречаются в корпусе документов, и частоту их совместной встречаемости (frequency of co-occurrence). Используется для поиска похожих контекстов.

Knowledge Graph (Граф Знаний)

Структурированная база знаний, хранящая сущности, факты о них и отношения между ними. Цель изобретения — автоматическое наполнение этого графа.

Seed Knowledge (Начальные знания)

Существующие структурированные данные или ранее проанализированные документы, где отношения между объектами уже известны. Используются как эталон для анализа новых неструктурированных данных.

Unstructured Data / Semi-structured Data (Неструктурированные / Слабоструктурированные данные)

Текст в свободной форме (free-form text), который не соответствует заранее определенным шаблонам или структурам данных, что затрудняет машинное понимание отношений между объектами.

N-gram

Последовательность из N элементов (символов, слов). Используется на этапе парсинга текста для идентификации объектов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает систему для генерации и использования графов знаний, охватывая весь процесс от извлечения факта до его использования в поиске.

1. Система обнаруживает целевой объект (target data object) в документе в Интернете.
2. Обнаруживается второй объект, находящийся рядом (proximate) с целевым объектом.
3. Идентифицируется третий объект, ассоциированный со вторым объектом, на основе частоты совместной встречаемости (frequency of co-occurrence) второго и третьего объектов в сохраненных списках встречаемости (stored occurrence lists).
4. Определяется отношение (relationship), ассоциированное с целевым объектом, на основе идентифицированного третьего объекта.
5. В Knowledge Graph генерируется первая запись, включающая целевой объект и определенное отношение.
6. Далее система использует эту запись для ответа на запрос: получает запрос, идентифицирует сгенерированную запись как релевантную, генерирует результат поиска на ее основе и отправляет его пользователю.

Это ядро патента, описывающее извлечение фактов из текста. Если система видит "А рядом с Б" (формируя Context Cloud), она проверяет базу данных (occurrence lists и seed knowledge): "С чем обычно встречается Б?". Если Б часто встречается с отношением В (например, слово "родился" часто встречается с фактом "Дата Рождения"), система делает вывод, что А имеет отношение В, и записывает этот факт в Knowledge Graph. Затем этот факт используется в поиске.

Claim 6 и 11 (Независимые пункты): Описывают аналогичный процесс, но как компьютерно-реализуемый метод и как неперезаписываемый компьютерный носитель соответственно.

Где и как применяется

Изобретение применяется преимущественно на этапе обработки контента и построения базы знаний.

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются документы (веб-страницы), которые служат источником неструктурированных данных для анализа.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. В рамках этого этапа Knowledge Server выполняет:

• Парсинг и NLP: Текст разбирается (например, на n-grams), идентифицируются сущности (Target Objects).
• Извлечение фактов (Fact Extraction): Применяется механизм Context Clouds для анализа неструктурированного текста и вывода отношений, когда стандартные шаблоны не работают.
• Построение Knowledge Graph: Извлеченные факты используются для создания новых записей в Knowledge Graph.
• Генерация Occurrence Lists: Система (например, Data Mining Engine) также может обновлять occurrence lists на основе анализа всего корпуса документов.

METASEARCH – Метапоиск и Смешивание
Результаты работы алгоритма (новые факты в Knowledge Graph) используются на этом этапе для генерации обогащенных результатов поиска, таких как Knowledge Panels или прямые ответы, в ответ на запросы пользователей (как прямо указано в Claims).

Входные данные:

• Неструктурированные или слабоструктурированные документы.
• Существующий Knowledge Graph или другие базы данных (Seed Knowledge).
• Предварительно рассчитанные или динамически генерируемые Occurrence Lists.

Выходные данные:

• Новые или обновленные записи в Knowledge Graph (сущности и отношения между ними).

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на информационный контент, где факты часто излагаются в свободной текстовой форме: биографии, новостные статьи, описания продуктов, исторические справки, блоги.
• Специфические запросы: Влияет на фактические запросы (например, "когда родился Брайс Харпер"), где ответ может быть извлечен из Knowledge Graph, наполненного с помощью этого механизма.
• Конкретные ниши или тематики: Влияет на все ниши, но особенно важен в тематиках, где много сущностей и отношений (медицина, история, развлечения, спорт), включая YMYL-темы, где точность фактов критична.

Когда применяется

• Условия работы алгоритма и Триггеры активации: Алгоритм активируется, когда система идентифицирует объект в тексте и определяет, что окружающий его текст является неструктурированным или слабоструктурированным (т.е. не соответствует известным шаблонам извлечения данных).
• Частота применения: Применяется в процессе индексации контента — либо при первичном сканировании, либо при переобработке корпуса документов для обновления Knowledge Graph.

Пошаговый алгоритм

Этап 1: Обнаружение объекта и анализ структуры

1. Парсинг текста: Документ разбирается на n-граммы.
2. Идентификация сущности: В тексте распознается сущность (например, дата).
3. Анализ окружающего текста: Анализируются n-граммы, окружающие сущность.
4. Проверка структуры данных: Система определяет, соответствуют ли сущность и окружающий текст заранее определенному структурированному шаблону.
   • Если ДА: Применяется стандартный шаблон извлечения данных. Процесс завершается.
   • Если НЕТ: Сущность обозначается как Целевой Объект (Target Object).

Этап 2: Генерация контекста и поиск кандидатов

5. Генерация Целевого Контекстного Облака: Идентифицируются Близлежащие Объекты (Proximate Objects) и создается Target Context Cloud.
6. Поиск в Списках Встречаемости: Система обращается к Occurrence Lists для поиска других документов (Seed Knowledge), где встречается Целевой Объект и/или Близлежащие Объекты.
7. Идентификация Кандидатов: Отбираются документы-кандидаты, которые содержат похожие контексты.
8. Генерация Контекстных Облаков Кандидатов: Для отобранных кандидатов создаются или извлекаются их собственные Context Clouds.

Этап 3: Сравнение и вывод отношений

9. Сравнение и Оценка: Target Context Cloud сравнивается с облаками кандидатов. Рассчитывается оценка схожести (Similarity Score) или достоверности (Confidence Level). Оценка может учитывать количество совпадающих объектов и их близость к целевому объекту.
10. Выбор наилучшего соответствия: Идентифицируется кандидат с наивысшей оценкой схожести, превышающей порог.
11. Вывод Отношения: Система анализирует известное отношение Целевого Объекта в документе-кандидате и присваивает это отношение Целевому Объекту в исходном документе.

Этап 4: Обновление Базы Знаний

12. Обновление Knowledge Graph: Проверяется наличие записи для Целевого Объекта. Создается новая запись или обновляется существующая с учетом нового факта/отношения.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке текстовых данных и использовании статистики корпуса.

• Контентные факторы: Основные данные — это текст документа, разобранный на n-grams и объекты.
• Структурные факторы (Контекстуальные): Критически важна близость (proximity) слов и сущностей друг к другу в тексте (в одном предложении, абзаце или пространственной локации). Система также анализирует общую структуру, чтобы определить, является ли текст шаблонным или свободным.

Какие метрики используются и как они считаются

• Frequency of Co-occurrence (Частота совместной встречаемости): Метрика из Occurrence Lists, показывающая, насколько часто два объекта появляются вместе в корпусе документов. Используется для идентификации потенциальных отношений и поиска кандидатов.
• Оценка Схожести Контекстных Облаков: Метрика, рассчитываемая при сравнении Target Context Cloud и Candidate Context Clouds. Может учитывать:
  • Количество совпадающих Proximate Objects.
  • Расстояние между объектами в документе (может присваиваться вес, обратно пропорциональный расстоянию — чем ближе, тем важнее).
  • Схожесть паттернов расположения объектов.
• Confidence Level Score (Оценка достоверности): Статистические методы, используемые для определения наилучшего соответствия при идентификации сущностей (например, при опечатках) и при выборе наиболее похожего контекстного облака.
• Пороги: Используются пороговые значения оценки схожести/достоверности для принятия решения о выводе нового отношения.

1. Google активно развивает методы понимания контента без разметки: Патент демонстрирует сложный механизм, позволяющий извлекать факты из обычного текста, не полагаясь на Schema.org или фиксированные шаблоны (вроде таблиц или списков). Система учится понимать язык, наблюдая за контекстом использования слов в огромном корпусе документов.
2. Контекст и близость слов критичны: Механизм Context Clouds основан на анализе слов, непосредственно окружающих сущность (proximity). Четкость и ясность контекста напрямую влияют на способность Google правильно интерпретировать факты.
3. Использование "Начальных Знаний" (Seed Knowledge): Система не пытается понять текст с нуля. Она использует уже существующие знания (Knowledge Graph) как эталон и ищет похожие паттерны в новом контенте. Это метод бутстрэппинга (bootstrapping).
4. Статистический подход к пониманию отношений: Occurrence Lists играют ключевую роль. Google определяет отношения не только через грамматический разбор, но и через статистику совместной встречаемости (co-occurrence): если слово "родился" в 99% случаев соседствует с датой рождения, система выучивает это отношение.
5. Прямое влияние на SERP: Патент явно указывает (в Claims), что извлеченные и сохраненные в Knowledge Graph факты напрямую используются для генерации результатов поиска в ответ на запросы пользователей.

Best practices (это мы делаем)

• Обеспечивайте четкий контекст и семантическую близость: При упоминании ключевых сущностей (имен, дат, названий) убедитесь, что окружающий текст ясно описывает их атрибуты и отношения. Связанные сущности и определяющие их термины должны находиться близко друг к другу (в идеале, в одном предложении). Это помогает формировать точные Context Clouds.
• Используйте естественные и распространенные формулировки: Поскольку система полагается на сравнение контекстов и статистику (Occurrence Lists), использование общепринятых фраз для описания отношений (например, "основан в", "автор книги") повышает вероятность правильного извлечения фактов.
• Структурируйте контент логически: Хотя система предназначена для неструктурированного текста, логичное построение предложений и абзацев упрощает работу Context Cloud Engine. Используйте ясную структуру Субъект-Предикат-Объект, когда это возможно.
• Работайте над Topical Authority: Создавайте контент, который полно и точно описывает сущности в вашей нише. Становясь авторитетным источником, вы увеличиваете вероятность того, что ваш контент будет использоваться для наполнения Knowledge Graph и, возможно, станет частью Seed Knowledge.

Worst practices (это делать не надо)

• Разделение сущностей и контекста: Не следует размещать сущность и описывающие ее атрибуты далеко друг от друга в тексте или в верстке. Это размывает Context Cloud и снижает веса близости (proximity).
• Использование неоднозначного или жаргонного языка для фактов: Использование нестандартных или слишком сложных языковых конструкций для описания простых фактов может привести к тому, что система не найдет соответствий в Seed Knowledge.
• Keyword Stuffing и неестественный текст: Переоптимизированный текст нарушает естественное распределение слов и создает "шумные" Context Clouds, что снижает достоверность извлекаемых фактов.
• Игнорирование Entity SEO: Полагаться только на традиционное ранжирование по ключевым словам и игнорировать оптимизацию под сущности и наполнение Knowledge Graph — проигрышная стратегия.

Стратегическое значение

Патент подтверждает стратегию Google по переходу от индексации строк к индексации сущностей и знаний (Entity-Oriented Search). Способность извлекать структурированные данные из неструктурированного текста позволяет Google масштабировать Knowledge Graph экспоненциально. Для Senior SEO-специалистов это подчеркивает необходимость фокусироваться на создании качественного, фактически точного и семантически ясного контента. Стратегия должна быть направлена на то, чтобы сайт был распознан как надежный источник информации о сущностях в своей тематике.

Практические примеры

Сценарий: Оптимизация биографической статьи для Knowledge Graph

Задача: Убедиться, что Google правильно извлечет дату рождения спортсмена Брайса Харпера из статьи.

• Плохая реализация (Сложно для извлечения):
  "Брайс Харпер — звезда бейсбола. В 1992 году, 16 октября, мир стал лучше, когда он появился на свет. Он продолжает радовать фанатов."
  Проблема: Контекст размыт, слова, указывающие на рождение ("появился на свет"), находятся далеко от даты и имени. Context Cloud шумный, близость низкая.
• Хорошая реализация (Оптимизировано для Context Clouds):
  "Звезда бейсбола Брайс Харпер (Bryce Harper) родился 16 октября 1992 года."
  Преимущество: Сущности ("Брайс Харпер", "16 октября 1992 года") находятся рядом (высокая proximity). Ключевое слово отношения ("родился") является распространенным и имеет четкую статистику в Occurrence Lists. Система легко сравнит этот Context Cloud с Seed Knowledge и извлечет факт "Дата Рождения".