Как Google использует машинное обучение для извлечения фактов из текста и перевода вопросов на естественном языке в пути Графа Знаний

Описание

Какую задачу решает

Патент описывает решения для двух фундаментальных проблем:

1. Масштабирование Графа Знаний: Автоматизация процесса добавления фактов (кортежей) в граф данных (Data Graph). Ручное наполнение графа медленно и сложно. Система автоматизирует извлечение знаний из больших текстовых корпусов (например, Интернета).
2. Ответы на Естественном Языке: Интерпретация запросов на естественном языке (Natural Language Queries) и их сопоставление со структурированными данными в графе. Система устраняет необходимость вручную создавать и поддерживать правила или таблицы синонимов для отношений в графе.

Что запатентовано

Запатентована система, использующая машинное обучение для понимания и использования графа данных. Суть изобретения заключается в обучении модуля машинного обучения (Machine Learning Module) генерировать взвешенные признаки (weighted features). Каждый признак представляет собой путь (path) или последовательность отношений в графе. Эти пути используются как для вывода новых фактов из текста для расширения графа, так и для нахождения ответов на запросы пользователей.

Как это работает

Система использует единый подход на основе машинного обучения в двух режимах:

• Расширение графа: Система анализирует веб-документы, создавая Text Graph (синтаксический разбор), и связывает его с существующим Data Graph. ML-модуль обучается находить паттерны (пути) в этой объединенной структуре, которые указывают на новые отношения между сущностями. Факты с высокой достоверностью автоматически добавляются в граф.
• Ответы на запросы: ML-модуль обучается сопоставлять конкретные вопросы (например, «кто жена X?») с путями в графе. Обучение происходит с использованием «шумных ответов» (noisy query answers) – например, из логов поиска или стандартных результатов. Когда поступает запрос, система идентифицирует исходную сущность (X) и использует обученные взвешенные пути, чтобы найти целевую сущность (ответ).

Актуальность для SEO

Критически высокая. Патент описывает фундаментальные механизмы, лежащие в основе семантического поиска Google: автоматическое наполнение Графа Знаний из текста и генерация прямых ответов (Featured Snippets, Knowledge Panels). Эти методы являются центральными для понимания сущностей и интентов в современном поиске.

Важность для SEO

Патент имеет высокое стратегическое значение (8.5/10). Он детально описывает, как Google автоматизирует понимание фактов и отношений. Для SEO это означает, что критически важно предоставлять информацию таким образом, чтобы синтаксические парсеры могли точно извлекать отношения между сущностями. Ясность, точность и семантическое структурирование контента становятся определяющими для видимости в результатах, основанных на Графе Знаний.

Детальный разбор

Термины и определения

Data Graph (Граф данных)

Направленный граф с размеченными ребрами (например, Knowledge Graph). Узлы представляют сущности (entities), а ребра – отношения (relationships).

Text Graph (Текстовый граф)

Граф, генерируемый из документов путем синтаксического анализа (разбор зависимостей, выделение частей речи и т.д.). Отражает синтаксическую структуру предложений.

Syntactic-Semantic Parsing Engine (Движок синтактико-семантического парсинга)

Компонент, который анализирует документы (Crawled Documents) и генерирует Text Graph.

Mention (Упоминание)

Ребро, которое связывает Text Graph и Data Graph. Создается, когда именная группа в тексте сопоставляется с сущностью в графе данных (Entity Resolution).

Machine Learning Module (Модуль машинного обучения)

Алгоритм (например, Path Ranking Algorithm), который обучается генерировать взвешенные признаки для предсказания отношений или ответов на запросы.

Feature / Path (Признак / Путь)

Последовательность ребер (отношений) в графе данных или в объединенном графе (Data + Text).

Weighted Feature (Взвешенный признак)

Признак с ассоциированным весом. В контексте ответов на запросы (Claims), вес представляет собой вероятность (probability) предсказания правильного ответа с использованием этого пути.

Tuple (Кортеж / Триплет)

Базовая единица графа данных (<Сущность А, Отношение, Сущность Б>). Представляет собой факт.

Noisy Query Answers (Шумные ответы на запрос)

Набор ответов, используемый для обучения ML-модуля в режиме ответов на вопросы. Может быть получен из стандартной поисковой системы по документам или из журналов поиска (search records).

Confidence Score (Оценка достоверности)

Итоговая оценка для выведенного факта или ответа на запрос. Рассчитывается как комбинация (например, сумма) весов всех признаков (путей), которые привели к этому результату.

Ключевые утверждения (Анализ Claims)

Хотя описание патента охватывает как расширение графа (FIG 3, 4), так и запросы к нему (FIG 5, 6), основные Claims (Формула изобретения) фокусируются именно на механизме запросов к графу с использованием NLQ.

Claim 1 (Независимый пункт): Описывает метод запроса к графу данных в реальном времени.

1. Система получает доступ к обученному ML-модулю. Модуль содержит модель с взвешенными признаками (weighted features) для конкретного запроса.
2. Ключевое определение: Каждый признак – это путь в графе, а вес – это вероятность предсказания правильного ответа с использованием этого пути.
3. Система получает поисковый запрос пользователя.
4. Запрос сопоставляется с конкретным запросом (моделью).
5. Терм в запросе сопоставляется с первой сущностью (Исходная сущность) в Data Graph.
6. Идентифицируется вторая сущность (Ответ) с использованием первой сущности И взвешенных признаков (путей).
7. Информация о второй сущности предоставляется в ответ.

Claim 2-6 (Зависимые): Детализируют процесс обучения модели (упомянутый в Claim 1).

1. Обучение включает генерацию noisy query answers.
2. Из них генерируются положительные и отрицательные обучающие примеры.
3. Источниками шумных ответов могут быть результаты поиска по корпусу документов или логи прошлых запросов (search records).
4. Положительные примеры выбираются путем сопоставления сущностей (entity matching) и выбора наиболее часто встречающихся.

Claim 7-9 (Зависимые): Детализируют процесс оценки и выбора ответа.

1. Для второй сущности определяется confidence score на основе веса признаков.
2. Если несколько признаков (путей) ведут к одной и той же сущности, используется комбинация (например, сумма) их весов в качестве итоговой оценки достоверности.

Где и как применяется

Изобретение затрагивает практически все этапы поисковой архитектуры, так как описывает как процесс индексирования знаний, так и процесс ответа на запросы.

CRAWLING & INDEXING (Расширение Графа)
Это ключевые этапы для механизма Расширения Графа (описан в патенте, FIG 3, 4):

• Crawled Documents служат источником данных.
• Syntactic-Semantic Parsing Engine обрабатывает документы для создания Text Graph.
• Происходит связывание Text Graph и Data Graph через Mention ссылки.
• Training Engine и Machine Learning Module работают офлайн для обучения моделей отношений.
• Knowledge Discovery Engine выводит новые факты и добавляет их в Data Graph (Индекс).

QUNDERSTANDING (Понимание Запросов)
Ключевой этап для механизма Ответов на Запросы (основной фокус Claims, FIG 5, 6):

• Система получает запрос на естественном языке.
• Запрос сопоставляется с предварительно обученной моделью запроса (Query Model).
• Термы в запросе сопоставляются с сущностями в Data Graph (определение Исходной сущности).

RANKING / METASEARCH (Выполнение Запроса к Графу)
На этих этапах происходит генерация ответа из графа:

• Система использует Исходную сущность и взвешенные признаки (пути) из Модели Запроса.
• Происходит обход графа (Graph Traversal).
• Идентифицируются Целевые сущности (ответы) и рассчитываются confidence scores путем агрегации весов путей.
• Наиболее достоверный ответ используется для генерации результата (например, Featured Snippet).

На что влияет

• Типы контента: Наибольшее влияние на контент, содержащий фактическую информацию, описания сущностей и четко сформулированные отношения (статьи, биографии, справочные материалы).
• Специфические запросы: В первую очередь влияет на информационные запросы, ищущие прямые ответы (Кто/Что/Где/Когда), требующие понимания отношений.
• Ниши и тематики: Влияет на все тематики, представленные в Графе Знаний, особенно YMYL, где важна точность фактов.

Когда применяется

Система применяется в двух сценариях:

1. Расширение Графа (Офлайн/Периодически): При обработке новых или обновленных документов для постоянного пополнения Графа Знаний новыми фактами.
2. Ответы на Запросы (Реальное время): Активируется, когда система идентифицирует запрос как поиск факта, который может быть отвечен с помощью Графа Знаний, и когда запрос сопоставляется с существующей обученной моделью и исходной сущностью.

Пошаговый алгоритм

Патент описывает два основных процесса, использующих схожие ML-механизмы.

Процесс А: Расширение Графа Знаний (Inference) (FIG. 3, 4)

1. Генерация Текстового Графа: Документы парсятся (синтаксический анализ) для создания Text Graph.
2. Связывание Графов: Именные группы в Text Graph сопоставляются с сущностями в Data Graph (Entity Resolution), создавая Mention ссылки.
3. Выбор Отношения и Генерация Примеров: Выбирается отношение для обучения (например, «Профессия»). Генерируются положительные и отрицательные примеры из графа. Используется стратифицированная выборка для избежания смещения.
4. Обучение ML-модуля: ML-модуль ищет пути в объединенном графе (с помощью случайных блужданий ограниченной длины), которые коррелируют с положительными примерами.
5. Генерация и Взвешивание Признаков: Идентифицируются надежные пути (признаки) и им присваиваются веса (например, с помощью логистической регрессии).
6. Сохранение Модели Отношения: Взвешенные признаки сохраняются.
7. Вывод Новых Фактов: Модель применяется к объединенному графу для поиска новых кортежей (фактов).
8. Валидация и Добавление: Рассчитывается confidence score (сумма весов признаков). Если порог превышен, факт автоматически добавляется в Data Graph.

Процесс Б: Ответы на Запросы на Естественном Языке (Querying) (FIG. 5, 6)

Этап 1: Обучение Модели Запроса (Офлайн, FIG. 6)

1. Получение Шаблона Запроса: Определяется шаблон запроса (например, «Кто женат на E?»).
2. Генерация Шумных Ответов: Система получает noisy query answers из внешнего источника (поисковой системы или логов).
3. Генерация Обучающих Примеров: Проводится Entity Resolution в шумных ответах. Часто встречающиеся сущности в надежных ответах становятся положительными примерами.
4. Обучение ML-модуля: ML-модуль ищет пути в Data Graph, которые соединяют Исходные сущности (E) с Целевыми сущностями (положительными примерами).
5. Генерация и Сохранение Признаков: Идентифицируются и взвешиваются пути (признаки). Сохраняются как Модель Запроса.

Этап 2: Выполнение Запроса (Реальное время, FIG. 5)

1. Получение Запроса: Поступает запрос от пользователя.
2. Сопоставление: Запрос сопоставляется с Моделью Запроса, а термы – с Исходной сущностью в Data Graph.
3. Получение Признаков: ML-модуль возвращает взвешенные признаки (пути) для данной модели.
4. Обход Графа: Система следует по этим путям, начиная от Исходной сущности.
5. Идентификация и Оценка Ответов: Идентифицируются Целевые сущности. Их confidence score рассчитывается как сумма весов путей, которые к ним привели.
6. Предоставление Ответа: Выбирается сущность с наивысшей оценкой.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документов (Crawled Documents). Синтаксическая структура предложений, именные группы (noun-phrases) критически важны для генерации Text Graph и извлечения фактов (Process A).
• Структурные факторы (Граф): Существующая структура Data Graph (сущности и отношения). Используется как основа для обучения и вывода в обоих процессах.
• Поведенческие факторы / Внешние данные: Журналы поиска (search records) или результаты работы стандартной поисковой системы используются как noisy query answers для обучения моделей запросов (Process B). Ранжирование/оценка документов в этих результатах используется для определения достоверности обучающих примеров.

Какие метрики используются и как они считаются

• Weighted Feature (Вес признака): Вероятность того, что путь (признак) предскажет правильный ответ. Рассчитывается во время обучения. Патент упоминает использование регуляризованной логистической регрессии (L1/L2 regularized logistic regression) для изучения весов.
• Confidence Score (Оценка достоверности): Метрика для оценки качества выведенного факта или ответа. Рассчитывается как комбинация (например, сумма) весов всех признаков (путей), которые привели к этому результату.
• Stratified Sampling Formulas (Формулы стратифицированной выборки): Используются при обучении (Process A) для предотвращения смещения (bias) к популярным сущностям. Патент приводит формулу для выборки ребер r, указывающих на сущность t:
  

Выводы

1. Автоматизированное расширение Графа Знаний из Текста: Патент детально описывает механизм (Process A), позволяющий Google автоматически извлекать факты из неструктурированного текста. Это достигается путем объединения синтаксического анализа текста (Text Graph) с существующими знаниями (Data Graph) и использованием ML для выявления надежных паттернов (путей).
2. ML для интерпретации Естественного Языка: Вместо ручного создания правил, Google использует машинное обучение (Process B) для сопоставления формулировок NLQ с конкретными путями в графе. Система учится понимать интент запроса на уровне структуры данных.
3. Обучение на основе Веб-консенсуса (Noisy Answers): Критически важным является использование noisy query answers (результатов веб-поиска или логов) для обучения. Это означает, что контент, ранжирующийся в интернете, и консенсус мнений напрямую влияют на то, как Google учится отвечать на вопросы и какие факты считает достоверными.
4. Важность Путей и Контекста (Кумулятивная Уверенность): Система не полагается на одно совпадение. Достоверность ответа (confidence score) увеличивается, если к нему ведут несколько разных надежных путей. Это механизм валидации фактов через разнообразие связей.
5. Приоритет Синтаксической Чистоты: Способность системы извлекать факты (Process A) напрямую зависит от качества работы Syntactic-Semantic Parsing Engine. Контент должен быть написан ясно, чтобы синтаксические зависимости и отношения между сущностями были понятны парсеру.

Практика

Best practices (это мы делаем)

• Четкое определение отношений между сущностями (Синтаксис): При создании контента используйте ясные и недвусмысленные синтаксические конструкции для описания отношений между сущностями. Например: «[Персона А] является CEO компании [Компания Б]». Это облегчает создание точного Text Graph и повышает вероятность успешного извлечения фактов (Process A).
• Построение Авторитетности и Консенсуса: Поскольку система использует noisy query answers (результаты поиска) для обучения (Process B), крайне важно, чтобы ваш сайт высоко ранжировался и предоставлял точную информацию. Становясь авторитетным источником, вы участвуете в формировании качественных обучающих данных для ML-моделей Google.
• Использование согласованной терминологии и идентификаторов: Используйте общепринятую терминологию и, по возможности, ссылайтесь на известные идентификаторы сущностей. Это повышает вероятность того, что система сможет корректно связать ваш Text Graph с Data Graph через Mention ссылки (Entity Resolution).
• Создание контента, отвечающего на прямые вопросы: Разрабатывайте контент, который четко отвечает на распространенные вопросы пользователей. Это увеличивает вероятность использования вашего контента как для прямого извлечения фактов, так и в качестве надежного источника для ответов на запросы.
• Подтверждение фактов разными способами: Описывайте отношения с разных сторон. Например, укажите не только, что Персона А работает в Компании Б, но и что Компания Б является работодателем Персоны А. Это помогает создать множественные пути в графе, что увеличивает Confidence Score.

Worst practices (это делать не надо)

• Использование сложных или неоднозначных синтаксических конструкций: Избегайте запутанных предложений, где отношения между сущностями неясны или могут быть интерпретированы двояко. Это затрудняет построение Text Graph и снижает эффективность извлечения фактов.
• Изолированное упоминание сущностей: Не упоминайте важные сущности без контекста или описания их связи с другими сущностями. Система ищет пути и отношения, а не просто наличие имен или названий.
• Предоставление информации, противоречащей авторитетному консенсусу: Если ваша информация противоречит общепринятым фактам, маловероятно, что она будет принята системой. ML-модуль, обученный на noisy query answers, будет отдавать предпочтение консенсусу, сформированному авторитетными источниками.

Стратегическое значение

Этот патент подтверждает стратегическую важность перехода к оптимизации под сущности и отношения (Entity-based SEO). Google активно автоматизирует понимание мира, извлекая знания из веба. Долгосрочная стратегия должна фокусироваться на создании контента, который помогает Google точно и эффективно наполнять свой Граф Знаний. Авторитетность ресурса определяется не только ссылками, но и его вкладом в базу знаний Google и способностью служить надежным источником для обучения систем ответов на вопросы.

Практические примеры

Сценарий 1: Оптимизация для извлечения фактов (Process A — Расширение Графа)

1. Цель: Убедиться, что Google извлечет профессию и место работы персоны из биографической статьи.
2. Реализация: В тексте используется четкая формулировка: «Илон Маск является основателем и CEO компании SpaceX. Он также занимает должность CEO в компании Tesla.»
3. Механизм (по патенту): Syntactic-Semantic Parsing Engine создает точный Text Graph. Entity Resolution связывает упоминания с сущностями. Knowledge Discovery Engine использует обученные модели, которые распознают синтаксические паттерны (пути) в этом тексте как надежные признаки для отношений «Должность» и «Место работы».
4. Результат: Новые кортежи <Илон Маск, Должность, CEO> и <Илон Маск, Место работы, SpaceX/Tesla> добавляются в Data Graph с высоким confidence score.

Сценарий 2: Оптимизация для ответов на вопросы (Process B — Querying)

1. Запрос пользователя: «Кто жена Барака Обамы?»
2. Механизм (по патенту): Google сопоставляет запрос с моделью «Супруг». Исходная сущность – «Барак Обама». ML-модуль предоставляет обученные пути: Путь 1 (прямое отношение «супруг»), Путь 2 (через общих детей: {child, child⁻¹}), Путь 3 (через общее место жительства: {resides at, resides at⁻¹}).
3. Обход графа: Система следует по всем трем путям и достигает сущности «Мишель Обама».
4. Результат: Confidence score для «Мишель Обама» рассчитывается как сумма весов Пути 1 + Пути 2 + Пути 3. Благодаря высокой кумулятивной оценке, этот ответ выводится пользователю (например, в Knowledge Panel).

Вопросы и ответы