Как Google автоматически генерирует новостные заголовки и обновляет Knowledge Graph, изучая синтаксические шаблоны событий

Описание

Какую задачу решает

Патент решает проблему масштабируемой генерации качественных, объективных и кратких заголовков для коллекций новостных документов. Существующие методы часто либо требуют ручного труда, либо являются экстрактивными (выбирают существующее предложение), что может приводить к слишком длинным, неграмматичным или субъективным заголовкам. Кроме того, патент решает проблему своевременного обновления баз знаний (Knowledge Graph) на основе актуальных событий, минимизируя необходимость ручного курирования.

Что запатентовано

Запатентована система автоматической генерации абстрактивных заголовков. Она изучает наборы эквивалентных синтаксических шаблонов (способы выражения одного и того же события) из большого корпуса документов. При обработке нового набора документов система идентифицирует главное событие и связанные с ним сущности. Затем она выбирает наиболее подходящий синтаксический шаблон для описания этого события и генерирует новый заголовок, заполняя шаблон конкретными сущностями. Система также связывает эти шаблоны с отношениями в Knowledge Graph для автоматического обновления графа.

Как это работает

Система работает в два основных этапа: Обучение и Применение.

• Обучение (Офлайн): Система анализирует большой корпус новостных коллекций. Используя NLP (парсинг зависимостей, распознавание сущностей), она извлекает синтаксические шаблоны, описывающие взаимодействие сущностей. Шаблоны, которые встречаются вместе при описании одного и того же события, кластеризуются как эквивалентные с помощью вероятностной модели (например, Noisy-OR model). Эти кластеры связываются с отношениями в Knowledge Graph.
• Применение (Рантайм): При получении нового набора документов система извлекает из них шаблоны и сущности. Она использует обученную модель, чтобы определить, какое скрытое событие (латентный кластер шаблонов) лучше всего объясняет наблюдаемые данные. Затем выбирается лучший шаблон из этого кластера (возможно, даже тот, который не наблюдался в исходных документах), и генерируется заголовок путем подстановки релевантных сущностей. Это событие также используется для обновления Knowledge Graph.

Актуальность для SEO

Высокая. Абстрактивная суммаризация, понимание событий и автоматическое обновление Knowledge Graph являются ключевыми направлениями развития поиска. Способность Google быстро и точно идентифицировать события и генерировать объективные описания критически важна для Google News, Поиска и поддержания актуальности Графа Знаний. Технология напрямую связана с тем, как информация о сущностях и событиях обрабатывается и представляется пользователям.

Важность для SEO

Патент имеет высокое значение, особенно для новостных издателей и управления репутацией сущностей (брендов, людей). Он описывает механизм, который Google может использовать для замены оригинальных заголовков статей на автоматически сгенерированные при показе новостных сюжетов (например, в Google News или блоках Top Stories). Кроме того, он раскрывает механизм автоматического извлечения фактов из новостей для обновления Knowledge Graph. Понимание этого механизма позволяет оптимизировать контент для более точного распознавания событий и сущностей.

Детальный разбор

Термины и определения

Equivalent Syntactic Patterns (Эквивалентные синтаксические шаблоны)

Набор различных фраз или структур предложений, которые передают одно и то же семантическое значение или описывают одно и то же событие. Например, «[A] женился на [B]», «[B] вышла замуж за [A]» и «[A] и [B] связали себя узами брака».

Main Event (Главное событие)

Наиболее важное, релевантное или центральное событие, описанное в наборе входных документов (новостной коллекции).

Knowledge Graph (Граф знаний, База знаний)

База данных для хранения организованной информации о сущностях и их отношениях (например, Freebase, Wikipedia). Используется для хранения фактов, которые система извлекает из новостей.

Abstractive Headline (Абстрактивный заголовок)

Заголовок, сгенерированный системой на основе понимания контента, а не путем извлечения существующего предложения. Такой заголовок может содержать слова или фразы, не встречавшиеся в исходных документах.

Syntactic Pattern (Синтаксический шаблон)

Структура, извлеченная из предложения, которая описывает отношения между сущностями. Включает ключевые слова и плейсхолдеры для типов сущностей (например, «[Person] joins [Sports Team]»).

Noisy-OR Model (Модель Noisy-OR)

Вероятностная модель, используемая для описания связи между скрытыми событиями (причинами) и наблюдаемыми шаблонами (следствиями). Позволяет оценить вероятность того, что наблюдаемый шаблон активирует определенное скрытое событие, и учитывает фоновый шум.

Minimum Spanning Tree (MST) (Минимальное остовное дерево)

При анализе предложения это кратчайший путь в дереве зависимостей, который соединяет все релевантные сущности. Используется как основа для извлечения синтаксического шаблона.

News Collection (Новостная коллекция)

Набор связанных новостных документов, предположительно описывающих одно и то же событие.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает комплексный метод автоматической генерации заголовков и обновления графа знаний.

1. Обучение и Маппинг: Система изучает наборы эквивалентных синтаксических шаблонов из корпуса документов и сопоставляет (mapping) эти наборы с соответствующими элементами (например, отношениями) в Knowledge Graph.
2. Обработка Входных Данных: Система получает набор входных документов и обрабатывает их для поиска выражений, соответствующих одному из изученных наборов шаблонов.
3. Идентификация Сущностей и Событий: Из этих выражений определяются сущности. Система определяет набор сущностей, релевантных главному событию, и идентифицирует типы этих сущностей.
4. Уточнение Шаблонов: Генерируется уточненный набор эквивалентных шаблонов путем исключения шаблонов с оценкой релевантности ниже порога.
5. Выбор Шаблона и Генерация Заголовка: Выбирается один синтаксический шаблон из уточненного набора, который отражает главное событие. Генерируется заголовок путем заполнения выбранного шаблона идентифицированными сущностями. Порядок сущностей в заголовке определяется на основе их типов.
6. Обновление Knowledge Graph: Определяются записи в Knowledge Graph, соответствующие этим сущностям, и эти записи обновляются для отражения главного события с использованием сгенерированного заголовка.

Claim 3 (Зависимый от 1): Детализирует процесс обучения (Learning).

Обучение включает получение наборов связанных документов, определение выражений, содержащих соответствующую информацию в каждом наборе, определение наборов эквивалентных синтаксических шаблонов на основе этих выражений и их сохранение.

Claim 4 (Зависимый от 3): Добавляет использование вероятностной модели.

Система может определять дополнительные «скрытые» (hidden) синтаксические шаблоны для включения в наборы эквивалентных шаблонов с помощью вероятностной модели. Это означает, что система может генерировать заголовки, используя шаблоны, которые она вывела вероятностно, но не наблюдала напрямую в обучающих данных.

Claim 5 (Зависимый от 1): Детализирует условия релевантности.

Обработка входных документов включает определение того, что количество обработанных выражений соответствует предопределенному порогу доказательств (evidence threshold). Набор эквивалентных шаблонов считается релевантным, если этот порог достигнут.

Где и как применяется

Изобретение применяется в системах обработки новостей и управления базами знаний.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная работа системы. При агрегации новостного контента (CRAWLING) система применяет описанные механизмы во время индексации:

1. Агрегация и Кластеризация Новостей: Документы агрегируются и группируются в News Collections (сюжеты).
2. NLP Анализ: Применяются токенизация, парсинг зависимостей, разрешение кореференции и привязка сущностей (Entity Linking) к Knowledge Graph.
3. Извлечение Шаблонов: Pattern Engine извлекает синтаксические шаблоны, связывающие релевантные сущности.
4. Идентификация Событий и Генерация Заголовков: Inference Engine определяет главное событие и генерирует абстрактивный заголовок.
5. Обновление Knowledge Graph: Knowledge Graph Management Engine использует извлеченные события для обновления отношений между сущностями в графе.

Офлайн-процессы (Связаны с INDEXING и QUNDERSTANDING)
Процесс обучения (Learning) модели эквивалентных шаблонов и их связи с Knowledge Graph происходит офлайн на большом корпусе данных.

RANKING / METASEARCH (Применительно к Новостям)
Сгенерированные заголовки используются при представлении новостных сюжетов пользователю в системах поиска или рекомендаций новостей (например, Google News, Top Stories). Качество и объективность этих заголовков влияют на пользовательский опыт.

Входные данные:

• Корпус новостных документов (для обучения).
• Набор входных документов (News Collection) (для применения).
• Данные Knowledge Graph (для привязки сущностей и определения типов).

Выходные данные:

• Сгенерированный абстрактивный заголовок для входного набора документов.
• Обновления для Knowledge Graph (новые факты и отношения).
• Модель эквивалентных синтаксических шаблонов (результат обучения).

На что влияет

• Конкретные типы контента: В первую очередь влияет на новостной контент (статьи, пресс-релизы, блоги), агрегируемый новостными системами.
• Сущности и Knowledge Graph: Влияет на скорость и точность обновления информации о сущностях (людях, компаниях, местах) в Knowledge Graph при наступлении значимых событий (свадьбы, смерти, слияния компаний, спортивные трансферы и т.д.).
• Представление Новостей: Влияет на то, как новостные сюжеты выглядят в выдаче. Система может заменить оригинальные заголовки издателей на свои сгенерированные версии, стремясь к большей объективности и краткости.

Когда применяется

• Триггеры активации: Алгоритм применяется при обработке коллекций связанных документов (News Collections).
• Условия применения: Система должна распознать в документах релевантные сущности и найти выражения, соответствующие изученным синтаксическим шаблонам.
• Пороговые значения: Для того чтобы событие было признано главным и для него был сгенерирован заголовок, необходимо накопить достаточно доказательств (evidence threshold). Это означает, что достаточное количество выражений в коллекции должно соответствовать шаблонам из одного эквивалентного набора.

Пошаговый алгоритм

Процесс А: Обучение модели (Офлайн)

1. Сбор данных: Получение большого корпуса наборов связанных документов (News Collections).
2. Предобработка: Для каждого документа применяется NLP-пайплайн: парсинг зависимостей, распознавание и привязка сущностей к Knowledge Graph, определение типов сущностей.
3. Идентификация Релевантных Сущностей: В каждом наборе определяются наиболее релевантные (например, часто упоминаемые) сущности.
4. Извлечение Шаблонов: Для комбинаций релевантных сущностей извлекаются синтаксические шаблоны. Это часто делается путем нахождения Minimum Spanning Tree в дереве зависимостей, соединяющего эти сущности (часто фокусируясь на заголовке и первом предложении).
5. Кластеризация Шаблонов: Шаблоны, которые встречаются вместе в рамках одного набора документов и описывают одни и те же типы сущностей, группируются.
6. Обучение Вероятностной Модели: Используется вероятностная модель (например, Noisy-OR) для уточнения кластеров и оценки вероятности связи между наблюдаемыми шаблонами и скрытыми событиями. Это позволяет выявить «скрытые» эквивалентные шаблоны.
7. Маппинг на Knowledge Graph: Изученные наборы эквивалентных шаблонов сопоставляются с отношениями в Knowledge Graph (например, кластер о свадьбах сопоставляется с отношением «супруг(а)»).
8. Сохранение Модели: Обученная модель и маппинг сохраняются.

Процесс Б: Генерация заголовка и обновление KG (Рантайм)

1. Получение Входных Данных: Система получает новый набор входных документов (News Collection).
2. Извлечение Шаблонов и Сущностей: Повторяются шаги предобработки и извлечения шаблонов (аналогично Процессу А).
3. Сопоставление с Моделью: Извлеченные шаблоны сопоставляются с изученными наборами эквивалентных шаблонов.
4. Определение Главного События: Система оценивает доказательства (evidence) для разных кластеров шаблонов. Кластер, набравший наибольшую поддержку (превысивший evidence threshold), определяется как главное событие.
5. Выбор Шаблона: Из релевантного кластера выбирается лучший синтаксический шаблон. Система может использовать вероятностную модель для выбора наиболее вероятного шаблона, даже если он не присутствовал во входных документах.
6. Генерация Заголовка: Выбранный шаблон заполняется конкретными сущностями из входных документов, соблюдая правильный порядок на основе типов сущностей.
7. Обновление Knowledge Graph: Используя маппинг, система определяет соответствующие записи и отношения в Knowledge Graph и обновляет их на основе сгенерированного заголовка/события.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документов. Особое внимание уделяется заголовкам и первым предложениям документов, так как они часто содержат основную информацию о событии.
• Структурные факторы (NLP): Результаты синтаксического анализа (деревья зависимостей, части речи), которые необходимы для извлечения синтаксических шаблонов и определения отношений между словами.
• Данные о Сущностях (Knowledge Graph): Система использует Knowledge Graph для распознавания сущностей в тексте (Entity Linking), определения их уникальных идентификаторов и получения их типов (Class Labels, например, Person, Location, Company). Типы сущностей критически важны для работы шаблонов.

Какие метрики используются и как они считаются

• Релевантность Сущностей: Метрики для определения центральных сущностей в новостной коллекции (например, на основе частоты упоминаний, расположения в документе).
• Evidence Threshold (Порог доказательств): Минимальное количество совпадений между выражениями во входных документах и изученными шаблонами, необходимое для подтверждения того, что событие является главным.
• Вероятностные Оценки (Noisy-OR): Модель вычисляет условные вероятности P(event|pattern) – вероятность скрытого события при наблюдении определенного шаблона.
• Оценка Релевантности Шаблонов: Метрика для ранжирования шаблонов внутри кластера, используемая для исключения нерелевантных шаблонов (ниже порога) и выбора лучшего шаблона для генерации заголовка.
• Cosine Similarity (Косинусное сходство): Может использоваться для первичной группировки новостных документов в коллекции (News Collection).

Выводы

1. Переход к Абстрактивной Суммаризации: Google активно использует технологии генерации языка (NLG) для создания заголовков. Система не просто выбирает лучшее предложение (экстракция), а стремится понять событие и сформулировать новый, объективный заголовок (абстракция).
2. Понимание Эквивалентности Выражений: Ключевым элементом является способность системы распознавать, что разные синтаксические структуры могут описывать одно и то же событие. Это достигается путем анализа больших объемов данных и кластеризации шаблонов.
3. Автоматизация Обновления Knowledge Graph: Патент четко описывает механизм автоматического извлечения фактов из новостного контента для обновления Knowledge Graph. Система учится связывать языковые шаблоны с конкретными отношениями в графе (например, шаблон свадьбы с отношением «супруг»).
4. Фокус на Событиях и Сущностях: Система ориентирована на события (Events) и сущности (Entities). Для корректной работы необходимо точное распознавание сущностей, их типов и синтаксических связей между ними в тексте.
5. Важность Структуры Предложения: Система полагается на глубокий синтаксический анализ (парсинг зависимостей). Грамматически правильные и четкие формулировки в тексте облегчают извлечение корректных шаблонов.
6. Объективность через Обобщение: Генерация заголовков на основе обобщенных шаблонов, изученных на миллионах статей, позволяет создавать более нейтральные и информативные заголовки по сравнению с потенциально субъективными заголовками отдельных издателей.

Практика

Best practices (это мы делаем)

Рекомендации направлены на улучшение взаимодействия с системами автоматического извлечения фактов и генерации заголовков.

• Четкое Описание Событий в Начале Текста: Поскольку система часто фокусируется на заголовке и первом предложении для извлечения шаблонов, издателям следует включать ясное и фактологическое описание главного события (Кто, Что, Где, Когда) в самом начале статьи (лид-абзац).
• Использование Однозначных и Грамматически Корректных Формулировок: Система полагается на синтаксический парсинг (Minimum Spanning Tree). Использование стандартных, грамматически правильных предложений повышает вероятность того, что система корректно извлечет синтаксический шаблон и правильно идентифицирует событие.
• Точное Упоминание Сущностей: Обеспечьте точное и последовательное именование сущностей (людей, компаний, места). Используйте полные имена при первом упоминании. Это помогает работе Entity Linking и гарантирует, что система свяжет событие с правильными сущностями в Knowledge Graph.
• Использование Микроразметки (Schema.org): Внедрение разметки для новостей (NewsArticle) и указание сущностей (mentions, about) может помочь системам распознавания сущностей и событий, хотя патент напрямую не упоминает использование разметки, это является общей лучшей практикой для улучшения понимания контента.
• Публикация Фактологического Контента: Для брендов и публичных лиц: публикация пресс-релизов с четким описанием событий (например, назначение нового CEO) увеличивает вероятность того, что эта информация будет корректно обработана системой и быстро отражена в Knowledge Graph.

Worst practices (это делать не надо)

• Кликбейт и Неоднозначные Заголовки: Использование метафор, игры слов или двусмысленных формулировок в заголовках и первых предложениях может помешать системе извлечь корректный синтаксический шаблон. Это может привести к игнорированию статьи системой или неправильной интерпретации события.
• Сложные Синтаксические Конструкции в Лиде: Использование слишком сложных предложений с множеством придаточных частей для описания главного события затрудняет извлечение Minimum Spanning Tree и может привести к ошибкам в идентификации ролей сущностей в событии.
• Запутывание Сущностей: Упоминание слишком большого количества разных сущностей в одном предложении без четкого определения их ролей может привести к тому, что система не сможет определить, какие сущности являются ключевыми участниками главного события.

Стратегическое значение

Патент подчеркивает стратегическую важность автоматизации для поддержания актуальности Knowledge Graph. Для SEO это означает, что новостной контент является прямым источником данных для обновления Графа Знаний в реальном времени. Стратегия управления репутацией (SERM) и построения сущности бренда должна включать мониторинг и, при необходимости, публикацию четко структурированного новостного контента для обеспечения точности представления сущности в Google. Также патент подтверждает стремление Google к объективному представлению информации, что может выражаться в замене оригинальных заголовков издателей в новостных блоках.

Практические примеры

Сценарий: Обеспечение корректного обновления Knowledge Graph после слияния компаний

Задача: Гарантировать, что Google быстро и правильно обновит информацию о слиянии Компании А и Компании Б.

1. Действие: Публикация официального пресс-релиза на сайте Компании А.
2. Оптимизация Контента (Best Practice): Заголовок и первое предложение должны быть написаны с использованием четких синтаксических структур, которые легко парсятся.
   • Хорошо: «Компания А завершила слияние с Компанией Б» ([Company] completed merger with [Company]).
   • Плохо (Сложно для парсинга): «В ходе исторического шага, который перекроит индустрию, Компания А и Компания Б сегодня объявили о начале новой эры совместной работы после слияния.»
3. Ожидаемый результат (Работа системы): Система агрегирует пресс-релиз и новостные статьи о нем. Она извлекает шаблон слияния, идентифицирует сущности (Компания А, Компания Б). Система сопоставляет этот шаблон с отношением слияния в Knowledge Graph.
4. Итог: Knowledge Graph автоматически обновляется, отражая факт слияния. В новостных агрегаторах сюжет может получить автоматически сгенерированный объективный заголовок.

Вопросы и ответы