Как Google автоматически находит недостающие или устаревшие факты для Knowledge Graph, генерируя поисковые запросы

Термины и определения

Disambiguation Query Terms (Термины для устранения неоднозначности)

Дополнительные известные факты о сущности (свойства или значения свойств), которые добавляются в генерируемый запрос, чтобы сделать его более конкретным и избежать путаницы с другими сущностями с похожими названиями.

Entity Reference (Ссылка на сущность)

Конкретный узел в Knowledge Graph, представляющий реальный объект, концепцию или персону (например, узел «Калифорния»).

Entity Type (Тип сущности)

Категория, к которой принадлежит сущность (например, «Штат США»). Определяет ожидаемые свойства сущности.

Knowledge Graph (Граф знаний, База знаний)

Структурированная база данных, хранящая информацию в виде узлов (сущностей) и ребер (отношений между ними). Также упоминается как Data Graph.

Missing Data Element (Отсутствующий элемент данных)

Свойство сущности, которое ожидается согласно её типу (Schema), но для которого в Knowledge Graph в настоящее время не присвоено значение.

Query Processing Engine (Механизм обработки запросов)

Система, которая принимает запрос (например, вопрос на естественном языке) и предоставляет ответ. Может быть поисковой системой или специализированной системой Question Answering (QA).

Query Record (Запись о запросе, Лог запросов)

Данные, связанные с ранее выполненными поисками пользователями (например, логи запросов). Используются для выявления устаревшей или недостающей информации в KG.

Schema / Schema Table (Схема)

Определение структуры данных для определенного Entity Type, включающее список ожидаемых свойств (например, схема для типа «Город» включает «Население»).

Ключевые утверждения (Анализ Claims)

Патент описывает два основных метода обновления Knowledge Graph: заполнение пробелов на основе схемы (Claims 1-12) и обновление устаревших данных на основе логов запросов (Claims 13-24).

Claim 1 (Независимый пункт): Описывает процесс заполнения пробелов (Gap Filling).

1. Система идентифицирует сущность (Entity Reference) в Knowledge Graph, соответствующую определенному типу (Entity Type).
2. Идентифицируется отсутствующий элемент данных (Missing Data Element) — свойство сущности, которому в данный момент не присвоено значение.
3. В ответ на обнаружение отсутствующего элемента система автоматически генерирует запрос, основанный на этом элементе и типе сущности.
4. Запрос предоставляется Query Processing Engine.
5. Получается информация в ответ на запрос.
6. Knowledge Graph обновляется на основе полученной информации.

Claim 2 (Зависимый): Уточняет механизм идентификации пробела.

Идентификация происходит путем сравнения существующих свойств сущности с таблицей схемы (Schema Table), связанной с типом этой сущности. Если схема включает свойство, для которого у сущности нет значения, это свойство помечается как отсутствующее.

Claims 4 и 5 (Зависимые): Детализируют процесс генерации запроса и использование устранения неоднозначности.

Генерация запроса включает выбор терминов для устранения неоднозначности (Disambiguation Query Terms) из Knowledge Graph. Этими терминами могут быть другие значения свойств (Claim 4) или названия свойств (Claim 5). Итоговый запрос включает как термины, связанные с отсутствующим элементом, так и эти термины для disambiguation.

Claim 13 (Независимый пункт): Описывает процесс обновления данных на основе логов запросов (Data Refresh).

1. Система идентифицирует элемент данных в Knowledge Graph, который необходимо обновить, основываясь на логах запросов (Query Record). Элемент определяется как устаревший (outdated) на основании конфликта (conflict) между логом запросов и значением свойства в KG.
2. В ответ на идентификацию устаревшего элемента система автоматически генерирует запрос.
3. Запрос предоставляется Query Processing Engine.
4. Получается информация в ответ на запрос.
5. Knowledge Graph обновляется на основе полученной информации.

Где и как применяется

Изобретение является частью инфраструктуры поддержания и наполнения Базы Знаний Google.

CRAWLING – Сканирование и Сбор данных
Query Processing Engine, используемый в этом патенте, полагается на данные, собранные во время сканирования веба (упоминается как Content), чтобы находить ответы на сгенерированные запросы.

INDEXING – Индексирование и извлечение признаков
Основное применение. Этот процесс отвечает за поддержание актуальности и полноты Knowledge Graph (упоминается как Data Structure). Система работает как процесс обслуживания индекса и обновления данных.

QUNDERSTANDING – Понимание Запросов
Система использует данные, генерируемые на этом этапе, а именно логи запросов (Query Records), как входной сигнал для выявления информации, которая может быть устаревшей или отсутствующей в KG.

Примечание: Сам патент не влияет на ранжирование напрямую, но его результат (обновленный Knowledge Graph) используется системами RANKING и METASEARCH для предоставления прямых ответов и формирования Knowledge Panels.

Входные данные:

• Текущее состояние Knowledge Graph (Сущности, Типы, Свойства).
• Схемы (Schemas) для различных типов сущностей.
• Логи запросов (Query Records).
• Контент веба (доступный через Query Processing Engine).

Выходные данные:

• Обновленные или новые значения свойств (факты) для сущностей в Knowledge Graph.

На что влияет

• Конкретные типы контента: Влияет на фактический контент (статьи, справочники, официальные сайты, базы данных), который содержит четкие утверждения о свойствах сущностей и ответы на вопросы.
• Специфические запросы: Влияет на информационные запросы, где пользователи ищут конкретные факты (например, «население Калифорнии», «кто архитектор Эмпайр-стейт-билдинг»).
• Конкретные ниши или тематики: Важно для любых сущностей (персоны, компании, места, продукты), где точность и актуальность фактов критичны, включая YMYL-тематики.

Когда применяется

• Триггеры активации (Сценарий 1 - Gap Filling): Когда при обходе (crawling) или анализе Knowledge Graph обнаруживается сущность, у которой отсутствует свойство, предусмотренное её схемой (Schema).
• Триггеры активации (Сценарий 2 - Data Refresh): Когда анализ логов запросов (Query Records) показывает конфликт с текущими данными в KG, указывая на устаревание информации, или когда пользователи часто ищут информацию, отсутствующую в KG.
• Временные рамки и частота: Процесс может выполняться периодически с интервалами, определяемыми для конкретных типов данных (например, на основе анализа Query Records), или непрерывно в фоновом режиме для обслуживания KG.

Пошаговый алгоритм

Процесс А: Заполнение пробелов на основе схемы (Gap Filling)

1. Идентификация сущности и типа: Система выбирает сущность (Entity Reference) в Knowledge Graph и определяет её тип (Entity Type).
2. Идентификация пробела: Свойства сущности сравниваются со схемой (Schema Table) её типа. Идентифицируется отсутствующий элемент данных (Missing Data Element) — свойство, для которого нет значения.
3. Генерация запроса:
   1. Система формирует базовый запрос на основе сущности и отсутствующего свойства.
   2. Система выбирает другие известные факты о сущности в качестве терминов для устранения неоднозначности (Disambiguation Query Terms). Это могут быть значения свойств или сами свойства.
   3. Система формирует итоговый уточненный запрос, часто в форме естественного языка (Natural Language Query). (Например: «Кто архитектор Эмпайр-стейт-билдинг в Нью-Йорке, открытого в 1931 году?»).
4. Обработка запроса: Запрос отправляется в Query Processing Engine.
5. Получение и выбор ответа: Система получает ответы. Если получено несколько ответов, может применяться мера уверенности (confidence measure) для выбора наилучшего. Мера может учитывать свежесть (recency) или популярность (popularity) ответа в зависимости от типа свойства.
6. Обновление KG: Knowledge Graph обновляется, заполняя пробел полученной информацией.

Процесс Б: Обновление на основе логов запросов (Data Refresh)

1. Анализ логов: Система анализирует Query Records для выявления паттернов, указывающих на проблемы в KG.
2. Идентификация элемента для обновления: Идентифицируется конкретный элемент данных, который определяется как устаревший (outdated) на основе конфликта между Query Record и текущим значением в KG.
3. Генерация запроса: Аналогично Процессу А, генерируется точный запрос с использованием Disambiguation Query Terms для поиска актуальной информации.
4. Обработка и получение ответа: Запрос обрабатывается Query Processing Engine, получается актуальный ответ.
5. Обновление KG: Значение в Knowledge Graph обновляется на основе полученной информации.

Какие данные и как использует

Данные на входе

Система использует преимущественно структурные и поведенческие данные для инициации процесса, и контентные данные для его завершения.

• Структурные факторы:
  1. Knowledge Graph Data: Существующие сущности, их типы, свойства и значения. Это основной источник данных для анализа и генерации запросов с целью устранения неоднозначности.
  2. Schemas (Схемы): Определения типов сущностей и списки ожидаемых свойств. Используются для выявления отсутствующих элементов данных (Gap Filling).
• Поведенческие факторы:
  1. Query Records (Логи запросов): Агрегированные данные о ранее выполненных поисках. Используются для выявления устаревших данных (Data Refresh) путем обнаружения конфликтов с KG.
• Контентные факторы:
  1. Web Content: Текст, таблицы, разметка на веб-страницах. Эти данные анализируются Query Processing Engine для нахождения ответов на сгенерированные запросы.

Какие метрики используются и как они считаются

Патент не детализирует конкретные формулы, но описывает следующие методы и метрики:

• Сравнение со схемой (Schema Compliance): Логическое сравнение наличия свойств у сущности с ожидаемым набором свойств в Schema Table её типа.
• Анализ Query Records (Conflict Detection): Выявление конфликтов между данными в логах запросов и текущими значениями в KG.
• Генерация Natural Language Query: Преобразование структурных данных KG в запросы на естественном языке.
• Confidence Measure (Мера уверенности): В описании (не в Claims) упоминается использование мер уверенности для выбора наилучшего ответа. Эти меры могут настраиваться в зависимости от типа свойства (например, приоритет свежести (recency) для «Губернатора» и популярности (popularity) для «Столицы»).

1. Автоматизация обслуживания Knowledge Graph: Google активно использует автоматизированные методы (Question Answering и поиск) для наполнения и обновления своей Базы Знаний. Система не полагается исключительно на ручной ввод или фиксированные источники данных.
2. Два ключевых триггера для обновления: Обновления инициируются либо структурными пробелами (Сценарий А: отсутствие свойства, предусмотренного схемой), либо сигналами от пользователей (Сценарий Б: анализ логов запросов, указывающий на устаревание данных из-за конфликта с KG).
3. Критичность устранения неоднозначности (Disambiguation): Система придает большое значение точности запросов. Она активно использует уже известные факты о сущности (Disambiguation Query Terms) для создания высокоточных запросов, чтобы избежать получения данных о неправильной сущности.
4. Зависимость от внешнего контента: Knowledge Graph обновляется на основе информации, доступной в вебе. Чтобы попасть в KG, информация должна быть доступна для извлечения Query Processing Engine.
5. Оценка достоверности ответов: Система может использовать различные меры уверенности (Confidence Measures), такие как свежесть или популярность, для валидации ответов перед обновлением KG.

Best practices (это мы делаем)

• Предоставляйте четкие и однозначные факты: Контент должен содержать прямые утверждения о свойствах ключевых сущностей (компании, продукта, персоны). Системы QA (Question Answering) лучше всего извлекают информацию из четко сформулированных предложений, списков определений (dl/dt/dd) и таблиц. Это повышает вероятность того, что ваш сайт будет использован как источник для ответа на сгенерированный запрос.
• Используйте структурированные данные (Schema.org): Внедряйте микроразметку, максимально полно описывая сущности и их свойства. Это помогает Query Processing Engine идентифицировать и извлекать факты с большей уверенностью. Согласовывайте вашу разметку с типами и свойствами, которые ожидаются в схемах KG.
• Обеспечивайте консистентность данных (Consistency): Убедитесь, что фактическая информация (например, NAP, характеристики продукта, биографические данные) одинакова на вашем сайте и на авторитетных внешних ресурсах. Консистентность повышает уверенность (Confidence Measure) системы при извлечении ответа.
• Повышайте авторитетность источника (E-E-A-T): Google с большей вероятностью будет использовать ответы, полученные из источников, которые он считает авторитетными и надежными. Работа над E-E-A-T увеличивает шансы стать источником данных для KG.
• Оптимизируйте под свежесть для изменчивых фактов: Для фактов, которые часто меняются (например, цены, руководители, статистика), четко указывайте дату обновления информации. Система может предпочесть более свежие данные (recency) при оценке ответов для определенных типов свойств.

Worst practices (это делать не надо)

• Предоставление неоднозначной информации: Использование названий сущностей без контекста или свойств без четких значений. Патент подчеркивает важность Disambiguation Query Terms; если ваш контент сам по себе неоднозначен, он не будет надежным источником для извлечения фактов.
• Скрытие фактов в неструктурированном тексте или медиа: Размещение ключевой информации исключительно внутри длинных абзацев без выделения, внутри изображений или видео снижает вероятность её извлечения системами QA.
• Противоречивая информация: Размещение разных фактов на разных страницах сайта или наличие конфликтующей информации во внешних источниках снижает доверие к данным и может привести к игнорированию источника.

Стратегическое значение

Патент подтверждает стратегию Google по структурированию мировой информации и превращению поисковой системы в «движок знаний». Для SEO это означает, что работа с сущностями (Entity-Oriented SEO) и предоставление достоверных, легко извлекаемых фактов становятся критически важными. Стратегический приоритет должен отдаваться тому, чтобы стать надежным источником, из которого Google будет извлекать информацию для Knowledge Graph, так как это напрямую влияет на видимость в Knowledge Panels, прямых ответах и других SERP-функциях.

Практические примеры

Сценарий: Обновление информации о CEO компании

Ваша компания сменила генерального директора (CEO), но в Knowledge Panel Google отображается старая информация.

1. Как работает система Google (согласно патенту): Google может обнаружить это изменение через Сценарий Б (Data Refresh). Анализ Query Records показывает, что пользователи стали чаще искать «новый CEO [Ваша Компания]» или демонстрируют поведение, указывающее на конфликт с текущими данными KG. Это сигнализирует об устаревании данных.
2. Генерация запроса: Система генерирует запрос, например: «Кто является CEO [Ваша Компания], штаб-квартира в [Город] в [Текущий Год]?», используя известные факты для disambiguation.
3. Действия SEO-специалиста (для ускорения процесса):
   1. Обновить официальный сайт: На странице «Руководство» четко указать нового CEO, используя микроразметку schema.org/Organization и соответствующие свойства (например, ceo, employee, member).
   2. Опубликовать пресс-релиз: Убедиться, что текст содержит четкое утверждение: «[Имя Фамилия] назначен генеральным директором [Ваша Компания]».
   3. Обновить внешние профили: Обновить информацию в авторитетных бизнес-справочниках и отраслевых каталогах.
4. Результат: Query Processing Engine находит консистентный и свежий ответ в нескольких авторитетных источниках (включая ваш сайт) и обновляет Knowledge Graph.