Как Google поддерживает чистоту и согласованность данных в Knowledge Graph, удаляя неактуальные факты и ‘мертвые’ ссылки между сущностями

Описание

Какую задачу решает

Патент решает проблему внутренней несогласованности (internal inconsistencies) в репозитории фактов (например, Knowledge Graph). Несогласованность может возникать из-за пробелов в данных при наполнении базы или в результате операций по обслуживанию (например, фильтрации фактов). Конкретные проблемы включают: (1) Факты, ссылающиеся на другую сущность, могут содержать некорректное имя этой сущности или не содержать его вовсе. (2) Удаление фактов может привести к появлению «пустых» сущностей (Null Objects), на которые продолжают ссылаться другие факты (dangling links).

Что запатентовано

Запатентована система и метод поддержания согласованности репозитория фактов. Система применяет фильтры для удаления нежелательных фактов (attribute-value pairs), что может привести к созданию Null Objects. Затем система идентифицирует и удаляет ссылки, ведущие на эти Null Objects. Дополнительно система обеспечивает корректность имен связанных сущностей (dereferencing), вставляя актуальное имя сущности в факт, который на нее ссылается.

Как это работает

Система работает в двух основных режимах:

• Проверка ссылок и Очистка (Reference Checking): Система фильтрует факты в репозитории на основе предопределенных критериев (например, удаление нежелательного контента). Если в результате фильтрации сущность теряет все свои факты, она становится Null Object. Затем система сканирует репозиторий, находит факты, ссылающиеся на эти Null Objects, и удаляет эти ссылки (часто путем удаления самого ссылающегося факта).
• Дереференсация (Dereferencing): Система проверяет факты, которые содержат ссылку (Link или Object ID) на другую сущность. Она гарантирует, что в поле значения (Value) этого факта также присутствует корректное имя связанной сущности. Если имя отсутствует или неверно, система вставляет актуальное имя.

Актуальность для SEO

Средняя. Хотя патент подан в 2005 году, описанные в нем принципы обеспечения целостности и согласованности данных являются фундаментальными для управления любым крупномасштабным графом знаний. По мере роста и усложнения Knowledge Graph механизмы автоматической очистки и валидации связей остаются критически важными для поддержания качества данных.

Важность для SEO

Патент имеет умеренное стратегическое значение для SEO, хотя и описывает инфраструктурные процессы. Он не дает прямых тактических рекомендаций, но критически важен для понимания того, как функционирует и поддерживается Knowledge Graph. Он показывает, что сущности и факты не статичны; они могут быть отфильтрованы, а сущности могут быть удалены (превращены в Null Objects), если связанные с ними факты признаны недействительными или нежелательными. Это подчеркивает важность стабильного и качественного представления сущности в источниках, которые использует Google.

Детальный разбор

Термины и определения

Attribute-Value Pair (A-V pair) (Пара Атрибут-Значение)

Основная единица хранения факта в рамках объекта (сущности). Например, Атрибут: «Столица», Значение: «Варшава».

Dangling Link (Висячая ссылка)

Ссылка (Link) в факте, указывающая на объект, который был удален или превращен в Null Object.

Dereferencing (Дереференсация)

Процесс получения имени объекта по его идентификатору (Object ID) и вставки этого имени в факт, который ссылается на этот объект.

Fact (Факт)

Единица информации в репозитории, хранящаяся как A-V pair и связанная с конкретным объектом. Может также включать метрики, источники и ссылки.

Fact Repository (Репозиторий фактов)

База данных фактической информации, извлеченной из различных источников (например, Knowledge Graph).

Importer (Импортер)

Компонент, который извлекает фактическую информацию из документов (источников) и передает ее в Repository Manager.

Link (Ссылка)

Поле в факте, содержащее идентификатор (Object ID) другого объекта в репозитории, устанавливающее связь между сущностями.

Null Object (Пустой объект)

Объект (сущность), который потерял все свои факты в результате фильтрации или других операций обслуживания. Он соответствует критерию отсутствия информации (null information criterion).

Object (Объект)

Представление сущности (человек, место, концепция) в репозитории фактов. Состоит из уникального идентификатора (Object ID) и набора связанных фактов.

Repository Manager (Менеджер репозитория)

Компонент, управляющий репозиторием фактов. Выполняет операции по «очистке» данных, такие как нормализация, слияние дубликатов и удаление нежелательных фактов.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на двух аспектах поддержания согласованности: удаление ссылок на пустые объекты и дереференсация.

Claim 1 (Независимый пункт): Описывает процесс очистки репозитория от висячих ссылок после фильтрации фактов.

1. Система получает доступ к набору объектов в базе данных, где некоторые A-V pairs содержат ссылки на другие объекты.
2. Выполняется фильтрация: A-V pairs, соответствующие предопределенным критериям, удаляются.
3. Определяются Null Objects: объекты, которые после фильтрации удовлетворяют критерию отсутствия информации (null information criterion).
4. Идентифицируются объекты, содержащие A-V pairs со ссылками на эти Null Objects.
5. Выполняется удаление: из этих объектов удаляются те самые A-V pairs, которые содержат ссылки на Null Objects.

Ключевой момент: если Факт А ссылается на Объект Б, и Объект Б становится пустым, то Факт А удаляется целиком.

Claim 3 (Зависимый от 1): Добавляет к процессу очистки механизм дереференсации.

1. Для A-V pairs, содержащих ссылки на другие объекты, система вставляет имя связанного объекта в поле значения (Value) этого A-V pair.

Это гарантирует, что факт содержит не только идентификатор связанной сущности, но и ее человекочитаемое имя.

Claim 11 (Независимый пункт): Альтернативное описание процесса очистки, схожее с Claim 1.

1. Доступ к объектам, включая те, что ссылаются на Null Objects (определенных как объекты с пустыми A-V парами).
2. Фильтрация базы данных путем удаления A-V pairs, соответствующих критериям.
3. Идентификация A-V pairs, ссылающихся на Null Objects.
4. Удаление этих A-V pairs из соответствующих объектов.

Где и как применяется

Изобретение относится к инфраструктуре управления данными и применяется на этапе обработки и хранения извлеченной информации.

CRAWLING – Сканирование и Сбор данных
На этом этапе Importer собирает исходные документы, из которых будут извлекаться факты.

INDEXING – Индексирование и извлечение признаков
Основная область применения патента.

• Извлечение фактов: Importer анализирует контент и извлекает факты.
• Управление репозиторием: Repository Manager обрабатывает извлеченные факты, сохраняет их в Fact Repository и выполняет операции по поддержанию согласованности. Описанные в патенте процессы (фильтрация, дереференсация, удаление висячих ссылок) выполняются Repository Manager как часть обслуживания Knowledge Graph.

Эти процессы не происходят в реальном времени при обработке запроса пользователя, а выполняются периодически для поддержания качества базы данных.

Входные данные:

• Набор объектов (сущностей) в Fact Repository.
• Факты (A-V pairs), связанные с этими объектами, включая их Links (Object IDs).
• Предопределенные критерии фильтрации (например, эвристики или черные списки).

Выходные данные:

• Обновленный Fact Repository с улучшенной согласованностью: удалены нежелательные факты, удалены ссылки на Null Objects, в факты добавлены имена связанных сущностей.

На что влияет

• Типы контента: Влияет на фактическую информацию, хранящуюся в Knowledge Graph. Не влияет напрямую на ранжирование веб-страниц, но влияет на данные, отображаемые в Панелях Знаний (Knowledge Panels) и других функциях, основанных на фактах.
• Конкретные ниши или тематики: Наибольшее влияние в нишах, где факты часто меняются, оспариваются или где присутствует контент, подпадающий под критерии фильтрации (упоминается порнография, но критерии могут быть шире).

Когда применяется

• Условия применения: Процессы применяются во время планового обслуживания Fact Repository.
• Триггеры активации:
  • Фильтрация и проверка ссылок активируются для удаления фактов, соответствующих predefined criteria, и последующей очистки висячих ссылок.
  • Дереференсация активируется для исправления фактов, где отсутствует или некорректно указано имя связанной сущности.

Пошаговый алгоритм

Процесс А: Дереференсация (Dereferencing)

1. Доступ к данным: Система получает доступ к объектам в Fact Repository.
2. Итерация по объектам: Система выбирает объект для обработки.
3. Проверка фактов: Анализируются A-V pairs объекта на наличие ссылок (Links) на другие объекты.
4. Получение имени: Если ссылка найдена, система определяет имя связанного объекта (например, используя Object ID из ссылки для поиска в таблице имен).
5. Вставка имени: Имя связанного объекта вставляется в поле Value текущего A-V pair. Если имя уже присутствует, оно может быть перезаписано для обеспечения актуальности.
6. Завершение: Процесс повторяется для всех объектов в репозитории.

Процесс Б: Фильтрация и Проверка Ссылок (Filtering and Reference Checking)

1. Доступ к данным: Система получает доступ к объектам в Fact Repository.
2. Фильтрация фактов: Система применяет фильтры (эвристики, черные списки). A-V pairs, соответствующие predefined criteria, удаляются из объектов.
3. Идентификация Null Objects: После фильтрации система определяет объекты, которые теперь удовлетворяют null information criterion (например, у них не осталось фактов).
4. Итерация по объектам: Система выбирает объект для проверки ссылок.
5. Поиск висячих ссылок: Анализируются A-V pairs объекта на наличие ссылок, ведущих на Null Objects.
6. Удаление ссылок: Если ссылка на Null Object найдена, система удаляет эту ссылку. В патенте описаны два варианта: (i) удаление всего A-V pair (основной метод, описанный в Claim 1), или (ii) удаление только Object ID из поля Value, но сохранение имени (если оно там было).
7. Повторение (Опционально): Так как удаление A-V pairs на шаге 6 может создать новые Null Objects, процесс, начиная с шага 3, может быть повторен несколько итераций.
8. Завершение: Процесс завершается после обработки всех объектов или достижения лимита итераций.

Какие данные и как использует

Данные на входе

Патент фокусируется на внутренней структуре репозитория и не описывает внешние факторы ранжирования. Используются следующие внутренние данные:

• Структурные данные репозитория:
  • Object ID: Уникальные идентификаторы сущностей.
  • A-V Pairs (Факты): Атрибуты и значения, связанные с объектами.
  • Links: Идентификаторы связанных объектов внутри фактов.
  • Names: Имена объектов (часто хранятся как специальные факты, например, Name facts).
• Системные данные (Критерии):
  • Predefined criteria: Правила фильтрации фактов (например, эвристики или черные списки для определения нежелательного контента).
  • Null information criterion: Правило для определения, стал ли объект «пустым».

Какие метрики используются и как они считаются

В патенте не упоминаются конкретные метрики ранжирования или оценки качества, но упоминаются следующие концепции и процессы:

• Фильтрация по критериям: Система оценивает каждый A-V pair на соответствие predefined criteria. Если соответствие есть, факт удаляется.
• Определение Null Object: Система проверяет объект на соответствие null information criterion после фильтрации. Например, критерием может быть количество оставшихся фактов (ноль).
• Валидация ссылок: Система проверяет, указывает ли Link в факте на существующий, непустой объект или на Null Object.

Выводы

1. Knowledge Graph самоочищается: Патент описывает конкретные механизмы, с помощью которых репозиторий фактов (Knowledge Graph) поддерживает свою внутреннюю согласованность и чистоту данных без ручного вмешательства.
2. Факты могут быть отфильтрованы: Google активно удаляет факты, которые соответствуют predefined criteria (например, спам, нежелательный контент, возможно, недостоверная информация). Repository Manager отвечает за эту очистку.
3. Сущности могут исчезать: Если все факты, связанные с сущностью, удаляются в процессе фильтрации, сущность становится Null Object. Это эквивалентно ее удалению из графа знаний.
4. Удаление сущности вызывает каскадную очистку: Если сущность стала Null Object, система активно ищет и удаляет все входящие ссылки на нее. В большинстве случаев это означает удаление фактов, которые ссылались на эту сущность (например, если удалена сущность «Компания А», то факт «Иван Петров работал в Компании А» также будет удален).
5. Важность имен сущностей: Процесс Dereferencing подчеркивает, что система стремится к тому, чтобы связи между сущностями были не только техническими (через Object ID), но и семантическими (через корректное имя).

Практика

Best practices (это мы делаем)

Хотя патент описывает внутренние процессы Google, он дает важное понимание принципов работы Knowledge Graph, что критично для стратегий Entity SEO.

• Обеспечение консистентности и достоверности фактов: Убедитесь, что информация о вашей сущности (бренде, персоне) представлена в авторитетных внешних источниках последовательно и точно. Если факты будут признаны достоверными и качественными, они с меньшей вероятностью будут отфильтрованы системой.
• Мониторинг присутствия в Knowledge Graph: Регулярно проверяйте наличие вашей сущности и связанных с ней фактов в Knowledge Graph. Исчезновение сущности или ключевых фактов может указывать на то, что система классифицировала информацию как нежелательную или недостоверную и активировала механизмы очистки.
• Построение сильных связей с устойчивыми сущностями: Стремитесь ассоциировать вашу сущность с другими авторитетными и стабильными сущностями в графе знаний. Если ваша сущность связана с большим количеством Null Objects, факты, устанавливающие эти связи, будут удалены, что может ослабить позиции вашей собственной сущности.

Worst practices (это делать не надо)

• Манипуляции с фактами и создание «токсичных» ассоциаций: Попытки внедрить в Knowledge Graph ложные факты или связать сущность с нежелательным контентом (который подпадает под predefined criteria) могут привести к тому, что эти факты будут отфильтрованы.
• Использование низкокачественных источников для построения сущности: Если факты о сущности базируются исключительно на источниках, которые Google может посчитать спамными или неавторитетными, существует риск, что эти факты будут удалены при фильтрации, что приведет к превращению сущности в Null Object.
• Игнорирование точности имен и названий: Непоследовательное использование имен сущностей во внешних источниках может затруднить процесс Dereferencing и привести к ошибкам в отображении связей в Knowledge Graph.

Стратегическое значение

Патент подтверждает, что Knowledge Graph — это динамическая система с механизмами саморегуляции и контроля качества. Для SEO-стратегии это означает, что работа над Entity SEO и E-E-A-T должна быть направлена на создание устойчивого, качественного и непротиворечивого представления сущности в интернете. Недостаточно просто «попасть» в Knowledge Graph; необходимо обеспечить качество фактов, чтобы сущность не была удалена в ходе автоматической очистки.

Практические примеры

Сценарий: Удаление сущности и каскадная очистка связей

1. Исходное состояние: В Knowledge Graph есть две сущности: «Иван Петров» (Объект 1) и «ООО Рога и Копыта» (Объект 2). У Объекта 1 есть факт: Атрибут=»Место работы», Значение=»ООО Рога и Копыта», Ссылка=Object ID 2.
2. Фильтрация: Google определяет, что «ООО Рога и Копыта» является фиктивной компанией, созданной для манипуляций. Все факты, связанные с Объектом 2, соответствуют predefined criteria и удаляются.
3. Создание Null Object: Объект 2 становится Null Object.
4. Проверка ссылок: Система сканирует репозиторий и находит, что Объект 1 имеет факт со ссылкой на Object ID 2 (теперь Null Object).
5. Удаление связи: Система удаляет факт «Место работы» из профиля «Иван Петров».
6. Результат: «ООО Рога и Копыта» исчезает из Knowledge Graph, и связь Ивана Петрова с этой компанией также удаляется.

Вопросы и ответы