Как Google распознает и объединяет дубликаты сущностей в Knowledge Graph, используя агрессивную нормализацию имен

Термины и определения

Attribute (Атрибут)

Тип информации, связанной с объектом (например, 'Date of Birth', 'Address', 'Name').

Bucket (Корзина)

Группа объектов, имеющих одинаковую сигнатуру. Используется для оптимизации процесса сравнения.

Duplicate Objects (Дублирующиеся объекты)

Объекты в базе данных, которые представляют одну и ту же сущность реального мира, но имеют разные Object ID.

Entity Normalization (Нормализация сущностей)

Процесс идентификации и объединения дублирующихся объектов. Также известен как Entity Resolution.

Fact (Факт)

Единица информации об объекте, состоящая из атрибута и значения (например, Attribute='Date of Birth', Value='1960').

Fact Repository (Репозиторий фактов)

База данных, хранящая факты, извлеченные из множества документов. Эквивалент Knowledge Graph.

Importer (Импортер)

Компонент системы, который извлекает факты из документов (например, веб-страниц) и добавляет их в Fact Repository.

Janitor (Уборщик)

Компонент системы, выполняющий обработку фактов: очистку данных, нормализацию, объединение объектов (object merging). Описанный в патенте алгоритм реализуется именно в Janitor.

Matcher (Механизм сравнения)

Модуль или функция, применяемая к паре объектов для определения, являются ли они дубликатами. Сравнение основано на схожести их фактов.

Name Fact (Факт имени)

Специальный тип факта, который передает имя сущности.

Normalization Rules (Правила нормализации)

Набор правил, применяемых к значению имени для его стандартизации (например, удаление стоп-слов, сортировка).

Normalizer (Нормализатор)

Модуль, применяющий Normalization Rules к именам объектов.

Object (Объект)

Представление сущности реального мира в базе данных, определяемое набором связанных фактов.

Signature (Сигнатура)

Идентификатор, генерируемый для объекта, обычно на основе его нормализованного имени. Используется для группировки объектов в Buckets.

Value (Значение)

Конкретное содержание факта (например, '1960' для атрибута 'Date of Birth').

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации дубликатов объектов, созданных на основе фактов, извлеченных из веб-документов.

1. Система извлекает факты из веб-документов и ассоциирует их с объектами.
2. Для каждого объекта нормализуется значение его Name Fact.
3. Объекты группируются в Buckets в соответствии с их нормализованными именами.
4. К паре объектов внутри одной Bucket применяется Matcher для определения, являются ли они дубликатами.

Ключевой аспект: группировка основана на имени, а финальное сравнение (Matcher) учитывает другие факты (в патенте указано, что один из объектов пары имеет факт, не являющийся общим для пары, что подразумевает сравнение по совокупности фактов).

Claim 2, 3, 4, 5 (Зависимые): Детализируют процесс нормализации имен.

• Нормализация включает применение группы правил (Claim 2).
• Конкретные правила включают удаление социальных титулов (Mr., Mrs.) и почетных званий (President, Senator) (Claim 3).
• Другие правила включают удаление однобуквенных слов (инициалов), знаков препинания, стоп-слов и приведение к нижнему регистру (Claim 4).
• Также включает сортировку слов в имени по алфавиту (Claim 5).

Это указывает на очень агрессивную стратегию нормализации, направленную на приведение самых разных вариантов написания имени к единому стандарту.

Claim 6 (Зависимый): Детализирует процесс группировки.

1. Генерируется Signature на основе нормализованного имени. Сигнатуры для дубликатов должны быть идентичны, даже если исходные факты различаются.
2. Объект помещается в Bucket, идентифицируемую этой сигнатурой.

Это подтверждает, что нормализация имени является ключевым механизмом для предварительной кластеризации потенциальных дубликатов.

Claim 7, 8 (Зависимые): Детализируют работу Matcher.

1. Для общих фактов (фактов с одинаковым атрибутом) у пары объектов определяется схожесть их значений с использованием меры схожеosti (similarity measure) (Claim 7).
2. Решение о дублировании принимается на основе этой схожести, в частности, на основе количества общих фактов со схожими значениями по сравнению с общим количеством фактов (Claim 8).

Это подчеркивает, что хотя имя используется для группировки, окончательное решение об идентичности сущностей принимается на основе других подтверждающих фактов.

Где и как применяется

Изобретение применяется на этапе построения и поддержания базы знаний (Knowledge Graph), используя данные, извлеченные из интернета.

CRAWLING – Сканирование и Сбор данных
Система собирает веб-документы (web documents), которые служат источником для извлечения фактов.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента, связанный с построением Knowledge Graph.

1. Извлечение фактов (Importers): Система извлекает факты из документов и ассоциирует их с объектами (сущностями). На этом этапе создается множество потенциально дублирующихся объектов.
2. Обработка и нормализация (Janitors): Компонент Janitor выполняет процесс Entity Normalization, описанный в патенте. Он анализирует созданные объекты, нормализует их имена, группирует и применяет Matcher для выявления и объединения дубликатов.

Результатом этого этапа является очищенный и консолидированный Fact Repository (Knowledge Graph), где каждая сущность реального мира представлена одним уникальным объектом.

RANKING / METASEARCH
Хотя патент напрямую не описывает ранжирование, результаты его работы (консолидированный Knowledge Graph) активно используются на этих этапах для формирования Knowledge Panels, обогащения сниппетов и понимания связи между сущностями, что влияет на ранжирование.

Входные данные:

• Набор объектов, каждый из которых имеет набор фактов (Attribute/Value), включая Name Fact.
• Факты извлечены из веб-документов.

Выходные данные:

• Идентификация пар или групп дублирующихся объектов.
• (Опционально) Объединенные объекты (merged objects), консолидирующие факты из дубликатов.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, описывающий именованные сущности (Named Entities) – людей, организации, места, продукты, произведения искусства и т.д.
• Специфические запросы: Влияет на запросы, связанные с сущностями, для которых Google формирует Knowledge Panels или другие блоки, основанные на Knowledge Graph.
• Конкретные ниши или тематики: Влияет на все ниши, но особенно критично в тематиках с большим количеством схожих названий (например, названия компаний, имена людей) или там, где одна сущность имеет много вариантов именования (например, исторические личности, географические объекты).

Когда применяется

• При каких условиях работает алгоритм: Алгоритм применяется в процессе обработки данных (data processing) после того, как факты были извлечены Importers и перед тем, как они будут использованы для ответов на запросы пользователей. Это часть процесса построения и обновления индекса/базы знаний.
• Временные рамки: Процесс выполняется периодически или непрерывно (офлайн или в пакетном режиме) по мере поступления новых данных в систему для поддержания чистоты Fact Repository.

Пошаговый алгоритм

Процесс идентификации дублирующихся объектов (Entity Normalization):

1. Инициализация: Система начинает с набора объектов, извлеченных из различных источников.
2. Нормализация имен: Для каждого объекта система извлекает его имя (Name Fact) и применяет к нему Normalizer.
   • Применяется набор правил нормализации: приведение к нижнему регистру, удаление стоп-слов, социальных/почетных титулов, однобуквенных слов (инициалов), знаков препинания.
   • Слова в нормализованном имени сортируются по алфавиту.
3. Генерация сигнатуры: Для каждого объекта создается Signature на основе его нормализованного имени (например, путем удаления пробелов).
4. Группировка (Bucketing): Объекты группируются в Buckets. Объекты с одинаковой сигнатурой помещаются в одну 'корзину'. Объекты с пустой сигнатурой (например, если имя состояло только из стоп-слов) могут игнорироваться.
5. Применение Matcher (Внутригрупповое сравнение): Для каждой 'корзины' система выполняет попарное сравнение объектов.
   • К каждой паре применяется Matcher.
   • Matcher анализирует общие факты (Common Facts) – факты с одинаковыми атрибутами (кроме имени).
   • Оценивается схожесть значений этих фактов (используя лексическую, числовую или строковую меру схожести).
6. Определение совпадения: Matcher принимает решение о совпадении на основе количества схожих и различающихся общих фактов (например, если схожих фактов больше, чем различающихся).
7. Идентификация дубликатов: Объекты, для которых Matcher определил совпадение, идентифицируются как дубликаты.
8. (Опционально) Объединение: Дублирующиеся объекты могут быть объединены в один консолидированный объект.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании атрибутов объектов для их нормализации.

• Контентные факторы (Факты): Ключевые данные – это значения фактов, связанных с объектами.
  • Name Fact Value: Значение имени объекта используется на этапе нормализации и генерации сигнатуры.
  • Other Fact Values: Значения других атрибутов (например, дата рождения, адрес, телефон, дата смерти) используются на этапе сравнения (Matcher).
• Структурные факторы (Внутренние): Система использует структуру данных 'Объект -> Факт (Атрибут, Значение)'.

Какие метрики используются и как они считаются

Патент не приводит конкретных формул, но описывает используемые метрики и методы:

• Сигнатура (Signature): Вычисляется на основе нормализованного имени. Метод вычисления должен гарантировать, что потенциальные дубликаты получат одинаковую сигнатуру (например, удаление пробелов из нормализованного имени).
• Меры схожести (Similarity Measures): Используются Matcher для сравнения значений фактов. Упоминаются:
  • Лексическая схожесть (Lexical similarity): например, 'U.S.A.' и 'United States'.
  • Близость значений (Proximate similarity): например, '176 pounds' и '176.1 pounds'.
  • Метрики строкового сходства (String similarity measures): упоминаются Edit distance, Hamming Distance, Levenshtein Distance, Jaro Distance Metric, Dice's Coefficient, Jaccard Coefficient и другие.
• Критерий совпадения (Matching Criteria): Метрика для принятия решения о дублировании. Один из примеров: объекты совпадают, если количество схожих общих фактов превышает количество различающихся общих фактов.

1. Фундаментальность Entity Resolution: Патент описывает ключевой процесс построения Knowledge Graph – разрешение сущностей. Точность идентификации сущностей критически важна для Google.
2. Агрессивная нормализация имен: Google применяет очень агрессивные методы для стандартизации имен (включая удаление титулов, инициалов и алфавитную сортировку слов). Это делается для того, чтобы максимизировать вероятность нахождения всех вариантов написания имени одной и той же сущности.
3. Имя – это ключ группировки, а не идентификации: Нормализованное имя (Signature) используется только для эффективной группировки потенциальных дубликатов (Bucketing). Оно не используется для принятия финального решения об идентичности.
4. Атрибуты (Факты) – ключ к идентификации: Финальное решение об объединении сущностей принимает Matcher на основе схожести других фактов (адрес, дата рождения, телефон и т.д.). Наличие консистентных и подтверждаемых фактов является решающим фактором.
5. Обработка гетерогенных данных: Описанный метод позволяет обрабатывать объекты разных типов (люди, компании, места) с помощью универсального подхода, не требуя специфичных для типа идентификаторов (таких как ISBN или SSN).

Best practices (это мы делаем)

• Обеспечение абсолютной консистентности NAP/NUL: Необходимо обеспечить полное совпадение названия (Name), адреса (Address), телефона (Phone) или URL (Uniform Resource Locator) во всех источниках (сайт, Schema-разметка, каталоги, социальные сети). Это критически важно для того, чтобы Matcher мог подтвердить идентичность сущности.
• Использование структурированных данных (Schema.org): Активно используйте разметку Organization, Person, Product, LocalBusiness. Используйте свойство sameAs для связи с авторитетными источниками (Wikipedia, Wikidata, официальные реестры). Это предоставляет Matcher четкие и однозначные факты для сравнения.
• Насыщение сущности уникальными фактами: Чем больше уникальных и проверяемых фактов связано с сущностью, тем легче Google отличить ее от других сущностей с похожими именами. Указывайте даты основания, ключевых сотрудников, уникальные идентификаторы (если применимо), награды.
• Мониторинг Knowledge Panel: Регулярно проверяйте панель знаний на предмет точности данных и потенциального смешивания с другими сущностями. При обнаружении ошибок используйте механизм обратной связи.
• Стандартизация вариантов имени: Хотя Google и проводит нормализацию, лучше превентивно использовать наиболее распространенное и официальное имя в качестве основного. В разметке Schema.org можно указать альтернативные названия через alternateName.

Worst practices (это делать не надо)

• Неконсистентное именование: Использование разных вариантов названия компании или имени человека в разных источниках без явной связи между ними. Это может привести к тому, что Google создаст несколько отдельных, слабых сущностей вместо одной сильной.
• Противоречивые данные в разных источниках: Публикация разных адресов, телефонов или дат основания в разных каталогах или на разных страницах сайта. Это увеличивает количество 'различающихся общих фактов', что может помешать Matcher объединить объекты.
• Игнорирование структурированных данных: Полагаться только на неструктурированный текст для передачи информации о сущности. Это затрудняет извлечение фактов и повышает вероятность ошибок при нормализации.
• Создание 'искусственных' фактов: Попытка манипулировать Knowledge Graph путем публикации ложных фактов. Система использует меры схожести и, вероятно, проверяет факты по множеству источников, что делает такие манипуляции неэффективными.

Стратегическое значение

Патент подтверждает стратегическую важность Entity SEO. Понимание того, как Google видит и консолидирует сущности, является основой для построения авторитетности и видимости в современном поиске. Стратегия должна быть направлена на создание четкого, консистентного и взаимосвязанного цифрового следа для ключевых сущностей (бренд, авторы, продукты). Этот патент показывает, что Google технически оснащен для решения сложных задач по дедупликации, и успех зависит от качества и согласованности данных, предоставляемых вебмастерами и SEO-специалистами.

Практические примеры

Сценарий: Консолидация бренда с несколькими вариантами написания

Компания работает под брендом 'Acme Dynamics', но её часто называют 'Acme' или 'Acme Dyn. Corp.'.

1. Проблема: Google может видеть это как три разные сущности или не может уверенно связать упоминания 'Acme' с основным брендом.
2. Применение патента (Как работает Google):
   • Нормализация: Все три имени могут быть нормализованы до 'acme dynamics corp' (если Corp есть в базе синонимов) или 'acme dynamics'.
   • Группировка: Объекты, созданные из разных источников с этими именами, попадают в одну Bucket.
   • Сравнение: Matcher сравнивает адреса, телефоны, URL сайтов, указанные в источниках.
3. Действия SEO: Обеспечить, чтобы во всех источниках, где используются альтернативные названия ('Acme', 'Acme Dyn. Corp.'), присутствовали те же самые контактные данные (NAP) и ссылка на основной сайт (URL), что и в источниках с основным названием 'Acme Dynamics'. Использовать Schema.org на главном сайте, перечислив все варианты в alternateName и указав основные факты (Address, Phone).
4. Результат: Matcher видит высокое сходство фактов (идентичные NAP/URL) и уверенно объединяет все варианты в одну сильную сущность 'Acme Dynamics'.