Как Google автоматически классифицирует сущности в Knowledge Graph с помощью "Коллекций"

Термины и определения

Collection (Коллекция)

Группа сущностей в графе данных, объединенных общими характеристиками. Примеры: "Президенты США", "Лауреаты Нобелевской премии".

Collection Definition (Определение коллекции)

Набор правил, определяющих условия членства в коллекции. Состоит из одного или нескольких условий (Conditions).

Condition (Условие)

Часть определения коллекции. Состоит из одного или нескольких ограничений (Constraints). Если в условии несколько ограничений, они связаны логическим ИЛИ (дизъюнкция).

Conjunctive Normal Form (CNF) (Конъюнктивная нормальная форма)

Формат определения коллекций. Все условия (Conditions) коллекции должны быть выполнены (логическое И) для членства. Каждое условие является дизъюнкцией (логическое ИЛИ) ограничений.

Constraint (Ограничение)

Элементарное правило, проверяющее наличие или отсутствие определенного пути или значения в графе. Имеет тип (Constraint Type) и выражение (Constraint Expression).

Constraint Types (Типы ограничений)

Категории правил: Exists (путь существует), Not Exists (путь не существует), Equals (путь ведет к конкретному значению/сущности), Not Equals (путь не ведет к значению), Template (динамическое создание коллекций на основе значения).

Collection Index (Индекс коллекций)

Структура данных, индексирующая все ограничения из всех опубликованных коллекций. Позволяет быстро находить, какие условия выполняются при обходе связей сущности.

Data Graph (Граф данных)

База знаний (например, Knowledge Graph), где сущности представлены узлами (Nodes/Entities), а отношения между ними — ребрами (Edges/Relationships).

Information Gain (Прирост информации)

Метрика из теории информации, используемая в процессе автоматического обнаружения коллекций для оценки того, насколько хорошо комбинация ограничений определяет набор сущностей.

Property-Value Pair (Пара свойство-значение)

Комбинация пути (свойства/отношения) и целевого узла (значения) в графе.

Template Variable (Переменная шаблона)

Переменная в ограничении типа Template, которая позволяет значению целевого узла определять, к какой именно коллекции принадлежит сущность (например, [CTRY] в "Presidents of [CTRY]").

Ключевые утверждения (Анализ Claims)

Патент фокусируется на механизме индексации правил и эффективном вычислении принадлежности к коллекциям.

Claim 1 (Независимый пункт): Описывает систему для эффективной оценки принадлежности.

1. Система имеет граф данных (узлы и ребра) и индекс ограничений (index of constraints) из определений коллекций.
2. Определение коллекции состоит из условий, которые связаны логическим И (conjunctive).
3. Система оценивает ребро (связь) для узла (сущности) по индексу, чтобы определить, какие условия выполняются этим ребром и его окрестностью.
4. Этот процесс повторяется для каждого ребра, связанного с узлом.
5. Система определяет, что все условия для первой коллекции выполнены.
6. Генерируется индикатор в графе данных о том, что узел является членом этой коллекции.

Claim 16 (Независимый пункт): Описывает пошаговый метод оценки принадлежности с использованием структур данных для отслеживания выполнения условий и нарушений.

1. Инициализация первых структур данных (для отслеживания выполнения условий включения – condition met/not met) для узла.
2. Инициализация вторых структур данных (для отслеживания нарушений условий исключения – violation found/not found).
3. Оценка связи и ее окрестности по индексу коллекций.
4. Если связь удовлетворяет выражению:
   • Если это включение: установка флага condition met в первой структуре.
   • Если это исключение: установка флага violation found во второй структуре.
5. Повторение оценки для оставшихся связей узла.
6. Финализация: Для каждой второй структуры, если флаг violation not found, установка флага condition met в первой структуре.
7. Генерация членства: Для каждой первой структуры, если все флаги condition met, генерация связи в графе, указывающей на членство узла в коллекции.

Claim 21 (Независимый пункт): Описывает систему, которая генерирует индекс коллекций.

1. Система хранит определения коллекций, где условие может быть одним ограничением или группой ограничений (дизъюнкция).
2. Система генерирует индекс для этих определений.
3. Каждая запись индекса для ограничения включает: тип ограничения, выражение ограничения, идентификатор коллекции и индикатор условия внутри коллекции, связанного с этим ограничением.

Где и как применяется

Изобретение является инфраструктурной технологией для управления и использования Графа Знаний (Knowledge Graph).

INDEXING – Индексирование и извлечение признаков
Основное применение. На этом этапе происходит построение самого графа данных. Описанный механизм используется для анализа существующих связей и генерации новых связей, классифицирующих сущности.

• Пакетная обработка (Batch Process): Система может периодически пересчитывать принадлежность всех сущностей ко всем коллекциям (Claim 8). Это обогащает индекс новыми классификационными данными.
• Генерация признаков: Принадлежность к определенным коллекциям (например, "Award-Winning Journalists") может использоваться как признак качества или авторитетности (E-E-A-T) для дальнейшего ранжирования.

QUNDERSTANDING – Понимание Запросов
Коллекции используются для интерпретации запросов о группах объектов. Если пользователь ищет "19th Century Leaders", система может использовать соответствующую коллекцию для быстрого поиска членов (Claim 9).

RANKING – Ранжирование
Принадлежность к коллекциям может использоваться как сигнал ранжирования. Сущности, принадлежащие к высококачественным или релевантным запросу коллекциям, могут получать преимущество.

Входные данные:

• Граф данных (сущности и их связи).
• Определения опубликованных коллекций (Published Collections).
• Индекс коллекций (Collection Index).

Выходные данные:

• Новые ребра в графе данных, соединяющие сущности с узлами, представляющими коллекции (Collection Entities).

На что влияет

• Конкретные типы контента: Влияет на любой контент, связанный с сущностями, представленными в Knowledge Graph (статьи об организациях, биографии, описания продуктов).
• Специфические запросы: Наибольшее влияние на информационные запросы, ищущие списки, категории или классификации (например, "актеры, играющие на скрипке", "компании, основанные в 2020 году").
• Конкретные ниши или тематики: Влияет на все ниши, но особенно критично в YMYL-тематиках, где классификация экспертов и организаций имеет решающее значение для оценки E-E-A-T.

Когда применяется

• Пакетная обработка: Периодически (например, ежедневно) для обновления членства во всем графе (офлайн-процесс).
• При обновлении данных: Может применяться к отдельной сущности, когда ее данные или связи изменяются в графе.
• В реальном времени (Опционально): Система может выполнять оценку принадлежности в ответ на запрос, чтобы вернуть актуальные коллекции для сущности (Claim 15).

Пошаговый алгоритм

Процесс А: Генерация Индекса Коллекций (Офлайн)

1. Сбор определений: Система получает набор опубликованных коллекций.
2. Анализ ограничений: Каждое ограничение в каждом определении анализируется для определения его типа (Equals, Exists, Template и т.д.) и выражения.
3. Генерация индекса: Система создает Collection Index, который может состоять из нескольких субиндексов (по одному для каждого типа ограничения). Каждая запись в индексе связывает выражение ограничения с парой (Идентификатор Коллекции, Идентификатор Условия).

Процесс Б: Оценка Принадлежности Сущности (Пакетно или Онлайн)

1. Инициализация структур данных: Для оцениваемой сущности создаются структуры данных:
   • Структура выполнения условий (например, битовый вектор для каждой коллекции), инициализируется значением "не выполнено".
   • Структура нарушений (для ограничений типа Not Exists/Not Equals), инициализируется значением "нарушение не найдено".
2. Итерация по окрестности (Один проход): Система перебирает все связи (ребра) сущности.
3. Оценка связи по индексу: Каждая связь проверяется по всем субиндексам:
   • Проверка Exists/Equals/Template: Если связь соответствует выражению в индексе, соответствующий флаг в структуре выполнения условий устанавливается в "выполнено".
   • Проверка Not Exists/Not Equals: Если связь соответствует выражению в индексе, соответствующий флаг в структуре нарушений устанавливается в "нарушение найдено".
4. Рекурсивный обход (Опционально): Если требуется проверка путей длиной более одного, система итерирует по связям целевого узла, конкатенируя пути.
5. Обработка нарушений: После завершения итерации система анализирует структуру нарушений. Если для условия нарушение не найдено, соответствующий флаг в структуре выполнения условий устанавливается в "выполнено".
6. Определение рекурсивного членства: Система проверяет условия, зависящие от членства в других коллекциях (используя индексы Member/Not Member).
7. Финализация и генерация связей: Система анализирует структуру выполнения условий. Для каждой коллекции, где все условия помечены как "выполнено", система генерирует новое ребро в графе данных, связывающее сущность с узлом коллекции. Для коллекций типа Template система использует сохраненные значения переменных для генерации связей с конкретными динамическими коллекциями.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на данных, хранящихся в графе знаний.

• Структурные факторы: Система использует структуру графа данных — узлы (сущности) и ребра (отношения). Анализируются property-value pairs (пары свойство-значение) для каждой сущности. Это включает прямые связи и пути длиной более одного.
• Системные данные: Определения коллекций (Collection Definitions) и сгенерированный индекс ограничений (Collection Index).
• Поведенческие факторы (Только для обнаружения): На этапе автоматического обнаружения кандидатов в коллекции система может использовать поисковые логи (Search Records) для идентификации популярных запросов и оценки популярности коллекций.

Какие метрики используются и как они считаются

Метрики делятся на два этапа: Обнаружение коллекций и Оценка принадлежности.

Этап Обнаружения (Discovery):

• Information Gain (Прирост информации): Используется для выбора наилучшей комбинации ограничений для определения коллекции. Рассчитывается на основе энтропии, учитывая общее количество сущностей в графе, количество сущностей в исходном наборе, и количество сущностей, удовлетворяющих ограничениям.
• Correlation Score (Оценка корреляции): Используется для выбора наиболее значимых property-value pairs. Может использовать Information Gain, TF-IDF и учитывать популярность сущностей.
• Search Popularity Score (Оценка поисковой популярности): Используется для ранжирования кандидатов в коллекции. Генерируются псевдо-запросы на основе определения коллекции и проверяется их частотность в поисковых логах.
• Quality Threshold (Порог качества): Агрегированная оценка (включая ранг, качество имени и т.д.), используемая для принятия решения о публикации коллекции.

Этап Оценки Принадлежности (Membership Evaluation):

• Флаги выполнения условий (Condition Met Flags): Бинарные индикаторы, отслеживающие выполнение каждого условия коллекции в процессе обхода графа.
• Флаги нарушений (Violation Found Flags): Бинарные индикаторы, отслеживающие нарушение условий исключения (Not Exists/Not Equals).

1. Автоматическая классификация в масштабе: Патент описывает инфраструктуру, позволяющую Google автоматически классифицировать миллиарды сущностей в Knowledge Graph без ручного вмешательства. Это основа семантического поиска.
2. Эффективность как ключевой фактор: Центральное место в патенте занимает эффективность вычисления. Способность проверить принадлежность ко всем коллекциям за один проход (O(N), где N – количество связей сущности) позволяет поддерживать актуальность данных и использовать их в реальном времени.
3. Гибкий язык правил: Использование Conjunctive Normal Form (И условий, состоящих из ИЛИ ограничений) и различных типов ограничений (Exists, Equals, Not) обеспечивает высокую гибкость в определении сложных коллекций.
4. Динамические коллекции (Template Type): Ограничения типа Template крайне важны. Они позволяют динамически генерировать тысячи гранулярных коллекций (например, "Актеры из [Город]", "Выпускники [Университет]") на основе значений атрибутов сущности.
5. Рекурсивные определения: Система поддерживает рекурсию, позволяя определять коллекции через принадлежность к другим коллекциям (например, Коллекция А = Члены Коллекции Б И Условие В).
6. Основа для E-E-A-T и авторитетности: Принадлежность к определенным коллекциям (например, "Сертифицированные врачи", "Авторы NYT") является сильным сигналом авторитетности. Этот механизм позволяет Google вычислять такие сигналы автоматически.

Best practices (это мы делаем)

• Обеспечение полноты данных о сущности (Entity Completeness): Необходимо обеспечить максимальную полноту и точность фактов о ключевых сущностях (компания, авторы, продукты) в источниках, которые использует Google (Structured Data, Wikidata, Wikipedia, официальные профили). Чем больше атрибутов известно системе, тем точнее она сможет классифицировать сущность и включить ее в релевантные коллекции.
• Фокус на определяющих атрибутах (Defining Attributes): Идентифицируйте ключевые атрибуты, которые формируют важные коллекции в вашей нише (например, для авторов: награды, место работы, образование; для компаний: местоположение, тип бизнеса, год основания). Убедитесь, что эти данные доступны для индексации и корректны.
• Использование стандартизированных значений: При указании атрибутов (например, в микроразметке) используйте стандартизированные значения и ссылки на известные сущности (например, через sameAs, указывая на Wikidata ID). Это гарантирует, что Google корректно распознает целевой узел (target node) при оценке ограничений типа Equals и Template.
• Мониторинг классификации сущностей: Отслеживайте, как Google классифицирует ваши сущности (например, тип сущности, отображаемый в Knowledge Panel). Если классификация неверна, это сигнал о том, что Google не видит необходимых связей для включения в правильную коллекцию.

Worst practices (это делать не надо)

• Предоставление противоречивых данных: Публикация противоречивых фактов о сущности в разных источниках может привести к некорректной классификации или потере доверия к данным.
• Игнорирование Entity SEO: Фокусироваться только на ключевых словах и игнорировать оптимизацию сущностей в Knowledge Graph. В современном поиске видимость часто зависит от того, как классифицирована ваша сущность.
• Манипуляция данными о сущностях: Попытки искусственно создать связи для включения в авторитетные коллекции (например, ложное указание наград или аффилиаций) рискованны и могут привести к пессимизации.

Стратегическое значение

Патент подтверждает фундаментальную роль Knowledge Graph в поиске Google. Он демонстрирует, что классификация сущностей — это не ручной процесс, а высоко автоматизированная и масштабируемая система. Для SEO это означает, что управление репутацией и данными о сущностях (Entity Management) является критически важной частью стратегии. Долгосрочный успех зависит от способности предоставить Google четкие, непротиворечивые и полные данные, которые позволят системе корректно классифицировать ваши сущности и оценить их авторитетность (E-E-A-T).

Практические примеры

Сценарий: Оптимизация профиля автора для улучшения E-E-A-T

Задача: Улучшить восприятие авторитетности автора медицинских статей.

1. Анализ целевых коллекций: Определяем, в какие коллекции должен входить автор. Например: "Врачи-кардиологи", "Выпускники [Название Мед. ВУЗа]", "Сотрудники [Название Клиники]", "Авторы научных публикаций".
2. Анализ требований (Constraints): Предполагаем ограничения для коллекции "Врачи-кардиологи":
   • Condition 0: Equals profession=Cardiologist
   • Condition 1: Exists medical_license
3. Действия по оптимизации:
   • Structured Data (Schema.org): На странице автора используем разметку Person. Четко указываем jobTitle ("Cardiologist"). Указываем alumniOf (ВУЗ) и worksFor (Клиника), ссылаясь на их сущности (если есть).
   • Внешние источники: Обновляем профиль автора в Wikidata, профессиональных реестрах и на сайте клиники, убеждаясь, что профессия и лицензия указаны корректно и единообразно.
4. Ожидаемый результат: Система Google при следующем обходе графа обнаружит необходимые связи. Механизм оценки принадлежности проверит их по индексу, подтвердит выполнение условий и включит автора в целевые коллекции. Это повысит E-E-A-T автора и контента, который он создает.