Как Google создает, управляет и использует Репозиторий Фактов (Fact Repository) для поиска по сущностям

Термины и определения

Annotation (Аннотация)

Метаданные, связанные с фактом, которые идентифицируют определенную часть значения факта. Например, выделение даты (Date), числа (Number) или геолокации (GeoPt) в текстовом значении. Аннотации имеют начальный индекс и длину.

Attribute (Атрибут)

Тип факта или свойство объекта. Например, "Дата рождения" или "Автор". Часть триплета Факт-Атрибут-Значение.

Build Engine (Движок построения)

Компонент системы, отвечающий за построение и управление Fact Repository.

Fact (Факт)

Единица информации в репозитории. Включает Object ID, Fact ID, Attribute и Value. Также может включать метрики (Metrics), источники (Sources) и ссылки на другие объекты (Links).

Fact Repository (Репозиторий фактов)

База данных, хранящая фактическую информацию, извлеченную из множества документов. Основа для поиска по объектам.

Importer (Импортер)

Программный модуль, который обрабатывает документы, извлекает из них факты и определяет объекты, с которыми эти факты связаны.

Janitor (Дворник/Санитар)

Программный модуль, выполняющий обработку фактов после извлечения. Функции включают очистку данных, нормализацию атрибутов и значений, объединение дубликатов объектов (object merging) и дедупликацию фактов.

Metrics (Метрики)

Показатели качества факта. Упоминаются Confidence level (уровень уверенности в корректности факта) и Importance level (важность факта для понимания объекта).

Name Fact (Именной факт)

Специальный тип факта, который содержит имя объекта. Каждый объект должен иметь хотя бы один именной факт.

Object (Объект)

Сущность (человек, место, организация и т.д.), описываемая набором фактов. В одной из реализаций объект физически не хранится, а определяется набором фактов с одинаковым Object ID.

Object Requester (Запрашивающая сторона)

Клиент системы (браузер, приложение, поисковый движок), который отправляет запросы в Fact Repository.

Service Engine (Движок обслуживания)

Интерфейс для запросов к Fact Repository. Обрабатывает запросы, оценивает (скорит) соответствующие объекты и возвращает результаты.

Value (Значение)

Конкретное значение атрибута. Например, "22 февраля 1732 г.". Может быть текстом любого размера.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод запроса к репозиторию фактов.

1. Система хранит множество фактов в Fact Repository. Каждый факт связан с объектом и имеет атрибут и значение. Каждый объект имеет Name Fact.
2. Сервер получает поисковый запрос от клиента (Object Requester).
3. Сервер извлекает из репозитория как минимум один факт, соответствующий запросу.
4. Сервер отправляет атрибут и значение извлеченного факта обратно клиенту.
5. Клиент сохраняет полученный факт.

Claim 3 (Зависимый от 1): Уточняет механизм извлечения.

Извлечение факта из репозитория основывается на relevance score (оценке релевантности) этого факта по отношению к поисковому запросу.

Claim 6 (Зависимый от 1): Ключевой пункт, описывающий переход от поиска фактов к поиску объектов.

1. Система определяет Object ID, связанный с извлеченным фактом (из Claim 1).
2. Система отправляет клиенту другие факты, связанные с этим же Object ID.

Это означает, что даже если запрос совпал только с одним фактом, система возвращает набор фактов об объекте.

Claims 7, 8, 9 (Зависимые от 1): Уточняют формат передачи данных.

Отправка атрибута и значения факта осуществляется с использованием формата фида: Atom (Claim 7), RSS (Claim 8) или OpenSearch (Claim 9).

Claims 10-14 (Зависимые от 1): Описывают параметры поискового запроса.

Запрос может содержать параметры, контролирующие выдачу: строку запроса ("q" parameter), максимальное количество возвращаемых объектов, индекс первого возвращаемого объекта, максимальное количество фактов на объект и максимальное количество источников на факт.

Claim 15 (Зависимый от 1): Описывает передачу аннотаций.

Система также отправляет annotation (аннотацию), связанную с фактом. Аннотация содержит часть значения этого факта.

Где и как применяется

Этот патент описывает инфраструктуру, которая глубоко интегрирована в процессы индексирования и ранжирования, являясь основой для хранения и использования структурированных данных.

CRAWLING – Сканирование и Сбор данных
Импортеры (Importers) работают с данными, полученными на этом этапе. Они анализируют контент документов для извлечения фактов.

INDEXING – Индексирование и извлечение признаков
Основной этап для построения Fact Repository.

1. Извлечение фактов: Импортеры извлекают пары атрибут-значение и связывают их с объектами (присваивают Object ID).
2. Нормализация и Очистка: Дворники (Janitors) выполняют критически важные функции: нормализуют названия атрибутов (например, "Дата рождения" и "Родился" объединяются), нормализуют значения (например, форматы дат), объединяют дублирующиеся объекты (Object Merging) и удаляют избыточные факты.
3. Расчет метрик: Вычисляются метрики Confidence и Importance для каждого факта.
4. Индексирование: Содержимое фактов (атрибуты и значения) индексируется в Index для быстрого поиска.

QUNDERSTANDING – Понимание Запросов
Service Engine должен интерпретировать входящий запрос, чтобы определить, следует ли искать информацию в Fact Repository (например, если запрос является фактическим или связан с конкретным объектом).

RANKING – Ранжирование
Service Engine использует Index для поиска фактов и объектов, соответствующих запросу. Ранжирование объектов основано на комбинации оценок релевантности (relevance scores) отдельных фактов. Оценка факта учитывает TF-IDF, совпадение фраз, появление термина в Name Fact, а также метрики Confidence и Importance.

METASEARCH – Метапоиск и Смешивание
Результаты из Fact Repository предоставляются в виде XML-фида. На практике это позволяет поисковой системе (выступающей в роли Object Requester) получать структурированные данные для формирования специальных блоков выдачи, таких как Knowledge Panels или прямые ответы.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, содержащий фактическую информацию: биографии, каталоги продукции, справочные материалы, новостные статьи.
• Специфические запросы: Влияет на запросы, связанные с известными объектами (сущностями), и на фактические запросы (например, "высота Эйфелевой башни").
• Определенные форматы контента: Система лучше извлекает факты из структурированных и полуструктурированных данных (таблицы, списки), но также может работать с неструктурированным текстом.
• Конкретные ниши или тематики: Влияет на все ниши, где присутствуют четко определенные объекты и факты, включая YMYL, где точность и достоверность фактов (Confidence) особенно важны.

Когда применяется

• Триггеры активации: Активируется, когда Object Requester отправляет запрос в Fact Repository. Это может быть запрос на конкретный Object ID или поисковый запрос по ключевым словам.
• Условия работы: Система применяется, если в репозитории существуют факты и объекты, релевантные запросу. Эффективность зависит от качества извлечения и нормализации данных.

Пошаговый алгоритм

Патент описывает два основных процесса: построение репозитория и обслуживание запросов.

Процесс А: Построение и Поддержка Репозитория (Офлайн)

1. Сбор данных: Получение документов (например, веб-страниц) из источников.
2. Извлечение фактов (Импортеры): Обработка документов для извлечения фактов (Атрибут-Значение) и идентификации связанных с ними объектов. Присвоение Object ID и Fact ID. Сбор источников (URL) для каждого факта.
3. Очистка и Нормализация (Дворники):
   • Нормализация атрибутов (объединение синонимичных названий свойств).
   • Нормализация значений (приведение к стандартному формату).
   • Объединение объектов (Object Merging): идентификация и слияние дублирующихся объектов.
   • Дедупликация фактов: удаление избыточных фактов для одного объекта.
4. Расчет Метрик и Аннотирование: Определение Confidence и Importance для каждого факта. Создание Annotations (даты, числа, геолокации).
5. Индексирование: Сохранение фактов в Fact Repository и обновление индекса для поиска по атрибутам и значениям.

Процесс Б: Обслуживание Запросов (Рантайм)

1. Получение запроса: Система получает запрос от Object Requester.
2. Парсинг запроса: Извлечение параметров запроса (например, максимальное количество фактов на объект).
3. Поиск в индексе: Service Engine ищет в индексе факты, соответствующие ключевым словам запроса.
4. Оценка и Ранжирование (Scoring):
   • Вычисление relevance score для каждого совпавшего факта (используя TF-IDF, совпадение фраз и т.д.).
   • Корректировка оценки факта на основе Confidence и Importance.
   • Вычисление оценки объекта на основе комбинации оценок его фактов.
5. Извлечение результатов: Выбор наиболее релевантных объектов и их фактов. Если запрос совпал с фактом, извлекаются также и другие факты этого объекта (даже если они не совпадают с запросом).
6. Форматирование: Трансляция извлеченных фактов, Object ID, источников и аннотаций в запрошенный формат фида (например, XML Atom, RSS).
7. Ответ: Отправка структурированного фида обратно Object Requester.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст веб-страниц, из которого извлекаются значения фактов. Структура контента (таблицы, списки) может использоваться импортерами.
• Технические факторы: URL документов используются как идентификаторы источников (Sources) для фактов.
• Данные запроса: Ключевые слова запроса и параметры фильтрации/форматирования (max-results, max-facts, формат фида).

Какие метрики используются и как они считаются

Система использует несколько ключевых метрик для оценки фактов и объектов:

• Confidence Level (Уровень уверенности): Метрика, указывающая на вероятность того, что факт корректен. (Расчет не детализирован в патенте).
• Importance Level (Уровень важности): Метрика, указывающая на значимость факта для объекта по сравнению с другими фактами того же объекта. Используется для приоритизации фактов.
• Relevance Score (Оценка релевантности факта): Оценка того, насколько факт соответствует запросу. Расчет основан на:
  • Наличии терминов запроса в атрибуте, значении или источнике факта.
  • Вес термина (упоминается использование модели на основе TF-IDF – редкие термины получают более высокий балл).
  • Появление последовательных терминов запроса в факте (совпадение фраз).
  • Появление терминов запроса в Name Fact.
• Object Score (Оценка объекта): Ранжирование объекта представляет собой линейную комбинацию relevance scores его фактов, скорректированных на Confidence и Importance. Также учитывается процент фактов объекта, содержащих хотя бы один термин запроса.

1. Фундамент для Entity-First поиска: Патент описывает создание Fact Repository – базы данных объектов и фактов, что является основой для Графа Знаний. Это подтверждает переход Google от индексирования строк к индексированию сущностей (вещей).
2. Извлечение и Нормализация критичны: Роль Импортеров и особенно Дворников (Janitors) подчеркивает важность автоматической очистки, дедупликации и нормализации данных. Система стремится привести разрозненные данные из интернета к единому стандартизированному виду.
3. Объектный поиск (Object Retrieval): Ключевой механизм (Claims 6) заключается в том, что при совпадении запроса с одним фактом система возвращает не только этот факт, но и другие факты, связанные с тем же объектом. Это позволяет формировать полноценный ответ об объекте (например, Knowledge Panel).
4. Многофакторная оценка фактов: Факты оцениваются не только по релевантности запросу (TF-IDF, фразы), но и по независимым метрикам: Confidence (достоверность) и Importance (важность для объекта). Более важные и достоверные факты имеют приоритет.
5. Структурированный доступ к данным: Использование стандартизированных XML-фидов (Atom, RSS) для предоставления данных позволяет различным приложениям (включая саму поисковую систему Google) легко использовать факты из репозитория.

Best practices (это мы делаем)

• Оптимизация под сущности (Entity Optimization): Необходимо обеспечить, чтобы ключевые сущности сайта (продукты, авторы, организация) были четко определены и описаны. Используйте согласованную информацию (Name, Address, Phone - NAP) на всех платформах, чтобы облегчить работу Дворников (Janitors) по нормализации и объединению объектов (Object Merging).
• Использование структурированных данных (Schema.org): Активно внедряйте микроразметку. Это помогает Импортерам корректно извлекать факты (пары Атрибут-Значение) и повышает Confidence извлеченных данных.
• Создание четких фактических утверждений: При описании объектов используйте ясные и недвусмысленные формулировки. Это облегчает извлечение фактов и создание Аннотаций (например, дат, чисел, геолокаций). Подача информации в таблицах и списках также упрощает извлечение.
• Повышение авторитетности источника: Поскольку каждый факт имеет Sources и Confidence, важно становиться авторитетным источником информации. Чем чаще ваш сайт цитируется как источник достоверного факта, тем выше вероятность его использования системой.
• Фокус на важных фактах: Определите, какие факты являются наиболее важными (Importance) для вашей сущности, и убедитесь, что они представлены наиболее полно и достоверно.

Worst practices (это делать не надо)

• Предоставление противоречивой информации: Публикация разных фактов об одной и той же сущности на разных страницах или платформах затрудняет нормализацию. Это может привести к ошибкам в Fact Repository или снижению Confidence в данных.
• Игнорирование структурирования контента: Подача всей информации сплошным текстом без четкой структуры (заголовков, списков, таблиц, микроразметки) снижает эффективность работы Импортеров.
• Манипуляция фактами и спам в микроразметке: Попытки предоставить ложные факты будут бороться с метрикой Confidence. Если система определит расхождения с более авторитетными источниками, факты будут проигнорированы.

Стратегическое значение

Этот патент является одним из самых важных для понимания эволюции Google в сторону семантического поиска. Стратегическое значение заключается в осознании того, что Google строит собственную базу знаний о мире (Fact Repository) и использует ее для прямого ответа на запросы. Долгосрочная SEO-стратегия должна быть направлена на то, чтобы стать надежным поставщиком данных для этого репозитория и обеспечить корректное представление своих сущностей внутри него. Работа над E-E-A-T напрямую связана с повышением Confidence в фактах, извлеченных с вашего сайта.

Практические примеры

Сценарий: Оптимизация карточки компании для Fact Repository

Цель: Обеспечить корректное извлечение и высокую достоверность (Confidence) фактов о компании для использования в Knowledge Panel.

1. Консолидация данных (Помощь Janitors): Убедиться, что название компании, адрес, телефон (NAP), логотип и имена руководителей абсолютно одинаковы на сайте, в Google Business Profile, в каталогах и социальных сетях. Это облегчает Object Merging.
2. Структурирование фактов (Помощь Importers): На странице "О нас" использовать микроразметку Organization, указав все ключевые атрибуты (name, address, founder, foundingDate, sameAs). Для ключевых фактов использовать формат, удобный для создания Аннотаций (например, стандартизированный формат даты).
3. Подтверждение фактов (Повышение Confidence): Ссылаться на авторитетные внешние источники (например, СМИ, отраслевые отчеты), которые подтверждают ключевые факты о компании.
4. Ожидаемый результат: Импортеры корректно извлекают факты. Дворники успешно связывают информацию из разных источников с единым Object ID компании. Факты получают высокий Confidence и используются в ответ на запросы о компании (отображаются в Knowledge Panel).