Как Google определяет главную тему страницы (Topical Entity), используя графы сущностей и анализ SERP Features

Термины и определения

Additional Content (Дополнительный контент)

Контент (новости, видео, изображения, товары, карты), релевантный просматриваемому ресурсу, который генерируется системой на основе идентифицированных Topical/Central Entities и предоставляется пользователю (например, через браузерное расширение).

Ambiguous Entity (Двусмысленная сущность)

Сущность, которая, хотя и связана с темой ресурса, преимущественно используется в другом контексте в коллекции документов (например, "Apple" на странице о фруктах).

Central Entity (Центральная сущность)

Сущность, представляющая одну из основных тем ресурса. Определяется с помощью Entity Graph как узел с сильными исходящими связями к другим сущностям на странице.

Centrality Score (Оценка центральности)

Метрика, определяющая важность сущности для темы ресурса. Рассчитывается на основе весов исходящих ребер в Entity Graph, а также сигналов типа IDF и присутствия в Title/URL.

Entity (Сущность)

Слово или фраза, представляющая концепцию или тему.

Entity Graph (Граф сущностей)

Структура данных, где узлы представляют сущности, а ребра — связь между ними, основанную на совместной встречаемости в документах. Ребра имеют вес (например, PMI) и направление.

Pointwise Mutual Information (PMI) (Поточечная взаимная информация)

Мера связи между двумя сущностями, используемая для взвешивания ребер в графе. Определяет, насколько чаще две сущности встречаются вместе, чем если бы они были независимы.

Topical Entity (Тематическая сущность)

Сущность, представляющая преобладающую (главную) тему ресурса. Обычно это одна сущность, валидированная через анализ результатов поиска.

Ключевые утверждения (Анализ Claims)

Патент содержит два основных независимых подхода к определению Topical Entity.

Claim 1 и Claim 4 (Независимые пункты): Определение Topical Entity через ранжирование.

1. Система идентифицирует множество сущностей, связанных с ресурсом.
2. Для каждой сущности генерируется поисковый запрос и получаются результаты поиска (с Ranking Scores).
3. Проверяется условие: появляется ли ссылка на данный ресурс выше определенного порога (specified rank/threshold number) в результатах поиска.
4. Если ресурс появляется выше порога только для одной сущности, эта сущность назначается Topical Entity.
5. Если ресурс появляется выше порога для нескольких сущностей, выбирается та сущность, для которой ресурс получил наивысший Ranking Score, и она назначается Topical Entity.

Claim 8 (Независимый пункт): Определение Topical Entity через SERP Features и структуру документа.

Этот пункт описывает альтернативный метод, который не зависит от того, насколько высоко ранжируется сам ресурс.

1. Система генерирует запросы для сущностей и получает результаты поиска.
2. Определяется, что результаты поиска для конкретной сущности включают «особый тип результата» (particular type of search result), например, Shopping results, Map results, Answer box (Claim 9).
3. Определяется, что эта же сущность присутствует в Заголовке (Title) или URL ресурса.
4. Если оба условия (2 и 3) выполнены, сущность назначается Topical Entity.

Это позволяет идентифицировать тему даже для малоизвестных страниц (например, страница товара в маленьком магазине), если Google распознает природу сущности (товар) и страница структурно фокусируется на ней (Title/URL).

Где и как применяется

Изобретение затрагивает несколько этапов поиска, а также описывает клиентское приложение для отображения результатов.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит построение глобального Entity Graph путем анализа совместной встречаемости сущностей во всем корпусе документов. Также происходит извлечение сущностей из отдельных ресурсов и, вероятно, предварительный расчет Central Entities и Topical Entity.

QUNDERSTANDING – Понимание Запросов
Система использует Entity Graph для понимания связей между концепциями. При анализе SERP для валидации Topical Entity система интерпретирует запросы, основанные на сущностях.

RANKING / METASEARCH – Ранжирование и Метапоиск
Система анализирует результаты ранжирования и состав выдачи (SERP Features). Активация вертикалей (Shopping, Maps) используется как сигнал для подтверждения природы Topical Entity (согласно Claim 8).

Клиентское приложение (Additional Content Module)
Патент описывает применение этой технологии в рамках Additional Content System, которая взаимодействует с клиентским модулем (например, расширением браузера) для отображения релевантного контента в реальном времени при просмотре пользователем ресурса.

Входные данные:

• URL просматриваемого ресурса.
• Сущности, извлеченные из ресурса (включая Title, URL, контент).
• Глобальный Entity Graph.
• Результаты поиска (SERP) для запросов на основе сущностей, включая Ranking Scores и типы результатов (SERP Features).
• Логи запросов (Query Logs).

Выходные данные:

• Список Central Entities с оценками Centrality Score.
• Идентифицированная Topical Entity.
• Набор релевантного дополнительного контента (ссылки, сниппеты, медиа).

На что влияет

• Конкретные типы контента и ниши: Механизм оказывает значительное влияние на E-commerce и Локальный поиск. Способность идентифицировать Topical Entity через активацию Shopping или Map результатов (Claim 8) критически важна для правильной классификации страниц товаров и локаций.
• Специфические запросы: Влияет на понимание запросов, связанных с сущностями, имеющими несколько значений (двусмысленные сущности), помогая выбрать правильную интерпретацию в контексте документа.

Когда применяется

• Триггеры активации (Claim 8): Логика определения Topical Entity через специальные результаты активируется, когда (1) сущность найдена в Title или URL и (2) поиск по этой сущности вызывает появление Shopping, Maps или Answer Box в выдаче.
• Условия применения (Claim 1/4): Логика определения Topical Entity через ранжирование применяется, когда ресурс достигает определенного порога видимости (specified rank) в результатах поиска по запросу, основанному на сущности.
• Обработка неопределенности: Если логи запросов не дают достаточной информации (например, мало трафика на страницу), система полагается на анализ SERP (FIG. 6).

Пошаговый алгоритм

Процесс состоит из нескольких ключевых этапов.

Этап А: Идентификация Central Entities (FIG. 5)

1. Получение кандидатов: Извлечение сущностей из ресурса (контент, Title, URL).
2. Фильтрация глобального графа: Глобальный Entity Graph фильтруется, оставляя только узлы, соответствующие кандидатам из ресурса.
3. Генерация графа ресурса: Из отфильтрованного графа удаляются узлы, не имеющие исходящих ребер (т.е. сущности, которые не определяют контекст для других сущностей на странице).
4. Идентификация Central Entities: Оставшиеся узлы идентифицируются как Central Entities.
5. Расчет Centrality Score: Для каждой Central Entity рассчитывается оценка на основе весов (PMI) её исходящих ребер. Оценка корректируется с использованием сигналов: частота в документе, IDF (Inverse Document Frequency), присутствие в Title/URL, присутствие в логах запросов, ведущих на ресурс.

Этап Б: Идентификация Topical Entity (FIG. 6, Claims 1, 4, 8)

1. Генерация запросов и получение SERP: Для Central Entities формируются запросы, получаются результаты поиска.
2. Проверка по ранжированию (Claims 1, 4): Проверяется, ранжируется ли ресурс выше порога. Если да, выбирается сущность, обеспечившая наивысший Ranking Score.
3. Проверка по SERP Features и структуре (Claim 8): Параллельно или в случае неудачи шага 2, проверяется: (а) Активирует ли запрос специальные результаты (Shopping, Maps, Answer Box)? и (б) Присутствует ли сущность в Title/URL? Если оба условия выполнены, сущность идентифицируется как Topical Entity.

Этап В: Обработка двусмысленности (FIG. 7)

1. Генерация запроса и получение SERP: Для сущности (например, Topical Entity) получаются результаты поиска.
2. Расчет оценок релевантности: Для топовых результатов из SERP рассчитывается оценка их связанности с *другими* сущностями исходного ресурса (например, путем подсчета общих сущностей или через анализ связей в Entity Graph (FIG. 8)).
3. Определение двусмысленности: Если доля топовых результатов, имеющих высокую оценку связанности, ниже порога (например, менее 50%), сущность считается двусмысленной (используется преимущественно в другом контексте).
4. Уточнение (Disambiguation): Двусмысленная сущность может быть отброшена или уточнена путем добавления другой Central Entity (например, "Moscow" -> "Moscow Id.") или использования предложений из Suggestion Service.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст ресурса для извлечения сущностей.
• Структурные факторы: Заголовок (Title) и URL ресурса. Они используются как сильные сигналы для расчета Centrality Score и как обязательное условие для идентификации Topical Entity в Claim 8.
• Технические факторы: URL (Resource Locator) используется для идентификации ресурса в SERP.
• Поведенческие факторы: Логи запросов (Query Logs), которые привели к запросу ресурса. Используются для расчета Centrality Score и как альтернативный метод определения Topical Entity.
• Системные данные:
  • Entity Graph: Глобальные данные о совместной встречаемости сущностей.
  • Результаты поиска (SERP): Ranking Scores документов и информация о типах активированных результатов (SERP Features).

Какие метрики используются и как они считаются

• Pointwise Mutual Information (PMI): Используется для взвешивания ребер в Entity Graph. Формула: