Как Google находит, оценивает и показывает «интересные факты» о сущностях в поиске

Термины и определения

Bad Sentence (Плохое предложение)

Предложение, которое грамматически некорректно или требует внешнего контекста для понимания (например, содержит неразрешенные местоимения или неоднозначные существительные). Такие предложения не могут быть выбраны для показа, но могут поддерживать факт.

Cluster Score (Оценка кластера)

Метрика для ранжирования кластеров фактов. Рассчитывается как комбинация (например, сумма) Sentence Scores предложений в основном и поддерживающем кластерах, исключая дублированный контент.

Entity-Sentence Pair (Пара Сущность-Предложение)

Базовая единица данных в системе. Предложение, извлеченное из документа, связанное с сущностью, которая в нем упоминается.

Fun-Quotient (Коэффициент интересности)

Метрика для оценки источника. Рассчитывается как доля входящих ссылок и поисковых запросов, ведущих на документ, которые содержат Unique Fact Triggers.

IDF Score (Оценка IDF)

Inverse Document Frequency. Используется для оценки уникальности предложения. IDF Score предложения определяется как наивысший IDF среди всех терминов в этом предложении. Предпочтение отдается редким терминам.

Knowledge Base (База знаний)

Хранилище структурированных фактов о сущностях (например, Google Knowledge Graph).

Main Cluster (Основной кластер)

Группа предложений с эквивалентными наборами Salient Terms. Представляет собой конкретный уникальный факт.

Representative Sentence (Репрезентативное предложение)

Предложение из Main Cluster с наивысшим Sentence Score, которое не классифицировано как Bad Sentence. Это лучшая формулировка факта для показа пользователю.

Salient Terms (Значимые термины)

Термины в предложении, исключая стоп-слова и упоминание самой сущности. Используются для кластеризации. Термины считаются эквивалентными, если они совпадают после лемматизации, являются синонимами или оба являются числами.

Sentence Score (Оценка предложения)

Метрика для ранжирования отдельных предложений. Учитывает топикальность, качество источника, длину предложения, Fun-Quotient и IDF Score.

Supporting Cluster (Поддерживающий кластер)

Группа предложений, чей набор Salient Terms является подмножеством набора Salient Terms основного кластера. Поддерживает факт, но не является его лучшим выражением.

Topicality Score (Оценка топикальности)

Мера того, насколько сущность важна для предложения (Semantic Importance Score) или для документа в целом (Document Topicality Score).

Topicality Threshold (Порог топикальности)

Минимальное значение Topicality Score, необходимое для включения Entity-Sentence Pair в обработку. Порог может варьироваться в зависимости от типа или широты категории сущности.

Unique Fact (Уникальный факт)

Интересный или необычный факт о сущности, который обычно не хранится как структурированный атрибут в Knowledge Base.

Unique Fact Triggers (Триггеры уникальных фактов)

Фразы, указывающие на наличие уникальных фактов. Включают Whitelist Triggers (например, «fun facts», «did you know») и Blacklist Triggers (например, «myths», «lies», «fake»). Используются для идентификации источников.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт, Система): Описывает основную архитектуру и процесс системы.

1. Система выбирает документы из репозитория, связанные с как минимум одним Unique Fact Trigger (включая whitelisted trigger phrase).
2. Генерируются Entity-Sentence Pairs путем извлечения предложений и идентификации сущностей.
3. Генерируется как минимум один Main Unique Fact Cluster путем кластеризации пар на основе Salient Terms.
4. Определяется Representative Sentence для каждого кластера.
5. Определяется Topicality Score для репрезентативного предложения относительно исходных документов.
6. Определяется Topicality Threshold, основанный на широте категории (breadth of a category) сущности.
7. Если Topicality Score соответствует порогу, репрезентативное предложение предоставляется в ответ на запрос, идентифицирующий сущность.

Ядро изобретения — это комплексный пайплайн отбора контента с многоуровневой фильтрацией, где финальное решение о показе факта зависит от переменного порога топикальности, зависящего от категории сущности.

Claim 9 (Независимый пункт, Метод): Описывает метод, зеркалирующий Claim 1, но с акцентом на процесс кластеризации.

1. Выбор документов и генерация Entity-Sentence Pairs.
2. Кластеризация пар с использованием Salient Terms, результатом которой являются Main Clusters и как минимум один Supporting Cluster.
3. Определение Representative Sentence.
4. Определение Topicality Scores и Topicality Threshold (на основе широты категории сущности).
5. Предоставление предложения, если порог достигнут.

Здесь подчеркивается важность структуры кластеров (основные и поддерживающие) для валидации фактов.

Claim 16 и 20 (Независимые пункты, Методы показа): Описывают логику предоставления фактов в ответ на запрос.

• Система определяет, что запрос относится к сущности и (в Claim 16) содержит Unique Fact Trigger (whitelisted phrase).
• Система проверяет наличие Unique Fact List для сущности. (Важно: включение фактов в этот список зависит от прохождения проверки Topicality Score против Topicality Threshold, основанного на широте категории сущности).
• Система предоставляет список (Claim 16) или случайно выбирает как минимум один факт из списка (Claim 20) в ответ на запрос.

Где и как применяется

Изобретение в основном применяется на этапе индексирования для предварительной обработки данных и на финальных этапах для формирования выдачи.

INDEXING – Индексирование и извлечение признаков
Это основной этап работы системы. Процессы, описанные в патенте (обнаружение источников, извлечение, фильтрация, кластеризация, ранжирование), выполняются офлайн (в пакетном режиме) для наполнения Unique Fact Repository. Также на этом этапе оценивается качество источников (например, с использованием PageRank).

QUNDERSTANDING – Понимание Запросов
На этом этапе система анализирует запрос пользователя, чтобы идентифицировать упоминаемую сущность и наличие Unique Fact Trigger (например, пользователь ищет «интересные факты о кошках»).

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
На финальных этапах формирования SERP система извлекает предварительно рассчитанные Unique Facts из репозитория и внедряет их в выдачу. Это может быть обогащение Knowledge Panel или формирование отдельного блока (например, карусель фактов или блок «Знаете ли вы?»).

Входные данные:

• Репозиторий документов (Document Repository).
• База знаний (Knowledge Base) для идентификации сущностей.
• Списки триггеров (Whitelist/Blacklist Triggers).
• Исторические поисковые записи (Search Records) для идентификации связи запросов и документов.
• Оценки качества документов (например, PageRank).

Выходные данные:

• Репозиторий уникальных фактов (Unique Fact Repository), содержащий списки ранжированных Representative Sentences для различных сущностей.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на информационные запросы, направленные на поиск сущностей, и особенно на запросы, явно запрашивающие интересную информацию (содержащие триггеры).
• Типы контента и форматы: Влияет на отображение SERP-функций. Способствует извлечению контента, сформулированного в виде четких, самодостаточных предложений.

Когда применяется

• Офлайн-обработка: Выполняется периодически (например, ежедневно, еженедельно) для обновления репозитория уникальных фактов.
• Онлайн-обработка (Serving): Активируется, когда запрос пользователя идентифицирует сущность, для которой в репозитории существуют Unique Facts.
• Условия активации показа: Логика показа зависит от наличия триггера в запросе. Если триггер есть, может быть показан список фактов. Если триггера нет, может быть показан один факт (случайный или самый релевантный).

Пошаговый алгоритм

Процесс А: Извлечение фактов (Офлайн)

1. Фильтрация источников: Исключение низкокачественных документов из репозитория (на основе PageRank, классификации как спам/порно/блоги/форумы, синдицированного или плагиатного контента).
2. Идентификация источников уникальных фактов: Выбор документов, связанных с Whitelist Triggers и не связанных с Blacklist Triggers. Связь определяется, если триггер присутствует в тексте входящей ссылки на документ или в поисковом запросе, по которому этот документ был показан.
3. Извлечение предложений: Извлечение текста только из центральной (основной) части документа, исключая меню, комментарии, рекламу.
4. Идентификация сущностей: Распознавание упоминаний сущностей из Knowledge Base в каждом предложении (включая местоимения).
5. Фильтрация по топикальности: Расчет Topicality Score (Document Topicality и Semantic Importance). Исключение сущностей, не достигающих Topicality Threshold. Порог может быть выше для общих категорий (например, «животное») и ниже для конкретных сущностей (например, «коала»).
6. Сохранение: Сохранение Entity-Sentence Pairs вместе с идентификатором источника и оценками топикальности.

Процесс Б: Обработка и Ранжирование (Офлайн)

1. Идентификация «плохих» предложений: Маркировка Bad Sentences — предложений, требующих контекста (неразрешенные местоимения, неоднозначные существительные, фразы типа «позже» в начале). Опционально: удаление префиксов типа «Однако».
2. Удаление структурированных фактов: Исключение предложений, соответствующих шаблонам структурированных данных (например, «X родился в...»).
3. Определение значимых терминов: Для каждого предложения создается набор Salient Terms (лемматизированные термины, исключая стоп-слова и сущность).
4. Кластеризация: Генерация Main Clusters (предложения с эквивалентными наборами Salient Terms) и Supporting Clusters (набор терминов является подмножеством основного кластера).
5. Расчет оценок предложений: Вычисление Sentence Score для каждого предложения на основе комбинации факторов: топикальность, ранг источника (PageRank), длина (демоушен за слишком короткие/длинные), Fun-Quotient источника, IDF Score предложения.
6. Выбор репрезентативных предложений: Для каждого Main Cluster выбирается предложение с наивысшим Sentence Score, которое не помечено как «плохое».
7. Расчет оценок кластеров: Идентификация дублированного контента внутри кластера. Вычисление Cluster Score путем комбинирования Sentence Scores из основного и поддерживающего кластеров, исключая дубликаты.
8. Финальная дедупликация и сохранение: Отбор репрезентативных предложений (начиная с кластера с наивысшей оценкой) и проверка на пересечение по «отличительным терминам» (термины с высоким IDF) с уже отобранными предложениями. Сохранение итогового Unique Fact List для сущности.

Процесс В: Отображение фактов (Онлайн)

1. Анализ запроса: Определение, что запрос идентифицирует сущность.
2. Проверка наличия фактов: Проверка, существует ли Unique Fact List для этой сущности.
3. Рандомизация (Опционально): Изменение порядка списка фактов.
4. Проверка триггера в запросе: Определение, содержит ли запрос Unique Fact Trigger.
   • Если ДА: Показ списка фактов (например, в виде скроллируемого списка/карусели).
   • Если НЕТ: Показ как минимум одного уникального факта из списка (например, в Knowledge Panel).

Какие данные и как использует

Данные на входе

• Ссылочные факторы: Критически важны. Используется независимый от запроса ранг документа (явно упоминается PageRank) для оценки качества источника. Также анализируется текст входящих ссылок (анкоры или околоссылочный текст) для идентификации Unique Fact Triggers и расчета Fun-Quotient.
• Контентные факторы: Текст из «центральной части» (core portion) документа. Анализируется структура предложений, наличие стоп-слов, местоимений и конкретных терминов (для расчета IDF).
• Поведенческие факторы: Исторические записи поиска (Search Records). Используются для определения того, какие запросы приводили к показу документа, что помогает идентифицировать связь документа с триггерами и рассчитать Fun-Quotient.

Какие метрики используются и как они считаются

Система использует комплексный подход к оценке.

Метрики Источника:

• Ранг источника: Независимая оценка качества документа (например, PageRank).
• Fun-Quotient: Доля внешних сигналов (ссылок + запросов), содержащих триггеры. Формула: (Число ссылок с триггерами + Число запросов с триггерами) / (Общее число ссылок + Общее число запросов).

Метрики Топикальности:

• Document Topicality Score: Насколько сущность важна для документа в целом.
• Semantic Importance Score: Насколько сущность важна для конкретного предложения.
• Topicality Threshold: Переменный порог, зависящий от широты категории сущности (breadth of a category).

Метрики Предложения (Sentence Score):
Рассчитывается как комбинация (произведение или взвешенная сумма) нескольких факторов:

• Confidence Factor: Может рассчитываться как Topicality Score * Ранг источника.
• Length Factor (Демоушен): Понижение оценки за слишком короткие или слишком длинные предложения (оптимум около 140 символов или 20 слов).
• Fun-Quotient (Промоушен): Повышение оценки на основе Fun-Quotient источника.
• IDF Score (Промоушен/Демоушен): Оценка уникальности на основе самого редкого термина в предложении.
• Interestingness Factor (Опционально): Ручная оценка интересности предложения асессором.

Метрики Кластера (Cluster Score):

• Комбинация (например, сумма) Sentence Scores всех недублированных предложений в основном и поддерживающем кластерах.

1. Google активно ищет неструктурированные «интересные» факты: Система не полагается только на Knowledge Graph. Она целенаправленно ищет уникальную информацию в вебе для обогащения выдачи.
2. Внешние сигналы определяют источники: То, как другие сайты ссылаются на документ (анкоры) и как пользователи его ищут (запросы), является ключевым механизмом обнаружения. Наличие Unique Fact Triggers в этих сигналах критично для идентификации источника и расчета Fun-Quotient.
3. Уникальность контента вознаграждается: Использование IDF Score при ранжировании предложений означает, что факты, содержащие более редкие и специфические термины, получат преимущество перед тривиальными фактами.
4. Качество источника и топикальность критичны: Sentence Score напрямую зависит от ранга источника (PageRank) и топикальности (Topicality Score). При этом порог топикальности адаптивен: для общих тем он выше, чем для узких.
5. Требования к чистоте и контексту высоки: Система агрессивно отфильтровывает Bad Sentences. Факт должен быть изложен в одном предложении, не требующем дополнительного контекста (все местоимения и существительные должны быть разрешены внутри предложения или относиться к основной сущности).
6. Многоуровневая валидация через кластеризацию: Использование Main и Supporting Clusters позволяет системе подтверждать достоверность факта наличием нескольких источников, выражающих его разными словами, и выбирать наилучшую формулировку.

Best practices (это мы делаем)

• Создание контента с уникальными фактами: Фокусируйтесь на предоставлении нетривиальной, интересной информации о сущностях, которая выходит за рамки стандартных структурированных данных (дат, размеров и т.д.).
• Использование редких и специфичных терминов: Включайте в описание фактов термины с высоким IDF. Это повышает уникальность предложения в глазах системы и помогает при ранжировании и дедупликации.
• Оптимизация формулировок для извлечения: Каждый факт должен быть изложен в виде четкого, грамматически правильного и самодостаточного предложения. Избегайте местоимений, которые ссылаются на предыдущий текст. Убедитесь, что предложение понятно вне контекста страницы.
• Стимулирование внешних сигналов с триггерами: Работайте над тем, чтобы на ваши страницы ссылались с использованием Whitelist Triggers (например, «интересные факты о X», «а вы знали, что X...») в анкорах или околоссылочном тексте. Это повышает Fun-Quotient.
• Поддержание высокого качества сайта: Поскольку ранг источника (PageRank) используется при расчете Sentence Score, общий авторитет и качество сайта критически важны для того, чтобы ваши факты были выбраны системой.
• Фокус на топикальности: Убедитесь, что сущность, о которой вы пишете факт, является центральной темой документа или, по крайней мере, конкретного предложения, чтобы преодолеть Topicality Threshold.

Worst practices (это делать не надо)

• Использование сложных предложений, требующих контекста: Использование неразрешенных местоимений или неоднозначных существительных приведет к классификации предложения как Bad Sentence.
• Публикация только общеизвестных фактов: Предложения, которые соответствуют шаблонам структурированных данных или содержат только общеупотребительные термины (низкий IDF), будут отфильтрованы или получат низкий рейтинг.
• Синдикация и дублирование контента: Система фильтрует синдицированные/плагиатные документы на начальном этапе и исключает дублированный контент при расчете Cluster Score.
• Игнорирование качества источника: Публикация интересных фактов на низкокачественных сайтах неэффективна, так как ранг источника является множителем при ранжировании фактов.

Стратегическое значение

Патент подтверждает стратегию Google по извлечению ответов из контента для формирования SERP-функций. Для SEO это означает, что создание контента должно учитывать не только релевантность ключевым словам, но и способность контента быть легко извлеченным и интерпретированным системами NLP. Победа в борьбе за такие блоки, как «Знаете ли вы?» или обогащенные Knowledge Panels, требует сочетания сильного ссылочного профиля (для качества источника и Fun-Quotient), уникальности контента (IDF) и идеальной технической подачи (четкие предложения, высокая топикальность).

Практические примеры

Сценарий: Оптимизация статьи о Коалах для блока «Интересные факты»

1. Анализ контента: Вместо факта «Коалы живут в Австралии» (структурированный факт, низкий IDF), добавьте факт: «У коал есть два противопоставленных больших пальца (two opposable thumbs)». (Высокий IDF для «opposable thumbs»).
2. Оптимизация формулировки:
   • Плохо (Bad Sentence): «Они также имеют два противопоставленных больших пальца». (Местоимение «Они» требует контекста).
   • Хорошо (Representative Sentence): «Коалы имеют два противопоставленных больших пальца». (Четко, самодостаточно).
3. Работа с внешними сигналами: При проведении аутрич-кампании попросите партнеров использовать анкоры типа «Удивительные факты о коалах» или включить ссылку в предложение «А вы знали, что у коал есть особенность строения лап? [ссылка]». Это повысит Fun-Quotient.
4. Ожидаемый результат: Предложение «Коалы имеют два противопоставленных больших пальца» извлекается системой и отображается в выдаче по запросу [Koala] или [Koala fun facts] в специальном блоке.