Как Google определяет, действительно ли новость посвящена сущности, и строит хронологию событий

Термины и определения

News Collections (Новостные коллекции)

Кластеры или группы новостных документов, агрегированных из одного или нескольких источников и объединенных общим контентом или темой.

Object (Объект)

Сущность, событие, тема, ключевое слово, человек или место, упоминаемое в новостной коллекции. Является предметом анализа релевантности.

Relevance (Релевантность)

Мера того, насколько новостная коллекция связана с конкретным объектом. В патенте это агрегированная оценка, состоящая из трех компонентов: Overall Relevance, Level of Interest и Significance.

Overall Relevance of Collection (Общая релевантность коллекции)

Компонент релевантности, оценивающий важность самой новостной коллекции. Основан на количестве различных источников в коллекции и уровне интереса пользователей к ней.

Level of Interest in Object (Уровень интереса к объекту)

Компонент релевантности, оценивающий внешний интерес к объекту в определенный период времени. Основан на поисковых запросах, трендах в социальных сетях и упоминаниях в других коллекциях.

Significance of Object in News Collection (Значимость объекта в новостной коллекции)

Компонент релевантности, оценивающий, насколько центральную роль играет объект в данной коллекции. Основан на частоте в заголовках, центральности в тексте и уместности событий.

Centrality (Центральность)

Мера того, насколько объект является фокусом документа. Определяется по месту упоминания объекта в тексте (абстракт, первые параграфы) и повторяемости.

Pertinence of Events (Уместность событий)

Оценка того, являются ли события, описанные в коллекции и связанные с объектом, важными для типа этого объекта. Использует предопределенные списки важных событий для разных типов объектов.

Object-type (Тип объекта)

Классификация объекта (например, "Знаменитость", "Медицинское состояние", "Спортивное событие"). Используется для определения уместности событий.

Chronological Summary (Хронологическая сводка)

Сгенерированный системой отчет о новостях, связанных с объектом, упорядоченный по времени.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения релевантности новостной коллекции к объекту.

1. Система агрегирует новостные документы и группирует их в News Collections.
2. Определяются Objects (объекты), описанные в этих коллекциях.
3. Измеряется релевантность каждой коллекции к каждому объекту. Измерение релевантности ОБЯЗАТЕЛЬНО включает расчет трех компонентов:
   • Overall Relevance: основана на определении количества новостных источников в коллекции, сообщающих на связанную тему.
   • Level of Interest: основан на определении количества других коллекций, упоминающих объект, И количества поисковых запросов об объекте за период.
   • Significance: основана на определении частоты объекта в заголовках, центральности объекта в тексте (где именно в теле документа упоминается объект) И уместности событий (Pertinence of Events), связанных с объектом.
4. На основе рассчитанной Релевантности (агрегации трех компонентов) система определяет, какие коллекции ассоциируются с конкретным объектом.

Claim 3 (Зависимый от 1): Детализирует механизм оценки уместности событий (Pertinence of Events).

Система обрабатывает коллекции для поиска событий, в которых участвуют объекты. Измерение релевантности включает определение того, являются ли эти события уместными (pertinent) на основе типа объекта (Object-type).

Claim 4 (Зависимый от 3): Дополнительно детализирует механизм оценки уместности.

1. Определяется тип объекта (Object-type).
2. Определяется предопределенный список уместных событий для этого типа.
3. Система проверяет, входит ли событие, описанное в коллекции, в этот предопределенный список для данного типа объекта.

Claim 7 (Зависимый от 1): Расширяет факторы для расчета компонентов релевантности.

• Расчет Overall Relevance также включает определение уровня пользовательского интереса к коллекции.
• Расчет Level of Interest также включает определение трендов для объекта в социальных сетях.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, преимущественно в контексте обработки новостного контента и информации о сущностях.

CRAWLING – Сканирование и Сбор данных
На этом этапе происходит агрегация новостных документов из различных источников (publishing engines).

INDEXING – Индексирование и извлечение признаков
Основная часть предварительной обработки:

• Группировка: Документы кластеризуются в News Collections на основе схожести контента.
• Извлечение объектов: Идентификация сущностей, тем и событий (Objects) в коллекциях.
• Извлечение признаков: Расчет метрик на уровне документа и коллекции, таких как частота объекта в заголовках и Centrality объекта в тексте.
• Классификация: Определение типа объекта (Object-type).

RANKING – Ранжирование (Офлайн или Nearline обработка)
Расчет сложных метрик релевантности происходит здесь, так как он требует анализа внешних данных и агрегации метрик:

• Сбор внешних сигналов: Получение данных о поисковых запросах, трендах социальных сетей (для Level of Interest) и пользовательском взаимодействии с коллекциями (для Overall Relevance).
• Анализ событий: Определение Pertinence of Events путем сравнения событий в коллекции со списками уместных событий для данного Object-type.
• Расчет релевантности: Агрегация Overall Relevance, Level of Interest и Significance для каждой пары (Объект, Коллекция). Результаты сохраняются (Relevance Data).

QUNDERSTANDING / RANKING / METASEARCH (Real-time)
Применение результатов при запросе пользователя:

• Когда пользователь запрашивает информацию об объекте (например, ищет новости о сущности или запрашивает хронологию), система использует предварительно рассчитанные оценки релевантности.
• Система выбирает наиболее релевантные News Collections.
• News Summary Generator формирует хронологическую сводку или предлагает релевантные поисковые подсказки (Suggestive Search Module).

На что влияет

• Типы контента: В первую очередь влияет на новостные статьи, блоги, пресс-релизы и любой контент, агрегируемый в новостные потоки.
• Специфические запросы: Запросы о сущностях (люди, компании, места), событиях и развивающихся темах. Особенно влияет на запросы, где требуется актуальная информация или хронология событий.
• Форматы выдачи: Влияет на формирование выдачи Google News, блоков "Top Stories" (Главные новости) в основном поиске, а также на генерацию хронологий событий в Панелях Знаний (Knowledge Panels).

Когда применяется

• Условия применения: Алгоритм применяется непрерывно для обработки входящего потока новостей. Он используется для предварительного расчета релевантности между всеми значимыми новостными коллекциями и объектами.
• Триггеры активации: Активируется при появлении новых новостных документов или при обновлении данных о внешнем интересе (поисковые тренды, социальные сети). Финальный результат используется при запросе пользователя о новостях или хронологии объекта.

Пошаговый алгоритм

Процесс А: Расчет релевантности (Офлайн/Nearline)

1. Агрегация и Группировка: Сбор новостных документов и их кластеризация в News Collections.
2. Идентификация Объектов: Определение всех значимых объектов (сущностей, тем), обсуждаемых в коллекции.
3. Расчет Общей Релевантности Коллекции (Overall Relevance):
   • Определение количества уникальных новостных источников в коллекции, сообщающих на эту тему.
   • Определение уровня пользовательского интереса к коллекции (например, клики на кластер).
4. Расчет Уровня Интереса к Объекту (Level of Interest) (для заданного периода):
   • Определение количества других новостных коллекций, упоминающих этот объект.
   • Анализ трендов объекта в социальных сетях.
   • Анализ количества веб-запросов, ищущих этот объект.
5. Расчет Значимости Объекта в Коллекции (Significance):
   • Определение частоты упоминания объекта в заголовках документов коллекции.
   • Определение Centrality объекта в документах (упоминание в начале, частота в тексте).
   • Анализ Уместности Событий (Pertinence of Events):
     1. Определение типа объекта (Object-type).
     2. Получение списка предопределенных уместных событий для этого типа.
     3. Идентификация событий в коллекции, связанных с объектом.
     4. Проверка, входят ли эти события в список уместных.
6. Агрегация Оценки Релевантности: Вычисление итоговой оценки релевантности для пары (Объект, Коллекция) на основе Overall Relevance, Level of Interest и Significance.
7. Сохранение: Запись оценки релевантности в базу данных.

Процесс Б: Генерация сводки (Real-time)

1. Получение запроса: Пользователь запрашивает хронологическую сводку об Объекте.
2. Определение параметров: Идентификация Объекта и временного диапазона.
3. Выборка коллекций: Получение News Collections, связанных с Объектом, на основе предварительно рассчитанных оценок релевантности.
4. Выборка документов: Определение набора документов из этих коллекций с учетом временного диапазона.
5. Генерация и Предоставление: Создание хронологической новостной сводки и её отправка пользователю.

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных, включая контентные, поведенческие и внешние сигналы.

• Контентные факторы:
  • Заголовки документов (используются для определения частоты объекта).
  • Текст документов (используется для определения Centrality, идентификации событий и определения Object-type).
• Технические/Системные факторы:
  • Источники новостей (используются для определения количества уникальных источников в коллекции).
  • Данные о группировке документов в News Collections.
• Поведенческие факторы:
  • Уровень пользовательского интереса к новостной коллекции (например, данные о кликах на коллекцию в новостном портале).
• Временные факторы:
  • Временные рамки (Timeframe) используются при расчете Level of Interest.
• Внешние данные (External Signals):
  • Данные о трендах в социальных сетях для объекта.
  • Данные о количестве веб-запросов (Search Volume) для объекта.
• Данные из Базы Знаний (Knowledge Base):
  • Предопределенные списки уместных событий (Pertinent Events) для различных типов объектов (Object-types).

Какие метрики используются и как они считаются

Ключевая метрика патента — Relevance Score для пары (Объект, Коллекция). Она агрегирует три компонента:

1. Overall Relevance Score: Функция от (Количество уникальных источников в коллекции; Уровень интереса пользователей к коллекции).
2. Level of Interest Score: Функция от (Количество других коллекций, упоминающих объект; Тренды в социальных сетях; Объем поисковых запросов об объекте).
3. Significance Score: Функция от (Частота объекта в заголовках; Centrality объекта в тексте; Оценка Pertinence of Events).

Оценка Pertinence of Events: Бинарная или числовая оценка, основанная на сравнении событий в коллекции с предопределенным списком уместных событий для данного Object-type.

1. Релевантность новости сущности — это многофакторная оценка: Недостаточно просто упомянуть сущность. Релевантность определяется комбинацией важности самой новости, текущего интереса к сущности в мире и того, насколько центральную роль сущность играет в этой новости.
2. Центральность (Centrality) критична: Система явно проверяет, где именно и как часто объект упоминается в документе (заголовки, первые абзацы, повторяемость). Это подтверждает важность принципа "перевернутой пирамиды" в журналистике для SEO.
3. Механизм фильтрации мимолетных упоминаний (Pertinence of Events): Это ключевой механизм патента. Google может использовать типизацию сущностей (Object-types) и предопределенные списки важных событий для этих типов, чтобы отфильтровать новости, где сущность не является главным героем. Новость должна сообщать о событии, которое "уместно" для данного типа сущности.
4. Внешние сигналы валидируют интерес: Поисковый спрос на объект и тренды в социальных сетях напрямую влияют на оценку релевантности (через Level of Interest). Это подчеркивает важность мониторинга трендов и создания контента, соответствующего текущему интересу аудитории.
5. Важность авторитетности и охвата источника: Overall Relevance учитывает количество источников, освещающих событие. Это говорит о том, что широкое освещение события разными источниками повышает его значимость в глазах системы.

Best practices (это мы делаем)

• Обеспечение центральности сущности (Entity Centrality): При написании новостей, ориентированных на конкретную сущность (человека, компанию, продукт), убедитесь, что эта сущность находится в фокусе повествования. Она должна быть упомянута в заголовке (Title), лиде (первом абзаце) и играть ключевую роль в теле статьи. Это повышает метрику Centrality.
• Фокус на уместных событиях (Pertinent Events): Сосредоточьтесь на освещении событий, которые естественно важны для типа сущности. Если вы пишете о медицинском состоянии, фокусируйтесь на лечении, исследованиях, статистике. Если о знаменитости — на карьере, значимых жизненных событиях. Это повышает вероятность того, что система сочтет событие уместным (Pertinent).
• Синхронизация с трендами (Level of Interest): Оперативно реагируйте на всплеск интереса к сущности или теме. Создание качественного контента в момент высокого поискового спроса и активности в социальных сетях увеличивает шансы на высокое ранжирование благодаря компоненту Level of Interest.
• Оптимизация заголовков: Включайте ключевые сущности в заголовки новостных статей. Метрика Significance напрямую зависит от частоты упоминания объекта в заголовках внутри новостной коллекции.
• Построение авторитетности в нише: Становитесь авторитетным источником по конкретным темам и сущностям. Чем чаще ваши статьи попадают в релевантные News Collections, тем выше вероятность, что система будет считать ваш контент значимым для этих объектов.

Worst practices (это делать не надо)

• Кликбейт и мимолетные упоминания (Tangentional Content): Создание статей, где популярная сущность упоминается только для привлечения трафика, но не является центральной темой. Механизмы Centrality и Pertinence of Events предназначены для фильтрации такого контента.
• Игнорирование структуры статьи: "Закапывание" основной темы или ключевой сущности в середину или конец статьи. Это снижает оценку Centrality.
• Освещение незначительных событий: Попытки выдать незначительные инфоповоды за важные новости о сущности. Если событие не соответствует ожидаемому списку уместных событий для данного типа сущности, его значимость будет низкой.
• Медленная реакция на тренды: Публикация контента после того, как пик интереса прошел. Это снижает потенциальный вклад компонента Level of Interest в итоговую оценку релевантности.

Стратегическое значение

Патент подчеркивает важность перехода от оптимизации под ключевые слова к оптимизации под сущности и события (Entity-based SEO и Event-based SEO). Для новостных ресурсов стратегически важно не просто сообщать факты, но и правильно упаковывать их, делая акцент на центральных сущностях и их роли в событиях. Система демонстрирует сложный механизм оценки качества журналистики: способность выделять главное и отделять его от второстепенного. Долгосрочная стратегия должна фокусироваться на глубоком понимании интента аудитории, связанного с конкретными типами сущностей, и создании контента, который точно соответствует этим интентам.

Практические примеры

Сценарий: Оптимизация статьи о новом лекарстве

Задача: Обеспечить высокую релевантность статьи для сущности "Препарат X" и сущности "Болезнь Y".

1. Заголовок (Significance): Вместо "Компания Z объявила о результатах исследования" использовать "Новое исследование подтверждает эффективность Препарата X в лечении Болезни Y".
2. Структура (Centrality): В первом абзаце четко указать, что Препарат X показал значительные результаты в лечении Болезни Y, указав ключевые метрики эффективности.
3. Контент (Pertinence of Events): Детально описать механизм действия, результаты клинических испытаний, сравнение с существующими методами лечения. Эти типы информации с высокой вероятностью находятся в списке уместных событий для типа "Лекарство" и "Медицинское состояние".
4. Публикация (Level of Interest): Опубликовать статью и пресс-релиз сразу после официального объявления результатов, чтобы совпасть с пиком поискового и социального интереса.
5. Ожидаемый результат: Статья будет классифицирована как высокорелевантная для обеих сущностей и с большей вероятностью попадет в Google News и Top Stories по соответствующим запросам.