Как Google использует оценку новизны (Novelty Score) для ранжирования новостей и блогов, отдавая приоритет первоисточникам

Термины и определения

Depth of sentence (Глубина предложения)

Количество предложений, предшествующих данному предложению в документе. Используется для взвешивания важности информации в метрике WTF.

Information Nugget (t) (Информационный фрагмент)

Последовательность текста, несущая информацию. Примеры включают именованные сущности (Named Entities), термины из заголовка или числа.

Interaction (i) (Взаимодействие)

Пара информационных фрагментов, встречающихся в непосредственной близости друг от друга (например, в одном предложении или абзаце).

Na(t, A) (Важность фрагмента для документа)

Метрика, измеряющая важность информационного фрагмента (t) для конкретного документа (A). Может рассчитываться с использованием TF-IDF или WTF.

Ns(t, S) (Важность фрагмента для последовательности)

Метрика, измеряющая важность информационного фрагмента (t) для всей последовательности документов (S). Агрегирует Na(t, A) по всем документам.

Ia(i, A) (Важность взаимодействия для документа)

Метрика, измеряющая важность взаимодействия (i) для конкретного документа (A).

Is(i, S) (Важность взаимодействия для последовательности)

Метрика, измеряющая важность взаимодействия (i) для всей последовательности документов (S).

Novelty Score (NOVa) (Оценка новизны)

Итоговая оценка, присваиваемая документу (A), отражающая количество новой и важной информации, которую он вносит в последовательность (S).

Sequence (S) (Последовательность)

Темпорально упорядоченный набор документов, например, кластер новостных статей по одной теме.

WTF (Weighted Term Frequency) (Взвешенная частота термина по глубине)

Сумма совпадений фрагмента или взаимодействия в документе, взвешенная обратно пропорционально глубине предложения, в котором они встречаются. Чем раньше в тексте, тем выше вес.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод обнаружения новизны, фокусируясь на взаимодействиях.

1. Система определяет упорядоченную последовательность документов.
2. Определяется количество нового контента в каждом документе путем выявления пар текстовых последовательностей (Interactions), которые встречаются в непосредственной близости друг к другу.
3. Каждому документу присваивается Novelty Score на основе определенного количества нового контента.
4. Документы предоставляются (например, ранжируются) на основе присвоенных Novelty Scores.

Claim 5 (Зависимый от 3 и 1): Детализирует расчет важности взаимодействия для документа с использованием WTF.

Важность взаимодействия (i) для документа (A), $I_a(i, A)$, рассчитывается как $WTF(i, A)$. Формула WTF взвешивает вхождения обратно пропорционально квадратному корню из глубины предложения в документе. Это означает, что взаимодействия, упомянутые ранее в тексте, считаются более важными.

Claim 8 (Зависимый от 7 и 1): Определяет один из способов расчета Novelty Score.

Novelty Score рассчитывается путем определения суммы важности $I_s(i, S)$ (важность взаимодействия для последовательности) для всех взаимодействий (i), которые данный документ ввел ВПЕРВЫЕ в упорядоченной последовательности.

Claim 12 (Независимый пункт): Описывает метод оценки новизны с фокусом на информационных фрагментах и специфической формуле важности (с учетом Certificate of Correction).

1. Идентификация текстовых последовательностей (Information Nuggets) в документе.
2. Определение значения важности $N_a(t, A)$ для каждого фрагмента (t). В этом пункте важность определяется как $TF(t, A) * WTF(t, A)$.
3. Присвоение оценки (Novelty Score) документу на основе этих значений важности.
4. Ранжирование и отображение документа на основе оценки.

Где и как применяется

Изобретение применяется на нескольких этапах обработки поисковых данных, преимущественно в контексте новостного поиска или поиска по блогам.

CRAWLING – Сканирование и Сбор данных
На этом этапе система должна фиксировать точное время публикации (timestamp) документа, что критически важно для построения темпоральной последовательности (Sequence S).

INDEXING – Индексирование и извлечение признаков
Основная часть анализа происходит здесь или в процессе, аналогичном индексированию для специализированных вертикалей (например, Google News).

• Кластеризация: Документы группируются по темам (новостные кластеры) и упорядочиваются по времени.
• NLP и Извлечение Сущностей: Система применяет NLP для идентификации Information Nuggets (именованные сущности, числа, ключевые фразы) и Interactions (связи между ними).
• Расчет метрик: Вычисляются метрики важности (Na, Ia, Ns, Is) и итоговый Novelty Score для каждого документа в кластере.

RANKING – Ранжирование / RERANKING – Переранжирование
На этапе формирования выдачи (например, внутри новостного блока или в вертикали Google News) Novelty Score используется как ключевой сигнал для ранжирования документов внутри кластера. Документы с более высоким Novelty Score получают приоритет.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на новостные статьи, посты в блогах и любой контент, связанный с развивающимися событиями или трендовыми темами.
• Специфические запросы: Запросы, связанные с актуальными событиями (QDF - Query Deserves Freshness), где пользователи ищут последнюю информацию.
• Форматы контента: Статьи, содержащие фактическую информацию, именованные сущности и четкие связи между ними. Меньше влияет на мнения или обзоры без новых фактов.

Когда применяется

• Условия работы алгоритма: Алгоритм применяется к набору документов, которые идентифицированы как относящиеся к одной теме и могут быть упорядочены во времени (темпоральная последовательность).
• Триггеры активации: Активируется при обработке новостных кластеров или при обнаружении всплеска публикаций по определенной теме.
• Временные рамки: Патент упоминает возможность ограничения временного окна анализа для долгоживущих последовательностей. Например, могут учитываться только документы за T1 дней до и T2 дней после анализируемого документа (например, +/- 7 дней), чтобы старая информация не влияла на оценку текущей новизны.
• Особые случаи: Упоминается возможность разделения кредита за новизну между всеми документами, опубликованными в течение короткого времени (например, 15 минут) после первого введения фрагмента.

Пошаговый алгоритм

Процесс анализа последовательности документов S.

1. Инициализация: Определение темпорально упорядоченной последовательности документов S = {A1, A2, ..., An}.
2. Идентификация фрагментов: В каждом документе последовательности идентифицируются все информационные фрагменты (t) и взаимодействия (i).
3. Расчет важности для документа (Цикл по документам): Для каждого документа Aj:
   • Для каждого фрагмента (t) определяется его важность $N_a(t, A_j)$ (например, используя TF-IDF или WTF).
   • Для каждого взаимодействия (i) определяется его важность $I_a(i, A_j)$.
4. Расчет важности для последовательности:
   • Для каждого уникального фрагмента (t) во всей последовательности рассчитывается его общая важность $N_s(t, S)$ (например, как сумма Na по всем документам).
   • Для каждого уникального взаимодействия (i) рассчитывается его общая важность $I_s(i, S)$.
5. Расчет оценки новизны (Novelty Score): Для каждого документа A определяется его Novelty Score. Это может быть выполнено одним из способов или их комбинацией:
   • Метод 1 (Первоисточник): Сумма Ns для всех фрагментов (t) + Сумма Is для всех взаимодействий (i), которые документ A ввел впервые.
   • Метод 2 (Улучшение/Delta): Расчет общего улучшения (Total Improvement) фрагментов и взаимодействий. Для этого сравнивается важность Ns и Is в последовательности ДО документа A (S1) и ПОСЛЕ включения документа A ({S1, A}). Рассчитывается разница (Delta Importance) или нормализованная разница (Normalized Delta Importance).
6. Ранжирование: Документы последовательности S ранжируются относительно друг друга на основе рассчитанных Novelty Scores.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документа является основным источником данных. Анализируется расположение слов, структура предложений и абзацев. Идентифицируются именованные сущности (Named Entities), числа и термины в заголовках (title terms).
• Структурные факторы: Глубина предложения (Depth of sentence) в документе используется для взвешивания важности информации (WTF). Информация в начале документа имеет больший вес.
• Временные факторы: Временная метка (timestamp) публикации документа критически важна для определения порядка документов в последовательности и идентификации того, какой документ первым ввел информацию.

Какие метрики используются и как они считаются

Система вычисляет несколько ключевых метрик для оценки важности и новизны.

1. Важность для Документа (Na, Ia):

• TF-IDF вариант: $N_a(t, A) = TF(t, A) * IDF(t)$. IDF измеряется по последовательности S.
• WTF (Weighted Term Frequency): Используется вместо стандартного TF.
  $WTF(t, A) = \sum_{s} \frac{1}{\sqrt{\text{depth of sentence s in A}}}$ (Сумма по всем предложениям s, содержащим t в A).

2. Важность для Последовательности (Ns, Is):

• Frequency: Количество документов в S, содержащих фрагмент/взаимодействие.
• Cumulative Na/Ia: Сумма Na(t, A) или Ia(i, A) по всем документам A в S.
• Cumulative squashed Na/Ia: Сумма log(Na(t, A)) или log(Ia(i, A)).

3. Novelty Score (NOVa):

Рассчитывается как комбинация следующих величин:

• Первичное введение (First Introduction): Сумма Ns(t, S) и/или Is(i, S) для элементов, впервые введенных документом A.
• Общее улучшение (Total Improvement): Сумма улучшений (Delta Importance) для всех фрагментов/взаимодействий в документе A.
• Delta Importance (для фрагментов): Насколько увеличилась важность фрагмента после добавления документа A.
  $N_s(t, \{S_1, A\}) - N_s(t, S_1)$ (где S1 - документы, предшествующие A).
• Normalized Delta Importance:
  $\frac{N_s(t, \{S_1, A\}) - N_s(t, S_1)}{N_s(t, \{S_1, A\})}$

1. Приоритет первоисточников и добавленной ценности: Патент описывает механизм, который систематически выявляет и поощряет документы, добавляющие новую информацию к существующей теме. Сайты, которые просто переписывают или агрегируют известные факты, будут иметь низкий Novelty Score.
2. Важность сущностей (Information Nuggets): Основой анализа являются Information Nuggets (именованные сущности, факты, числа). Способность системы распознавать и отслеживать эти фрагменты в потоке документов подчеркивает важность наличия четкой фактической информации в контенте.
3. Связи имеют значение (Interactions): Недостаточно просто упомянуть новую сущность; важно также установить новые связи (Interactions) между ней и другими сущностями. Документ, который первым описывает связь между двумя известными фактами, также получает высокий Novelty Score.
4. Структура документа и WTF: Метрика WTF (Weighted Term Frequency) явно указывает на то, что информация, расположенная ближе к началу документа (меньшая Depth of sentence), имеет больший вес. Это подтверждает важность принципа «перевернутой пирамиды» в журналистике и SEO.
5. Темпоральность как ключ к новизне: Novelty Score по своей природе зависит от времени. Оценка документа зависит от того, что было опубликовано до него. Быть первым критически важно, хотя патент и предусматривает возможность разделения кредита за новизну в течение короткого окна (например, 15 минут).
6. Механизмы оценки новизны: Система может оценивать новизну двумя основными способами: как абсолютный вклад (первое упоминание важных фрагментов) или как относительное улучшение (Delta Importance) общего информационного поля.

Best practices (это мы делаем)

• Фокус на оригинальном репортаже и новых фактах: При освещении новостей или трендовых тем стремитесь добавлять новые Information Nuggets. Это могут быть новые имена, места, цифры, цитаты или детали, которые отсутствовали в предыдущих публикациях по этой теме.
• Оптимизация структуры контента (WTF): Размещайте самую важную и новую информацию как можно ближе к началу статьи. Метрика WTF придает больший вес фрагментам, найденным в первых предложениях. Используйте принцип «перевернутой пирамиды».
• Установление новых связей (Interactions): Ищите новые связи между уже известными сущностями. Если все знают, что «Компания X» запускает «Продукт Y», но вы первыми сообщаете, что «CEO Z» из «Компании X» будет представлять «Продукт Y» на «Конференции W», вы создаете новые ценные взаимодействия.
• Скорость публикации: Поскольку новизна оценивается темпорально, скорость имеет решающее значение. Стремитесь быть первым источником новой информации, чтобы максимизировать Novelty Score по методу "First Introduction".
• Обеспечение точных временных меток: Корректные временные метки (timestamps) критически важны для правильного позиционирования вашего документа в Temporally Ordered Sequence.

Worst practices (это делать не надо)

• Агрегация и переписывание без добавленной ценности: Создание статей, которые только суммируют информацию из других источников, не добавляя новых фрагментов или взаимодействий. Такие статьи получат минимальный Novelty Score.
• «Вода» в начале статьи и "закапывание" фактов: Длинные вступления, которые отодвигают ключевые факты и сущности вглубь текста. Это снижает вес информации из-за метрики WTF (большая Depth of sentence).
• Игнорирование контекста и связей: Упоминание фактов или сущностей изолированно, без установления четких связей (Interactions) с другими элементами истории.
• Медленная реакция на события: Публикация информации после того, как она уже стала широко известной и освещена другими источниками.

Стратегическое значение

Этот патент подтверждает стратегию Google по приоритизации оригинальности и глубины контента, особенно в новостном поиске. Для издателей и SEO-специалистов это означает, что инвестиции в качественную журналистику, эксклюзивную информацию и скорость реакции являются ключевыми факторами успеха. Построение авторитета в нише связано не только с качеством сайта (E-E-A-T), но и с его способностью постоянно генерировать новый, фактически ценный контент (высокий Novelty Score).

Практические примеры

Сценарий: Освещение запуска нового смартфона

1. Документ A1 (Первый слух): Публикуется новость, что «Apple» (Nugget 1) планирует выпустить «iPhone 17» (Nugget 2) в «Сентябре» (Nugget 3). Создается базовый Novelty Score.
2. Документ A2 (Вторичный контент): Сайт переписывает новость A1, не добавляя фактов. Его Novelty Score близок к нулю.
3. Документ A3 (Добавление деталей): Сайт проводит расследование и сообщает, что «iPhone 17» получит новый чип «A19» (Nugget 4) и камеру «48MP» (Nugget 5). Этот сайт получает высокий Novelty Score, так как ввел новые важные фрагменты.
4. Документ A4 (Новые взаимодействия): Сайт сообщает, что производство чипа «A19» (Nugget 4) задерживается на заводе «TSMC» (Nugget 6) из-за «Проблем с литографией» (Nugget 7). Это вводит новые сущности и критически важные взаимодействия. Документ A4 получает наивысший Novelty Score и занимает первое место в новостном кластере.

Действия SEO-специалиста для сайта A4: Убедиться, что ключевые новые факты (A19, TSMC, Проблемы с литографией) и их связь расположены в первом или втором предложении статьи для максимизации WTF.