Как Google оценивает качество новостных источников, кластеризует статьи и ранжирует новости на основе свежести, оригинальности и авторитетности

Термины и определения

Canonical Document (Канонический документ)

Оригинальная версия документа. Определяется как самая ранняя опубликованная версия среди группы идентичных или почти идентичных документов (дубликатов).

Centroid (Центроид)

Вектор, который описывает центральную тему кластера. Вычисляется путем усреднения векторов терминов (Document Vectors) документов внутри кластера.

Cluster (Кластер)

Группа документов из разных источников, посвященных одной теме или новостному сюжету.

Document Vector (Вектор документа)

Математическое представление содержания документа, описывающее его тему. Используется для измерения схожести между документами.

Freshness (Свежесть)

Метрика качества источника. Измеряется двумя способами: (1) частота, с которой источник генерирует новый канонический контент; (2) скорость публикации документа после соответствующего события (среднее время задержки).

Golden Source (Золотой источник)

Высшая категория качества источника. Присваивается источникам, которые публикуют значительное количество канонических документов и соответствуют высоким критериям качества.

Measures of Quality (Показатели качества)

Метрики, используемые для оценки качества источника. Включают количество просмотров документа за период времени или количество ссылок, указывающих на документ.

Modified Recency Score (Модифицированная оценка свежести)

Оценка свежести документа, скорректированная с учетом качества источника (Source Score) и/или размера суб-кластера. Используется для финального ранжирования документов внутри кластера.

Named Entities (Именованные сущности)

Имена людей, мест, событий или организаций. Используются при кластеризации с повышенным весом.

Originality (Оригинальность)

Метрика качества источника, основанная на количестве канонических документов, которые он производит.

Source Score (Оценка источника)

Общая оценка качества источника, основанная на агрегации метрик Originality, Freshness и Quality.

Sub-cluster (Суб-кластер)

Более узкая группа документов внутри кластера, имеющих очень высокую степень сходства.

Ключевые утверждения (Анализ Claims)

Хотя патент описывает полную систему кластеризации, все 28 пунктов формулы изобретения (Claims) сосредоточены исключительно на методе оценки источника (Source Scoring).

Claim 1 (Независимый пункт): Описывает основной метод оценки источника.

1. Система идентифицирует источник и обнаруживает множество опубликованных им документов.
2. Вычисляются показатели свежести (measures of freshness). Ключевое определение: свежесть основана на определении разницы во времени между моментом наступления событий и временем публикации источником документов, относящихся к этим событиям.
3. Вычисляются показатели качества (measures of quality). Ключевое определение: качество основано как минимум на одном из: (а) количестве просмотров документов за период времени ИЛИ (б) количестве ссылок, указывающих на документы.
4. Определяется оценка источника (Source Score) на основе показателей свежести и качества.

Claim 5 (Зависимый от 1): Уточняет, что Source Score также основывается на оригинальности (Originality) множества документов.

Claim 6 (Зависимый от 1): Уточняет альтернативный метод расчета свежести. Freshness также может основываться на измерении частоты, с которой источник генерирует канонические документы (canonical document).

Claim 10 (Зависимый от 1): Описывает применение Source Score. Метод включает категоризацию источника на основе полученной оценки.

Claim 25 (Независимый пункт): Описывает аналогичный метод, специфичный для новостных источников, с дополнительным шагом удаления дубликатов перед анализом.

Где и как применяется

Изобретение описывает систему, которая функционирует преимущественно в рамках специализированного новостного поиска (Google News) и влияет на основной поиск через блок Top Stories.

CRAWLING – Сканирование и Сбор данных
Система должна активно сканировать новостные источники для своевременного обнаружения контента и фиксации времени публикации (timestamp).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная предварительная обработка:

• Анализ контента: Извлечение Document Vectors, Named Entities, заголовков. Определение жанра документа.
• Кластеризация: Группировка документов в кластеры и суб-кластеры. Идентификация дубликатов и определение Canonical Document. Расчет центроидов кластеров.
• Оценка Источника (Периодически/Офлайн): Анализ корпуса документов источника для расчета Source Score (Freshness, Originality, Quality) и присвоения категории (например, Golden Source). Это включает анализ просмотров и ссылок.

RANKING – Ранжирование (Новостная вертикаль)
Это основной этап применения алгоритмов ранжирования, описанных в патенте.

1. Ранжирование кластеров: Оценка кластеров на основе свежести контента, качества участвующих источников, объема освещения.
2. Ранжирование документов: Сортировка документов внутри кластера с использованием Modified Recency Score.

RERANKING – Переранжирование
Применяется для обеспечения разнообразия. Система может понижать кластеры, чьи центроиды похожи на центроиды ранее просмотренных кластеров. Внутри кластера система обеспечивает разнообразие, продвигая лучший документ из каждого суб-кластера.

На что влияет

• Конкретные типы контента: Новостные статьи, репортажи, колонки мнений (op/ed), расследования.
• Специфические запросы: Запросы, связанные с текущими событиями (QDF - Query Deserves Freshness), которые активируют новостные блоки.
• Определенные форматы контента: Преимущественно текст, но упоминаются аудио и видео новости. Длина документа и структура заголовка имеют значение.
• Географические и тематические факторы: Патент отмечает, что оценка источника может быть относительной. Локальные источники могут получить приоритет для локальных новостей; специализированные источники (например, MTV для музыки) — в своих нишах.

Когда применяется

• Условия работы алгоритма: Алгоритмы оценки источников работают периодически на основе накопленных данных (например, за последний месяц). Алгоритмы кластеризации и ранжирования работают непрерывно по мере поступления нового контента и при обработке запросов пользователей.
• Временные аспекты: Свежесть критична. Система использует временные окна (bins) для оценки актуальности; документы старше определенного порога (например, 24 часа) могут значительно терять в весе.

Пошаговый алгоритм

Патент описывает три основных процесса: Оценка источника, Ранжирование кластеров и Ранжирование документов.

Процесс А: Оценка Источника (Source Scoring)

1. Сбор данных: Сбор документов, опубликованных источником за период.
2. Анализ Оригинальности (Originality): Сравнение текстов для выявления дубликатов и перепечаток. Определение Canonical Document по самой ранней дате публикации.
3. Анализ Свежести (Freshness):
   • Скорость (Time-to-Web): Измерение среднего времени задержки между событием и публикацией статьи о нем.
   • Частота: Измерение частоты генерации канонических документов за период.
4. Анализ Качества (Quality): Оценка на основе внешних сигналов: статистика циркуляции, количество просмотров/хитов, количество ссылок на документы источника.
5. Расчет и Категоризация: Агрегирование метрик в Source Score. Присвоение источнику категории (например, Golden Source).

Процесс Б: Ранжирование Кластеров (Cluster Ranking)

1. Идентификация темы и кластеров.
2. Оценка свежести кластера: Расчет взвешенной суммы канонических документов. Используется система «корзин» (bins) по времени с разными весами (например, <60 мин вес 24, >24 часа вес -1).
3. Оценка качества источников кластера: Агрегированная оценка качества источников в кластере. Учитывается как абсолютный рейтинг, так и релевантность теме (география, специализация).
4. Оценка объема и разнообразия: Учет количества канонических документов и количества суб-кластеров.
5. Сортировка кластеров: Формирование итогового рейтинга (Cluster Score).
6. Применение разнообразия (Reranking): Сравнение центроидов топовых кластеров с центроидами ранее просмотренных. Понижение схожих кластеров для избежания избыточности.

Процесс В: Ранжирование Документов в Кластере (Document Ranking)

1. Фильтрация: Удаление дубликатов (остаются только канонические документы).
2. Базовая оценка: Присвоение базовой оценки свежести (например, возраст в часах). Оценка контента (длина документа, анализ заголовка, жанр).
3. Корректировка по качеству источника: Расчет Modified Recency Score.
   • Пример: Golden Source получает буст (возраст уменьшается: 10 часов - X), источник низкого качества получает пенальти (возраст увеличивается: 10 часов + Y).
4. Первичная сортировка: Сортировка всех документов по Modified Recency Score.
5. Обеспечение разнообразия: Выбор лучшего документа (с лучшим Modified Recency Score) из каждого суб-кластера.
6. Корректировка по размеру суб-кластера: Дополнительная модификация Modified Recency Score на основе количества документов в суб-кластере (больше документов = выше важность = лучше оценка).
7. Финальное отображение.

Какие данные и как использует

Данные на входе

• Контентные факторы:
  • Текст документа (для кластеризации).
  • Заголовки (анализируется длина, наличие общих терминов, наличие имен собственных, совпадение с центроидом кластера).
  • Начальные предложения и Именованные сущности (Named Entities) (используются с повышенным весом при кластеризации).
  • Длина документа.
• Технические факторы:
  • Время публикации (timestamp) – критично для расчета свежести и определения канонического документа.
• Ссылочные факторы:
  • Количество ссылок, указывающих на документы источника (используется для оценки Quality источника).
• Поведенческие факторы (Usage Data):
  • Количество просмотров или хитов (views/hits) документов источника (используется для оценки Quality источника).
  • Статистика циркуляции (Circulation statistics) источника.
• Временные факторы:
  • Возраст документа.
  • Время наступления события (для расчета скорости реакции источника).

Какие метрики используются и как они считаются

• Source Score: Взвешенная агрегация метрик Freshness, Originality и Quality.
• Freshness (Уровень источника): Измеряется двумя способами: (1) Средняя задержка между событием и публикацией (Time-to-Web); (2) Частота генерации канонических документов за период.
• Quality (Уровень источника): Основана на просмотрах, ссылках, статистике циркуляции или ручной оценке.
• Cluster Score (Оценка кластера): Агрегация показателей свежести документов, качества источников, количества документов и суб-кластеров.
• Свежесть Кластера: Взвешенная сумма по документам в кластере, где вес зависит от возраста документа (например, <60 мин = 24, >24 ч = -1).
• Modified Recency Score: Базовая оценка свежести, скорректированная с учетом Source Quality и размера суб-кластера. $ModifiedRecency = Recency \pm f(SourceScore) \pm f(SubClusterSize)$. Высокий Source Score уменьшает возраст (улучшает позицию).
• Методы анализа текста: Упоминаются TFIDF для сравнения Document Vectors. Named Entities, заголовки и начальные предложения имеют повышенный вес.

1. Три столпа оценки новостного источника: Оригинальность, Скорость, Авторитет. Патент детально описывает расчет Source Score на основе этих трех факторов.
   • Originality: Система ценит источники, производящие оригинальный контент (Canonical Documents).
   • Freshness (Скорость): Измеряется скорость реакции источника на событие (Time-to-Web) и общая частота публикаций.
   • Quality (Авторитет): Используются конкретные внешние сигналы: входящие ссылки на статьи и количество просмотров статей.
2. Агрессивное преимущество для качественных источников (Golden Sources): Source Score используется для модификации оценки свежести документа (Modified Recency Score). Статья от Golden Source получает значительный буст (ее возраст искусственно уменьшается), а статья от низкокачественного источника пессимизируется. Это позволяет авторитетным источникам опережать менее авторитетные, даже если их статьи опубликованы позже.
3. Многоуровневая архитектура ранжирования: Ранжирование происходит на уровне кластера (важность сюжета) и на уровне документа (лучшая статья о сюжете). Успех требует оптимизации на всех уровнях.
4. Важность технических и контентных факторов: Корректные временные метки (timestamp) критичны. Также система учитывает длину статьи (предпочитая более длинные) и качество заголовка (предпочитая содержащие сущности и не содержащие общих фраз).
5. Обеспечение разнообразия (Diversity): Система принудительно обеспечивает разнообразие на двух уровнях: (1) На уровне кластеров (понижая похожие на уже просмотренные); (2) Внутри кластера (продвигая лучший документ из каждого суб-кластера, чтобы показать разные точки зрения).

Best practices (это мы делаем)

• Фокус на оригинальном контенте (Be the Source): Необходимо стремиться быть Canonical Source. Инвестиции в оригинальную журналистику повышают метрику Originality, что ведет к более высокому Source Score и потенциальному статусу Golden Source.
• Максимизация скорости публикации (Time-to-Web): Критически важно минимизировать время между событием и публикацией. Это напрямую влияет на метрику Freshness источника и базовую оценку свежести статьи.
• Наращивание авторитетности и популярности статей: Патент прямо указывает на использование просмотров (views) и входящих ссылок на статьи для определения Quality источника. Необходимо работать над дистрибуцией контента и стимулировать цитирование.
• Техническая точность временных меток: Обеспечить корректную передачу точного времени публикации (timestamp) в метаданных и/или News Sitemap. Это основа для всех расчетов свежести и определения каноничности.
• Оптимизация контента и заголовков: Писать подробные материалы (длина имеет значение). Создавать конкретные, информативные заголовки с использованием Named Entities и ключевых слов, избегая общих фраз.
• Развитие локальной и нишевой экспертизы: Система может повышать рейтинг локальных или специализированных источников, если они релевантны теме запроса. Развитие авторитета в конкретных нишах является рабочей стратегией.

Worst practices (это делать не надо)

• Перепечатка контента новостных агентств или рерайтинг: Публикация неоригинального контента негативно сказывается на метрике Originality и снижает Source Score. Система идентифицирует такой контент как дубликат.
• Медленная публикация: Задержки в публикации новостей после события напрямую ухудшают метрику Freshness источника и снижают ранжирование статей.
• Использование общих или кликбейтных заголовков: Патент предполагает пессимизацию за использование общих фраз (например, «Сводка новостей») и ценит длину, конкретику и наличие сущностей в заголовке.
• Публикация коротких, поверхностных материалов (Thin Content): Система может предпочитать более длинные документы при ранжировании внутри кластера.
• Игнорирование ссылочного продвижения новостного контента: Отсутствие цитирований и ссылок приведет к низкой оценке Quality источника, что повлечет за собой пессимизацию статей при ранжировании (ухудшение Modified Recency Score).

Стратегическое значение

Патент определяет стратегический ландшафт для SEO в новостной индустрии. Он подтверждает, что для доминирования в Google News и Top Stories необходима комбинация скорости, авторитетности и оригинальности. Система построена так, чтобы алгоритмически вознаграждать качественную журналистику. Стратегия должна быть направлена на создание репутации надежного первоисточника (Golden Source).

Практические примеры

Сценарий: Ранжирование двух статей об одном событии с использованием Modified Recency Score

Событие произошло в 12:00.

• Источник А (Golden Source): Авторитетное издание с высоким Source Score. Публикует статью в 12:20 (Возраст 20 минут).
• Источник Б (Низкое качество): Сайт с низким Source Score. Публикует заметку в 12:10 (Возраст 10 минут).

Процесс ранжирования:

1. Расчет базовой свежести: Источник А = 20 мин. Источник Б = 10 мин.
2. Модификация по качеству источника:
   • Источник А: Modified Recency Score = 20 мин - X (буст за качество). Например, 20 - 15 = 5 минут.
   • Источник Б: Modified Recency Score = 10 мин + Y (пессимизация). Например, 10 + 15 = 25 минут.
3. Результат: Система сортирует по Modified Recency Score. Статья Источника А (5 мин) будет ранжироваться выше статьи Источника Б (25 мин), несмотря на более позднюю публикацию.