Как Google оценивает качество и авторитетность новостных источников для ранжирования в Google News

Термины и определения

Breaking News Score (Оценка срочных новостей)

Метрика, измеряющая способность источника публиковать статью вскоре после того, как произошло важное событие. Чем меньше времени прошло между событием и публикацией, тем выше оценка.

Cluster (Кластер)

Группа связанных новостных статей от разных источников, освещающих одно и то же событие или тему.

Metrics (Метрики)

Специфические атрибуты новостного источника, которые служат частичными индикаторами его качества (в патенте описано 13 метрик).

NEWSCORE (Новая оценка ранжирования)

Итоговая оценка ранжирования новостной статьи после применения Source Rank. Вычисляется как комбинация OLDSCORE и Source Rank.

OLDSCORE (Исходная оценка ранжирования)

Начальная оценка ранжирования статьи до учета качества источника.

Original Named Entities (Оригинальные именованные сущности)

Именованные сущности (люди, места, организации), которые источник вводит в рамках кластера статей, и которые не упоминались в более ранних статьях этого кластера. Служит индикатором оригинального репортажа.

Source Rank (Рейтинг Источника)

Итоговая числовая оценка качества, авторитетности и надежности новостного источника, рассчитанная на основе группы метрик.

Story Size (Размер истории/Важность события)

Мера важности новостного события. Определяется как количество других отдельных статей в системе, посвященных той же теме (размер кластера).

Ключевые утверждения (Анализ Claims)

Патент фокусируется на двух основных аспектах: методе расчета качества источника и методе применения этой оценки для ранжирования.

Claim 1 (Независимый пункт): Описывает метод определения значения качества (quality value или Source Rank) для новостного источника.

1. Система определяет одну или несколько метрик для новостного источника из предопределенного списка. Список включает (но не ограничивается): объем статей, среднюю длину, объем освещения событий (amount of coverage), Breaking News Score, объем трафика, мнения людей, статистику циркуляции, размер штата, количество бюро, количество Original Named Entities, широту охвата, международное разнообразие трафика и стиль письма.
2. Особо выделяется расчет метрики важности (importance metric value). Она рассчитывается путем определения для каждой статьи количества других недублирующихся статей на ту же тему, произведенных другими новостными источниками (Story Size), и суммирования этих значений для источника.
3. Система генерирует значение качества (Source Rank) на основе одной или нескольких определенных метрик.
4. Система использует это значение качества для ранжирования объекта (статьи), связанного с источником.

Claims 3-10 (Зависимые): Детализируют методы комбинирования нескольких метрик для получения Source Rank.

• Метрики могут быть умножены на коэффициенты и суммированы (Claim 3).
• Метрики могут быть нормализованы и суммированы (Claim 5).
• Может быть рассчитано среднее значение метрик (Claim 7).
• Может быть рассчитан процентиль относительно лучшего источника по каждой метрике (Claim 9).
• Важно: Любой из этих методов может использовать только предопределенное количество лучших метрик (N) для данного источника (Claims 4, 6, 8, 10).

Claim 12 (Зависимый от 1): Детализирует расчет Breaking News Score.

• Определяется время публикации статьи (T1) и время публикации самой первой статьи на эту тему в кластере (T2).
• Вычисляется разница (T1-T2).
• Разница сравнивается с пороговым значением.
• Оценка присваивается на основе этого сравнения.

Claim 13 (Зависимый от 12): Уточняет, что Breaking News Score может быть умножен на величину, пропорциональную размеру кластера статей (Story Size). Это повышает ценность скорости реакции для важных новостей.

Где и как применяется

Изобретение применяется в контексте специализированной поисковой системы по новостям (например, Google News) или компонента универсального поиска, отвечающего за новостной контент (Top Stories).

CRAWLING – Сканирование и Сбор данных
Система должна собирать новостные статьи и метаданные, критически важные для расчета метрик: текст статьи, точное время публикации, URL источника, авторство.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходят ключевые процессы для поддержки системы (в офлайн или пакетном режиме):

• Кластеризация новостей: Статьи должны быть сгруппированы по событиям (Clusters) для определения Story Size и расчета Breaking News Score.
• Извлечение сущностей (NER): Необходимо для идентификации Original Named Entities.
• Идентификация авторов: Необходимо для оценки размера штата (Staff Size) по количеству уникальных журналистов.
• Расчет метрик и Source Rank: Расчет 13 метрик и итогового Source Rank происходит периодически, так как многие метрики требуют анализа данных за определенный период (например, неделю, месяц). Результаты сохраняются в базе данных.

RANKING / RERANKING – Ранжирование и Переранжирование
Применение Source Rank происходит на этапе ранжирования или переранжирования новостных результатов в реальном времени.

• Система получает начальный набор релевантных статей с оценками OLDSCORE.
• Система использует предварительно рассчитанный Source Rank для корректировки OLDSCORE и получения NEWSCORE.
• Происходит финальная сортировка по NEWSCORE.

Входные данные:

• Поток новостных статей с метаданными.
• Данные о кластеризации статей.
• Логи использования (клики на статьи из поиска).
• Внешние данные (статистика циркуляции, мнения людей, IP-адреса посетителей).

Выходные данные:

• База данных с рассчитанными Source Rank для новостных источников.
• Откорректированные оценки ранжирования (NEWSCORE) для отдельных статей.

На что влияет

• Конкретные типы контента: Влияет исключительно на новостные статьи (News Articles).
• Специфические запросы: Наибольшее влияние на запросы, связанные с текущими событиями, срочными новостями (breaking news) и темами, где важна авторитетность источника.
• Конкретные ниши: Критически влияет на все новостные вертикали: политика, спорт, бизнес, развлечения и т.д.

Когда применяется

• Условия применения: Алгоритм применяется при ранжировании результатов в ответ на запрос в новостной поисковой системе или при формировании новостных блоков в универсальном поиске.
• Частота применения: Расчет Source Rank происходит периодически (офлайн). Применение Source Rank происходит в реальном времени при каждом запросе.
• Триггеры активации: Активируется для любой статьи, источник которой имеет рассчитанный Source Rank.

Пошаговый алгоритм

Процесс А: Расчет Рейтинга Источника (Source Rank) (Офлайн/Пакетный режим)

1. Инициализация: Выбор новостного источника для анализа и определение временного периода (например, 1 неделя).
2. Сбор данных и Кластеризация: Агрегация всех статей, опубликованных источником за этот период. Группировка статей от всех источников в кластеры по событиям. Сбор внешних данных (трафик, репутация).
3. Расчет метрик: Вычисление значений для группы метрик (13 описанных в патенте). Например:
   • Расчет Story Size для каждой статьи путем анализа размера соответствующего кластера.
   • Расчет Breaking News Score путем сравнения времени публикации статьи с временем первой публикации в кластере.
   • Расчет Original Named Entities путем анализа сущностей, впервые введенных источником в кластер.
4. Нормализация и Взвешивание: Приведение метрик к единой шкале (например, от 0 до 1) или применение весовых коэффициентов.
5. Комбинирование метрик: Агрегация взвешенных или нормализованных значений для получения итогового Source Rank. Может использоваться взвешенная сумма, средний ранг или расчет на основе N лучших метрик источника.
6. Сохранение: Сохранение Source Rank в базе данных для последующего использования в реальном времени.

Процесс Б: Применение Рейтинга Источника (Реальное время)

1. Получение запроса: Система получает поисковый запрос от пользователя.
2. Генерация начального ранжирования: Система генерирует список релевантных новостных статей с исходными оценками ранжирования (OLDSCORE).
3. Идентификация источников: Для каждой статьи в списке определяется ее новостной источник (например, по URL).
4. Получение Source Rank: Система запрашивает из базы данных предварительно рассчитанный Source Rank для идентифицированного источника.
5. Корректировка оценки: Вычисляется новая оценка ранжирования (NEWSCORE) путем комбинирования OLDSCORE и Source Rank. Например, с использованием формулы взвешенной суммы.
6. Переранжирование: Список статей сортируется на основе NEWSCORE.
7. Предоставление результатов: Откорректированный список предоставляется пользователю.

Какие данные и как использует

Данные на входе

Патент описывает использование широкого спектра данных для оценки качества источника:

• Контентные факторы: Текст статей используется для измерения средней длины, оценки стиля письма (грамматика, орфография, уровень чтения), определения широты охвата (по темам) и извлечения именованных сущностей (Original Named Entities). Байлайны (Bylines) используются для оценки размера штата.
• Технические факторы: Время публикации (Timestamps) критически важно для расчета Breaking News Score. URL используется для идентификации источника.
• Ссылочные факторы: Упоминается возможность использования количества гиперссылок на новостной сайт как метрики. Также анализируются страны происхождения сайтов, ссылающихся на источник (для международной диверсификации).
• Поведенческие факторы (Usage Pattern): Клики (usage) из новостной поисковой системы на статьи источника. Трафик нормализуется на количество показов.
• Временные факторы: Возраст новостного источника может использоваться как мера доверия (Human Opinion).
• Географические факторы: Количество новостных бюро (Bureaus). IP-адреса посетителей для определения количества стран, из которых идет трафик (International Diversity).
• Внешние данные и Репутация (Human Opinion/Circulation): Статистика трафика от внешних агентств (Media Metrix, Nielsen Netratings). Статистика циркуляции печатных изданий. Результаты опросов пользователей. Внешние награды (например, Пулитцеровские премии). Оценки асессоров.

Какие метрики используются и как они считаются

Система рассчитывает Source Rank на основе комбинации следующих 13 метрик:

1. Количество статей: Число недублирующихся статей (или оригинальных предложений), произведенных источником за период.
2. Средняя длина статьи: Среднее количество слов или предложений в статье.
3. Важность освещения (Importance of Coverage): Сумма Story Size (размеров кластеров) для всех статей источника за период.
4. Breaking News Score: Оценка скорости реакции на события. Может рассчитываться по формулам, основанным на времени (T) от начала события до публикации: $log(N1/T)$ (где N1 - временной порог, например, 3 часа). Оценка может быть умножена на фактор важности события: $(1+log(Cluster Size))$.
5. Паттерны использования (Usage Pattern): Нормализованный объем кликов из поисковой системы.
6. Мнение людей (Human Opinion): Агрегация опросов, внешних наград (Пулитцер), возраста источника, оценок асессоров.
7. Статистика циркуляции (Circulation Statistics): Данные внешнего трафика или тиража печатных версий.
8. Размер штата (Staff Size): Количество уникальных журналистов (по байлайнам).
9. Количество бюро (Bureaus): Количество представительств источника.
10. Оригинальные именованные сущности (Original Named Entities): Среднее количество новых сущностей, которые источник добавляет в кластер.
11. Широта охвата (Breadth): Количество тем или разделов, которые освещает источник.
12. Международное разнообразие (International Diversity): Количество стран, из которых идет трафик или ссылки.
13. Стиль письма (Writing Style): Автоматическая оценка орфографии, грамматики и уровня чтения.

Формула расчета NEWSCORE:

Итоговая оценка ранжирования рассчитывается как взвешенная сумма исходной оценки и рейтинга источника:

$NEWSCORE(D) = alpha * OLDSCORE(D) + beta * SOURCERANK(SOURCE(D))$

Пример значений, указанный в патенте: alpha=0.8, beta=0.2.

1. Качество источника как ключевой фактор в новостях: Патент устанавливает, что для новостного контента авторитетность и качество источника (Source Rank) являются критически важными факторами ранжирования, которые модифицируют базовую релевантность статьи.
2. Многофакторная оценка авторитетности: Google не полагается на один сигнал (например, ссылки или трафик) для определения качества новостного издания. Source Rank — это сложная метрика, агрегирующая 13 различных показателей, охватывающих ресурсы, производительность, качество контента и репутацию.
3. Ценность оригинального репортажа (Original Reporting): Система явно измеряет и поощряет оригинальность через метрику Original Named Entities. Источники, которые первыми сообщают факты (имена, места), получают преимущество перед агрегаторами и рерайтерами.
4. Скорость и Важность (Breaking News): Скорость публикации (Breaking News Score) важна, но ее влияние дополнительно усиливается важностью события (Story Size). Быть первым в освещении крупного события дает значительный буст.
5. Измерение журналистских стандартов и ресурсов: Метрики, такие как размер штата, количество бюро, стиль письма и широта охвата, показывают попытку алгоритмически оценить ресурсы и профессионализм новостной организации.
6. Гибкость оценки: Система может рассчитывать Source Rank, даже если не все метрики доступны, используя только N лучших метрик для данного источника, что позволяет оценивать разные типы изданий.

Best practices (это мы делаем)

Рекомендации для издателей новостей (News Publishers):

• Фокус на оригинальном контенте (Original Reporting): Инвестируйте в репортажи, которые приносят новые факты. Метрика Original Named Entities напрямую поощряет источники, которые добавляют новую информацию (имена, места, цитаты) в освещение события, а не просто переписывают чужие материалы.
• Оптимизация скорости публикации (Breaking News): Для важных событий скорость имеет значение. Необходимо обеспечить быструю публикацию и точные временные метки (timestamps), так как Breaking News Score рассчитывается на основе разницы во времени между публикациями в кластере.
• Использование явных байлайнов (Bylines): Указывайте авторов статей. Метрика Staff Size может оцениваться по количеству уникальных имен журналистов. Это сигнализирует о ресурсах издания и поддерживает E-E-A-T.
• Повышение качества контента: Пишите полные, грамотные материалы. Метрики Average Length и Writing Style (грамматика, орфография) учитываются при расчете Source Rank.
• Расширение охвата и специализация: Метрика Breadth (широта охвата) поощряет издания с большим количеством разделов. Одновременно важно обеспечивать качественное освещение ключевых событий в своих нишах (Importance of Coverage).
• Работа над репутацией и брендом: Метрики Human Opinion и Circulation Statistics показывают важность внешних сигналов авторитетности: трафик, награды (Пулитцеровская премия), узнаваемость бренда и доверие пользователей.

Worst practices (это делать не надо)

• Агрегация и поверхностный рерайтинг: Создание контента исключительно путем переписывания сообщений других агентств без добавления новой информации приведет к низким показателям Original Named Entities.
• Медленная реакция на события: Постоянное отставание в публикации срочных новостей приведет к низкому Breaking News Score.
• "Тонкий" новостной контент: Публикация коротких заметок вместо полноценных статей негативно скажется на метрике Average Length.
• Игнорирование качества текста: Низкое качество письма, ошибки и плохая грамматика могут быть алгоритмически оценены и понизить Source Rank через метрику Writing Style.
• Анонимный контент: Отсутствие байлайнов может помешать системе оценить размер и качество штата (Staff Size).

Стратегическое значение

Этот патент имеет фундаментальное значение для понимания работы Google News. Он подтверждает, что успех в новостном поиске зависит не только от SEO-оптимизации отдельных статей, но в первую очередь от стратегического развития издания как авторитетной новостной организации. Система направлена на алгоритмическое измерение журналистского качества. Для долгосрочной стратегии издатели должны фокусироваться на оригинальности, скорости, качестве контента и развитии бренда, что полностью соответствует современным требованиям E-E-A-T.

Практические примеры

Сценарий: Освещение локального происшествия, ставшего федеральной новостью

Событие: Крупный пожар на химическом заводе.

1. Скорость (Breaking News): Небольшая местная газета (Local Gazette) публикует первую заметку в 14:00. Крупное федеральное издание (National News) публикует новость в 14:15. Local Gazette получает более высокий Breaking News Score.
2. Оригинальность (Original Named Entities): В 15:00 Local Gazette обновляет статью, добавляя имена местных чиновников и названия пострадавших компаний, которые еще не известны другим источникам. Это повышает метрику Original Named Entities для Local Gazette.
3. Качество контента и Ресурсы: National News публикует развернутый материал с комментариями экспертов, инфографикой и высоким качеством текста. У National News выше метрики Staff Size, Average Length и Writing Style.
4. Расчет Source Rank: Source Rank у National News в целом значительно выше из-за репутации, трафика и ресурсов. У Local Gazette Source Rank ниже, но он улучшается за счет высокой производительности по данному конкретному событию (Скорость и Оригинальность).
5. Ранжирование: При запросе "пожар на химическом заводе" система рассчитывает NEWSCORE. Статья National News получает значительный буст за счет высокого Source Rank. Статья Local Gazette также ранжируется высоко за счет высокой релевантности (OLDSCORE) и неплохого Source Rank, усиленного недавними успехами. В зависимости от весов (alpha и beta), обе статьи могут оказаться в топе.