Как Google использует визуальное расположение новостей на главных страницах СМИ для ранжирования в Google News

Термины и определения

Hub Page (Хаб-страница, Страница-агрегатор)

Веб-страница, содержащая множество ссылок на новостные статьи (превышающее определенный порог), которые не обязательно отсортированы по времени. Примеры: главная страница новостного сайта или страница тематического раздела (например, "Спорт").

Prominence (Заметность, Значимость)

Мера важности новостной статьи с точки зрения редактора Hub Page. Определяется на основе позиции и оформления ссылки на Хаб-странице.

Relative Presentation Position (Относительная позиция представления)

Визуальное местоположение ссылки на Hub Page относительно местоположений других ссылок на той же странице после рендеринга.

Prominence Score (Оценка заметности)

Метрика, определяющая визуальную важность ссылки. Включает Reference Position Score и другие факторы оформления (шрифт, сниппет, изображение).

Reference Position Score (Оценка позиции ссылки)

Компонент Prominence Score, основанный исключительно на физическом расположении ссылки (Relative Presentation Position) на отрендеренной странице.

News Article Score (Оценка статьи)

Общая оценка ранжирования новостной статьи, включающая Prominence Score и другие факторы (свежесть, качество источника, новизна контента (novelty)).

News Article Group (Группа новостных статей / Новостной сюжет)

Кластер новостных статей от разных издателей, посвященных одному и тому же событию или сюжету.

Group Score (Оценка группы)

Оценка ранжирования News Article Group, рассчитываемая на основе Article Scores входящих в нее статей.

DOM (Document Object Model) и CSS (Cascading Style Sheets)

Технологии, которые анализируются системой для понимания структуры и визуального представления (рендеринга) Hub Page.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод ранжирования новостей.

1. Идентификация множества Hub Pages (каждая должна иметь как минимум пороговое количество гиперссылок на новости).
2. Определение для каждой гиперссылки Reference Position Score. Эта оценка основана на Relative Presentation Position (визуальном местоположении) ссылки относительно других ссылок на той же странице.
3. Вычисление News Article Scores для статей, на которые ведут ссылки, используя полученные Reference Position Scores.
4. Предоставление данных, представляющих эти оценки.

Claim 3 (Зависимый от 2 и 1): Детализирует технический метод определения позиции.

Определение заметности (prominence) позиции отображения основано на анализе одного или нескольких из следующих источников: HTML-код, DOM или CSS (style sheet) Hub Page. Это подтверждает, что система анализирует страницу после рендеринга.

Claim 4 и 5 (Зависимые): Описывают группировку и ранжирование сюжетов.

Статьи группируются в News Article Groups. Определяется Group Score на основе News Article Scores статей в группе. Группы предоставляются в ответ на запрос, упорядоченные на основе их Group Scores.

Claim 6 и 7 (Зависимые): Описывают ранжирование внутри тематических категорий.

Reference Position Score может определяться на основе позиции ссылки относительно других ссылок, принадлежащих к той же тематической категории на Hub Page (например, ранжирование внутри блока "Бизнес").

Claim 9 (Зависимый): Уточняет учет порядка чтения.

Оценка основана на позиции и на "соглашении о порядке заметности гиперссылок" (hyperlink prominence ordering convention), используемом на странице (например, слева направо или справа налево в зависимости от языка).

Claim 10 (Зависимый от 1): Расширяет факторы, влияющие на оценку статьи.

News Article Score вычисляется с использованием не только позиции, но и одного или нескольких факторов: количества текста, представленного со ссылкой (сниппет), размеров шрифтов текста ссылки, форматирования текста ссылки или наличия изображения, связанного со ссылкой.

Где и как применяется

Изобретение применяется на нескольких этапах обработки новостного контента (Google News, Top Stories).

CRAWLING – Сканирование и Сбор данных
Система должна идентифицировать потенциальные Hub Pages (используя Sources repository) и часто их сканировать. Также проверяется актуальность (freshness) Хаб-страниц, игнорируя устаревшие (stale) страницы.

INDEXING – Индексирование и извлечение признаков
Основной этап применения патента. При обработке Hub Page система выполняет:

1. Рендеринг и Анализ структуры: Анализ HTML, DOM и CSS для определения визуального макета страницы (rendered layout).
2. Извлечение признаков Prominence: Определение точных позиций ссылок (Relative Presentation Position), размера шрифтов, наличия изображений, сниппетов.
3. Расчет оценок: Вычисление Reference Position Score и Prominence Score для каждой ссылки.
4. Группировка: Кластеризация статей в News Article Groups (например, с использованием TF-IDF и косинусного сходства, как описано в патенте).

RANKING – Ранжирование
Рассчитанные Article Scores (включающие Prominence Score) и Group Scores используются для ранжирования новостного контента в специализированных индексах.

Входные данные:

• Список идентифицированных Hub Pages.
• HTML, DOM, CSS сканированных Hub Pages.
• Текст новостных статей (для группировки).
• Язык Hub Page (для определения порядка чтения).

Выходные данные:

• Prominence Scores и Reference Position Scores для новостных статей.
• Сгруппированные новостные сюжеты (News Article Groups) и их Group Scores.

На что влияет

• Конкретные типы контента: Влияет исключительно на новостной контент (News Articles).
• Специфические запросы: Влияет на запросы, связанные с актуальными событиями, где активируются Google News и блок Top Stories.
• Конкретные ниши: Критическое влияние на все новостные вертикали (Политика, Спорт, Бизнес, YMYL и т.д.).
• Языковые и географические ограничения: Применяется глобально, но учитывает языковые особенности макета (например, чтение справа налево или слева направо).

Когда применяется

• Условия работы: Алгоритм применяется постоянно в процессе обработки новостного контента.
• Триггеры активации: Обнаружение ссылки на новостную статью на странице, классифицированной как Hub Page.
• Временные рамки и частота применения: Критически важна частота обновления. Патент упоминает фильтрацию "устаревших" (stale) Hub Pages, которые не обновлялись в течение определенного периода (например, несколько часов).

Пошаговый алгоритм

Этап 1: Подготовка и Сканирование

1. Идентификация Hub Pages: Определение набора Hub Pages (вручную или автоматически).
2. Сканирование и Валидация: Регулярное сканирование Hub Pages. Проверка на устаревание (если контент не изменился, страница может быть проигнорирована). Идентификация ссылок, ведущих на новостные статьи.

Этап 2: Анализ Заметности (Prominence Analysis)

1. Рендеринг и Парсинг: Анализ HTML, DOM и CSS для определения визуального макета.
2. Определение Порядка Ссылок: Упорядочивание ссылок на основе их визуальной позиции (Relative Presentation Position), учитывая правила макета и языка (например, сверху вниз, слева направо). Включает анализ DOM-дерева для корректной интерпретации сложных макетов.
3. Извлечение Визуальных Факторов: Определение дополнительных факторов заметности: размер шрифта, форматирование, наличие и размер сниппета, наличие изображения.
4. Определение Тематических Блоков: Идентификация рубрик на странице для расчета относительной заметности внутри категории (если применимо).

Этап 3: Расчет Оценок и Ранжирование

1. Расчет Reference Position Score: Присвоение оценки на основе порядка. Патент предлагает формулу: $Score = C1 / power(reference\_order, C2)$, где C1 и C2 – константы (например, 10 и 0.5), а reference_order – порядковый номер ссылки.
2. Расчет Prominence Score: Комбинирование Reference Position Score с оценками визуальных факторов.
3. Расчет Article Score: Агрегация Prominence Scores (если на статью ссылаются несколько Hub Pages) и комбинация с другими факторами ранжирования (качество источника, свежесть и т.д.).

Этап 4: Группировка

1. Кластеризация: Группировка статей в News Article Groups на основе схожести контента.
2. Расчет Group Score: Вычисление оценки группы на основе Article Scores входящих в нее статей (например, среднее, медиана или масштабированная сумма).

Какие данные и как использует

Данные на входе

Система использует преимущественно структурные и технические данные, связанные с представлением контента на Hub Pages.

• Технические факторы: HTML-код, структура DOM, CSS. Эти данные используются для определения того, как страница будет выглядеть при рендеринге.
• Структурные факторы: Относительное расположение элементов (вертикальное и горизонтальное позиционирование), иерархия элементов в DOM-дереве. Использование тегов (DIV, P, TR) для валидации новостных статей.
• Контентные факторы (в контексте ссылки): Текст ссылки (анкор), наличие и длина сниппета или синопсиса новости рядом со ссылкой.
• Мультимедиа факторы: Наличие изображения, связанного со ссылкой на новость.
• Визуальные факторы (Presentation): Размер шрифта текста ссылки или заголовка, форматирование текста (например, жирный шрифт, курсив).
• Временные факторы: Время обновления Hub Page (для фильтрации устаревших страниц); свежесть самой статьи.
• Географические/Языковые факторы: Язык Hub Page для определения порядка чтения (слева направо или справа налево).

Какие метрики используются и как они считаются

• Reference Position Score: Основная метрика, основанная на порядке отображения ссылки. Рассчитывается по формуле, которая обеспечивает нелинейное убывание оценки. Пример формулы из патента: $C1 / power(reference\_order, C2)$.
• Prominence Score: Агрегированная метрика заметности. Комбинирует Reference Position Score с оценками, полученными на основе визуальных факторов.
• Article Score (S): Общая оценка статьи. Рассчитывается как линейная комбинация Prominence Score и других сигналов. Пример формулы из патента: $C1 / power(order, C2)$