Как Google News использует расширяемые блоки (Story Clusters) для агрегации разнообразного контента по одной теме

Термины и определения

Cluster (Кластер документов)

Группа документов, которые система определила как относящиеся к одной теме или событию.

Context Article / Context Document (Контекстная статья/документ)

Документы, предоставляющие справочную или фоновую информацию по теме (например, биографии, статьи из энциклопедии). Они могут быть выбраны как внутри основного кластера, так и извне.

Document (Документ)

Любой машиночитаемый продукт: веб-страница, видео, аудио, изображение и т.д.

Expanded View / Second View (Расширенное представление)

Развернутое состояние интерфейса для темы. Отображает разнообразные ссылки: вторичные документы, видео, контекстные статьи, связанные поисковые запросы.

Labels (Метки)

Описательные теги, применяемые к ссылкам в расширенном представлении для информирования пользователя о типе документа (например, In Depth, Opinion, Local, Wiki, Highly Cited).

Primary Representative Document (Основной представительный документ)

Документ, выбранный из кластера для отображения в сводном представлении. Выбор основан на ранжировании (ranking).

Summary View / First View (Сводное представление)

Стандартное, свернутое состояние интерфейса для темы. Показывает основную информацию (заголовок, сниппет) основного представительного документа.

Topic (Тема)

Предмет кластера документов. В Claim 1 определяется как новостное событие (news event).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы для отображения темы, которая является новостным событием (news event).

1. Определение кластеров документов, связанных с темой.
2. Выбор первого документа для использования в Summary View на основе ранжирования (ranking) документа.
3. Выбор двух или более вторых документов для использования в Expanded View.
4. Предоставление информации о теме с инструкциями для выборочного отображения в одном из двух видов:
   • Первое представление (Summary): Ссылка на первый документ.
   • Второе представление (Expanded): Визуально расширенное. Содержит множество ссылок на вторые документы, причем каждая ссылка связана с отдельным доменом (individual domain).
5. Спецификация Expanded View: Включает ссылки, представленные как изображения. Включает ссылку на видео, которое при выборе воспроизводится в активном окне, наложенном поверх второго представления, при этом второе представление визуально затемняется (visually dimmed). Включает метку (label), идентифицирующую тип документа.
6. Предоставление визуального элемента (переключателя) для смены вида.

Claim 6 (Зависимый от 1): Критически важное дополнение о контексте.

Система выбирает как минимум одну дополнительную ссылку для предоставления контекста (context) по теме. Эта дополнительная ссылка предоставляется во втором представлении и соответствует документу, который находится за пределами данного кластера (outside of the particular cluster).

Claim 12 (Независимый пункт): Описывает метод генерации инструкций для интерфейса.

Повторяет логику Claim 1, фокусируясь на генерации инструкций для веб-страницы. Ключевые моменты: выбор первого документа основан на ранжировании внутри кластера; генерация инструкций для двух видов, включая требования к разнообразию доменов, видео-оверлею и меткам типов документов.

Где и как применяется

Изобретение в первую очередь относится к организации и представлению результатов поиска на агрегационных платформах, таких как Google News.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит сбор и анализ документов. Извлекаются признаки, необходимые для последующей работы:

• Классификация контента: Определение типа контента (текст, видео) и его роли (мнение, анализ, новость) для последующего присвоения меток (Labels).

RANKING – Ранжирование (Специализированное/Вертикальное)
В рамках специализированной системы (например, Google News) происходят ключевые процессы:

• Генерация кластеров (Document Cluster Generation): Документы группируются по темам/событиям.
• Внутреннее ранжирование: Документы внутри кластера ранжируются, так как выбор основного документа зависит от его ranking.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование (Презентационный слой)
Это основной этап применения патента. Система (Document Selection) выбирает, какие документы использовать и как их отобразить.

• Выбор контента: Отбор основного документа для Summary View и разнообразного набора вторичных документов (включая видео, контекст, разные домены) для Expanded View.
• Генерация UI: Формирование финальной страницы с использованием инструкций для создания интерактивных расширяемых блоков, включая логику переключения и отображение меток.

Входные данные:

• Кластеры документов, связанных с темами.
• Ранжирование (ranking) документов внутри кластера.
• Типы документов и метаданные для генерации меток (Labels).

Выходные данные:

• Веб-страница (HTML/JavaScript), содержащая список тем с интерактивными блоками, позволяющими переключаться между сводным и расширенным представлением.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на новостной контент (статьи, видеорепортажи, мнения, аналитика). Патент явно упоминает новостные события (news event).
• Специфические запросы: Информационные запросы, связанные с текущими событиями, где существует множество источников, освещающих одну тему.
• Определенные форматы контента: Патент явно выделяет видеоконтент, а также текстовые форматы, классифицируемые метками (In Depth, Opinion).
• Конкретные ниши: Критически важно для новостных издателей и медиа-сайтов.

Когда применяется

• Условия работы: Алгоритм применяется при генерации страниц агрегации (например, Google News, блок Top Stories), когда система идентифицирует кластер документов, достаточно большой и разнообразный для формирования расширенного представления.
• Триггеры активации: Summary View является представлением по умолчанию. Переключение на Expanded View активируется исключительно действием пользователя (кликом по переключателю).

Пошаговый алгоритм

Процесс А: Подготовка данных (Бэкенд)

1. Генерация кластеров: Группировка связанных документов в кластеры на основе тем/событий (используя схожесть контента и время публикации).
2. Анализ и классификация: Определение типов документов внутри кластера и присвоение предварительных меток (Opinion, Local и т.д.).
3. Ранжирование: Оценка документов внутри кластера для определения их релевантности и качества.

Процесс Б: Генерация представления (Время запроса/Генерация страницы)

1. Выбор основного документа: Для каждого кластера выбор документа с наивысшим ранжированием (ranking) в качестве Primary Representative Document.
2. Генерация Summary View: Создание блока с заголовком, сниппетом и ссылкой на основной документ.
3. Выбор вторичных документов: Отбор набора Secondary Documents. Цель — обеспечить разнообразие типов (видео, текст) и доменов.
4. Выбор контекстных документов: Идентификация документов, предоставляющих контекст (Context Articles). Они могут быть выбраны как из кластера, так и извне (согласно Claim 6).
5. Генерация Expanded View: Создание блока, включающего вторичные документы с метками, контекстные документы, видео и связанные запросы.
6. Интеграция UI-логики: Добавление инструкций (например, JavaScript) для обеспечения функциональности переключения между видами и воспроизведения видео в оверлейном окне с затемнением фона.
7. Передача пользователю: Отправка сгенерированной веб-страницы на клиентское устройство.

Какие данные и как использует

Данные на входе

• Ранжирование (Ranking Scores): Критически важный фактор. Используется для выбора Primary Representative Document, который будет показан в сводном виде (Claim 1, Claim 12).
• Контентные факторы: Текст и заголовки используются для кластеризации (определение схожести контента) и для извлечения сниппетов и меток.
• Мультимедиа факторы: Идентификация видео и изображений внутри документов для создания визуальных ссылок в расширенном виде.
• Технические факторы (Домен): Информация о домене источника используется для обеспечения разнообразия доменов в Expanded View (Claim 1).
• Географические факторы: Используются для идентификации локальных источников и присвоения метки Local.
• Ссылочные факторы: Могут использоваться для идентификации высоко цитируемых документов и присвоения метки Highly Cited (упомянуто в описании патента).

Какие метрики используются и как они считаются

Патент не предоставляет формул, но опирается на следующие метрики и классификации:

• Document Ranking (Ранжирование документа): Числовая оценка, используемая для выбора основного документа в кластере.
• Document Similarity (Схожесть документов): Метрики, используемые на этапе кластеризации для группировки документов по темам.
• Document Type Classification (Классификация типа документа): Алгоритмы для определения роли документа и присвоения меток (Opinion, In Depth, Local и т.д.).
• Context Relevance (Контекстная релевантность): Оценка того, насколько документ полезен для предоставления фона или контекста темы.

1. Это патент на UI и агрегацию, использующий ранжирование: Патент описывает, как отображать кластеризованный контент. Он не вводит новых факторов ранжирования, но использует существующие оценки (ranking) для выбора основного документа в Summary View.
2. Стратегический фокус на разнообразии: Ключевая цель Expanded View — предоставить разнообразие. Это включает разнообразие источников (в патенте явно требуются разные домены — individual domain) и разнообразие форматов (текст, видео, мнения, аналитика).
3. Важность контекста за пределами новостей: Система активно включает контекстные документы (например, энциклопедические статьи). Claim 6 подчеркивает, что они могут быть взяты даже извне основного новостного кластера, чтобы предоставить пользователю справочную информацию.
4. Классификация контента (Метки): Система классифицирует контент по типам (Opinion, Local, In Depth, Wiki) и использует эти метки (Labels) для помощи пользователю в навигации по теме.
5. Приоритет видеоконтента в UI: Патент уделяет особое внимание видео, описывая специфический интерфейс для его воспроизведения (оверлейное окно с затемнением фона), что подчеркивает важность этого формата.

Best practices (это мы делаем)

Рекомендации в первую очередь актуальны для издателей и специалистов по News SEO.

• Стремление к позиции основного документа: Поскольку Primary Representative Document выбирается на основе ранжирования (ranking), необходимо применять лучшие практики News SEO (скорость публикации, авторитетность источника, качество контента) для занятия видимой позиции в Summary View.
• Создание специализированного контента для Меток: Разрабатывайте контент, который может быть классифицирован системой. Публикуйте мнения экспертов (для Opinion), глубокие аналитические материалы (для In Depth) и оригинальные репортажи, на которые будут ссылаться другие (для Highly Cited).
• Инвестиции в видеоконтент: Патент явно описывает специальный UI для видео в Expanded View. Создание качественных видеорепортажей по новостным темам значительно повышает шансы на видимость в этом блоке.
• Разработка авторитетного контекстного контента: Создавайте высококачественный вечнозеленый контент (биографии, глоссарии, справочные материалы). Этот контент может быть выбран Google в качестве Context Articles (даже извне кластера) для связанных новостных сюжетов.
• Локальная оптимизация: Для локальных изданий четко указывайте географическую привязку контента для получения метки Local.

Worst practices (это делать не надо)

• Публикация только стандартных новостных заметок: Если сайт публикует только базовые новости (особенно перепечатки), он рискует не попасть в Expanded View, так как не предлагает уникальных форматов или типов контента (мнений, аналитики, видео).
• Игнорирование видеоформата: Отсутствие видеоконтента лишает издателя возможности занять место в выделенном для видео блоке расширенного представления.
• Дублирование и поверхностный рерайтинг: Система стремится к разнообразию источников и точек зрения. Контент с низкой добавленной ценностью имеет меньше шансов быть выбранным для отображения.

Стратегическое значение

Патент подтверждает стратегию Google по диверсификации выдачи в рамках одной темы. Для издателей это означает, что видимость в Google News и Top Stories достигается не только за счет скорости и объема, но и за счет разнообразия предлагаемого контента. Стратегия должна быть направлена на то, чтобы стать авторитетным источником для различных аспектов события (факты, анализ, мнения, мультимедиа), чтобы максимизировать присутствие во всех секциях расширенного представления новостного кластера.

Практические примеры

Сценарий: Освещение крупного политического события (например, выборы)

1. Задача издателя: Максимизировать видимость в новостном кластере по этой теме.
2. Действия (Публикация разного контента):
   • Основная новость: Оперативно опубликовать статью с основными фактами. Цель — занять позицию Primary Representative Document (Summary View).
   • Видео: Опубликовать видеорепортаж или комментарий аналитика. Цель — занять слот Видео в Expanded View.
   • Мнение (Opinion): Опубликовать колонку эксперта. Цель — получить метку Opinion в Expanded View.
   • Аналитика (In Depth): Опубликовать подробный разбор предвыборных программ. Цель — получить метку In Depth.
   • Контекст (Context): Поддерживать обновленные биографии кандидатов. Цель — быть выбранным как Context Article.
3. Ожидаемый результат: Издатель занимает несколько позиций в рамках одного новостного кластера, значительно увеличивая охват аудитории и привлекая пользователей с разными интентами.