Как Google агрегирует новости, блоги и форумы в «Кластеры историй» и ранжирует комментарии на основе аккредитации и экспертности авторов

Термины и определения

Accredited User (Аккредитованный пользователь)

Зарегистрированный пользователь, прошедший аутентификацию и получивший привилегированный статус. К ним относятся профессиональные журналисты, блоггеры, знаменитости и люди, упомянутые в новостях. Их комментарии ранжируются выше.

Genres (Жанры источников)

Различные типы источников контента. Явно упомянуты: News sources (Новостные источники), Blogs (Блоги), News groups (Новостные группы) и Discussion forums (Дискуссионные форумы).

Importance Score (Оценка важности)

Метрика, присваиваемая Story Cluster. Определяет его ранг. Зависит от количества независимых документов, свежести, важности источников и жанра источников.

Ratings (Рейтинги комментариев)

Оценки, которые пользователи дают комментариям. Критерии оценки: Relevance (Релевантность), Depth (Глубина/Содержательность) и Usefulness (Полезность).

Story Cluster (Кластер истории)

Группа агрегированных документов из разных жанров, относящихся к одному и тому же новостному событию или теме.

Taxonomies (Таксономии)

Схемы классификации для организации и архивации Story Clusters, представляющие повторяющиеся темы или события.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс предоставления результатов поиска, включающий кластеры разнородного контента и ранжированные комментарии.

1. Система получает поисковый запрос и определяет соответствующие кластеры документов.
2. На интерфейсе пользователя предоставляется документ, содержащий две секции:
   • Секция 1: Информация о кластерах, содержащих документы, агрегированные из разных жанров (different genres) и относящиеся к общей теме.
   • Секция 2: Комментарии пользователей, относящиеся к кластерам.
3. Система получает рейтинг для комментариев от другого пользователя на основе релевантности, глубины или полезности (relevance, depth, or usefulness).
4. Предоставляется дискуссионный форум.
5. Комментарии ранжируются для показа в Секции 2 на основе полученного рейтинга.
6. Критически важная деталь ранжирования: Комментарии, оставленные пользователями, которые упомянуты в документе кластера (named in a document), ранжируются выше, чем комментарии пользователей, которые не упомянуты.
7. Система получает и сохраняет комментарии.

Claim 3 (Зависимый от 2): Детализирует ранжирование на основе статуса автора.

Система определяет, являются ли авторы accredited users. Комментарии от accredited users ранжируются выше, чем от неаккредитованных.

Claim 4 (Зависимый от 2): Детализирует ранжирование на основе времени.

Ранжирование комментариев основывается на мере свежести (measure of freshness).

Claim 6 (Зависимый от 5): Описывает использование комментариев для создания нового контента.

Полученные комментарии компилируются в блог (blog).

Где и как применяется

Изобретение описывает комплексную систему обработки новостного контента, затрагивающую большинство этапов поисковой архитектуры.

CRAWLING – Сканирование и Сбор данных
Система активно сканирует и агрегирует документы из множества различных жанров: новостные сайты, блоги, новостные группы и дискуссионные форумы.

INDEXING – Индексирование и извлечение признаков
Это ключевой этап:

1. Группировка: Агрегированные документы группируются в Story Clusters.
2. Классификация: Каждый кластер классифицируется по Taxonomies.
3. Оценка: Каждому кластеру присваивается Importance Score, при этом извлекается и учитывается признак «Жанр источника».
4. Архивация: Кластеры архивируются.
5. Идентификация авторов и сущностей: Определение статуса пользователей (аккредитация) и распознавание лиц, упомянутых в документах кластера (Entity Recognition).

RANKING – Ранжирование
Применяется на двух уровнях:

1. Ранжирование Кластеров: Story Clusters упорядочиваются на основе их Importance Scores.
2. Ранжирование Комментариев (UGC): Комментарии упорядочиваются на основе рейтингов, свежести и статуса автора (аккредитован, упомянут в статье).

METASEARCH – Метапоиск и Смешивание
Система создает финальный интерфейс («Новостной круглый стол»), который объединяет ранжированные кластеры (Секция 1) и ранжированные комментарии (Секция 2) в единый документ.

На что влияет

• Конкретные типы контента: Влияет на новостной контент, блоги, посты на форумах и в новостных группах. Система явно дифференцирует и взвешивает эти типы контента.
• Специфические запросы: Запросы, связанные с текущими событиями, новостями или повторяющимися темами.
• Конкретные ниши или тематики: Влияет на все тематики, освещаемые в новостях и вызывающие общественные обсуждения (политика, спорт, финансы и т.д.).

Когда применяется

• Условия работы алгоритма: Агрегация и кластеризация происходят постоянно. Ранжирование активируется при запросе пользователя к новостному сервису (например, Google News).
• Триггеры активации: Ранжирование комментариев активируется при просмотре Story Cluster, особенно если в обсуждении участвуют аккредитованные пользователи или лица, упомянутые в новостях.

Пошаговый алгоритм

Процесс А: Агрегация и Организация Контента (Офлайн/Индексирование)

1. Сбор данных: Сканирование и агрегация документов из источников разных жанров (новости, блоги, форумы).
2. Кластеризация: Группировка документов в Story Clusters по теме.
3. Классификация: Присвоение каждому кластеру одной или нескольких таксономий.
4. Архивация: Сохранение кластеров.
5. Расчет важности: Присвоение Importance Score каждому кластеру. Учитываются: количество документов, свежесть, авторитетность источников и их жанры (например, СМИ > Блоги > Форумы).
6. Аккредитация пользователей: Регистрация и выборочная аккредитация пользователей (журналистов, экспертов).

Процесс Б: Обработка Запроса и Взаимодействие (Рантайм)

1. Получение запроса: Система получает поисковый запрос.
2. Поиск и Ранжирование кластеров: Извлечение релевантных Story Clusters и их сортировка по Importance Scores.
3. Извлечение комментариев: Получение комментариев, связанных с кластерами.
4. Ранжирование комментариев: Упорядочивание комментариев на основе:
   • Упоминания автора в статьях кластера (бустинг).
   • Статуса аккредитации автора (бустинг для Accredited Users).
   • Рейтингов (Relevance, Depth, Usefulness).
   • Свежести комментария.
5. Формирование выдачи: Отправка пользователю документа с ранжированными кластерами (Секция 1) и комментариями (Секция 2).
6. Сбор обратной связи: Запрос оценок и новых комментариев от текущего пользователя и их сохранение.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные для агрегации, ранжирования и управления репутацией:

• Контентные факторы: Текст документов используется для кластеризации, классификации и идентификации упомянутых лиц (Entity Recognition).
• Технические факторы (Жанр источника): Тип источника (СМИ, блог, форум). Критически важен для расчета Importance Score кластера.
• Временные факторы: Свежесть (freshness) документов влияет на Importance Score. Свежесть комментариев влияет на их ранжирование.
• Поведенческие факторы (UGC): Текст комментариев и рейтинги комментариев по шкалам Relevance, Depth, Usefulness.
• Пользовательские факторы (Идентичность автора / E-E-A-T):
  • Статус регистрации.
  • Статус аккредитации (Accredited User).
  • Идентификация пользователя как лица, упомянутого в новостях кластера.

Какие метрики используются и как они считаются

• Importance Score (Оценка важности кластера): Агрегированная метрика. Рассчитывается на основе:
  • Количества независимых документов.
  • Свежести документов.
  • Важности (авторитетности) источников.
  • Жанра источников. Патент указывает на иерархию: профессиональные новостные источники могут оцениваться выше, чем блоги, а блоги — выше, чем контент рядовых пользователей.
• Comment Ranking Score (Оценка ранжирования комментария): Агрегированная метрика для упорядочивания обсуждения. Рассчитывается на основе:
  • Факта упоминания автора в статьях кластера (значительный бустинг).
  • Статуса аккредитации автора (бустинг для Accredited Users).
  • Суммарных рейтингов (Relevance, Depth, Usefulness).
  • Свежести комментария.

1. Дифференциация по жанрам источников: Google явно разделяет контент на жанры (СМИ, блоги, форумы) и использует эту информацию при ранжировании (Importance Score). Существует иерархия важности: профессиональные СМИ имеют наибольший вес, за ними следуют блоги, а затем UGC (форумы).
2. Критическая роль идентичности и аккредитации автора (E-E-A-T): Патент детально описывает механизмы повышения рейтинга контента (комментариев) на основе идентичности автора. Accredited users (эксперты, журналисты) получают значительный приоритет. Это прямой механизм реализации принципов E-E-A-T.
3. Приоритет для первоисточников и участников событий: Самый сильный сигнал в патенте (Claim 1) — это повышение рейтинга комментариев от лиц, непосредственно упомянутых в новостных статьях кластера. Это подчеркивает ценность экспертизы из первых рук (Experience).
4. Структурированная оценка качества UGC: Для ранжирования UGC используются краудсорсинговые оценки по четким критериям: Релевантность, Глубина и Полезность. Это показывает подход Google к оценке качества контента, не являющегося профессиональной журналистикой.
5. Интеграция и кластеризация: Цель системы — предоставить комплексный обзор темы, смешивая профессиональный контент и UGC в рамках одного Story Cluster. Это фундаментальная концепция для Google News и Universal Search.

Best practices (это мы делаем)

• Подтверждение экспертности и Аккредитация (E-E-A-T): Необходимо работать над сигналами, которые позволят системе идентифицировать авторов как «аккредитованных» экспертов. Это включает построение публичной репутации, четкое указание авторства и профессиональных регалий.
• Стратегический PR и упоминания в СМИ: Упоминание эксперта или бренда в авторитетных новостных источниках является мощным сигналом авторитетности. Патент показывает, что Google стремится повышать видимость контента/комментариев от лиц, упомянутых в новостях. Это подчеркивает синергию PR и SEO.
• (Для издателей) Фокус на авторитетности источника: Контент профессиональных СМИ имеет наибольший вес (Importance Score). Необходимо фокусироваться на качестве журналистики для доминирования в новостных кластерах.
• Использование блогов для экспертного комментария: Блоги позиционируются как жанр с промежуточным весом. Ведение экспертного блога для комментирования новостей является валидной стратегией для получения видимости в агрегированных новостных продуктах.
• Создание глубокого и полезного контента: При создании любого контента (статей, блогов или UGC) фокусируйтесь на критериях Depth (Глубина) и Usefulness (Полезность), так как эти параметры используются Google для оценки качества.

Worst practices (это делать не надо)

• Анонимный или псевдонимный контент для ORM: Попытки повлиять на мнение через анонимные комментарии или статьи неэффективны. Система отдает приоритет аккредитованным и идентифицированным авторам.
• Имитация новостного СМИ без должного качества: Попытка позиционировать низкокачественный сайт как профессиональное СМИ будет неэффективной, так как система учитывает важность источника и использует иерархию жанров.
• Поверхностный UGC: Контент с низкими оценками по шкалам Relevance и Depth будет пессимизирован. Спам в комментариях или поверхностные обсуждения не дадут преимуществ.

Стратегическое значение

Этот патент имеет важное стратегическое значение как foundational документ для Google News и систем оценки авторитетности (E-E-A-T). Он подтверждает, что Google давно работает над методами идентификации экспертов и приоритизации их контента. Механизм Accreditation и специальный буст для лиц, упомянутых в новостях, являются яркими примерами того, как Google алгоритмически оценивает авторитет. Долгосрочная SEO-стратегия должна включать работу над публичной авторитетностью авторов и их связью с освещаемыми темами.

Практические примеры

Сценарий 1: Управление репутацией (ORM) для участника событий (Применение Claim 1)

1. Событие: Публикуется новость о слиянии Компании А и Компании Б. Google формирует Story Cluster со статьями из Forbes и TechCrunch, в которых упоминается CEO Компании А.
2. Действие: CEO Компании А оставляет комментарий (или публикует пост в блоге), разъясняющий стратегию слияния.
3. Результат (согласно патенту): Поскольку автор (CEO) упомянут в документах кластера (Claim 1), его комментарий/пост будет ранжироваться выше контента от пользователей, которые не упомянуты в новостях, обеспечивая максимальную видимость официальной позиции.

Сценарий 2: Повышение видимости экспертного мнения (Применение Claim 3)

1. Событие: Происходит значительное изменение в законодательстве о криптовалютах. Формируется Story Cluster.
2. Действие: Известный юридический аналитик, имеющий статус Accredited User (например, как верифицированный эксперт или известный журналист), публикует анализ ситуации.
3. Результат (согласно патенту): Анализ этого эксперта получит приоритет при ранжировании по сравнению с комментариями неаккредитованных пользователей (Claim 3), даже если их комментарии появились раньше или получили положительные оценки.