Как Google классифицирует новостные статьи (In-Depth, Opinion, Most Cited) для отображения в поиске

Описание

Какую задачу решает

Патент решает проблему сложности идентификации типа новостной статьи в стандартной поисковой выдаче. Пользователям часто приходится переходить по нескольким ссылкам, прежде чем они найдут нужный формат контента (например, подробный анализ, мнение эксперта, краткую сводку или сатиру). Изобретение направлено на улучшение пользовательского опыта путем предоставления визуальных индикаторов типа статьи непосредственно в результатах поиска.

Что запатентовано

Запатентована система автоматической классификации и аннотирования статей (преимущественно новостных) по предопределенным типам. Специализированный сервер (Annotation Server) анализирует контент и метаданные статьи для присвоения ей меток, таких как In-Depth, Opinion, Most Cited, Satire, Live Coverage или Perspective (Local/International). Эти аннотации затем используются для генерации обогащенных результатов поиска (Annotated Result), включающих визуальные индикаторы типа контента.

Как это работает

Система работает в несколько этапов:

• Сбор данных: Краулер (Crawler Server) собирает статьи с новостных сайтов.
• Анализ и Аннотирование: Annotation Server анализирует каждую статью по набору критериев. Например, для In-Depth анализируется длина статьи в сравнении со средней длиной статей на ту же тему. Для Opinion ищутся ключевые слова в URL или заголовке (например, «Op-Ed»). Для Most Cited анализируется, как часто другие статьи ссылаются на этот источник.
• Локализация (Perspective): Система определяет географию источника и географию, упоминаемую в статье. В момент запроса эта информация сравнивается с местоположением пользователя для определения Local Perspective или International Perspective.
• Генерация выдачи: При получении запроса система выбирает релевантные статьи разных типов и формирует Annotated Result, отображая соответствующие метки рядом со ссылками.

Актуальность для SEO

Высокая. Патент напрямую связан с функциями, которые активно используются в Google News и блоках новостей на основной выдаче (SERP). Метки «Мнение» (Opinion), «Подробный материал» (In-Depth, хотя его реализация могла эволюционировать), а также локализация новостей являются стандартными элементами интерфейса Google. Патент является продолжением заявки от 2011 года, что совпадает с запуском блока «In-depth articles» в поиске.

Важность для SEO

Патент имеет высокое значение (8/10) для SEO, особенно для новостных изданий и контентных проектов, стремящихся попасть в Google News или новостные блоки SERP. Он раскрывает конкретные механизмы, которые Google использует для классификации контента. Понимание этих критериев позволяет издателям оптимизировать статьи для получения определенных меток (например, In-Depth или Most Cited), что может значительно повлиять на видимость, CTR и восприятие контента пользователями.

Детальный разбор

Термины и определения

Annotation Server (Сервер аннотирования)

Компонент системы, который получает статьи от краулера и анализирует их для присвоения одного или нескольких Article Types.

Annotated Result (Аннотированный результат)

Результат поиска, включающий ссылки на статьи и визуальные индикаторы их типов (меток).

Article Type (Тип статьи)

Метка, присваиваемая статье на основе ее содержания, источника или метаданных (например, Opinion, In-Depth, Satire).

Citation Score (Оценка цитируемости)

Метрика, рассчитываемая на основе количества упоминаний (references counter) и ссылок (links counter) на источник из других статей по той же теме.

In-Depth Type (Тип «Подробный материал»)

Метка для статьи, чья длина превышает среднюю длину статей на ту же тему на определенную величину (margin).

International Perspective (Международная перспектива)

Индикатор для статьи, которая является Local-To-Story, но местоположение источника не совпадает с местоположением пользователя.

Local Perspective (Местная перспектива)

Индикатор для статьи, которая является Local-To-Story, и местоположение источника совпадает с местоположением пользователя.

Local-To-Story Type (Тип «Местный к сюжету»)

Метка для статьи, если географическое местоположение ее источника совпадает с географическими локациями, часто упоминаемыми в самой статье.

Most Cited Type (Тип «Наиболее цитируемый»)

Метка для статьи, источник которой имеет наивысший Citation Score по данной теме.

Most Shared Type (Тип «Наиболее распространяемый»)

Метка для статьи, которая чаще всего распространяется пользователями через онлайн-приложения (соцсети, блоги, мессенджеры).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс отображения комбинации аннотаций.

1. Система идентифицирует несколько статей (первую, вторую, третью) по одной теме.
2. Определяется количество раз, когда вторая статья была распространена (shared) пользователями через онлайн-приложения.
3. Определяется, превышает ли длина третьей статьи среднюю длину других статей по этой теме.
4. Система предоставляет для отображения информацию о первой статье вместе с информацией о второй (включая данные о распространении) и о третьей (включая индикацию того, что ее длина больше средней).

Ядро этого утверждения — это комбинированное отображение стандартного результата с результатами, аннотированными как Most Shared и In-Depth.

Claim 3 и 4 (Зависимые): Детализируют механизм географической перспективы.

1. Система определяет, упоминается ли в статье географическое местоположение, связанное с источником этой статьи (т.е. является ли она Local-To-Story). (Claim 3)
2. Система предоставляет для отображения индикатор перспективы: (Claim 4)
   • Local perspective, если местоположение источника совпадает с местоположением пользователя.
   • International perspective, если местоположение источника не совпадает с местоположением пользователя.

Claim 6 (Зависимый): Добавляет механизм цитирования.

1. Система определяет, что статья цитируется чаще, чем другие статьи по этой теме.
2. Система предоставляет для отображения информацию об этой статье, включая индикацию того, что она является наиболее цитируемой (Most Cited).

Claim 8 и 9 (Зависимые, изложены на основе описания в патенте и связанных Claims): Добавляют механизмы Live Coverage и Encyclopedia.

1. Система определяет, что статья содержит информацию о текущем событии (Live Coverage) и отображает соответствующий индикатор. (Claim 8)
2. Система определяет, что на статью ссылается запись в онлайн-энциклопедии, и отображает информацию, идентифицирующую эту энциклопедию. (Claim 9)

Где и как применяется

Изобретение охватывает несколько этапов поисковой архитектуры, с основным фокусом на обработке контента и представлении результатов.

CRAWLING – Сканирование и Сбор данных
Crawler Server собирает статьи с новостных источников. Это стандартный процесс сбора данных.

INDEXING – Индексирование и извлечение признаков
Это ключевой этап применения патента. Annotation Server выполняет функции извлечения признаков и классификации:

1. Анализ Контента: Определение темы статьи, извлечение упоминаемых географических локаций, подсчет длины (количества слов/страниц).
2. Анализ Метаданных и Структуры: Анализ URL, HTML и заголовков на наличие индикаторов типа (например, «Opinion», «Live»). Определение местоположения источника.
3. Анализ Внешних Сигналов: Расчет Citation Score (анализ ссылок и упоминаний между статьями). Получение данных о распространении (shares) из внешних источников (соцсети, блоги). Проверка цитирования в энциклопедиях.
4. Аннотирование: Присвоение Article Types (меток) и сохранение их в индексе вместе со статьей.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
На этом этапе аннотации используются для формирования выдачи (Annotated Result).

1. Выборка и Группировка: Система идентифицирует наборы статей по теме и выбирает статьи с различными аннотациями для показа в новостном блоке или кластере.
2. Динамическое Аннотирование (Perspective): Система определяет местоположение пользователя и сравнивает его с местоположением источника статьи (если она помечена как Local-To-Story), чтобы присвоить финальный индикатор Local Perspective или International Perspective.
3. Презентация SERP: Формирование визуального отображения ссылок с соответствующими метками.

Входные данные:

• Текст статьи, HTML, URL.
• Метаданные источника (название, географическое местоположение).
• Данные о длине статьи.
• Внешние данные: количество распространений (shares), данные о цитировании.
• (На этапе выдачи) Запрос пользователя и его местоположение.

Выходные данные:

• (На этапе индексирования) Статьи, проиндексированные с метками Article Types.
• (На этапе выдачи) Annotated Result – страница результатов поиска с визуальными индикаторами типов статей.

На что влияет

• Конкретные типы контента: В первую очередь влияет на новостные статьи, блоги, аналитические материалы и журнальные публикации.
• Специфические запросы: Влияет на запросы, связанные с текущими событиями, новостями или темами, требующими глубокого анализа (где актуальны метки In-Depth).
• Форматы контента: Дает преимущество лонгридам (для In-Depth), авторским колонкам (для Opinion) и оригинальным репортажам (для Most Cited).

Когда применяется

• Временные рамки: Аннотирование происходит непрерывно по мере сканирования и индексирования нового контента.
• Триггеры активации: Метки присваиваются, если статья удовлетворяет конкретным критериям (например, превышение порога длины для In-Depth, наличие определенных ключевых слов для Opinion).
• Динамическое применение: Метки Local Perspective и International Perspective применяются динамически в момент запроса, так как зависят от текущего местоположения пользователя.

Пошаговый алгоритм

Процесс А: Индексирование и Аннотирование (Общий процесс)

1. Получение статьи: Система получает статью от краулера.
2. Определение темы и источника: Идентифицируется основная тема статьи и ее источник, включая географическое местоположение источника.
3. Применение аннотаторов: Статья параллельно обрабатывается различными модулями (аннотаторами):
   • In-Depth Annotator (см. Процесс Б).
   • Most Cited Annotator (см. Процесс В).
   • Perspective Annotator (см. Процесс Г).
   • Opinion/Satire/Live Coverage Annotators: Проверка наличия ключевых слов в заголовке, URL или HTML. Проверка источника по «белым спискам» (например, для сатиры).
   • Most Shared Annotator: Получение и анализ данных о количестве распространений статьи в онлайн-приложениях.
   • Encyclopedia Annotator: Проверка наличия ссылок на статью из онлайн-энциклопедий.
4. Сохранение: Статья сохраняется в индексе в ассоциации с темой и присвоенными метками (Article Types).

Процесс Б: Аннотирование In-Depth

1. Определение длины статьи: Подсчет количества слов, страниц или размера данных.
2. Расчет средней длины: Вычисление средней длины других статей по этой же теме.
3. Сравнение: Проверка, превышает ли длина статьи среднюю длину на заданную величину (margin, например, 10%).
4. Аннотирование: Если превышает, статье присваивается метка In-Depth Type.

Процесс В: Аннотирование Most Cited

1. Идентификация цитирований: Анализ других статей по теме. Идентификация упоминаний (references) и ссылок (links) на источник текущей статьи.
2. Обновление счетчиков: Увеличение references counters и links counters для источника.
3. Расчет Citation Score: Вычисление оценки цитируемости для источника (например, взвешенная сумма счетчиков).
4. Идентификация лидера: Определение источника с наивысшим Citation Score по теме.
5. Аннотирование: Статье от этого источника присваивается метка Most Cited Type.

Процесс Г: Аннотирование Perspective (Индексирование и Выдача)

1. Идентификация локаций в статье: Определение географических мест, упоминаемых в тексте, и подсчет частоты их упоминаний.
2. Определение набора локаций сюжета: Выбор локаций, упоминаемых чаще порогового значения.
3. Сравнение с источником: Проверка, входит ли местоположение источника в набор локаций сюжета.
4. Аннотирование (Индексирование): Если входит, статье присваивается метка Local-To-Story Type.
5. Обработка запроса (Выдача): Получение местоположения пользователя.
6. Сравнение с пользователем: Сравнение местоположения источника с местоположением пользователя.
7. Индикация (Выдача): Если совпадают – индикатор Local Perspective. Если не совпадают – индикатор International Perspective.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст статьи (для определения темы, анализа упоминаний источников и географических названий). Заголовки (для идентификации Opinion, Live Coverage).
• Технические факторы: URL-структура (для идентификации Opinion, Satire). HTML (для анализа структуры и ключевых слов).
• Ссылочные факторы: Входящие ссылки и упоминания из других статей (для расчета Citation Score и Most Cited Type). Ссылки из онлайн-энциклопедий (для Encyclopedia Annotator).
• Поведенческие/Внешние факторы: Данные о количестве распространений (shares) статьи в социальных сетях, блогах и мессенджерах (для Most Shared Type).
• Структурные факторы: Длина статьи (количество слов, страниц) (для In-Depth Type).
• Географические факторы: Предварительно определенное местоположение источника (Source Location). Географические названия, извлеченные из текста (Story Locations).
• Пользовательские факторы: (На этапе выдачи) Местоположение пользователя (User Location) (для определения Local/International Perspective).

Какие метрики используются и как они считаются

• Average Length (Средняя длина): Среднее арифметическое или медианное значение длины статей по определенной теме.
• Margin (Порог превышения): Процентное значение (например, 10%), на которое длина статьи должна превышать Average Length для получения метки In-Depth.
• Citation Score (Оценка цитируемости): Рассчитывается для источника по теме как функция от references counter (количество упоминаний) и links counter (количество ссылок).
• Share Count (Счетчик распространений): Количество раз, когда статья была распространена через онлайн-приложения.
• Порог упоминания локации: Минимальное количество раз, когда локация должна быть упомянута в статье, чтобы считаться частью сюжета (используется для Local-To-Story Type).
• Географическое совпадение: Сравнение локаций (Источник vs Сюжет, Источник vs Пользователь). Совпадение может определяться на уровне страны, региона или в пределах заданного радиуса.

Выводы

1. Категоризация контента помимо релевантности: Google активно классифицирует новостной контент по типам и форматам, чтобы улучшить пользовательский опыт. Это не просто ранжирование, а структурирование выдачи по интентам (прочитать мнение, получить подробный анализ, узнать локальную точку зрения).
2. Конкретные критерии для меток: Патент предоставляет четкие, измеримые критерии для получения ключевых меток:
   • In-Depth зависит от относительной длины контента (длина статьи по сравнению со средней длиной статей на ту же тему).
   • Most Cited зависит от анализа цитирования и ссылок между источниками по конкретной теме.
   • Opinion/Live зависят от наличия специфических ключевых слов в URL, заголовках или HTML.
3. Сложная модель географической перспективы: Определение локальности источника является многофакторным процессом. Система сначала определяет, является ли источник «местным к сюжету» (Local-To-Story), анализируя совпадение географии источника и географии, упоминаемой в тексте. Только после этого, на этапе выдачи, происходит сравнение с местоположением пользователя для определения Local или International Perspective.
4. Использование внешних сигналов: Система использует данные, находящиеся вне прямого контроля издателя, такие как цитирование другими сайтами (Most Cited), распространение в соцсетях (Most Shared) и ссылки из энциклопедий.
5. Фокус на структурировании новостной выдачи: Механизмы патента направлены на формирование кластеров новостей (как показано на FIG. 9 в патенте), где внутри одного кластера пользователю предлагаются статьи разных типов.

Практика

Best practices (это мы делаем)

• Целевая оптимизация под In-Depth: Для важных тем создавайте исчерпывающий контент, который значительно длиннее, чем у конкурентов. Необходимо анализировать среднюю длину статей по теме и стремиться превысить ее на значительную величину (margin), чтобы соответствовать критериям In-Depth Type.
• Четкое структурирование разделов сайта: Для авторских колонок, мнений и редакционных статей используйте четкие индикаторы в URL (например, /opinion/), заголовках и HTML-разметке. Это поможет Opinion Annotator корректно классифицировать контент. То же самое касается прямых трансляций (использование слова «Live» для Live Coverage).
• Стимулирование цитирования (Most Cited): Публикуйте оригинальные репортажи, эксклюзивные данные и исследования. Качественная журналистика, на которую ссылаются другие издания, является ключом к получению метки Most Cited. Это напрямую связано с повышением авторитетности источника.
• Обеспечение корректных географических сигналов: Для региональных изданий важно четко указывать свое местоположение (Source Location) и фокусироваться на локальных сюжетах, часто упоминая ключевые местные топонимы в тексте. Это необходимо для получения метки Local-To-Story и последующего отображения как Local Perspective для местных пользователей.
• Стимулирование распространения контента: Активная работа с социальными сетями и удобные инструменты для шеринга могут помочь в получении метки Most Shared, что требует превосходства по количеству распространений над другими статьями по теме.

Worst practices (это делать не надо)

• Искусственное раздувание объема: Добавление «воды» для увеличения длины статьи неэффективно, если контент не несет ценности. Хотя патент описывает количественный критерий для In-Depth, общее качество контента остается критичным для ранжирования.
• Маскировка мнений под новости: Попытка представить авторскую колонку как нейтральную новость может привести к некорректной классификации или понижению доверия. Система ищет четкие индикаторы мнения.
• Игнорирование конкурентного анализа длины контента: Создание контента средней длины по темам, где пользователи ищут подробный анализ, снижает шансы на получение метки In-Depth и соответствующей видимости.

Стратегическое значение

Патент подчеркивает стратегию Google по структурированию информационного пространства и предоставлению пользователям разнообразных форматов контента. Для SEO-специалистов это означает, что помимо стандартной оптимизации релевантности и авторитетности, необходимо заниматься оптимизацией формата и презентации контента. В конкурентной новостной среде получение специфических меток (In-Depth, Most Cited) может стать ключевым фактором для привлечения трафика, так как эти метки визуально выделяют контент в выдаче.

Практические примеры

Сценарий 1: Оптимизация статьи под метку In-Depth

1. Задача: Получить метку In-Depth для аналитической статьи о новом законе.
2. Анализ: SEO-специалист анализирует существующие статьи по этой теме. Средняя длина составляет 1200 слов.
3. Действие: Ставится задача создать исчерпывающий материал объемом не менее 2000 слов (превышая средний объем более чем на 60%), включающий анализ, предысторию и последствия.
4. Ожидаемый результат: In-Depth Article Annotator сравнивает длину (2000) со средней (1200), определяет, что порог (margin) превышен, и присваивает метку In-Depth. Статья получает дополнительную видимость в соответствующих блоках поиска.

Сценарий 2: Получение метки Local Perspective региональным изданием

1. Задача: Обеспечить видимость новости о городском событии в Самаре для местных пользователей.
2. Действие: Издание (Source Location = Самара) публикует репортаж, в котором многократно упоминаются Самара и местные топонимы.
3. Обработка Google: Perspective Annotator определяет, что локации сюжета (Самара) совпадают с локацией источника (Самара), и маркирует статью как Local-To-Story.
4. Выдача: Когда пользователь из Самары (User Location = Самара) ищет информацию о событии, система сравнивает локацию источника и пользователя. Они совпадают.
5. Ожидаемый результат: Статья отображается в выдаче с индикатором Local Perspective (Местный источник).

Вопросы и ответы