Как Google ранжирует документы, используя качество источника, свежесть, оригинальность и кластеризацию контента

Термины и определения

Centroid (Центроид)

Векторное представление, которое описывает тему кластера. Вычисляется путем усреднения векторов терминов (term vectors) документов, содержащихся в кластере. Используется для определения экспертизы кластера по отношению к запросу.

Cluster (Кластер)

Группа документов, объединенных общей темой (common theme).

Cluster Score (Оценка кластера)

Метрика, присваиваемая кластеру на основе анализа документов и источников внутри него (разнообразие, важность, свежесть). Влияет на оценку отдельных документов в кластере.

Document Vector / Term Vector (Вектор документа / Вектор терминов)

Представление документа, описывающее его тему или содержание. Может включать взвешенный набор терминов.

Freshness (Свежесть)

Параметр документа или кластера. Для документа может измеряться как разница между временем публикации и временем события. Для кластера используется взвешенная сумма свежести оригинальных документов.

Original Document (Оригинальный документ)

Документ, который не является дубликатом другого. При наличии нескольких похожих документов оригиналом считается тот, который был опубликован раньше всех.

Selected Source / Golden Source (Избранный источник / Золотой источник)

Источник, идентифицированный как авторитетный или экспертный в определенной категории на основе количества и свежести публикуемых им оригинальных документов. Контент от этих источников может использоваться для определения тем кластеров.

Source (Источник)

Сущность (например, издатель, веб-сайт), опубликовавшая документ.

Source Term Vector (Вектор терминов источника)

Вектор, описывающий типы документов, публикуемых источником. Используется для определения экспертизы источника (топикальной или региональной) по отношению к запросу.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования отдельного документа.

1. Система получает запрос.
2. Выбирается документ в ответ на запрос.
3. Документ анализируется для определения множества параметров, включающих: (i) Дату публикации (date of publication), (ii) Ранжирование источника (ranking of a source) относительно других источников, (iii) Связь с кластером (cluster association).
4. Система анализирует ранжирование источника, что включает определение ранга качества источника (ranking of a quality of the source).
5. Вычисляется оценка (score) документа на основе этих параметров.
6. Оценка сравнивается с порогом. Документ включается или исключается из группы.
7. Генерируется список документов из группы, упорядоченный по вычисленной оценке.

Ядром изобретения является использование комбинации свежести, качества источника и кластерных данных для ранжирования документа.

Claim 15 (Независимый пункт, аналог Claim 1 для носителя): Подтверждает те же шаги, акцентируя внимание на анализе параметров:

• Параметр, связанный с датой публикации.
• Параметр, указывающий на ранжирование источника относительно других (включая ранг качества источника).
• Параметр, связанный с кластером.

Claim 37 (Независимый пункт): Описывает метод оценки кластера и его влияние на ранжирование.

1. Система получает запрос и обнаруживает документ в кластере, релевантный запросу.
2. Анализируются документы в кластере для определения параметров, включая: (i) Параметры, относящиеся к документам в кластере, (ii) Параметры, указывающие на ранжирование источников в кластере.
3. Анализ параметров документов включает измерение разнообразия документов (diversity of the documents).
4. Измерение разнообразия включает определение количества оригинальных документов (quantity of original documents) в кластере.
5. Вычисляется оценка кластера (cluster score) на основе этих параметров.
6. Генерируется список документов, где позиция документа основана на вычисленной оценке кластера.

Ключевым моментом здесь является то, что разнообразие измеряется через количество *оригинальных* документов, и что оценка кластера напрямую влияет на позицию документа в выдаче.

Claim 51 (Независимый пункт, аналог Claim 37 для носителя): Детализирует использование оценки кластера.

Повторяет шаги по анализу кластера, измерению разнообразия через количество оригинальных документов и вычислению Cluster Score. Затем добавляет ключевой шаг: вычисление оценки документа (document score) с использованием Cluster Score. Позиция документа в списке основывается на этой итоговой оценке документа.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, преимущественно на стадиях индексирования и ранжирования.

INDEXING – Индексирование и извлечение признаков
Большая часть работы по оценке источников и кластеризации происходит на этом этапе или в ходе офлайн-обработки данных.

• Оценка Источников: Система вычисляет метрики качества, важности и экспертизы (Source Term Vector) для источников. Происходит идентификация Selected Sources.
• Обработка Документов: Определяется время публикации (для оценки свежести) и оригинальность контента (путем сравнения с другими документами).
• Кластеризация: Документы группируются в кластеры, вычисляются центроиды кластеров.

RANKING – Ранжирование
Основное применение патента происходит во время обработки запроса.

• Система выбирает документы-кандидаты.
• Для каждого документа вычисляется оценка с использованием параметров документа/источника и параметров кластера.
• Происходит расчет Cluster Score (например, с использованием взвешенной системы бинов для свежести).
• Итоговая оценка документа интегрирует все эти сигналы.

RERANKING – Переранжирование
На этом этапе вычисленные оценки сравниваются с пороговыми значениями (Threshold) для включения или исключения документа из финальной выборки.

Входные данные:

• Запрос пользователя.
• Документы-кандидаты.
• Предварительно рассчитанные метрики источников (Качество, Важность, Экспертиза, Source Term Vector).
• Данные о кластерах и их центроиды.
• Временные метки публикации документов.

Выходные данные:

• Отсортированный список документов с итоговыми оценками ранжирования.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на новостные статьи (news articles), которые прямо упоминаются в патенте, и другой контент, для которого важна своевременность (QDF).
• Специфические запросы: Запросы, связанные с текущими событиями, трендами и темами, где важна свежесть и разнообразие мнений.
• Конкретные ниши или тематики: Ниши, где критически важна авторитетность и качество источника (например, YMYL), а также ниши с высокой частотой публикаций (новости, спорт, финансы).
• Географические факторы: Патент явно учитывает географию, указывая, что важность источника может зависеть от его местоположения относительно события (например, местная новостная организация для местного события). Также учитывается международное разнообразие источников в кластере.

Когда применяется

• Условия работы: Алгоритм применяется при обработке поисковых запросов для ранжирования набора документов.
• Триггеры и пороги: Система использует несколько порогов:
  • Порог для определения Selected Source в категории.
  • Порог для формирования кластера (например, X документов и Y источников по теме).
  • Порог оценки ранжирования (Threshold Score) для включения документа в финальную выдачу. Этот порог может зависеть от тематики запроса и количества найденных документов.

Пошаговый алгоритм

Процесс можно разделить на три основные части: оценка источников, кластеризация и ранжирование.

Процесс А: Оценка Источника (Офлайн/Индексирование)

1. Идентификация источника.
2. Обнаружение оригинальных статей: Система анализирует публикации источника, удаляя дубликаты (как внутренние, так и внешние, сравнивая текст и даты публикации).
3. Анализ контента: Анализируется содержание оригинальных статей, формируются векторы документов (Document Vectors).
4. Категоризация: Контент классифицируется по иерархической системе категорий (например, Спорт -> Футбол).
5. Оценка источника в категории: Источнику присваивается оценка в рамках каждой категории на основе количества и свежести его оригинальных документов в этой категории.
6. Определение Избранного Источника: Если оценка источника в категории превышает порог, он становится Selected Source для этой категории.
7. Расчет Вектора Источника: Формируется Source Term Vector, описывающий общую экспертизу источника.

Процесс Б: Кластеризация (Офлайн/Индексирование)

1. Определение тем кластеров: Анализируется контент от Selected Sources для определения ключевых тем и формирования начальных предметных кластеров (Subject Clusters).
2. Сравнение документов: Контент других документов (от любых источников) сравнивается с предметными кластерами.
3. Включение в кластер: Если контент документа соответствует теме кластера, документ включается в него.
4. Определение Центроида: Вычисляется или обновляется Centroid кластера путем усреднения векторов терминов документов в кластере.

Процесс В: Ранжирование (Время запроса)

1. Получение запроса.
2. Выбор документов: Отбирается множество релевантных документов (qualified documents).
3. Анализ документов и источников: Для каждого документа анализируются параметры:
   • Важность источника (учитывая географию, статистику циркуляции/просмотров).
   • Свежесть документа (время публикации относительно события).
   • Оригинальность документа.
   • Качество источника (награды, сторонние рейтинги).
   • Экспертиза источника (сравнение запроса с Source Term Vector).
4. Анализ кластеров: Если документ принадлежит к кластеру, анализируются параметры кластера для расчета Cluster Score:
   • Разнообразие источников (количество, международное разнообразие).
   • Важность источников в кластере.
   • Свежесть освещения (Recency of Coverage): Документы распределяются по временным интервалам (бинам), каждому бину присваивается вес (например, <1 часа = вес 24; >24 часов = вес -1). Cluster Score по свежести рассчитывается как взвешенная сумма.
   • Разнообразие статей (количество оригинальных документов).
   • Экспертиза кластера (сравнение запроса с Centroid).
5. Вычисление оценки: Для каждого документа вычисляется итоговая оценка на основе параметров документа, источника и кластера.
6. Сравнение с порогом: Оценка сравнивается с пороговым значением.
7. Формирование выдачи: Документы, превысившие порог, включаются в избранную группу и сортируются по оценке.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документов используется для определения релевантности, формирования векторов документов (Document Vectors) и векторов источников (Source Term Vectors), а также для выявления дубликатов (сравнение текста).
• Технические факторы: Временные метки (time stamp) документов используются для определения времени публикации, что критично для расчета свежести и определения оригинальности.
• Поведенческие факторы (Косвенно): Упоминается, что важность источника может вычисляться на основе количества просмотров или "хитов" (number of views or hits), полученных источником.
• Временные факторы: Возраст документа, время между событием и публикацией (time lag).
• Географические факторы: Географическое положение источника относительно события (повышение местных источников для местных новостей). Страна происхождения источника (для международного разнообразия в кластере).
• Внешние данные: Статистика циркуляции (circulation statistics), награды, полученные источником, и рейтинги третьих сторон (ranked by a third party) используются для оценки качества и важности источника.

Какие метрики используются и как они считаются

• Source Importance (Важность источника): Может основываться на статистике циркуляции, просмотрах, географической релевантности или категоризации по уровням (tiers).
• Source Quality (Качество источника): Может основываться на наградах или сторонних рейтингах.
• Source Expertise (Экспертиза источника): Определяется с помощью Source Term Vector (взвешенный набор терминов, описывающих публикации источника).
• Freshness (Свежесть документа): Измеряется как временной лаг между событием и публикацией.
• Originality (Оригинальность): Определяется путем сравнения текста и выявления самой ранней даты публикации среди похожих документов.
• Cluster Score (Оценка кластера): Агрегированная метрика, включающая:
  • Diversity of Sources: Количество источников, количество стран.
  • Recency of Coverage (Свежесть кластера): Взвешенная сумма по оригинальным документам. Используется система бинов (bins) с разными весовыми коэффициентами (weighting factor) для разных временных интервалов (например, более свежие документы имеют больший вес).
  • Diversity of Articles: Общее количество документов и количество оригинальных документов.
• Thresholds (Пороги): Используются для определения Selected Sources и для финального отбора ранжированных документов.

1. Многофакторная оценка качества: Патент описывает сложную систему ранжирования, которая выходит за рамки простой текстовой релевантности. Оценка базируется на трех столпах: качество документа (свежесть, оригинальность), качество источника (важность, экспертиза, репутация) и контекст (оценка кластера).
2. Критичность оригинального контента: Оригинальность является ключевым фактором как при оценке отдельного документа, так и при оценке источника (Selected Sources определяются по оригинальным статьям) и кластера (разнообразие измеряется по оригинальным статьям). Дублированный или синдицированный контент пессимизируется.
3. Детализированный расчет свежести (QDF): Свежесть рассчитывается очень гранулярно. Система использует взвешенные временные интервалы (бины), придавая значительно больший вес недавно опубликованному контенту. Вес может быть даже отрицательным для старого контента.
4. Тематическая и региональная экспертиза: Система оценивает экспертизу источника не только в целом, но и в конкретных категориях (через категоризацию оригинального контента) и регионах (Source Term Vector). Важность источника также может меняться в зависимости от географии события.
5. Влияние кластера на ранжирование: Документы, являющиеся частью важного кластера (освещаемого многими авторитетными и разнообразными источниками), получают повышение в ранжировании через Cluster Score. Это означает, что освещение популярных тем может дать преимущество.
6. Концепция "Золотых Источников": Система идентифицирует авторитетные источники (Selected Sources) и может использовать их контент для определения основных тем и формирования кластеров, что подчеркивает важность достижения статуса доверенного эксперта в своей нише.

Best practices (это мы делаем)

• Фокус на оригинальном репортаже и контенте: Инвестируйте в создание уникального контента. Система идентифицирует и вознаграждает оригинальные документы и источники, которые их публикуют. Старайтесь быть первым источником информации.
• Развитие тематической экспертизы (Topical Authority): Сосредоточьтесь на глубоком освещении конкретных категорий, чтобы система классифицировала ваш сайт как Selected Source в этой нише. Это достигается публикацией большого количества свежих оригинальных статей по теме.
• Оптимизация скорости публикации (для новостей): Для актуального контента скорость критична. Система использует гранулярные временные бины с высокими весами для свежего контента (например, опубликованного в течение часа). Минимизируйте time lag между событием и публикацией.
• Улучшение сигналов качества и важности источника: Работайте над повышением авторитетности сайта. Патент упоминает внешние сигналы: награды, рейтинги третьих сторон, статистику циркуляции/просмотров. Убедитесь, что эти достижения заметны.
• Использование точных временных меток: Убедитесь, что система может корректно определить время публикации (time stamp) для расчета свежести и оригинальности.
• Географическая релевантность (для локальных изданий): Если вы освещаете местные события, подчеркивайте свою географическую привязку. Система может повысить важность местных источников для локальных новостей.

Worst practices (это делать не надо)

• Синдикация контента и рерайтинг: Публикация неоригинального контента негативно влияет как на ранжирование статьи, так и на оценку источника. Система активно выявляет дубликаты.
• Медленная публикация актуального контента: Задержка в публикации приводит к потере веса по фактору свежести и риску того, что ваш контент будет признан неоригинальным, если кто-то опубликует материал раньше.
• Поверхностное освещение множества тем: Попытка охватить все без достаточной глубины не позволит достичь статуса Selected Source ни в одной из категорий.
• Игнорирование репутации источника: Фокус только на контенте страницы без работы над общим авторитетом и репутацией сайта ограничивает потенциал ранжирования, так как Source Quality и Source Importance являются ключевыми факторами.

Стратегическое значение

Этот патент закладывает основу для многих концепций, которые сегодня известны как E-E-A-T и QDF. Он подтверждает, что Google давно рассматривает качество и экспертизу на уровне источника (сайта/издателя), а не только на уровне отдельной страницы. Стратегически важно понимать, что оригинальность и свежесть являются не просто бонусами, а фундаментальными требованиями для ранжирования в конкурентных и динамичных нишах. Долгосрочная стратегия должна быть направлена на то, чтобы стать признанным экспертом (Selected Source) в четко определенных тематических категориях.

Практические примеры

Сценарий: Ранжирование новостной статьи о спортивном событии

1. Событие: Завершен футбольный матч.
2. Действия Издателя А (Оптимально): Крупное спортивное издание (высокая Source Importance) публикует детальный анализ матча через 15 минут после окончания (высокая Freshness, вес бина 24). Статья является оригинальной (Originality=True). Издание имеет сильный Source Term Vector по теме "Футбол".
3. Действия Издателя Б (Неоптимально): Небольшой блог (низкая Source Importance) публикует краткий пересказ статьи Издателя А через 2 часа (низкая Freshness, вес бина 15). Статья признана неоригинальной.
4. Кластеризация: Обе статьи попадают в кластер "Результаты матча X". Кластер имеет высокий Cluster Score, так как тему освещают многие авторитетные источники (Diversity/Importance).
5. Результат ранжирования: Статья Издателя А получает максимальный балл за счет комбинации авторитетности источника, максимальной свежести, оригинальности и бонуса от Cluster Score. Статья Издателя Б ранжируется значительно ниже из-за низкого авторитета, меньшей свежести и отсутствия оригинальности.