Как Google определяет свежесть документа, анализируя возраст ссылающихся страниц и динамику появления ссылок (Link Velocity)

Термины и определения

Freshness Attribute (Атрибут свежести)

Индикатор, указывающий, когда документ был в последний раз модифицирован или обновлен. Основной пример в патенте — HTTP-атрибут "last-modified-since".

Freshness Score (Оценка свежести)

Числовое значение, присваиваемое документу и отражающее его свежесть. Обозначается как $F_{s}$ или $F_{p}$. Используется как фактор для ранжирования.

Linking Document (Ссылающийся документ)

Документ, содержащий ссылку на целевой документ (Document p).

Link Existence Time (Время существования ссылки)

Период времени, в течение которого ссылка существовала. Включает время создания (creation time) и время удаления (removal time) ссылки.

Fresh document (Свежий документ)

Документ, который был обновлен в течение конфигурируемого периода времени относительно текущего момента.

Not fresh document (Не свежий документ)

Устаревший документ, который не обновлялся в течение конфигурируемого периода времени.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает Метод 1: определение свежести первого документа через анализ атрибутов свежести ссылающихся на него (вторых) документов.

1. Идентификация набора вторых документов, ссылающихся на первый.
2. Определение Freshness Attribute (время последней модификации) для каждого из вторых документов.
3. Присвоение Freshness Score первому документу на основе этих атрибутов.
4. Ранжирование на основе этой оценки.

Claims 5 и 6 (Зависимые от 1): Детализируют логику Метод 1. Оценка присваивается по большинству: если большинство ссылающихся документов «не свежие», присваивается низкая оценка (Claim 5); если большинство «свежие» — высокая (Claim 6).

Claim 13 (Независимый пункт): Описывает гибридный подход и логику принятия решения. Система определяет, есть ли у первого документа собственный Freshness Attribute. На основе этого определения (например, если атрибут отсутствует), система может вычислить Freshness Score на основе ИЛИ собственного атрибута, ИЛИ атрибутов свежести ссылающихся документов.

Claim 35 (Независимый пункт): Описывает Метод 2: определение свежести на основе времени существования ссылок (динамика ссылок).

1. Идентификация набора ссылающихся документов.
2. Определение времени, в течение которого существовала каждая ссылка (Link Existence Time).
3. Присвоение Freshness Score первому документу на основе этих временных данных.

Claims 36 и 37 (Зависимые от 35): Детализируют логику динамики ссылок (Link Velocity). Если текущее количество ссылок меньше, чем в прошлом (спад), присваивается низкая оценка (Claim 36). Если текущее количество ссылок больше, чем в прошлом (рост), присваивается высокая оценка (Claim 37).

Claims 38 и 39 (Зависимые от 35): Детализируют логику соотношения новых и старых ссылок. Текст патента содержит контринтуитивную логику, которой необходимо строго следовать:

• Если соотношение новых ссылок к старым БОЛЬШЕ порогового значения, присваивается НИЗКАЯ оценка свежести (Claim 38).
• Если соотношение МЕНЬШЕ порогового значения, присваивается ВЫСОКАЯ оценка свежести (Claim 39).

Где и как применяется

Изобретение применяется на нескольких этапах поисковой архитектуры.

INDEXING – Индексирование и извлечение признаков
На этом этапе система собирает и сохраняет данные, необходимые для анализа:

• Собственные Freshness Attributes документов (например, last-modified-since).
• Атрибуты свежести ссылающихся документов.
• Временные метки существования ссылок (время создания и удаления ссылки), что требует хранения исторических данных о ссылочном графе.

RANKING / RERANKING – Ранжирование и Переранжирование
Основное применение патента. Система вычисляет Freshness Score для документов-кандидатов. Система определяет, использовать ли собственные атрибуты документа или инферировать свежесть через ссылки (Методы 1 и 2). Полученная оценка используется как фактор ранжирования, особенно для запросов, чувствительных к свежести (QDF).

Входные данные:

• Целевой документ (Документ p).
• Набор ссылающихся документов.
• Freshness Attributes целевого и ссылающихся документов.
• Временные метки существования ссылок (creation/removal times).

Выходные данные:

• Freshness Score ($F_{s}$) для целевого документа.

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние в тематиках, где актуальность информации критична: новости, события, технологии, финансы, а также YMYL-темы, требующие актуальных данных.
• Специфические запросы: Влияет на запросы, подразумевающие потребность в свежем контенте (QDF).
• Типы контента: Влияет на новостные статьи, обзоры, а также на «вечнозеленый» контент, актуальность которого подтверждается динамикой ссылок.

Когда применяется

• Условия активации: Механизм анализа ссылающихся документов (инференция свежести) активируется, когда собственный Freshness Attribute документа отсутствует (Claim 16), или, как указано в патенте, даже если он присутствует (для валидации или дополнения).
• Частота применения: Сбор данных происходит при сканировании. Расчет Freshness Score может происходить при обновлении индекса или во время обработки запроса.

Пошаговый алгоритм

Процесс определения оценки свежести для документа p.

1. Инициализация: Выполнение поиска и получение документов-кандидатов.
2. Анализ атрибутов документа p: Проверка наличия собственного Freshness Attribute (например, last-modified-since) у документа p.
3. Принятие решения: Определяется, идентифицирован ли надежный атрибут свежести для документа p.
4. Ветвь А (Если ДА): Атрибут используется как основа для присвоения Freshness Score. Система может опционально перейти к Ветви Б.
5. Ветвь Б (Если НЕТ или дополнительно): Система инициирует инференцию свежести через ссылки.
   1. Идентификация ссылающихся документов.
   2. Сбор данных (Метод 1): Определение Freshness Attribute каждого ссылающегося документа.
   3. Сбор данных (Метод 2): Определение времени существования каждой ссылки на документ p (Link Existence Time).
6. Расчет Freshness Score (Ветвь Б): Документу p присваивается $F_{s}$ на основе:
   • Метод 1: Соотношения свежих и не свежих ссылающихся документов (по большинству).
   • Метод 2: Динамики количества ссылок (рост/спад) и/или соотношения новых/старых ссылок (с учетом логики Claims 38/39).
7. Ранжирование: Итоговый Freshness Score используется как один из факторов для ранжирования.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании следующих типов данных:

• Технические факторы: Явно упоминается HTTP-атрибут "last-modified-since" как пример Freshness Attribute.
• Ссылочные факторы: Факт наличия входящей ссылки (link).
• Временные факторы:
  • Даты модификации целевого и ссылающихся документов.
  • Время создания ссылки (creation time).
  • Время удаления ссылки (removal time).

Какие метрики используются и как они считаются

• Freshness Score ($F_{s}$): Итоговая оценка свежести.
• Соотношение свежести доноров (Метод 1): Сравнение количества «свежих» и «не свежих» ссылающихся документов.
• Динамика ссылок / Link Growth (Метод 2): Сравнение количества ссылок в текущий момент времени с количеством ссылок в прошлый момент времени (t).
  Формула (неявная): $Growth = Count_{current} - Count_{past}$.
• Соотношение новых и старых ссылок / Link Ratio (Метод 2): Отношение количества новых («new»/«recent») ссылок к количеству старых («old»/«not recent») ссылок.
  Формула (неявная): $Ratio = rac{Count_{new}}{Count_{old}}$.
• Пороговые значения: Конфигурируемые периоды для определения «свежести», а также пороги ($T_{k}$, T) для оценки Link Ratio.

1. Косвенное определение свежести: Google располагает механизмами для определения свежести документа, даже если явные даты модификации отсутствуют или ненадежны. Свежесть может определяться через анализ веб-графа.
2. Ссылки передают сигналы свежести (Метод 1): Атрибуты свежести (даты обновления) страниц-доноров напрямую влияют на оценку свежести целевого документа. Ссылки с недавно обновленных страниц повышают Freshness Score.
3. Динамика ссылок (Link Velocity) как индикатор актуальности (Метод 2): Система анализирует тенденции появления и удаления ссылок. Увеличение количества ссылок со временем (рост) интерпретируется как признак свежести. Снижение количества ссылок (спад) интерпретируется как признак устаревания.
4. Использование исторических данных: Для анализа динамики ссылок система должна хранить историю ссылочного графа (Link Existence Time).
5. Специфическая логика соотношения ссылок: Патент явно описывает контринтуитивную логику (Claims 38/39), при которой слишком высокое соотношение новых ссылок к старым приводит к низкой оценке свежести. Это может быть механизмом обнаружения неестественных всплесков или спама.
6. Гибридная модель оценки: Система может полагаться на собственные атрибуты документа, но имеет механизмы отката к анализу ссылок для валидации или замены этих данных.

Best practices (это мы делаем)

• Приоритет на получение ссылок со «свежего» контента: В стратегии линкбилдинга фокусируйтесь на получении ссылок со страниц, которые были недавно опубликованы или обновлены (новости, активные блоги). Свежесть ссылающихся страниц напрямую повышает Freshness Score вашего документа (Claim 6).
• Стимулируйте положительную динамику ссылок (Link Velocity): Обеспечьте постоянный и естественный прирост ссылочной массы на важный контент. Положительная динамика (количество ссылок растет по сравнению с прошлым) является прямым сигналом актуальности контента (Claim 37).
• Поддерживайте точность технических сигналов свежести: Убедитесь, что сервер корректно отдает заголовок Last-Modified и актуализирует данные в Sitemap. Это позволяет Google использовать прямой сигнал свежести (Claim 13), что является предпочтительным вариантом.
• Регулярно обновляйте собственный контент для перелинковки: Поддерживайте актуальность своих страниц. Это превращает ваши страницы в «свежие» источники ссылок для других документов (внутренних и внешних), улучшая общую оценку свежести сайта.

Worst practices (это делать не надо)

• Полагаться только на старые статические ссылки: Построение ссылочного профиля исключительно за счет ссылок со страниц, которые не обновлялись много лет. Если большинство ссылающихся страниц будут классифицированы как «не свежие», это снизит Freshness Score вашего контента (Claim 5).
• Игнорирование потери ссылок (Link Decay) и стагнация: Допускать значительное сокращение ссылочной массы или полную остановку прироста новых ссылок. Снижение количества ссылок по сравнению с прошлым периодом интерпретируется как устаревание (Claim 36).
• Агрессивные всплески ссылочной активности: Генерация массовых, неестественных ссылок за короткий период. Согласно контринтуитивной логике патента (Claim 38), аномально высокое соотношение новых ссылок к старым может привести к понижению Freshness Score.
• Манипуляции с датами обновления: Попытки обмануть систему путем изменения "last-modified-since" без реального обновления контента могут быть неэффективны, так как система может использовать анализ ссылающихся документов для верификации свежести.

Стратегическое значение

Патент подчеркивает, что свежесть в глазах Google — это не просто дата публикации, а показатель текущей актуальности и востребованности документа, определяемый активностью вокруг него. Стратегически это подтверждает важность непрерывного процесса: регулярного обновления контента и проактивного получения ссылок из современных, актуальных источников. Link Velocity является ключевым показателем «живости» контента и сайта.

Практические примеры

Сценарий 1: Повышение свежести статьи за счет новостных ссылок (Метод 1 и 2)

1. Ситуация: У вас есть подробное руководство (например, «Настройка VPN»). Оно было написано давно, и его Freshness Score снижается.
2. Действие: Происходит актуальное событие (например, новый закон о данных), и несколько крупных новостных сайтов (которые обновляются ежечасно и являются «свежими») ссылаются на ваше руководство.
3. Результат (согласно патенту): Система видит, что ссылки приходят со «свежих» документов (Метод 1, Claim 6), а также фиксирует положительную динамику ссылок (Метод 2, Claim 37). Freshness Score руководства повышается, улучшая его ранжирование.

Сценарий 2: Устаревание контента из-за потери ссылок (Метод 2)

1. Ситуация: Страница с обзором старой модели телефона имела 100 входящих ссылок в прошлом.
2. Действие: С течением времени владельцы сайтов удаляют ссылки на устаревший обзор. Сейчас у страницы осталось 20 ссылок.
3. Результат (согласно патенту): Система сравнивает текущее количество ссылок (20) с прошлым (100). Фиксируется значительное снижение (Claim 36). Странице присваивается низкий Freshness Score, что снижает ее видимость.