Как Google использует исторические данные о документах, ссылках и поведении пользователей для определения свежести, качества и борьбы со спамом

Термины и определения

History Data (Исторические данные)

Данные, связанные с документом, собранные во времени. Включают дату создания, историю обновлений, историю ссылок, анализ запросов, данные о трафике, историю ранжирования, данные о домене и т.д.

Inception Date (Дата создания/обнаружения)

Дата, когда документ был впервые обнаружен или создан. Может определяться по дате первого сканирования, первой обнаруженной ссылке, дате регистрации домена или временной метке сервера.

Fresh Document (Свежий документ)

Документ, который недавно был создан или обновлен, или демонстрирует признаки актуальности (рост трафика, новые ссылки).

Stale Document (Устаревший документ)

Документ, который давно не обновлялся и может содержать неактуальную информацию. Признаками могут быть снижение трафика или исчезновение ссылок.

Update Frequency (UF) (Частота обновлений)

Метрика, показывающая, как часто обновляется контент документа.

Update Amount (UA) (Объем обновлений)

Метрика, показывающая, насколько сильно изменился контент документа за определенный период.

Link Velocity (Скорость роста ссылок)

Скорость, с которой появляются новые ссылки на документ. Резкие всплески могут рассматриваться как сигнал спама.

Link Freshness (Свежесть ссылки)

Метрика, определяемая датой появления/изменения ссылки, ее анкора или документа, содержащего ссылку.

Anchor Text Freshness (Свежесть анкорного текста)

Метрика, аналогичная свежести ссылки, но фокусирующаяся на тексте анкора.

Synthetic Web Graph (Синтетический веб-граф)

Структура ссылок, созданная искусственно (например, путем покупки или обмена ссылками) с целью манипулирования ранжированием. Характеризуется скоординированными действиями.

Doorway Domain (Временный/Дорвейный домен)

Домен, часто используемый для спама, с коротким сроком регистрации, предназначенный для быстрого сбора трафика до блокировки.

Ключевые утверждения (Анализ Claims)

Патент содержит большое количество пунктов (Claims), так как описывает множество различных применений исторических данных. Рассмотрим ключевые независимые пункты.

Claim 1 (Независимый пункт): Описывает общий метод оценки документа.

1. Идентификация документа.
2. Получение множества (plurality) типов исторических данных, связанных с документом. Перечислены категории: дата создания, изменения документа, анализ запросов, ссылочные критерии, анкорный текст, трафик, поведение пользователей, данные домена, история ранжирования и т.д.
3. Генерация оценки (score) для документа на основе этого множества типов исторических данных.

Ядром изобретения является использование комбинации различных исторических сигналов для определения итоговой оценки документа в поиске.

Claim 54 (Независимый пункт): Описывает конкретный метод ранжирования на основе устаревания ссылочных данных.

1. Определение возраста ссылочных данных (linkage data), включающих ранг, основанный на ссылках и анкорном тексте.
2. Ранжирование документа на основе функции затухания (decaying function) от возраста этих ссылочных данных.
3. Определение долговечности (longevity) ссылочных данных.
4. Получение индикатора обновления контента (indication of content update) для ссылающегося документа.
5. Корректировка ранжирования документа на основе долговечности ссылочных данных и индикатора обновления ссылающегося документа.

Этот пункт описывает механизм, при котором ценность ссылки и анкора снижается со временем (функция затухания), но может поддерживаться, если ссылка существует долго (longevity) и страница, на которой она размещена, регулярно обновляется.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поиска.

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает первичные данные, которые станут основой для исторического анализа: временные метки, содержимое документов, ссылки и анкоры при каждом посещении.

INDEXING – Индексирование и извлечение признаков
Основной этап сбора и обработки исторических данных. Система анализирует историю сканирования для:

• Определения Inception Date.
• Сравнения версий документа для расчета Update Frequency (UF) и Update Amount (UA).
• Анализа истории ссылочного графа для определения дат появления/исчезновения ссылок и расчета Link Velocity.
• Анализа истории DNS и регистрации домена.

QUNDERSTANDING – Понимание Запросов
Система анализирует исторические логи запросов для выявления трендов, сезонности и определения того, для каких запросов важна свежесть (Query Analysis).

RANKING – Ранжирование
На этапе ранжирования система использует предварительно вычисленные исторические признаки для генерации итогового Ranking Score. Исторические данные могут использоваться как для повышения (например, за свежесть), так и для понижения (например, за спамную ссылочную активность или устаревание контента).

Входные данные:

• История сканирования документа (содержимое, временные метки).
• История ссылочного графа (ссылки, анкоры, даты обнаружения).
• Логи поисковых запросов.
• Данные о трафике и поведении пользователей (клики, время на сайте).
• Данные WHOIS и DNS домена.

Выходные данные:

• Исторические признаки документа (Inception Date, UF, UA, Link Velocity Score, Domain Legitimacy Score и т.д.).
• Скорректированный Ranking Score документа.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, где важна свежесть (новости, события, обзоры продуктов) — концепция QDF (Query Deserves Freshness) берет начало здесь. Также влияет на коммерческие запросы, где высока вероятность спама.
• Конкретные ниши или тематики: Влияет на YMYL-тематики, где важна легитимность домена и актуальность информации (медицина, финансы). Влияет на новостные сайты и блоги.
• Конкретные типы контента: Влияет на все типы контента, позволяя системе различать «вечнозеленый» контент от контента, требующего регулярного обновления.

Когда применяется

Алгоритмы применяются постоянно. Сбор исторических данных происходит непрерывно в процессе сканирования и индексирования интернета, а также при обработке логов запросов и поведения пользователей. Использование этих данных для ранжирования происходит при каждом запросе.

Пошаговый алгоритм

Патент описывает не единый алгоритм, а набор методов использования исторических данных. Общий процесс выглядит следующим образом:

1. Идентификация документов: Определение набора документов (например, релевантных поисковому запросу или в процессе индексации).
2. Сбор исторических данных: Получение связанных с документами исторических данных различных типов. Это включает:
   • Данные о создании: Определение даты создания документа (например, по дате первого сканирования или регистрации домена).
   • Данные об изменениях контента: Анализ истории версий документа для определения частоты и объема обновлений. Игнорирование незначительных изменений (реклама, навигация).
   • Данные о ссылках: Отслеживание дат появления и исчезновения ссылок, скорости их роста, изменений в анкорном тексте. Определение свежести ссылающихся документов.
   • Данные о запросах и поведении: Анализ трендов запросов, истории кликов, трафика и времени, проведенного пользователями на документе.
   • Данные о домене: Проверка истории и срока регистрации домена, данных DNS.
3. Вычисление исторических метрик: Обработка собранных данных для расчета конкретных метрик:
   • Расчет скорости роста ссылок (Link Velocity).
   • Расчет показателей свежести (Freshness Score) на основе обновлений контента и новых ссылок.
   • Расчет показателей устаревания (Staleness Score) на основе снижения трафика или исчезновения ссылок.
   • Оценка легитимности домена (Domain Legitimacy Score).
   • Выявление аномалий (например, резких всплесков ссылок или изменений тематики).
4. Оценка документов (Scoring): Генерация итоговой оценки документа, основанной, по крайней мере частично, на вычисленных исторических метриках. Это может включать:
   • Нормализацию базовых оценок (например, нормализация ссылочного веса по возрасту документа).
   • Применение повышающих коэффициентов за свежесть и актуальность.
   • Применение понижающих коэффициентов (затухание) для старых ссылок или устаревшего контента.
   • Пессимизацию документов с признаками спама (синтетический граф ссылок, временные домены).

Какие данные и как использует

Данные на входе

Патент описывает использование широкого спектра исторических данных:

• Контентные факторы: История изменений видимого контента, заголовков (Title). Отслеживание изменений в важных областях документа по сравнению с незначительными (boilerplate, реклама, комментарии, Javascript).
• Технические факторы: Временные метки сервера (Time Stamps). Данные DNS (смена name-серверов, хостинга). Данные WHOIS (регистратор, дата регистрации, дата истечения срока домена, адреса нейм-серверов).
• Ссылочные факторы: Даты появления и исчезновения входящих ссылок. Скорость роста ссылок (Link Velocity). История изменений анкорного текста. Свежесть, авторитетность и надежность (Trust) ссылающихся документов. Структура ссылочного графа (выявление синтетических графов).
• Поведенческие факторы: История трафика документа. Паттерны трафика (сезонность). История кликов (CTR) в результатах поиска. Время, проведенное пользователем на документе (Dwell Time). Данные, поддерживаемые пользователем (закладки, избранное). Рекламный трафик и клики по рекламе.
• Временные факторы: Дата создания документа (Inception Date). Возраст ссылок. Возраст анкорного текста.

Какие метрики используются и как они считаются

• Нормализованный ссылочный вес (History-adjusted link score H): Патент предлагает формулу для нормализации ссылочного веса (L) по времени, прошедшему с момента создания документа (F): $H = L/log(F+2)$. Это позволяет оценить скорость набора ссылок относительно возраста.
• Оценка обновлений контента (U): Рассчитывается как функция частоты (UF) и объема (UA) обновлений: $U = f(UF, UA)$. При расчете UA больший вес придается изменениям в важных частях контента.
• Тренды скорости изменений: Сравнение текущей скорости изменений контента с предыдущими периодами для выявления ускорения или замедления.
• Распределение возраста ссылок (Age Distribution): Анализ дат создания ссылок. Предполагается, что распределение возраста ссылок у свежего документа сильно отличается от устаревшего.
• Вес ссылки на основе свежести (Freshness Weighting): Присвоение веса ссылке на основе ее свежести (дата появления/изменения ссылки, анкора или ссылающегося документа). Также используется функция затухания (decaying function) (Claim 54).
• Оценка легитимности домена: Агрегация сигналов, таких как срок регистрации (более длительный срок = выше легитимность), стабильность DNS и контактной информации.

1. Время — критически важное измерение в ранжировании: Google не просто оценивает текущее состояние документа, но и анализирует его историю и динамику развития. Статичная оценка заменяется анализом временных рядов.
2. Многовекторная оценка свежести и устаревания: Свежесть (Freshness) и устаревание (Staleness) оцениваются комплексно. Документ может считаться свежим, если обновляется его контент, на него появляются новые ссылки, растет трафик или он соответствует актуальным трендам запросов. И наоборот, снижение активности по любому из этих направлений может привести к признанию документа устаревшим.
3. Исторические паттерны для обнаружения спама: Анализ исторических данных используется для отличия естественного роста популярности от искусственных манипуляций. Резкие всплески (spikes) ссылочной массы, неестественно согласованные или разрозненные анкоры, внезапные изменения тематики документа или резкие скачки в рейтинге могут сигнализировать о спаме (Synthetic Web Graph).
4. История домена как сигнал легитимности: Патент явно указывает на использование данных о регистрации домена (WHOIS, DNS) для оценки его надежности. Долгосрочная регистрация и стабильность технических данных являются позитивными сигналами.
5. Затухание старых сигналов (Link Decay): Ценность исторических сигналов (ссылки, анкорный текст) может снижаться (decay) со временем, как описано в Claim 54, или игнорироваться, если контекст документа значительно изменился. Свежесть ссылающегося документа может поддерживать ценность размещенной на нем ссылки.

Best practices (это мы делаем)

• Регулярное и значимое обновление контента: Для контента, требующего актуальности, необходимо поддерживать высокую частоту (UF) и достаточный объем (UA) обновлений. Убедитесь, что обновления затрагивают основное содержимое, а не только меняют дату публикации, так как система умеет игнорировать изменения в незначимых блоках (boilerplate).
• Стратегия «Вечнозеленого контента»: Для информационных статей, не теряющих актуальность, важно демонстрировать устойчивый интерес пользователей и стабильный ссылочный профиль. Периодический пересмотр и дополнение таких материалов также будут полезны.
• Естественная скорость наращивания ссылок: Сосредоточьтесь на получении ссылок с постоянной, естественной скоростью. Избегайте резких всплесков (spikes), которые могут быть интерпретированы как попытка спама. Лучше 1 ссылка в день в течение 10 дней, чем 10 ссылок за один день.
• Качество и свежесть доноров ссылок: Стремитесь получать ссылки с авторитетных и регулярно обновляемых ресурсов. Патент подчеркивает, что свежесть ссылающегося документа влияет на вес (weight) передаваемой ссылки (Claim 54).
• Долгосрочная регистрация домена: Для важных проектов продлевайте регистрацию домена на несколько лет вперед (до 10 лет). Это используется как сигнал легитимности и отличает качественные сайты от временных (doorway domains).
• Поддержание актуальности анкорного текста: Убедитесь, что анкорный текст входящих ссылок соответствует текущему содержанию документа. Если тематика страницы изменилась, старые анкоры могут быть дисконтированы.
• Фокус на устойчивом вовлечении пользователей: Работайте над улучшением поведенческих факторов (время на сайте, глубина просмотра). Снижение интереса пользователей во времени является сильным сигналом устаревания контента.

Worst practices (это делать не надо)

• Покупка ссылок пакетами: Массовая закупка ссылок приводит к неестественному всплеску Link Velocity и созданию Synthetic Web Graph, что является прямым сигналом для пессимизации согласно патенту.
• Имитация обновления контента: Изменение временных меток или незначительные правки в футере/сайдбаре не будут засчитаны как значимое обновление (UA), так как система взвешивает изменения в разных частях документа по-разному.
• Использование временных доменов и частая смена DNS/Хостинга: Короткий срок регистрации домена и нестабильность технических данных (DNS, IP) используются как индикаторы низкого качества или спама.
• Резкое изменение тематики сайта (Content Drift): Если тематика документа или домена кардинально меняется, система может посчитать предыдущие сигналы (ссылки, анкоры, историю ранжирования) ненадежными и игнорировать их.
• Стратегия «Создал и забыл» (Set and Forget): Игнорирование необходимости обновлять контент в тематиках, где важна свежесть, приведет к постепенному снижению позиций из-за признания контента устаревшим (stale).

Стратегическое значение

Этот патент имеет фундаментальное стратегическое значение. Он демонстрирует, что Google анализирует не только моментальный снимок интернета, но и его эволюцию во времени. Для SEO это означает, что приоритет отдается долгосрочным стратегиям, устойчивому развитию и поддержанию актуальности. Скорость и история изменений сигналов так же важны, как и их абсолютные значения. Патент подтверждает важность комплексного подхода, где свежесть контента, естественность ссылочного профиля, техническая стабильность и поведение пользователей взаимосвязаны.

Практические примеры

Сценарий 1: Оценка скорости ссылочного профиля (Link Velocity)

1. Ситуация: Два сайта запущены одновременно. Сайт А получает 100 ссылок в первый месяц и 0 в последующие. Сайт Б получает 10 ссылок каждый месяц в течение 10 месяцев.
2. Анализ по патенту: Сайт А демонстрирует резкий всплеск (spike), что может быть интерпретировано как спам или временное явление. Сайт Б демонстрирует естественный рост.
3. Действие системы: Система может применить пессимизацию к Сайту А из-за подозрения на Synthetic Web Graph. Сайт Б получит преимущество за счет стабильного роста. Кроме того, применение формулы нормализации $H = L/log(F+2)$ со временем снизит нормализованный вес для обоих сайтов, но для Сайта А падение будет более резким, так как его ссылки стареют и новые не появляются.

Сценарий 2: Актуализация статьи обзора

1. Ситуация: Статья «Лучшие смартфоны» была написана год назад. SEO-специалист хочет улучшить ее позиции.
2. Действие А (Плохое): Специалист меняет заголовок на «Лучшие смартфоны 2025» и обновляет дату публикации на сервере.
3. Действие Б (Хорошее): Специалист переписывает 40% текста, добавляя новые модели, удаляя устаревшие и обновляя характеристики.
4. Анализ по патенту: В случае А система определит низкий Update Amount (UA), так как основное содержимое не изменилось. В случае Б система зафиксирует высокий UA в важных областях контента.
5. Результат: Статья Б получит значительный буст за свежесть, в то время как Статья А может быть проигнорирована или даже пессимизирована за попытку манипуляции датой.