Как Google индексирует и хранит разные версии документа для отслеживания изменений контента и исторической релевантности

Термины и определения

Archival Index (Архивный индекс)

Индекс, который хранит данные для нескольких версий документа, позволяя осуществлять поиск по историческим данным.

Date Range (Диапазон дат)

Период времени, в течение которого конкретная версия документа считается действительной (valid). Состоит из даты начала (open date) и даты окончания (closed date) или статуса "open"/"current" для текущей версии.

Document Instance/Version (Экземпляр/Версия документа)

Конкретное состояние контента документа в определенный период времени.

Good Phrase (Хорошая фраза)

Фраза (включая отдельные слова), которая встречается в корпусе достаточно часто и предсказывает появление других фраз. Используется как основная единица индексирования в системе, описанной в патенте.

Information-Retrieval Relevance Data (Данные о релевантности для поиска информации)

Данные, извлеченные из документа и используемые для оценки его релевантности. Включают фразы, содержащиеся в документе, а также могут включать PageRank, количество входящих ссылок (inlinks), длину документа, частоту терминов и типы HTML-разметки.

Topics (Темы)

Набор тем документа, определяемый на основе содержащихся в нем фраз и связанных фраз. Изменение в наборе тем может служить триггером для признания документа измененным.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод создания архивного индекса документов, индексированных по фразам.

1. Поддержание индекса, связывающего фразы с содержащими их документами.
2. Доступ к документу и определение, изменился ли он с предыдущей даты индексирования.
3. Если документ изменился:
   • Указание первого диапазона дат (first date range), включающего предыдущую дату, в течение которого документ был действителен.
   • Индексирование документа для получения текущих данных о релевантности (current information-retrieval relevance data), включая фразы в текущей версии.
   • Сохранение текущих данных о релевантности в ассоциации с текущим диапазоном дат (current date range).
   • Сохранение предыдущих данных о релевантности (previous information-retrieval relevance data), включая фразы из старой версии, в ассоциации с первым диапазоном дат.

Ядро изобретения — это процесс сохранения отдельных наборов данных о релевантности (включая фразы) для разных версий одного документа, каждая из которых привязана к своему диапазону дат актуальности.

Claim 6 (Зависимый от 1): Уточняет метод определения того, изменился ли документ.

1. Идентификация текущего набора тем (current set of topics) для документа во время индексирования.
2. Определение того, что документ изменился, на основании изменения в текущем наборе тем по сравнению с предыдущим набором тем (prior set of topics).

Это указывает на то, что система может использовать семантические изменения (изменение тематики), а не только поверхностные правки, для распознавания новой версии.

Claim 16 (Независимый пункт): Описывает процесс обновления диапазонов дат при обнаружении изменений.

1. Поддержание индекса, где каждый документ связан с текущим диапазоном дат и текущими данными о релевантности. (Отмечается, что у документа также могут быть предыдущие диапазоны дат).
2. Доступ к ранее проиндексированному документу.
3. Если документ изменился с первой даты текущего диапазона:
   • Обновление текущего диапазона дат до нового предыдущего диапазона (new prior date range) с указанием даты закрытия (closed date).
   • Сохранение текущих данных о релевантности как данных для этого нового предыдущего диапазона.
   • Установление нового текущего диапазона дат (new current date range) с текущей датой в качестве даты открытия (open date).
   • Обновление текущих данных о релевантности (включая фразы) и их сохранение в ассоциации с новым текущим диапазоном дат.

Этот пункт детализирует механизм управления жизненным циклом версий документа в индексе.

Где и как применяется

Изобретение является инфраструктурным и затрагивает основные этапы сбора и хранения данных.

CRAWLING – Сканирование и Сбор данных
На этом этапе система получает доступ к документу и фиксирует дату доступа, что необходимо для последующего анализа версий.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Во время индексирования система:

1. Сравнивает текущий контент с предыдущей версией, чтобы определить, изменился ли документ (например, путем сравнения набора тем).
2. Если документ изменился, система выполняет извлечение признаков (Relevance Data, включая фразы, PageRank, inlinks) для новой версии.
3. Управляет Date Ranges: закрывает старый диапазон и открывает новый.
4. Сохраняет в индексе обе версии (старую и новую) с их соответствующими признаками и диапазонами дат.

RANKING / RERANKING – Ранжирование / Переранжирование
Хотя патент не описывает алгоритмы ранжирования, он предоставляет данные, которые могут использоваться на этих этапах:

• Свежесть и частота обновлений: Система ранжирования может использовать количество версий документа за период времени для оценки частоты обновлений.
• Временная релевантность: Система может повышать или понижать версии документа в зависимости от их возраста или близости к дате, указанной в запросе.
• Исторический анализ: Система может анализировать эволюцию сигналов релевантности (например, рост или падение PageRank или ссылок) между разными версиями.

Входные данные:

• Текущий контент документа.
• Данные предыдущей версии документа из индекса (предыдущие Relevance Data, предыдущий Date Range).

Выходные данные:

• Обновленный индекс, содержащий записи для нескольких версий документа.
• Каждая запись содержит Relevance Data (фразы, признаки) и соответствующий Date Range.

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент, который часто обновляется (новости, главные страницы порталов, блоги, страницы товаров с отзывами или ценами).
• Специфические запросы: Влияет на запросы, чувствительные ко времени (QDF - Query Deserves Freshness), или запросы, включающие конкретные даты или периоды.
• Конкретные ниши или тематики: Влияет на быстро меняющиеся ниши (технологии, финансы, новости) и YMYL-тематики, где актуальность информации критична.

Когда применяется

• При каких условиях работает алгоритм: Алгоритм архивирования активируется каждый раз, когда система повторно индексирует документ.
• Триггеры активации: Ключевой триггер для создания новой версии — обнаружение изменений в документе по сравнению с последней проиндексированной версией.
• Исключения и особые случаи: Если документ не изменился, новая версия не создается, и существующие данные о релевантности сохраняются.

Пошаговый алгоритм

Процесс архивного индексирования документа

1. Доступ к документу: Система получает доступ к документу во время процесса индексирования.
2. Определение изменений: Система определяет, изменился ли документ с предыдущей даты индексирования. Это может включать сравнение текущих Relevance Data или текущего набора тем (Topics) с данными предыдущей версии.
3. Проверка условия изменения:
   • Если НЕТ (не изменился): Процесс завершается, существующие данные сохраняются.
   • Если ДА (изменился): Перейти к шагу 4.
4. Закрытие предыдущей версии: Система указывает первый диапазон дат (first date range) для предыдущей версии, включая предыдущую дату индексирования и недавнюю дату (например, вчерашний день), в течение которых старая версия была действительна.
5. Индексирование новой версии: Документ индексируется для получения текущих данных о релевантности (current relevance data), включая извлечение фраз из текущего контента.
6. Сохранение новой версии: Текущие данные о релевантности сохраняются в ассоциации с новым текущим диапазоном дат (current date range), который начинается с сегодняшней даты и имеет статус "открыт".
7. Поддержание архива: Предыдущие данные о релевантности сохраняются в индексе в ассоциации с первым (теперь закрытым) диапазоном дат.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании следующих типов данных для индексирования версий и определения изменений:

• Контентные факторы (Фразы и Темы): Система индексирует документы на основе Good Phrases. Изменение в наборе фраз и, как следствие, в наборе тем (Topics) документа используется для определения того, что документ изменился (Claim 6).
• Временные факторы (Даты): Даты индексирования используются для определения границ диапазонов дат (Date Ranges).
• Факторы Релевантности (Relevance Data): Патент упоминает (Claims 3, 4, 5), что Relevance Data, сохраняемые для каждой версии, могут включать:
  • Длину документа.
  • Частоту терминов (term frequency).
  • Типы HTML-разметки.
  • PageRank документа.
  • Количество входящих ссылок (inlinks).

Какие метрики используются и как они считаются

• Метрика изменения документа: Патент не определяет точную формулу, но предлагает методы определения изменений. Один из ключевых методов — сравнение набора тем. В описании патента упоминается, что если процент изменения тем превышает порог (например, M%, такой как 5%), документ считается измененным.
• Частота обновлений: Может быть рассчитана путем подсчета количества созданных версий (количества уникальных Date Ranges) за определенный период времени.
• Диапазон дат (Date Range): Метрика, определяющая период актуальности версии. Рассчитывается как [Дата_Индексирования_Версии; Дата_Индексирования_Следующей_Версии - 1 день].

1. Инфраструктура для Freshness: Патент описывает фундаментальный механизм, позволяющий Google точно отслеживать историю изменений документа. Это не алгоритм ранжирования по свежести, но это система сбора данных, которая делает возможной работу таких алгоритмов.
2. Точное измерение частоты обновлений: Система позволяет не просто знать, что документ обновился, но и точно измерять частоту создания новых версий (Frequency of Updates). Это позволяет отличать сайты, которые обновляются часто и существенно, от тех, что обновляются редко.
3. Определение существенности изменений: Патент предполагает использование семантических критериев (изменение Topics) для определения того, является ли изменение достаточно существенным для создания новой версии. Это позволяет системе игнорировать незначительные правки (например, изменение футера или даты).
4. Историческая релевантность и эволюция сигналов: Сохранение Relevance Data (включая фразы, PageRank, ссылки) для каждой версии позволяет Google анализировать, как менялась релевантность и авторитетность документа во времени. Документ мог быть авторитетным в прошлом, но потерять актуальность сейчас, и наоборот.
5. Возможность временного поиска: Механизм позволяет реализовать поиск контента, который был актуален в определенный исторический период, даже если текущая версия документа уже не релевантна запросу.

Best practices (это мы делаем)

• Регулярные и существенные обновления важного контента: Поскольку система точно отслеживает создание новых версий и может оценивать существенность изменений (через изменение тем), важно регулярно обновлять ключевые страницы (особенно в YMYL и быстро меняющихся нишах). Обновления должны влиять на основную тематику страницы, добавляя новую информацию или актуализируя данные.
• Поддержание актуальности "вечнозеленого" контента: Для статей, рассчитанных на долгий срок, необходимо периодически проводить ревизию и актуализацию. Создание новой значимой версии в индексе Google может дать сигнал о свежести и привести к повышению позиций.
• Мониторинг частоты обновления конкурентов: Анализируйте, как часто конкуренты обновляют свой контента в вашей нише. Если Google видит высокую частоту существенных обновлений в тематике, стагнация вашего контента может привести к пессимизации.
• Использование дат публикации и обновления: Четко указывайте даты создания и последнего обновления контента (в тексте и метаданных/Schema.org). Это помогает пользователям и может коррелировать с датами, которые Google фиксирует в своих Date Ranges.

Worst practices (это делать не надо)

• Поверхностные обновления (Fake Freshness): Изменение даты публикации без реального изменения контента, правки в футере, перестановка абзацев или незначительные изменения текста. Патент предполагает, что система использует анализ изменения тем (Topics) для фиксации новой версии. Если темы не меняются, система может не засчитать обновление как существенное.
• Чрезмерно частые незначительные правки: Постоянное внесение мелких правок может создать "шум" в истории версий, но не даст преимуществ в ранжировании, если не несет реальной ценности и не меняет тематику документа.
• Удаление старого контента без анализа: Удаление старых страниц может привести к потере исторической релевантности и накопленных сигналов. Механизм архивации показывает, что Google хранит историю. Лучше архивировать или существенно обновлять старый контент, если он потерял актуальность, но имеет ценность.

Стратегическое значение

Этот патент подтверждает долгосрочную стратегию Google по пониманию контента во временном контексте. Для SEO-специалистов это подчеркивает переход от разовой оптимизации к управлению жизненным циклом контента. Стратегия должна включать не только создание нового контента, но и планирование регулярной и существенной актуализации существующего. Понимание того, что Google хранит историю версий и связанных с ними сигналов, должно влиять на принятие решений об обновлении, консолидации или удалении контента.

Практические примеры

Сценарий: Актуализация годового обзора

1. Ситуация: У вас есть страница "Лучшие смартфоны 2024 года". Наступил 2025 год.
2. Действие (Плохое): Изменить заголовок на "Лучшие смартфоны 2025 года" и поменять даты в тексте, оставив обзор моделей 2024 года.
   • Результат по патенту: Система может определить, что основные темы (Topics) и фразы (названия моделей) не изменились. Обновление может быть проигнорировано как несущественное.
3. Действие (Хорошее): Существенно переписать страницу: добавить обзоры новых моделей 2025 года, обновить сравнительные таблицы, добавить новые тренды. Старые модели оставить для сравнения или убрать.
   • Результат по патенту: Система обнаруживает значительное изменение в наборе тем и фраз. Она закрывает Date Range для версии 2024 года и создает новую версию для 2025 года с новыми Relevance Data. Это дает сильный сигнал свежести для запросов о смартфонах.