Как Google непрерывно обновляет свой индекс и освобождает место, используя систему хранения "Treadmilling" (Беговая дорожка)

Термины и определения

Tokenspace Repository (Репозиторий пространства токенов)

Основное хранилище, в котором набор документов представлен как непрерывная последовательность токенов (слов, тегов и т.д.).

FIFOArray (Массив FIFO - First-In-First-Out)

Специализированная структура данных, используемая для реализации репозитория. Поддерживает добавление данных только в конец (back end) и удаление данных только из начала (front end).

Treadmilling (Процесс "Беговой дорожки")

Механизм дефрагментации и очистки FIFOArray. Заключается в копировании действительных (valid) данных из начала массива в его конец и последующем аннулировании оригинала. Это позволяет сместить недействительные данные к началу для их эффективного удаления.

Invalidated Document (Недействительный документ)

Документ в репозитории (например, старая версия страницы), который был заменен новой версией или удален. Он помечен для удаления, но физически еще присутствует в хранилище.

Garbage Collection (Сборка мусора)

Процесс фактического удаления недействительных документов и восстановления занимаемого ими пространства хранения.

Token (Токен)

Единица данных в репозитории. В патенте упоминается, что токены могут иметь фиксированную длину (например, 32 бита), что ускоряет доступ к данным.

Epoch (Эпоха)

Период времени, используемый системой для управления сборкой мусора. Данные, помеченные для удаления в одну эпоху, физически удаляются только тогда, когда все запросы, начатые в эту эпоху или ранее, завершены. Это гарантирует безопасность данных.

Accessible Range (Доступный диапазон)

Диапазон позиций токенов в репозитории, который содержит действительные данные и доступен для поисковых запросов. Определяется начальной и конечной позициями.

Ключевые утверждения (Анализ Claims)

Патент описывает внутренние процессы Google без прямых рекомендаций для SEO.

Claim 1 (Независимый пункт): Описывает основной метод обработки документов в репозитории (Treadmilling).

1. Хранение набора документов в виде последовательности в репозитории с началом (front end) и концом (back end).
2. Аннулирование (invalidating), но не удаление, подмножества документов в последовательности.
3. Добавление в конец репозитория копии действительного документа, который находится в начале репозитория.
4. После добавления — восстановление пространства хранения в начале репозитория. Это пространство включает место, занятое оригиналом скопированного документа, и, если есть, место, занятое любым недействительным документом, смежным с ним.
5. Повторение процессов добавления и восстановления для возврата пространства, занятого недействительными документами.
6. Хранение индексных записей, соответствующих расположению документов.
7. При добавлении копии документа в конец — вставка соответствующих новых индексных записей.
8. Аннулирование индексных записей, соответствующих восстановленному пространству хранения.

Ядро изобретения — это метод эффективной очистки и дефрагментации последовательного хранилища (FIFOArray). Вместо дорогостоящего удаления данных из середины массива система использует "Treadmilling": перемещение действительных данных из начала в конец. Это приводит к консолидации "мусора" (недействительных данных) в начале массива, что позволяет проводить эффективное массовое удаление и восстановление пространства без прерывания работы системы.

Claim 2 (Зависимый от 1): Уточняет процесс восстановления пространства.

1. Аннулирование (но не удаление) действительного документа в начале (того, который был скопирован в конец).
2. Идентификация непрерывной подпоследовательности недействительных документов в начале, включая только что аннулированный документ и другие ранее аннулированные документы.
3. Восстановление пространства, занятого этой идентифицированной подпоследовательностью.

Где и как применяется

Изобретение является фундаментальной частью инфраструктуры хранения данных Google.

CRAWLING – Сканирование и Сбор данных
На этом этапе данные собираются и передаются в систему обработки. Эффективность репозитория, описанная в патенте, позволяет быстро принимать поток новых и обновленных документов.

INDEXING – Индексирование и извлечение признаков
Это основная область применения патента. Он описывает архитектуру Tokenspace Repository, в котором хранятся документы (в виде токенов) и инвертированный индекс (Tokenspace Inverted Index). Процессы записи (Write Processors) используют описанные механизмы для обновления репозитория, а механизмы Treadmilling и Garbage Collection используются для поддержания целостности и эффективности хранилища.

RANKING / QUNDERSTANDING
Прямого влияния на алгоритмы нет, но система обеспечивает инфраструктуру, позволяющую процессорам запросов (Query Processors) быстро и непрерывно получать доступ к актуальным данным в Tokenspace Repository и индексе.

Входные данные:

• Новые или обновленные документы из Document Repository.
• Команды на аннулирование старых версий документов.
• Данные о границах документов и статусе их действительности.

Выходные данные:

• Обновленный Tokenspace Repository и Tokenspace Inverted Index.
• Восстановленное (освобожденное) пространство хранения.

На что влияет

Патент влияет на инфраструктуру хранения, поэтому он затрагивает:

• Все типы контента, запросов и ниш: Поскольку это базовый уровень хранения, он применяется ко всем данным, которые хранятся в этом типе репозитория.
• Свежесть (Freshness): Главное влияние на поиск заключается в том, что эта система позволяет Google поддерживать высокую скорость обновления индекса (низкую задержку между изменением документа и его доступностью для поиска) при огромных масштабах данных.

Когда применяется

• Обновление документов: Применяется постоянно, когда в систему поступают новые версии документов.
• Treadmilling: Применяется периодически для управления пространством хранения и предотвращения фрагментации. В патенте указано, что процесс может выполняться для обработки предопределенного количества документов в единицу времени.
• Garbage Collection: Активируется после завершения Epoch, когда система может гарантировать, что удаляемые данные больше не используются активными запросами.

Пошаговый алгоритм

Процесс А: Обновление документа

1. Получение новой версии: Система получает новую (вторую) версию документа.
2. Запись в репозиторий: Вторая версия сохраняется в Tokenspace Repository (в конец FIFOArray), но пока за пределами доступного диапазона (Accessible Range).
3. Обновление индекса: Индексные записи обновляются для включения позиций токенов второй версии.
4. Активация новой версии: Система захватывает блокировку (Synchronization Lock) и обновляет Accessible Range, чтобы включить вторую версию. Блокировка снимается. Теперь новые запросы видят новую версию.
5. Инвалидация старой версии: Первая версия помечается как недействительная (Invalidated). Она остается физически в репозитории для завершения старых запросов.

Процесс Б: Treadmilling и восстановление пространства

1. Идентификация кандидата: Система идентифицирует действительный документ в начале (front end) репозитория.
2. Копирование (Treadmilling): Копия этого документа добавляется в конец (back end) репозитория. Ей присваивается новый локальный идентификатор.
3. Обновление индекса: В индекс добавляются записи для скопированного документа.
4. Инвалидация оригинала: Оригинальный документ в начале репозитория помечается как недействительный.
5. Консолидация мусора: Система идентифицирует непрерывный блок недействительных документов в начале репозитория (включая только что аннулированный и любые смежные с ним).
6. Планирование удаления: Этот блок добавляется в список сборки мусора (Garbage Collection List) для текущей Epoch.
7. Физическое удаление (Асинхронно): Когда все запросы, которые могли использовать этот блок данных, завершены (счетчик потоков для соответствующей Epoch достигает нуля), система физически удаляет данные и восстанавливает пространство. Доступный диапазон (Accessible Range) обновляется, смещая начало репозитория.

Какие данные и как использует

Патент описывает систему управления хранением и фокусируется на инфраструктурных данных, а не на контенте документов или факторах ранжирования.

Данные на входе

• Технические факторы:
  • Статус действительности документа (Valid/Invalid).
  • Границы документов (Document Boundaries).
  • Локальные и глобальные идентификаторы документов (LDocID, GDocID).
  • Позиции токенов (TokenPos) и смещения в FIFOArray.
• Системные данные:
  • Счетчики активных потоков (ThreadCount) для каждой Epoch.
  • Текущая эпоха (Current Epoch).
  • Доступный диапазон репозитория (Accessible Range).

Какие метрики используются и как они считаются

В патенте не упоминаются метрики, связанные с ранжированием или качеством контента. Используются инфраструктурные метрики:

• BeginRepositoryPos / EndRepositoryPos: Метрики, определяющие начало и конец доступного диапазона репозитория.
• ThreadCount: Счетчик активных поисковых потоков (запросов), ассоциированный с определенной Epoch. Используется для определения безопасности удаления данных. Данные удаляются, когда счетчик достигает предопределенного значения (обычно 0).
• Epoch Indicator: Индикатор для отслеживания временных периодов и управления жизненным циклом данных.

1. Патент чисто инфраструктурный: Он описывает внутренние механизмы хранения, обновления и очистки данных в Google. Из него нельзя сделать выводов о факторах ранжирования или тактиках SEO-оптимизации.
2. Приоритет эффективности и доступности: Система разработана для обеспечения максимальной пропускной способности при обновлении индекса и минимальных задержек при обработке запросов. Использование FIFOArray и минимизация блокировок (Locks) критически важны для этого.
3. Механизм обеспечения свежести: Этот патент раскрывает техническую основу того, как Google может обеспечивать высокую свежесть (Freshness) индекса. Обновления обрабатываются путем добавления новых версий и отложенного удаления старых, что позволяет быстро сделать новый контент доступным для поиска.
4. Treadmilling как метод дефрагментации: Treadmilling — это специфический способ борьбы с фрагментацией в структуре данных типа FIFO. Он позволяет избежать дорогостоящих операций удаления из середины хранилища, консолидируя "мусор" в начале для эффективного удаления.
5. Безопасное удаление данных: Использование механизма Epochs и счетчиков потоков гарантирует, что данные не будут удалены до тех пор, пока они используются активными поисковыми запросами, обеспечивая стабильность системы.

Best practices (это мы делаем)

Патент скорее инфраструктурный и не дает прямых практических выводов для тактического SEO. Однако он дает важный контекст для стратегического планирования:

• Рассчитывайте на быструю индексацию: Эта инфраструктура создана для минимизации задержек. SEO-специалисты должны исходить из того, что Google способен очень быстро обнаружить и обработать обновления контента. Это подчеркивает важность своевременного обновления информации на сайте.
• Обеспечивайте техническую доступность: Чтобы контент быстро попадал в этот эффективный репозиторий, он должен быть легко доступен для краулинга и рендеринга. Техническое SEO (оптимизация скорости загрузки, чистый код, корректные ответы сервера) помогает системе быстрее обработать и сохранить документ.

Worst practices (это делать не надо)

• Полагаться на задержки в индексации: Стратегии, основанные на предположении, что Google медленно обновляет индекс (например, временное размещение нежелательного контента в надежде, что он не сразу попадет в индекс), неэффективны, учитывая инфраструктуру, направленную на максимальную свежесть.

Стратегическое значение

Патент подтверждает огромные инвестиции Google в базовую инфраструктуру для достижения масштабируемости, скорости и свежести. Для Senior SEO-специалистов это напоминание о том, что Google — это в первую очередь инженерная компания с высокооптимизированными системами обработки данных. Понимание этой инфраструктуры помогает трезво оценивать скорость реакции поисковой системы на изменения на сайтах.

Практические примеры

Практических примеров применения в SEO нет, так как патент описывает внутреннюю систему управления базами данных Google.