Как Google перемещает данные между быстрой и медленной памятью в индексе без остановки поиска

Термины и определения

Associated Item (Связанный элемент)

Данные, связанные с ключевым элементом. В контексте поискового индекса это идентификаторы документов (DocIDs), содержащих данный термин.

Frequency Map (Карта частотности)

Структура данных, отслеживающая общее количество Associated Items для каждого Key Item. Используется для определения, когда элемент должен мигрировать между уровнями.

Indexing Tier-Map (Карта уровней для индексирования)

Карта, используемая системой индексирования (Indexer) для определения уровня, на который следует записывать новые данные. Сопоставляет каждый Key Item только с одним уровнем в конкретный момент времени.

Key Item (Ключевой элемент)

Основной элемент данных, который индексируется. В контексте поискового индекса это обычно термин или фраза.

Segment (Сегмент)

Логическая или физическая часть поискового индекса. Индекс разделен на множество сегментов для облегчения управления и обновления.

Segment Refresher (Обновитель сегментов)

Процесс или модуль, который периодически обновляет данные в сегменте. Во время этого процесса (Segment Refresh) происходит физическая миграция данных между Tiers на основе актуальной Indexing Tier-Map.

Serving Tier-Map (Карта уровней для обслуживания запросов)

Карта, используемая поисковой системой при обработке запросов для определения местоположения всех существующих данных. Может сопоставлять Key Item с несколькими уровнями одновременно (во время миграции).

Tier (Уровень)

Раздел индекса для хранения данных. Уровни могут располагаться на разных типах памяти (например, Disk, Flash, RAM). Более частые элементы хранятся на более высоких (быстрых) уровнях.

Tier Limit / Tier Boundary (Лимит уровня)

Максимальное или минимальное количество Associated Items, которое может иметь Key Item на данном Tier.

Ключевые утверждения (Анализ Claims)

Патент описывает внутренние процессы Google без прямых рекомендаций для SEO.

Claim 1 (Независимый пункт): Описывает основной метод динамической миграции данных.

1. Система хранит две карты: Indexing Tier-Map (назначает один уровень) и Serving Tier-Map (назначает один или более уровней). Каждый уровень имеет лимит.
2. Идентификация текущего (первого) уровня для элемента на основе Indexing Tier-Map.
3. Определение, приближается ли количество связанных элементов к лимиту первого уровня.
4. Если ДА: Обновление Indexing Tier-Map для назначения элементу второго уровня.
5. Получение новых данных для этого элемента.
6. Сохранение новых данных на втором уровне.
7. Обновление Serving Tier-Map так, чтобы элемент был назначен и первому (старые данные), и второму уровню (новые данные).
8. При получении запроса использование Serving Tier-Map для извлечения данных с обоих уровней.

Claim 3 (Зависимый от 1): Детализирует процесс завершения миграции (происходящий во время обновления сегментов).

1. Обновление связанных элементов, хранящихся на первом уровне.
2. В ответ на это обновление, перемещение этих элементов с первого уровня на второй.
3. Обновление Serving Tier-Map для удаления назначения элемента первому уровню.

Claim 18 (Независимый пункт): Описывает архитектуру системы индексирования, взаимодействующую с обслуживающим кластером (Serving Cluster), где индекс организован в сегменты (Segments) и уровни (Tiers). Он повторяет логику Claim 1 в контексте распределенной системы.

Где и как применяется

Изобретение является частью инфраструктуры, поддерживающей этапы индексирования и обслуживания запросов (Retrieval).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента.

• Запись данных: Indexer (Индексатор) при обработке документов использует Indexing Tier-Map, чтобы определить, на какой Tier следует записать новые данные.
• Управление картами: Tier-Map Generator анализирует Frequency Map и динамически обновляет Indexing Tier-Map, если частотность термина достигает лимита уровня, инициируя миграцию.
• Фоновая миграция: Компонент Segment Refresher выполняет плановые обновления сегментов. Во время этого процесса он использует текущую Indexing Tier-Map для физического перемещения старых данных между уровнями внутри сегмента и обновляет Serving Tier-Map.

RANKING – Ранжирование (Этап Retrieval/Serving)
На этапе получения кандидатов система должна эффективно найти все документы.

• Поиск данных: Search System использует Serving Tier-Map, чтобы определить, в каких Tiers и Segments искать данные для терминов запроса. Если элемент находится в процессе миграции, система считает данные из всех указанных уровней.

Входные данные:

• Новые или обновленные документы.
• Frequency Map (текущая частотность терминов).
• Пределы уровней (Tier Limits).

Выходные данные:

• Обновленные сегменты индекса с данными, размещенными на соответствующих уровнях.
• Обновленные Indexing Tier-Map и Serving Tier-Map.

На что влияет

Патент влияет исключительно на внутреннюю инфраструктуру и производительность Google:

• Скорость доступа к данным: Механизм Tiers подразумевает, что более частые термины хранятся на более быстрой памяти (например, RAM или Flash), а редкие — на более медленной (например, HDD). Это ускоряет обработку популярных запросов.
• Надежность и доступность: Позволяет обновлять структуру индекса без остановки обслуживания запросов и без потери данных при достижении лимитов.

Патент не влияет на конкретные типы контента, тематики (YMYL и т.д.), типы запросов или языковые аспекты с точки зрения ранжирования.

Когда применяется

• Триггеры активации (Миграция): Алгоритм миграции активируется, когда количество Associated Items (документов) для Key Item (термина) приближается к верхнему или нижнему лимиту (Tier Limit) его текущего уровня хранения.
• Пороговые значения: Приближение к лимиту может определяться как нахождение в пределах определенного процента (например, 2%) или количества от лимита (predetermined quantity).
• Частота применения (Обновление карт): Indexing Tier-Map может обновляться непрерывно по мере индексирования новых данных или периодически (например, ежедневно).
• Временные рамки (Физическая миграция): Физическое перемещение данных происходит во время планового обновления сегментов (Segment Refresh). Это обновление выполняется на скользящей основе (rolling basis). Полная миграция может занять несколько дней.

Пошаговый алгоритм

Процесс А: Управление записью и инициация миграции

1. Идентификация элемента: Система индексирования идентифицирует ключевой элемент (термин).
2. Проверка частотности и лимитов: Система проверяет Frequency Map и сравнивает количество связанных элементов с лимитами текущего уровня (определенного по Indexing Tier-Map).
3. Принятие решения: Определяется, приближается ли количество к лимиту.
   • Если лимит НЕ достигнут: Новые данные записываются на текущий уровень.
   • Если лимит достигнут: Инициируется миграция (Шаг 4).
4. Обновление Indexing Tier-Map: Карта обновляется, назначая элементу следующий уровень (Новый уровень).
5. Запись на новый уровень: Новые данные записываются на Новый уровень.
6. Обновление Serving Tier-Map: В карту добавляется указание на Новый уровень. Теперь элемент временно ассоциирован со Старым и Новым уровнями.

Процесс Б: Обработка запросов (Serving)

1. Получение запроса.
2. Определение локаций: Система использует Serving Tier-Map для определения всех уровней, где хранятся данные элемента.
3. Извлечение данных: Данные извлекаются со всех указанных уровней (Старого и Нового, если идет миграция).

Процесс В: Миграция данных (Segment Refresh)

1. Инициация обновления сегмента: Запускается плановое обновление сегмента индекса.
2. Определение уровней: Для каждого элемента в сегменте система сравнивает текущий уровень хранения в сегменте (Старый уровень) с целевым уровнем по актуальному Indexing Tier-Map (Новый уровень).
3. Физическая миграция: Если уровни различаются, данные физически перемещаются со Старого уровня на Новый в рамках этого сегмента.
4. Завершение миграции: Система проверяет, остались ли другие сегменты, содержащие данные этого элемента на Старом уровне. Если нет, Старый уровень удаляется из Serving Tier-Map для этого элемента.

Какие данные и как использует

Данные на входе

Патент является чисто инфраструктурным и не использует типичные SEO-факторы (контентные, ссылочные, поведенческие, E-E-A-T и т.д.).

Используются следующие системные данные:

• Структурные данные индекса: Key Items (Термины/Фразы) и Associated Items (Идентификаторы документов).
• Метаданные индекса: Segments (Сегменты индекса) и Tiers (Уровни хранения).
• Карты соответствия: Indexing Tier-Map, Serving Tier-Map, Frequency Map.
• Конфигурационные данные: Tier Limits (Лимиты емкости для каждого уровня).

Какие метрики используются и как они считаются

• Frequency (Частотность): Метрика, определяющая количество Associated Items для конкретного Key Item. Рассчитывается и хранится в Frequency Map.
• Tier Limits (Лимиты уровней): Предопределенные пороговые значения (максимальные и минимальные) для каждого Tier.
• Метод сравнения: Система сравнивает Frequency с Tier Limits. Миграция начинается, если частотность «приближается» (approaches) к лимиту (например, находится в пределах X% от лимита).

1. Инфраструктурный фокус, а не ранжирование: Патент описывает критически важный инженерный механизм для обеспечения масштабируемости, эффективности и бесперебойной работы поискового индекса Google. Он не имеет отношения к алгоритмам ранжирования.
2. Многоуровневый индекс (Tiered Index): Подтверждается использование многоуровневой структуры хранения. Данные организованы в Tiers на основе частотности: более частые термины хранятся на более быстрых уровнях хранения для оптимизации производительности.
3. Разделение логики чтения и записи: Ключевое изобретение — разделение управления записью (Indexing Tier-Map) и чтением (Serving Tier-Map). Это позволяет Google динамически изменять физическую организацию индекса «на лету», не прерывая обслуживание запросов.
4. Постепенная миграция данных: Миграция данных между уровнями происходит не мгновенно. Во время миграции данные одного и того же термина могут физически находиться на разных уровнях.
5. Обновление по сегментам (Rolling Segment Refreshes): Патент подтверждает механизм обновления индекса по частям (Segments) на скользящей основе. Полное обновление индекса или полная миграция данных занимает время, равное циклу обновления всех сегментов (что может занимать дни).

ВАЖНО: Патент является инфраструктурным и не дает практических выводов или рекомендаций для SEO-стратегий, направленных на улучшение ранжирования.

Best practices (это мы делаем)

Прямых рекомендаций для SEO из этого патента нет.

Единственный полезный вывод для практики — это понимание механики обновления индекса:

• Управление ожиданиями при мониторинге: Понимание концепции Rolling Segment Refreshes объясняет, почему изменения на сайте (новые страницы, изменения контента, удаление страниц) не мгновенно и не одновременно отражаются в индексе Google. Обновление распространяется по мере того, как система обновляет соответствующие сегменты индекса, что может занимать дни.

Worst practices (это делать не надо)

Не применимо. Патент не направлен против каких-либо SEO-тактик и не описывает механизмы борьбы с манипуляциями.

Стратегическое значение

Стратегическое значение для SEO низкое. Патент важен для инженеров, разрабатывающих поисковые системы, но не влияет на работу SEO-специалистов. Он дает представление о высокой сложности инфраструктуры Google и инженерных решениях, необходимых для поддержания её эффективности и надежности при глобальном масштабе.

Практические примеры

Практических примеров для SEO нет. Ниже приведен инженерный пример для иллюстрации работы механизма.

Сценарий: Термин набирает популярность (Инфраструктурный пример)

1. Исходное состояние: Термин "РедкийТермин" встречается в 99 документах. Он хранится на Уровне 0 (Медленный диск, Лимит 100). Индекс состоит из 4 сегментов (A, B, C, D). Обновление занимает 4 дня (1 сегмент в день).
2. Триггер: Публикуется много новых статей. Система определяет, что лимит Уровня 0 скоро будет превышен.
3. Немедленное действие: Indexing Tier-Map обновляется до Уровня 1 (Быстрый SSD). Serving Tier-Map обновляется до {Уровень 0, Уровень 1}.
4. Запись новых данных: Новые записи сохраняются на Уровне 1.
5. Обработка запроса: Пользователь ищет "РедкийТермин". Система ищет его и на Уровне 0 (старые записи), и на Уровне 1 (новые записи).
6. Дни 1-4 (Обновление Сегментов A-D): Во время планового обновления каждого сегмента система видит разницу между Indexing Tier-Map (Уровень 1) и фактическим хранением (Уровень 0) и перемещает данные в этом сегменте.
7. Завершение: После обновления Сегмента D система видит, что на Уровне 0 данных больше нет. Serving Tier-Map обновляется до Уровня 1. Миграция завершена без простоя.