Как Google использует гибридную архитектуру индекса (RAM+SSD) для баланса скорости, свежести и стоимости хранения данных

Описание

Какую задачу решает

Патент решает фундаментальную инфраструктурную проблему индексирования и поиска в массивных наборах данных (например, масштаба Интернета или крупных платформ видеохостинга). Проблема заключается в противоречии между стоимостью, скоростью и возможностью обновления хранилища:

• Низколатентное хранилище (например, RAM): Обеспечивает быстрый поиск и поддерживает динамические обновления индекса, но имеет слишком высокую операционную стоимость для хранения миллиардов элементов.
• Высоколатентное хранилище (например, SSD): Имеет приемлемую стоимость, но медленнее и часто плохо поддерживает динамические (онлайн) обновления индекса.

Цель изобретения — создать архитектуру, которая одновременно масштабируема, экономична и способна поддерживать актуальность индекса.

Что запатентовано

Запатентована bifurcated storage architecture (раздвоенная архитектура хранения) — гибридная система индексирования, которая разделяет индекс на две части, хранящиеся на разных типах носителей. Система поддерживает «свежий» (fresh) индекс на низколатентном носителе (например, RAM) для обработки новых данных и мгновенных обновлений, и «стабильный» (stable) индекс на высоколатентном, но более дешевом носителе (например, SSD) для хранения основного объема данных. Это позволяет оптимизировать затраты, сохраняя возможность быстрого обновления индекса.

Как это работает

Система работает циклично, используя storage periods (периоды хранения):

• Индексирование новых данных: В течение периода хранения (например, 30 дней) все новые элементы данных индексируются в первый («свежий») индекс, хранящийся в RAM.
• Хранение основного массива: Существующие данные хранятся во втором («стабильном») индексе на SSD.
• Перенос данных: По истечении периода хранения данные из «свежего» индекса переносятся в «стабильный». Этот процесс часто включает полный пересчет (recomputing) стабильного индекса.
• Иерархический поиск: Для ускорения поиска по медленному SSD-индексу система использует centroids (центроиды), которые хранятся в быстром RAM. Поиск сначала определяет ближайшие центроиды в RAM, а затем обращается только к соответствующим разделам (partitions) данных на SSD.

Актуальность для SEO

Высокая. Патент опубликован в 2024 году и решает актуальные проблемы инфраструктуры, связанные с ростом объемов данных и переходом к векторному поиску (использованию embeddings). Предложенная гибридная архитектура является ключевым элементом для эффективной работы современных поисковых систем в условиях ограниченных ресурсов.

Важность для SEO

Патент имеет низкое прямое влияние на SEO (15/100). Это инфраструктурный патент, который описывает, как Google эффективно хранит и извлекает данные с технической точки зрения, а не то, как он их ранжирует или какие факторы качества использует. Он не предлагает конкретных действий для SEO-специалистов, но дает важное понимание того, как Google управляет балансом между свежестью контента (fresh index в RAM) и стабильностью основного индекса (stable index на SSD).

Детальный разбор

Термины и определения

Bifurcated storage architecture (Раздвоенная архитектура хранения)

Гибридная система хранения данных, использующая два разных типа носителей (например, быстрый/дорогой и медленный/дешевый) для хранения разных частей индекса.

Centroids (Центроиды)

Представления, которые соответствуют разделам (partitions) данных в стабильном индексе. Хранятся в низколатентной памяти (RAM) и используются как «ярлыки» для ускорения поиска (иерархического поиска) по основному индексу.

Embeddings (Векторные представления)

Изученные представления элементов данных (например, текста, изображений, видео), выраженные в виде числовых векторов в латентном пространстве. Упоминаются как тип данных, хранящихся в индексе.

First data index / Fresh index (Первый индекс данных / Свежий индекс)

Индекс, хранящийся на низколатентном носителе (например, RAM). Содержит новые элементы данных, добавленные в течение текущего периода хранения. Поддерживает динамические обновления.

Hierarchical Retrieval (Иерархический поиск)

Техника поиска (например, поиск ближайшего соседа), при которой сначала идентифицируются ближайшие центроиды (в RAM), а затем поиск ограничивается только теми разделами данных (на SSD), которые связаны с этими центроидами.

High-latency media (Высоколатентный носитель)

Носитель с более высокой задержкой доступа, но более низкой стоимостью (например, SSD или «flash»). Используется для стабильного индекса.

Low-latency media (Низколатентный носитель)

Носитель с низкой задержкой доступа, но высокой стоимостью (например, RAM). Используется для свежего индекса и хранения центроидов.

Second data index / Stable index (Второй индекс данных / Стабильный индекс)

Индекс, хранящийся на высоколатентном носителе (например, SSD). Содержит основную массу существующих элементов данных. Обновляется периодически, часто путем полного пересчета.

Storage Period (Период хранения)

Определенный промежуток времени (например, день, неделя, месяц), в течение которого новые данные накапливаются в свежем индексе перед переносом в стабильный индекс.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод индексирования массивного набора данных с использованием раздвоенной архитектуры.

1. Система поддерживает Первый индекс на носителе с низкой латентностью.
2. Система поддерживает Второй индекс на носителе с высокой латентностью (содержит существующие данные).
3. В течение Storage Period система получает новые элементы данных.
4. Новые элементы индексируются (в виде представлений) в Первый индекс.
5. Во время или после окончания Storage Period представления из Первого индекса переносятся во Второй индекс.

Claim 2 (Зависимый): Уточняет типы носителей.

1. Первый носитель — это оперативная память (RAM).
2. Второй носитель — это твердотельный накопитель (SSD).

Claim 3 (Зависимый): Описывает механизм ускорения поиска.

1. Система хранит множество Centroids в Первом носителе (RAM).
2. Эти центроиды соответствуют разделам (partitions) данных во Втором индексе (SSD).

Claim 4 (Зависимый от 3): Детализирует процесс иерархического поиска (nearest neighbor search).

1. В ответ на запрос система идентифицирует один или несколько центроидов в RAM.
2. Затем система получает доступ только к тем представлениям на SSD, которые находятся в разделах, связанных с идентифицированными центроидами.

Claim 5 (Зависимый): Уточняет процесс переноса данных.

1. Перенос представлений из Первого индекса во Второй включает полный пересчет (recomputing) всего Второго индекса для включения новых представлений.

Claim 6 (Зависимый): Уточняет тип индексируемых данных.

1. Представления данных являются изученными значениями векторных представлений (learned embedding values) в латентном пространстве.

Где и как применяется

Изобретение описывает фундаментальную архитектуру хранения и обновления поискового индекса.

INDEXING – Индексирование и извлечение признаков
Это основная область применения патента. Он определяет физическую структуру индекса (разделение на RAM и SSD) и процесс его обновления.

• Новый контент сначала попадает в Fresh Index (RAM).
• Основной массив данных находится в Stable Index (SSD).
• Процесс переноса данных из RAM в SSD и пересчет (recomputing) основного индекса происходят периодически.
• Извлечение признаков (генерация embeddings) происходит перед добавлением в индекс.

RANKING – Ранжирование (Этап Retrieval/Отбора кандидатов)
Патент описывает, как происходит эффективный отбор кандидатов из этой гибридной структуры с помощью Hierarchical Retrieval.

• Система использует Centroids в RAM для быстрого определения релевантных разделов (partitions) данных на SSD.
• Это позволяет избежать полного сканирования медленного SSD-индекса при каждом запросе.

Входные данные:

• Новые элементы данных (веб-страницы, видео, изображения и т.д.).
• Существующий массив данных.
• Характеристики хранилищ (латентность RAM и SSD).

Выходные данные:

• Поддерживаемый гибридный индекс (Fresh и Stable).
• Результаты поиска, полученные с помощью иерархического поиска.

На что влияет

• Масштаб данных: Влияет на системы, работающие с массивными наборами данных (Internet-scale datasets), такие как основной поиск Google или крупные платформы (например, YouTube).
• Типы контента: Влияет на любой контент, который может быть представлен в виде embeddings (Claim 6) — текст, изображения, видео, аудио.
• Специфические запросы: Особенно полезно для сценариев с низкой частотой запросов (low QPS), где требуется поиск по всему массиву данных (например, обнаружение нарушений), а также повышает эффективность сценариев с высокой частотой запросов (high QPS) за счет иерархического поиска.

Когда применяется

• Триггеры активации (Индексирование): Появление нового элемента данных активирует добавление в Fresh Index.
• Временные рамки (Перенос данных): Перенос данных из Fresh Index в Stable Index происходит по истечении Storage Period. Этот период может быть фиксированным (например, день, неделя, месяц) или динамическим (например, при накоплении порогового объема данных).
• Промежуточный перенос: В патенте упоминается возможность переноса данных из RAM в SSD до истечения основного периода, если данные находятся в RAM дольше порогового времени (например, перенос через 7 дней при общем периоде в 30 дней). В этом случае индексы могут частично перекрываться.

Пошаговый алгоритм

Процесс А: Управление Индексом (Indexing Management)

1. Инициализация: Поддержание Первого индекса (RAM, низкая латентность) и Второго индекса (SSD, высокая латентность).
2. Начало Периода Хранения: Запуск нового цикла Storage Period.
3. Получение новых данных: Система обнаруживает или получает новый элемент данных.
4. Индексирование в Свежий Индекс: Представление (embedding) нового элемента добавляется в Первый индекс (RAM).
5. Проверка условий переноса (в течение периода): Система оценивает элементы в Первом индексе. Если элемент находится там дольше порогового времени (но период еще не истек), он может быть скопирован во Второй индекс, оставаясь при этом и в Первом (параллельное хранение).
6. Окончание Периода Хранения: Storage Period истекает.
7. Финальный перенос и пересчет: Все представления из Первого индекса переносятся во Второй. Это часто включает полный пересчет (recomputing) Второго индекса и обновление Centroids.
8. Очистка: Первый индекс очищается (в некоторых вариантах реализации), и процесс возвращается к шагу 2.

Процесс Б: Обработка Запроса (Hierarchical Retrieval)

1. Получение запроса: Система получает поисковый запрос.
2. Анализ Центроидов: Запрос сравнивается с Centroids, хранящимися в RAM.
3. Идентификация разделов: Определяются ближайшие центроиды и соответствующие им разделы (partitions) во Втором индексе (SSD).
4. Целевой доступ к SSD: Система обращается только к идентифицированным разделам на SSD, избегая полного сканирования.
5. Поиск в Свежем Индексе: Параллельно выполняется поиск по Первому индексу (RAM).
6. Агрегация результатов: Результаты из Первого и Второго индексов объединяются и ранжируются.

Какие данные и как использует

Данные на входе

Патент фокусируется на инфраструктуре и не детализирует факторы ранжирования. Он использует следующие типы данных:

• Контентные факторы: Исходные элементы данных (веб-страницы, изображения, видео, файлы, сущности), которые обрабатываются для создания представлений.
• Технические факторы: Характеристики оборудования — латентность (задержка доступа) и операционная стоимость носителей (RAM и SSD). Эти факторы определяют архитектуру.

Какие метрики используются и как они считаются

• Storage Period (Период хранения): Определенный временной интервал для накопления свежих данных (например, 30 дней).
• Threshold amount of time (Пороговое время): Более короткий интервал внутри периода хранения (например, 7 дней), который может служить триггером для промежуточного переноса данных из RAM в SSD.
• Embeddings (Векторные представления): Метрика, используемая для представления контента. Это learned embedding values в латентном пространстве (Claim 6).
• Centroids (Центроиды): Вычисляемые представления разделов данных. Могут рассчитываться с использованием алгоритмов кластеризации (например, k-means partitioning, как упомянуто в описании).
• Latency (Латентность): Метрика производительности оборудования, используемая для разделения носителей на первый (низкая латентность) и второй (высокая латентность) типы.

Выводы

Патент описывает внутренние процессы Google, связанные с инфраструктурой хранения данных, без прямых рекомендаций для SEO. Основные выводы для понимания работы поиска:

1. Баланс между свежестью, скоростью и стоимостью: Google активно управляет компромиссом между необходимостью быстро индексировать новый контент (свежесть), быстро отвечать на запросы (скорость) и стоимостью оборудования. Использование гибридной модели RAM+SSD является ключевым решением.
2. Двухуровневая актуальность индекса: Индекс разделен на Fresh Index (обновляется мгновенно) и Stable Index (обновляется периодически). Это означает, что основной массив данных не обновляется в реальном времени.
3. Периодический пересчет индекса: Перенос данных из свежего индекса в стабильный часто требует полного пересчета (recomputing) стабильного индекса. Это ресурсоемкий процесс, который происходит периодически (Storage Periods).
4. Подтверждение использования Embeddings: Патент явно указывает, что индексируемые представления являются learned embedding values. Это подтверждает важность векторного поиска в современных системах для различных типов контента.
5. Иерархический поиск для эффективности: Для работы с огромными индексами на медленных носителях Google использует Hierarchical Retrieval. Система не сканирует весь индекс при запросе, а использует «ярлыки» (Centroids) в RAM для быстрого определения нужных разделов на SSD.

Практика

Best practices (это мы делаем)

Патент скорее инфраструктурный и не дает прямых практических выводов для SEO. Однако он подтверждает некоторые базовые принципы:

• Понимание задержек индексирования: Патент подтверждает наличие «свежего» слоя (Fresh Index), что позволяет Google быстро обрабатывать актуальный контент. Однако включение в основной «стабильный» индекс (Stable Index) и полный пересчет всех сигналов может происходить с задержкой, определяемой Storage Period. SEO-специалистам следует учитывать эти потенциальные задержки при мониторинге изменений.
• Адаптация к векторному поиску: Поскольку система хранит embeddings, стратегически важно создавать контент, который хорошо интерпретируется семантически, а не только по ключевым словам. Это повышает вероятность того, что контент будет правильно кластеризован (связан с релевантными Centroids) и эффективно найден.

Worst practices (это делать не надо)

Этот патент не направлен на борьбу с какими-либо SEO-манипуляциями или тактиками. Он описывает архитектуру хранения данных.

Стратегическое значение

Стратегическое значение патента заключается в понимании инфраструктурных ограничений и решений Google. Он показывает, что эффективность и стоимость являются важнейшими факторами при проектировании поисковых систем масштаба Интернета. Патент также подчеркивает переход от традиционного индексирования к системам, основанным на векторных представлениях (embeddings) и иерархическом поиске, что является основой для современных функций поиска (например, мультимодальный поиск).

Практические примеры

Практических примеров применения для SEO нет, так как патент не описывает сигналы ранжирования или контентные стратегии, на которые могут повлиять SEO-специалисты.

Вопросы и ответы