Как Google использует гибридную архитектуру индекса (Hybrid Sharding) для баланса скорости, эффективности и обновления поиска

Термины и определения

Base Documents (Базовые документы)

Набор документов, оптимизированных для снижения сетевого трафика. Термины из этих документов обычно индексируются через Document Sharding и хранятся в быстрой памяти (RAM/Flash).

Delta File / Change Information (Дельта-файл / Информация об изменениях)

Данные, генерируемые во время обновления индекса. Включают Translation Tables, списки вставок/удалений. Позволяют системе обслуживать старую версию индекса во время загрузки новой.

Document Atomicity (Атомарность документа)

Принцип, гарантирующий, что запрос обрабатывается по целостной версии документа (либо полностью по старой, либо полностью по новой), исключая смешивание данных во время обновления.

Document Sharding (Шардирование по документам)

Метод разделения индекса, при котором Posting Lists для терминов документа хранятся на том же узле (Leaf), что и сам документ.

Extended Documents (Расширенные документы)

Документы, не входящие в набор Base Documents. Термины из этих документов обычно обрабатываются через Term Sharding.

Hybrid-Sharded Index (Гибридно-шардированный индекс)

Архитектура индекса, которая одновременно использует шардирование по документам и шардирование по терминам для балансировки нагрузки на I/O и сеть.

Leaf Node (Листовой узел)

Вычислительное устройство в распределенной системе (Index Serving Cluster), хранящее часть индекса.

Local Document Identifier (Локальный идентификатор документа)

Идентификатор, присваиваемый документу конкретным Leaf Node. Он короче глобального ID и может меняться при обновлениях индекса на узле.

Root Node / Query Engine (Корневой узел)

Сервер, который принимает запросы, координирует их обработку, взаимодействует с Leaf Nodes и агрегирует результаты.

Shuffle (Перемешивание)

Процесс обмена частями обновленных Term-sharded posting lists между узлами во время обновления индекса.

Term Sharding (Шардирование по терминам)

Метод разделения индекса, при котором полный Posting List для термина хранится на узле, назначенном этому термину, независимо от того, где хранятся сами документы.

Translation Table (Таблица трансляции)

Таблица, которая маппит старые Local Document IDs на новые (Forward Translation) или наоборот (Inverse Translation) после обновления содержимого узла.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на механизме обновления гибридного индекса и архитектуре, которая его поддерживает.

Claim 1 (Независимый пункт): Описывает метод обновления гибридного индекса с фокусом на обеспечении доступности и согласованности.

1. Система получает обновления для Hybrid-Sharded Index на первом листовом узле.
2. Первый узел генерирует замещающие списки публикаций (replacement posting lists) и информацию об изменениях (change information / Delta File).
3. Замещающие списки делятся на порции, каждая из которых предназначена для соответствующего второго листового узла.
4. Порции отправляются на соответствующие вторые узлы (Shuffle).
5. На принимающем узле: полученная порция объединяется (Merge) в обновленный список.
6. Обновленный список загружается (Swap) в память.
7. Критический элемент: Во время загрузки (Swap) система использует change information для ответа на запросы, используя СТАРУЮ версию (older version) гибридного индекса. Это обеспечивает атомарность.

Claim 10 (Независимый пункт): Описывает архитектуру системы и логику генерации обновлений на листовом узле (Pre-Shuffle).

1. Система содержит узлы с document-sharded (для первого набора документов) и term-sharded списками.
2. Первый узел получает обновление.
3. Определяется, затрагивает ли обновление локальные document-sharded списки. Если да, они обновляются локально.
4. Определяется, затрагивает ли обновление термин, назначенный второму узлу (term-sharded термин из второго набора документов).
5. Если да, первый узел генерирует обновленную порцию term-sharded списка и change information, и предоставляет их второму узлу.

Claim 22 (Независимый пункт): Описывает процесс слияния (Merge) данных после обмена (Post-Shuffle).

1. Первый листовой узел (Leaf 1) отвечает за термин T1.
2. Leaf 1 получает обновленную порцию term-sharded списка для T1 от второго узла (Leaf 2) и от третьего узла (Leaf 3).
3. Leaf 1 генерирует новый полный term-sharded posting list для T1, используя полученные порции.

Где и как применяется

Изобретение является фундаментальной частью инфраструктуры поиска Google.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Здесь происходит построение и обновление индекса:

• Классификация: Система классифицирует документы как Base или Extended (критерии не описаны в патенте).
• Шардирование: Определяется способ хранения постинг-листов (Document-sharded или Term-sharded) и тип хранилища (Tiering: RAM, Flash, Disk).
• Обновление: Весь сложный механизм обновления (Delta Files, Shuffle, Merge, Swap) функционирует на этом этапе для поддержания свежести индекса и обеспечения Document Atomicity.

RANKING – Ранжирование (Этап Retrieval)
Архитектура индекса используется для эффективного отбора кандидатов. Query Engine (Root) использует гибридный подход:

• Быстро извлекает полные списки для Term-sharded терминов (часто редких) с одного узла.
• Затем координирует запрос с Leaf Nodes для пересечения с локальными Document-sharded списками (часто частых терминов) и выполнения скоринга.

На что влияет

Патент описывает инфраструктуру хранения и доступа к данным. Он не влияет на конкретные типы контента, запросы, ниши (например, YMYL) или географию выборочно. Он влияет на весь индекс целиком, определяя общую производительность, свежесть и доступность системы.

Когда применяется

• Архитектура индекса (Hybrid Sharding): Активна постоянно.
• Механизм обновления: Активируется, когда Indexing Engine отправляет новые данные в Index Serving Cluster (обычно в пакетном режиме).
• Использование Delta Files: Активируется строго во время фазы замены (Swap) индекса для поддержания доступности системы и обеспечения Document Atomicity. После завершения обновления они игнорируются.

Пошаговый алгоритм

Процесс обновления гибридного индекса (на примере Узла i)

1. Получение обновления: Листовой узел (Leaf i) получает файл обновления для документов, назначенных ему.
2. Назначение локальных ID и генерация таблиц: Leaf i присваивает новые локальные идентификаторы (Local Document IDs) всем своим документам. Генерируются таблицы трансляции (Translation Tables) для маппинга старых и новых ID.
3. Генерация Replacement Index и Delta File: Создается замещающий индекс на основе новых ID. Генерируется Delta File (информация об изменениях).
4. Разделение индекса (Подготовка к Shuffle):
   • Document-Sharded (для Base Docs): Обновленные списки сохраняются локально (например, в резервном слоте памяти).
   • Term-Sharded (для Extended Docs): Замещающий индекс делится на порции для отправки другим узлам. К этим порциям добавляется соответствующая Delta Information.
5. Shuffle (Обмен данными): Leaf i отправляет подготовленные порции соответствующим узлам и одновременно получает порции от других узлов для тех терминов, которые назначены Leaf i.
6. Merge (Слияние): Leaf i объединяет (обычно путем конкатенации) полученные порции для формирования полных Term-Sharded Posting Lists.
7. Swap (Замена индекса): Leaf i загружает новый индекс в рабочую память. Процесс отличается для разных типов памяти (FIG. 7):
   • Диск (Slower-access memory): Delta Information добавляется в конец постинг-листа. Новый список загружается, старый выгружается.
   • RAM/Flash (Faster-access memory): Постинг-листы делятся на срезы (slices) и загружаются по частям. Новый срез верифицируется с использованием реального трафика перед выгрузкой старого среза.
   • Важно: Во время всей фазы Swap система обслуживает запросы, используя новый индекс, НО применяет Delta File (например, Inverse Translation), чтобы результаты соответствовали СТАРОЙ версии индекса.
8. Верификация и Завершение: После верификации Leaf i уведомляет Root о готовности. Система прекращает применять Delta Files и активирует Document-Sharded списки из резервного слота. Обслуживание полностью переходит на новую версию индекса.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на инфраструктуре и не упоминает никаких факторов ранжирования (контентных, ссылочных, поведенческих и т.д.).

• Системные и структурные данные:
  • Глобальные идентификаторы документов (Global Document Identifiers).
  • Локальные идентификаторы документов (Local Document Identifiers).
  • Данные о маппинге: какой узел отвечает за документ, какой узел отвечает за термин.
  • Внутренняя классификация документа как Base или Extended.
  • Posting Lists (списки соответствий терминов и документов).

Какие метрики используются и как они считаются

• Term Popularity Thresholds (Пороги популярности терминов): Упоминается, что популярность термина (частота встречаемости в документах) может влиять на решение о типе шардирования и уровне хранения (Tiering: Disk, Flash, RAM). Конкретные формулы не приведены.
• Local ID Mapping: Использование Forward Translation Tables и Inverse Translation Tables. Метрики рассчитываются как смещение (offset) между старым и новым локальным ID документа во время обновления.

1. Инфраструктурный фокус: Патент описывает исключительно инфраструктуру индекса Google (хранение, доступ, обновление), а не алгоритмы ранжирования. Он не дает практических выводов для SEO-стратегии.
2. Hybrid Sharding как баланс эффективности: Ключевая архитектура — Hybrid-Sharded Index. Она позволяет Google оптимизировать производительность, балансируя между нагрузкой на операции ввода-вывода (I/O) и сетевым трафиком.
3. Внутренняя классификация документов: Система разделяет документы на Base Documents (используют document-sharding, быстрая память) и Extended Documents (используют term-sharding, диск). Критерии этого разделения в патенте не раскрываются.
4. Приоритет доступности и свежести (Zero-Downtime Updates): Описан сложный механизм обновления индекса (Shuffle, Merge, Swap), подчеркивающий стремление Google поддерживать актуальность данных без прерывания работы сервиса.
5. Атомарность и консистентность: Использование Delta Files и Translation Tables во время фазы обновления (Swap) гарантирует Document Atomicity — пользователи видят консистентную версию индекса (старую), пока новая версия полностью не загружена и не верифицирована.

ВАЖНО: Патент является инфраструктурным и не дает практических выводов для SEO. Он описывает внутренние процессы Google без прямых рекомендаций для оптимизации сайтов.

Best practices (это мы делаем)

В патенте нет информации для формирования лучших практик SEO. Он не подтверждает и не опровергает важность каких-либо конкретных тактик, так как он не касается факторов ранжирования или качества контента.

Worst practices (это делать не надо)

В патенте нет информации о неэффективных или опасных SEO-тактиках. Он не направлен против каких-либо манипуляций.

Стратегическое значение

Стратегическое значение патента заключается в понимании сложности и эффективности инфраструктуры Google. Он демонстрирует, как Google решает инженерные задачи масштабирования, обеспечивая быстрое извлечение данных и поддержание свежести индекса без ущерба для доступности системы. Это подтверждает техническую способность Google обрабатывать и обновлять огромные объемы данных в режиме, близком к реальному времени.

Практические примеры

Практических примеров применения данного патента в SEO-работе нет, так как он описывает внутреннюю архитектуру поискового индекса, на которую SEO-специалисты не могут повлиять напрямую.