Как Google использует многоуровневые индексы (Standard и Extended) и оптимизирует поиск по дополнительному индексу

Описание

Какую задачу решает

Патент решает две ключевые инфраструктурные задачи:

• Полнота выдачи: Обеспечение предоставления результатов поиска, когда основной (Standard Index) индекс не дает достаточного количества релевантных документов.
• Эффективность поиска: Обеспечение быстрого и ресурсосберегающего поиска по очень большой базе данных (Extended Index) за счет избегания поиска в тех разделах (partitions), которые заведомо не содержат искомых терминов.

Патент не направлен на устранение SEO-манипуляций, это патент про эффективность инфраструктуры.

Что запатентовано

Запатентована система для условного и эффективного поиска по сегментированной базе данных. Система использует многоуровневую архитектуру с Standard Index и Extended Index. Поиск по Extended Index инициируется компонентом Mixer только при определенных условиях (например, мало результатов в Standard Index). Для оптимизации поиска в Extended Index внедрен Partition Index, который позволяет компоненту Balancer направлять запрос только на те сегменты индекса (Document Index Sub-Partitions), которые содержат искомые термины.

Как это работает

Система работает следующим образом:

1. Стандартный поиск: Запрос обрабатывается основным (Standard) бэкендом.
2. Оценка результатов: Компонент Mixer анализирует результаты. Если они не удовлетворяют предопределенным критериям (например, найдено менее 10 документов), инициируется расширенный поиск.
3. Обращение к расширенному индексу: Запрос передается в расширенный (Extended) бэкенд.
4. Оптимизация запроса (Balancer Filter): Компонент Extended Balancer не рассылает запрос всем серверам. Сначала он обращается к Partition Index, чтобы определить, какие именно суб-партиции содержат термины из запроса.
5. Логическая комбинация: Balancer комбинирует карты партиций для всех терминов запроса (например, через логическое И).
6. Выборочный поиск: Запрос направляется только на те Index Servers, которые отвечают за релевантные суб-партиции.
7. Агрегация: Mixer объединяет результаты из стандартного и расширенного индексов.

Актуальность для SEO

Высокая (с точки зрения инфраструктуры). Эффективное управление и выполнение запросов к массивно распределенным наборам данных остается фундаментальной задачей для поисковых систем. Принципы многоуровневого индексирования (быстрый/основной индекс и медленный/полный индекс) и выборочного опроса разделов для оптимизации скорости являются базовыми архитектурными решениями.

Важность для SEO

Патент имеет минимальное значение (1/10) для практического SEO. Патент описывает внутренние инфраструктурные процессы Google, направленные на оптимизацию эффективности и скорости поиска, а не на ранжирование или оценку качества контента. Он не дает прямых рекомендаций для SEO. Он помогает понять архитектуру многоуровневого индексирования (Standard/Extended) и то, как Google балансирует между скоростью и полнотой выдачи, но не предлагает actionable insights для оптимизаторов.

Детальный разбор

Термины и определения

Balancer (Балансировщик)

Компонент, который координирует работу Index Servers в своем разделе (partition). В контексте патента, Extended Balancer использует Partition Index для оптимизации маршрутизации запросов.

Balancer Filter (Фильтр балансировщика)

Механизм внутри Balancer, который использует Partition Index для определения релевантных суб-партиций перед отправкой запроса на Index Servers.

Document Index Sub-Partition (Суб-партиция индекса документов)

Небольшой сегмент индекса документов. Весь индекс разделен на партиции, а те, в свою очередь, на суб-партиции. Каждая суб-партиция содержит индекс терминов для определенного набора документов (например, полмиллиона документов).

Extended Backend / Extended Index (Расширенный бэкенд / Индекс)

Вторичный индекс документов. Обычно содержит значительно больше документов, чем Standard Index, включая менее распространенные или менее авторитетные (с более низким PageRank) документы. Используется для обеспечения полноты выдачи.

Index Server (Сервер индекса)

Сервер, хранящий одну или несколько Document Index Sub-Partitions и выполняющий поиск по ним.

Map (Карта)

Структура данных в Partition Index, которая для конкретного термина указывает, в каких суб-партициях он встречается. Может быть реализована как битовая карта (bitmap) или закодированный список (delta-encoded list).

Mixer (Микшер)

Компонент, который управляет процессом поиска. Он отправляет запросы в бэкенды, принимает решение о необходимости поиска в Extended Index и агрегирует финальные результаты.

Partition Index (Индекс разделов)

Специализированный индекс, который отображает термины не на документы, а на Document Index Sub-Partitions, в которых эти термины содержатся. Используется для оптимизации поиска.

Standard Backend / Standard Index (Стандартный бэкенд / Индекс)

Основной индекс поисковой системы. Оптимизирован для скорости и содержит наиболее важные/авторитетные документы.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает архитектуру системы поиска документов.

1. Система включает первый и второй индексы документов.
2. Второй индекс (Extended Index) разделен на партиции, которые, в свою очередь, разделены на суб-партиции (Document Index Sub-Partitions).
3. Существует множество Partition Indexes. Каждый Partition Index отображает термин на подмножество суб-партиций, содержащих этот термин.
4. Существует множество Balancers. Каждый Balancer получает запрос, ищет термины запроса в соответствующем Partition Index, чтобы идентифицировать релевантное подмножество суб-партиций, и направляет запрос только на эти идентифицированные суб-партиции.
5. Присутствует Mixer, который получает результаты поиска по первому индексу, определяет, удовлетворяют ли эти результаты предопределенным критериям, и, если НЕТ, выполняет дополнительные операции, включая отправку запроса балансировщикам (для поиска во втором индексу) и агрегацию результатов.

Ядром изобретения является комбинация двух механизмов: условный поиск во втором индексе (логика Mixer) и эффективный поиск во втором индексе за счет выборочного обращения к партициям (логика Balancer и Partition Index). Это позволяет системе обеспечивать полноту выдачи только при необходимости и делать это эффективно, пропуская нерелевантные сегменты базы данных.

Claim 5 (Зависимый от 1): Детализирует работу Balancer.

Balancer включает Balancer Filter, который выполняет следующие действия: поиск каждого термина в Partition Index для генерации карты (Map); комбинирование карт (если терминов несколько) в единую карту; идентификация подмножества суб-партиций на основе этой карты; отправка запроса на идентифицированные суб-партиции.

Claim 6 (Зависимый от 1): Уточняет механизм комбинирования.

Если запрос содержит несколько терминов, Balancer получает несколько карт из Partition Index и выполняет булеву операцию над ними для генерации единой карты, которая и определяет целевые суб-партиции.

Где и как применяется

Изобретение затрагивает этапы индексирования и ранжирования (на уровне Retrieval) и метапоиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе строятся как основной Standard Index, так и дополнительный Extended Index. Критически важным является создание Partition Index. В процессе индексации документов система должна не только добавить термин в соответствующую суб-партицию, но и обновить Partition Index, отметив, что данный термин теперь присутствует в этой суб-партиции.

RANKING – Ранжирование (Уровень Retrieval/L1)
Механизмы, описанные в патенте, являются частью процесса отбора кандидатов (Retrieval), оптимизируя его.

• Сначала запрос обрабатывается в Standard Index.
• Если активируется поиск в Extended Index, то Balancer и Partition Index действуют как предварительный фильтр. Они определяют, какие Index Servers должны быть задействованы, что значительно сокращает объем вычислений на этапе Retrieval.

METASEARCH – Метапоиск и Смешивание
Компонент Mixer работает на этом уровне. Он отвечает за логику условного поиска: оценивает результаты, полученные из Standard Backend, и принимает решение о необходимости запуска поиска в Extended Backend. После получения результатов из обоих источников Mixer агрегирует их.

Входные данные:

• Поисковый запрос.
• Результаты поиска из Standard Index (или метрики об этих результатах, например, их количество).
• Данные Partition Index.

Выходные данные:

• Агрегированный список результатов поиска (объединяющий результаты из Standard и Extended индексов).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на редкие, длиннохвостые (long-tail) или узкоспециализированные запросы. По таким запросам Standard Index может не найти достаточного количества результатов, что активирует поиск в Extended Index.
• Инфраструктура: Основное влияние оказывается на использование вычислительных ресурсов Google. Система позволяет снизить нагрузку на Index Servers за счет сокращения количества обрабатываемых ими запросов.

Когда применяется

Алгоритм состоит из двух частей, которые применяются при разных условиях:

1. Условный поиск (Conditional Extended Search): Активируется, когда результаты поиска по Standard Index не удовлетворяют предопределенным критериям (Signal Threshold Value). Примеры критериев, упомянутые в патенте:
   • Количество найденных результатов меньше порога (например, меньше 10).
   • Оценки релевантности (query scores) результатов низкие.
   • Сигналы неудовлетворенности пользователя стандартными результатами (например, частые нажатия на «следующие результаты»).
   • Низкая нагрузка на Extended Index Servers (оппортунистический поиск).
2. Выборочный поиск по разделам (Selective Partition Searching): Применяется во время каждого поиска по индексу, использующему данную технологию (в патенте это Extended Index). Balancer всегда использует Partition Index для оптимизации маршрута запроса.

Пошаговый алгоритм

Фаза 1: Стандартный поиск и принятие решения

1. Получение запроса: Query Server получает запрос и передает его Mixer.
2. Стандартный поиск: Mixer инициирует поиск в Standard Backend (включая проверку кэша).
3. Оценка результатов: Mixer анализирует полученные результаты.
4. Проверка критериев: Система определяет, удовлетворены ли предопределенные критерии (например, достаточно ли результатов).
   • Если ДА: Стандартные результаты возвращаются пользователю. Процесс завершен.
   • Если НЕТ: Переход к Фазе 2.

Фаза 2: Оптимизация расширенного поиска (Balancer Filter)

1. Передача запроса: Mixer передает запрос в Extended Backend, где он попадает на Extended Balancer.
2. Обращение к Partition Index: Для каждого термина в запросе Balancer выполняет поиск в Partition Index.
3. Получение Карт (Maps): Balancer получает карты, указывающие, в каких Document Index Sub-Partitions содержится каждый термин.
4. Булева комбинация: Balancer комбинирует полученные карты в соответствии с логикой запроса (например, выполняет операцию AND для запроса из нескольких слов). Результатом является комбинированная карта релевантных суб-партиций.

Фаза 3: Выборочное выполнение и агрегация

1. Выборочная маршрутизация: Balancer направляет запрос только тем Index Servers, которые обслуживают суб-партиции, отмеченные в комбинированной карте как релевантные.
2. Выполнение поиска: Выбранные Index Servers выполняют поиск по своим локальным суб-партициям.
3. Возврат результатов: Результаты возвращаются Mixer.
4. Агрегация: Mixer агрегирует результаты из Standard Backend и Extended Backend.
5. Предоставление выдачи: Агрегированные результаты возвращаются пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на инфраструктуре и эффективности, поэтому не описывает факторы ранжирования. Используются следующие данные:

• Контентные факторы: Сам факт наличия или отсутствия термина в документе. Эти данные используются для построения Standard Index, Extended Index и, что критически важно, Partition Index.
• Системные данные: Метрики о результатах стандартного поиска (количество результатов, возможно, их query scores), которые используются Mixer для принятия решения о запуске расширенного поиска.

Какие метрики используются и как они считаются

• Signal Threshold Value (Пороговое значение сигнала): Предопределенный критерий для активации поиска в Extended Index. Например, количество стандартных результатов < N (например, 10).
• Partition Maps (Карты разделов): Структуры данных, указывающие на присутствие термина в суб-партиции. Это бинарное значение (присутствует/отсутствует) для каждого суб-раздела. Патент описывает три метода кодирования для экономии места:
  • Delta-encoded inclusion list: Список суб-партиций, содержащих термин (используется, если термин редкий).
  • Delta-encoded exclusion list: Список суб-партиций, НЕ содержащих термин (используется, если термин очень частый).
  • Bit map (Битовая карта): По одному биту на каждую суб-партицию (используется для терминов средней частотности).
• Булева логика (Boolean Logic): Используется Balancer для комбинирования карт (AND, OR, NOT) в соответствии с логикой поискового запроса.

Выводы

Патент носит инфраструктурный характер и предлагает минимальное количество практических выводов для SEO-специалистов. Основные выводы касаются понимания архитектуры поиска Google:

1. Инфраструктурная оптимизация: Ключевая инновация – Partition Index. Это механизм, позволяющий Google не опрашивать все сегменты индекса при каждом запросе, а только те, которые гарантированно содержат искомые термины. Это обеспечивает скорость и масштабируемость.
2. Многоуровневое индексирование: Патент подтверждает существование как минимум двух уровней индекса: Standard Index (основной, быстрый, высококачественный контент) и Extended Index (дополнительный, более полный, может включать менее авторитетный контент).
3. Характеристики Extended Index: Расширенный индекс содержит документы, не вошедшие в стандартный. Они описываются как менее распространенные, малоизвестные и, возможно, имеющие в среднем более низкий Page Rank.
4. Условный поиск в Extended Index: Поиск в расширенном индексе не гарантирован. Он активируется только тогда, когда стандартный индекс не обеспечивает достаточного количества или качества результатов (на основе Signal Threshold Value).
5. Видимость «хвостового» контента: Документы, попавшие в Extended Index, имеют значительно меньше шансов появиться в выдаче, чем документы из Standard Index. Они служат резервом для улучшения полноты выдачи (Recall) в случае неудачи основного поиска.

Практика

Best practices (это мы делаем)

Патент скорее инфраструктурный и не дает прямых практических выводов для SEO. Однако можно сделать общие стратегические выводы:

• Приоритет попадания в Standard Index: Для обеспечения максимальной видимости и скорости нахождения по общим запросам, сайт должен стремиться попасть в Standard Index. Хотя патент не описывает точные критерии отбора, он упоминает, что документы в Standard Index в среднем имеют более высокий PageRank. Это подтверждает важность работы над авторитетностью и качеством ресурса (E-E-A-T).
• Полнота индексации для Long-Tail: Наличие Extended Index гарантирует, что даже менее авторитетный или узкоспециализированный контент индексируется и может быть найден, особенно по редким запросам. Это подтверждает целесообразность работы с низкочастотным трафиком.

Worst practices (это делать не надо)

Патент не направлен против каких-либо конкретных SEO-тактик или манипуляций.

• Создание большого количества низкокачественного контента: Если контент классифицируется как малоизвестный или имеющий низкую авторитетность (низкий Page Rank), он рискует попасть в Extended Index. Полагаться на видимость такого контента рискованно, так как он будет показан только в том случае, если в основном индексе не найдется лучших альтернатив.

Стратегическое значение

Стратегическое значение патента заключается в понимании архитектуры хранения данных Google. Он демонстрирует, что не все проиндексированные документы равнозначны с точки зрения доступности для поиска. Существует иерархия индексов. Попадание в Extended Index означает, что документ считается менее важным или авторитетным, и его видимость будет ограничена ситуациями, когда в основном индексе наблюдается дефицит релевантных результатов. Это еще раз подтверждает стратегический приоритет работы над качеством и авторитетностью сайта.

Практические примеры

Практических примеров для SEO нет, так как это инфраструктурный патент. Приведем пример работы системы с точки зрения инфраструктуры.

Сценарий: Поиск редкого технического термина

1. Запрос: Пользователь ищет редкий термин «Квантовая запутанность в Марковских цепях».
2. Стандартный поиск: Standard Index находит только 2 результата.
3. Триггер: Mixer определяет, что 2 результата — это меньше порога (например, 10). Инициируется расширенный поиск.
4. Оптимизация: Запрос поступает в Extended Backend. Extended Index состоит из 1000 суб-партиций.
5. Partition Index Lookup:
   • Термин «Квантовая» есть в суб-партициях 1-100.
   • Термин «запутанность» есть в суб-партициях 50-150.
   • Термин «Марковских» есть в суб-партициях 10, 60, 800.
6. Булева комбинация (AND): Система ищет пересечение множеств: {1-100} AND {50-150} AND {10, 60, 800}. Пересечение = {60}.
7. Выборочный поиск: Вместо поиска по всем 1000 суб-партициям, запрос отправляется только на Index Server, отвечающий за суб-партицию 60.
8. Результат: Поиск выполняется быстро, ресурсы сэкономлены. Результаты из суб-партиции 60 добавляются к 2 стандартным результатам.

Вопросы и ответы