Как Google строит инфраструктуру поиска на основе фраз и оптимизирует извлечение концепций из контента

Термины и определения

Phrase (Фраза)

Последовательность слов, идентифицированная системой как устойчивое словосочетание или концепция («реальная фраза»), а не случайная комбинация слов.

Phrase Extraction (Извлечение фраз)

Процесс идентификации валидных фраз в коллекции документов на основе структурных и статистических сигналов.

Text Breaks (Разрывы текста)

Семантические маркеры в документе (границы предложений, абзацев, HTML-элементы, изменения шрифта), используемые для определения границ кандидатов в фразы.

Document Phrase Score (Оценка фразы в документе)

Метрика, отражающая вероятность того, что кандидат является реальной фразой, на основе его использования внутри одного документа (позиция, форматирование).

Phrase Posting List (Список документов фразы)

Структура в индексе, содержащая список документов, включающих данную фразу.

Tiers (Уровни)

Логические группы индексных серверов. Фразы назначаются на уровни на основе стоимости их обработки (Query Cost), например, длины списка.

Shards (Шарды)

Партиции (разделы) Phrase Posting List. Документы внутри списка распределяются по шардам.

Shard Assignment Function (Функция назначения шарда)

Алгоритм (например, DocID Mod S), гарантирующий, что данный документ всегда назначается одному и тому же шарду.

Phrasification (Фразификация)

Процесс анализа входного запроса и его разделения на набор возможных интерпретаций, состоящих из фраз.

Query Schedule (План выполнения запроса)

Оптимизированное дерево запроса, аннотированное информацией о том, на каких индексных серверах должны выполняться его узлы.

Ключевые утверждения (Анализ Claims)

Патент в первую очередь защищает архитектуру хранения индекса (Tiers и Shards), но его описание раскрывает всю систему, включая извлечение фраз и обработку запросов.

Claim 1 (Независимый пункт): Описывает метод индексирования с многоуровневой архитектурой, основанной на длине списков фраз.

1. Система определяет длину phrase posting list.
2. Если длина меньше первого порога (T1), список назначается серверам первого уровня (first tier).
3. Если длина больше T1, список делится на шарды (Shards) и назначается серверам второго уровня (second tier).
4. Если длина больше второго порога (T2 > T1), список делится на шарды и назначается серверам третьего уровня (third tier).
5. Ключевое условие: Количество серверов (и шардов) третьего уровня является целым кратным (integer multiple) количества серверов второго уровня.

Это условие является ядром инфраструктурной оптимизации. Оно гарантирует, что сервер на уровне N должен взаимодействовать только с ограниченным, предсказуемым набором серверов на уровне N+1. Это минимизирует сетевой трафик и ускоряет обработку запросов, требующих данных с разных уровней.

Claim 8 (Независимый пункт): Обобщает архитектуру для M уровней.

1. Определяется M уровней (Tiers).
2. Каждому уровню назначается минимальная длина L (увеличивается с уровнем) и количество шардов S.
3. Условие кратности: S уровня M является целым кратным S уровня M-1.
4. Списки назначаются на уровни в зависимости от их длины.
5. Списки делятся на S шардов с использованием Shard Assignment Function, которая гарантирует, что документ всегда попадает в один и тот же шард.

Где и как применяется

Изобретение описывает комплексную систему и затрагивает несколько этапов поиска.

INDEXING – Индексирование и извлечение признаков
Это ключевой этап. Здесь происходит:

• Phrase Extraction: Система анализирует контент и структуру документов для идентификации валидных фраз.
• Архитектура индекса: Построение Phrase Posting Lists и их распределение по инфраструктуре Tiers и Shards на основе длины/стоимости.

QUNDERSTANDING – Понимание Запросов
На этом этапе применяется Phrasification. Входящий запрос анализируется для определения наилучшего набора фраз, который отражает интент пользователя.

RANKING – Ранжирование (Этапы Retrieval/Отбора кандидатов)
Архитектура напрямую влияет на скорость отбора кандидатов. Процессы Query Scheduling и Query Optimization используют знание о расположении данных в Tiers и Shards для минимизации задержек и сетевого трафика при поиске релевантных документов.

Входные данные:

• Сырой контент документов (для Phrase Extraction).
• Идентификаторы документов (для Sharding).
• Запрос пользователя (для Phrasification и Scheduling).

Выходные данные:

• База данных валидных фраз.
• Распределенный индекс (Tiers/Shards).
• Оптимизированный план выполнения запроса (Query Schedule).

На что влияет

• Все типы контента и запросов: Патент описывает фундаментальную единицу индексирования (фразы) и архитектуру доступа к индексу, поэтому он влияет на обработку всех документов и запросов.
• Структура и форматирование контента: Механизм Phrase Extraction явно использует структурные сигналы (заголовки, форматирование, семантические границы) для идентификации фраз, что делает структуру контента важным фактором для правильной индексации концепций.

Когда применяется

• Во время индексирования: Процесс Phrase Extraction применяется при обработке каждого документа. Логика Tiers/Shards применяется при сохранении данных в индекс.
• Во время обработки запроса: Процессы Phrasification, Query Scheduling и Query Execution применяются при каждом запросе пользователя.

Пошаговый алгоритм

Процесс А: Извлечение фраз (Phrase Extraction)

1. Извлечение кандидатов: Система сканирует документ, сохраняя буфер последних N слов. Кандидаты генерируются при заполнении буфера или при обнаружении Text Breaks (семантических границ: конец предложения/абзаца, HTML-элементы, смена шрифта).
2. Сбор информации о кандидате: Для каждого кандидата фиксируется его позиция (Initial, Final, Exact, Medial), местоположение (Title, Body) и характеристики шрифта (typeface characteristics).
3. Начальный скоринг: Кандидату присваивается Document Phrase Score. Оценка повышается за позицию Exact, расположение в Title, выделение шрифтом или использование в анкорном тексте (hyperlink anchor).
4. Анализ субфраз (Devolution): Если фраза не классифицирована как "сильная" (Strong Phrase, оценка выше порога), ее оценка распределяется (devolves) на ее субфразы. Если фраза "сильная", оценка субфраз может быть пессимизирована, чтобы избежать двойного учета.
5. Междокументная оценка: Document Phrase Scores агрегируются по всему корпусу в Combined Score.
6. Валидация фразы: Фраза признается валидной, если она имеет: (1) сильную поддержку хотя бы в одном документе, ИЛИ (2) умеренную общую поддержку (высокий Combined Score), ИЛИ (3) очень широкую поддержку (встречается в большом количестве документов).

Процесс Б: Индексирование (Tiering и Sharding)

1. Определение стоимости: Для валидной фразы определяется Query Cost (например, длина ее Phrase Posting List).
2. Назначение уровня (Tier Assignment): Фраза назначается на уровень (Tier) в соответствии с ее стоимостью.
3. Шардирование (Sharding): Список документов делится на S шардов (количество S определяется уровнем и кратно S предыдущего уровня). Используется Shard Assignment Function (например, DocID Mod S) для консистентного распределения документов.
4. Хранение: Шарды сохраняются на индексных серверах соответствующего уровня.

Какие данные и как использует

Данные на входе

• Контентные факторы: Активно используются на этапе Phrase Extraction. Учитываются:
  • Текстовые последовательности.
  • Местоположение (Title, Body).
  • Анкорный текст (Anchor text).
• Структурные факторы: Критически важны для Phrase Extraction. Учитываются Text Breaks:
  • Границы предложений и абзацев.
  • Видимые HTML-элементы (таблицы, разделители).
  • Форматирование (typeface characteristics: шрифт, размер, стиль).
• Технические факторы: Идентификаторы документов (Document Identifiers) используются для Shard Assignment Function.

Какие метрики используются и как они считаются

• Document Phrase Score: Рассчитывается на основе взвешивания позиции (Exact, Initial, Medial, Final), местоположения и форматирования кандидата в фразы.
• Strong Phrase Threshold (Порог сильной фразы): Используется для контроля анализа субфраз (devolution).
• Combined Score: Агрегация (сумма или среднее) Document Phrase Scores по корпусу.
• Query Cost: Метрика для назначения Tiers и оптимизации запросов. Может быть длиной Phrase Posting List или расчетной стоимостью обработки.
• Вероятность фразы (P(pi)): Используется при Phrasification для оценки интерпретаций запроса.
• Shard Assignment Function: Функция для распределения документов, например, $DocID\ (Mod\ S)$.
• Tier Relationship Formula: $S_n = k * S_{n-1}$ (количество шардов на уровне n кратно количеству шардов на уровне n-1).

1. Фундаментальный сдвиг к фразовому индексированию: Патент описывает не просто архитектуру хранения, а целую систему, спроектированную вокруг фраз как основной единицы индексирования и поиска. Это подтверждает стратегический фокус на понимании концепций, а не только ключевых слов.
2. Важность структурных сигналов для извлечения фраз: Процесс Phrase Extraction явно использует структурные и визуальные элементы документа (заголовки, форматирование, Text Breaks) для идентификации и оценки значимости фраз. Это имеет прямые последствия для SEO-оптимизации контента.
3. Инфраструктура для масштабирования (Tiers и Shards): Tiers (группировка по стоимости) и Shards (партиционирование данных) — это инженерные решения, которые делают фразовый поиск быстрым и масштабируемым, минимизируя межсерверное взаимодействие.
4. Оптимизация понимания запросов (Phrasification): Система активно интерпретирует запросы, разбивая их на наиболее вероятные комбинации известных фраз, что позволяет точнее определить интент пользователя.
5. Консистентное шардирование как ключ к эффективности: Гарантия того, что документ всегда находится в одном и том же шарде (Shard Assignment Function), критически важна для быстрого пересечения списков документов при сложных запросах.

Best practices (это мы делаем)

Хотя патент описывает инфраструктуру (Tiers/Shards), на которую SEO не влияет, он также детализирует процесс Phrase Extraction, который имеет прямые тактические применения.

• Оптимизация под Phrase Extraction: Активно используйте структурные сигналы для выделения ключевых концепций. Патент указывает, что расположение в заголовке (Title) и в начале документа повышает Document Phrase Score.
• Использование форматирования для выделения фраз: Применяйте локальное форматирование (например, , ). Патент явно упоминает, что характеристики шрифта (typeface characteristics: стиль, размер) учитываются при оценке значимости фраз.
• Четкая семантическая структура (Text Breaks): Используйте чистый HTML, ясные заголовки, абзацы и списки. Эти элементы служат как Text Breaks — семантические границы, которые система использует для определения начала и конца кандидатов в фразы. Четкая структура облегчает извлечение концепций.
• Использование фраз в анкорном тексте: Патент подтверждает, что использование фразы в качестве анкора (hyperlink anchor) также увеличивает ее оценку при извлечении.
• Стратегический фокус на концепциях: Создавайте контент, ориентированный на естественные фразы и устойчивые словосочетания. Понимайте, что система спроектирована для индексирования именно этих элементов.