Как Google использует фразы для построения индекса, оптимизирует поиск и обеспечивает свежесть выдачи

Термины и определения

Bifurcated Scoring (Бифуркационная модель оценки)

Модель ранжирования, где релевантность рассчитывается в два этапа: на этапе индексации (Phrase Relevance Score — релевантность фразы документу) и на этапе выполнения запроса.

Phrase (Фраза)

Последовательность слов, идентифицированная системой как значимая семантическая единица ("настоящая фраза"), а не случайное сочетание.

Phrase Extraction (Извлечение фраз)

Процесс идентификации валидных фраз в корпусе документов на основе структурных, статистических и семантических сигналов.

Phrase Posting List (Постинг-лист фразы)

Инвертированный индекс для конкретной фразы, содержащий список документов, в которых эта фраза встречается.

Query Phrasification (Фразификация запроса)

Процесс интерпретации поискового запроса путем генерации всех возможных разбиений запроса на фразы и выбора наилучших комбинаций.

Segments (Сегменты)

Разделение корпуса документов на подмножества для целей обновления индекса. Используется в механизме Segment Swapping.

Shards (Шарды)

Вертикальное разделение Phrase Posting Lists. Документы внутри списка распределяются по шардам с помощью функции (Shard Assignment Function), гарантирующей, что один и тот же документ всегда попадает в один и тот же шард.

Text Breaks (Текстовые разрывы)

Семантические границы в документе (конец предложения, параграфа, заголовок, изменение шрифта), используемые для определения границ потенциальных фраз.

Hit Position (Позиция попадания)

Категоризация позиции фразы относительно Text Breaks: Initial (начальная), Final (конечная), Exact (точное совпадение с границами), Medial (серединная). Используется при оценке значимости фразы.

Tiers (Уровни)

Горизонтальное группирование Phrase Posting Lists. Фразы назначаются на уровни на основе стоимости их обработки (Query Processing Cost), например, длины списка.

Typeface (Характеристики шрифта)

Визуальные характеристики текста (стиль, размер, капитализация), используемые как сигнал при оценке значимости фразы.

Ключевые утверждения (Анализ Claims)

Важное замечание: Описание патента (Description) очень обширно и описывает полную архитектуру поисковой системы на основе фраз (извлечение, Tiers, Shards, Phrasification). Однако формула изобретения (Claims 1-10) этого конкретного патента узко сфокусирована только на механизме обновления индекса (Index Maintenance).

Claim 1 (Независимый пункт): Описывает метод поддержания индекса фраз.

1. Предоставление набора Phrase Posting Lists.
2. Создание нескольких сегментов (Segments), каждый из которых связан с подмножеством документов.
3. Периодическое обновление каждого сегмента путем:
   • Идентификации фраз в документах сегмента и обновления соответствующих списков.
   • Разделения (Sharding) обновленных списков на Segment Shards (шарды сегмента).
   • Ассоциации каждого Segment Shard с Index Shard (шардом индекса). Один Index Shard связан с несколькими Segment Shards.
4. Определение недавно обновленного сегмента.
5. Для обслуживаемого Index Shard:
   • Определение связанных с ним обновленных Segment Shards.
   • Слияние (Merging) обновленных Segment Shards с Index Shard для формирования обновленного Index Shard.
6. Замена (Swapping) текущего Index Shard на обновленный.

Ядро изобретения, защищенное этим патентом, — это инфраструктурный механизм для непрерывных, инкрементальных обновлений распределенного индекса. Обновляя индекс пакетами (Segments) и объединяя изменения, система избегает полных перестроек индекса и обеспечивает высокую доступность и свежесть данных.

Где и как применяется

Патент охватывает практически все ключевые этапы работы поисковой системы, описанные в документе.

INDEXING – Индексирование и извлечение признаков
Основной этап применения:

• Phrase Extraction: Phrase Identification Server анализирует контент для выявления валидных фраз, используя Text Breaks и Typeface.
• Phrase Scoring: Рассчитываются метрики значимости фраз (Document Phrase Score) и, возможно, предварительные оценки релевантности (в рамках Bifurcated Scoring).
• Index Structuring: Индекс организуется в Tiers (по стоимости) и Shards (по документам).
• Index Updating: Механизм Segment Swapping (описанный в Claims) управляет обновлением индекса.

QUNDERSTANDING – Понимание Запросов
Применяется Query Phrasification для интерпретации запроса пользователя как набора фраз, преобразуя исходное дерево слов в Boolean Phrase Tree.

RANKING – Ранжирование (Этап Retrieval)
Query Scheduling Module создает оптимизированный план выполнения (Query Schedule), используя структуру Tiers и Shards для эффективного извлечения документов и минимизации межсерверных коммуникаций.

На что влияет

• Структура контента: Механизм Phrase Extraction напрямую зависит от структуры документа. Четко структурированный контент с явными семантическими границами (заголовки, абзацы, списки, выделения шрифтом) позволяет системе точнее идентифицировать ключевые фразы.
• Типы контента: Влияет на все типы текстового контента, особенно там, где важны концепции и точные формулировки.
• Свежесть (Freshness): Механизм Segment Swapping напрямую влияет на скорость попадания нового или обновленного контента в индекс.

Когда применяется

• Индексация и Извлечение Фраз: Постоянно, при обработке новых и обновленных документов.
• Обновление индекса (Segment Swapping): Периодически или непрерывно, после обработки нового сегмента и слияния данных.
• Обработка запроса (Phrasification, Scheduling): В реальном времени при каждом запросе пользователя.

Пошаговый алгоритм

Патент описывает несколько взаимосвязанных процессов. Рассмотрим ключевой процесс для SEO — Извлечение Фраз, детально описанный в Description.

Процесс: Извлечение Фраз (Phrase Extraction)

1. Сканирование документа: Система итерирует по документу, поддерживая буфер последних N слов (например, N=5-20).
2. Идентификация кандидатов: Кандидат во фразу (содержимое буфера) фиксируется, когда буфер заполнен или обнаружен текстовый разрыв (Text Break) — семантическая граница (конец предложения, абзаца, заголовок, изменение шрифта).
3. Сбор данных о кандидате: Для каждой фразы-кандидата фиксируется её расположение (title, body), позиция относительно границ (Initial, Final, Exact, Medial) и характеристики шрифта (Typeface).
4. Первичная оценка (Scoring): Каждой фразе присваивается оценка (Phrase Score). Exact и Initial попадания, а также расположение в заголовке или выделение шрифтом повышают оценку.
5. Анализ подфраз (Devolution): Если оценка фразы не превышает порог "сильной фразы" (Strong Phrase Threshold), её оценка распределяется между её подфразами по определенным правилам, чтобы избежать двойного учета. Если порог превышен, оценка не распределяется.
6. Агрегация по документам: Для каждой фразы собираются её оценки (Document Phrase Scores) по всем документам.
7. Комбинированная оценка: Рассчитывается общая оценка (Combined Score) фразы на основе всех её Document Phrase Scores.
8. Валидация фразы: Фраза признается валидной, если выполняется одно из условий:
   • Сильная поддержка (хотя бы в одном документе фраза очень значима).
   • Умеренная поддержка (общая оценка выше порога).
   • Широкая поддержка (фраза встречается в большом количестве документов).
9. Постобработка: Удаление избыточных фраз и применение лингвистических эвристик.

Какие данные и как использует

Данные на входе

Система активно использует структурные и визуальные данные для извлечения фраз.

• Контентные факторы: Текст документа (body), заголовки (title), текст ссылок (anchors).
• Структурные факторы: Семантические границы (Text Breaks): конец предложения, конец абзаца, позиционные границы (конец заголовка). Видимые HTML элементы (таблицы, горизонтальные линии).
• Мультимедиа (Форматирование): Характеристики шрифта (Typeface): стиль (например, жирный), размер, капитализация (для идентификации имен собственных).
• Технические факторы: Идентификаторы документов (Document IDs) используются для шардирования (Shard Assignment Function).
• Пользовательские факторы: Логи поисковых запросов (search query logs) упоминаются как дополнительный источник для извлечения фраз.

Какие метрики используются и как они считаются

• Document Phrase Score: Оценка значимости фразы внутри документа. Рассчитывается на основе расположения, позиции (Exact>Initial>Medial/Final) и форматирования.
• Combined Phrase Score: Агрегированная оценка значимости фразы по всему корпусу.
• Query Processing Cost: Метрика стоимости обработки запроса к списку фразы (например, длина Phrase Posting List). Используется для распределения фраз по уровням (Tiers) и для планирования запросов (Query Scheduling).
• Phrase Probability (P(p)): Вероятность встретить фразу в индексе. Используется при Query Phrasification.

Формулы:

• Shard Assignment Function (Пример): $Shard ID = Document ID (Mod S)$.
• Phrase Scoring Function (для Query Phrasification): $S = f(N) * \prod (P(pi) * C(pi))$ (Оценка варианта фразификации зависит от функции количества фраз f(N) и произведения вероятностей и уверенности (C(pi)) для каждой фразы).

1. Фундаментальный сдвиг к Phrase-Based Indexing: Патент описывает архитектуру, полностью построенную вокруг фраз. Это подтверждает стратегический переход Google от индексации отдельных слов к пониманию концепций.
2. Структура контента критически важна для интерпретации: Процесс Phrase Extraction детально показывает, что Google идентифицирует значимые фразы не только по частоте, но и по их расположению относительно семантических границ (Text Breaks) — заголовков, начал предложений, абзацев и форматирования (Typeface).
3. Интерпретация запросов как фраз (Phrasification): Google активно пытается интерпретировать запрос как набор наиболее вероятных фраз, а не просто ищет слова из запроса.
4. Свежесть и доступность как архитектурный приоритет: Механизм Segment Swapping (который является ядром Claims) показывает, как Google решает проблему быстрого обновления индекса без простоя, обеспечивая высокую свежесть (Freshness) выдачи.
5. Эффективность через сложность архитектуры: Использование Tiers и Shards — это инфраструктурное решение для оптимизации скорости ответа и минимизации вычислительных затрат в распределенной системе.

Best practices (это мы делаем)

• Оптимизация под фразы и концепции: Сместить фокус с отдельных ключевых слов на естественные фразы и словосочетания, которые выражают концепции в нише. Стратегия должна строиться вокруг покрытия кластера связанных фраз, так как индекс основан на них.
• Критическая важность структуры контента: Использовать четкую и логичную структуру документа. Заголовки (H1-Hn), абзацы, списки и таблицы создают семантические границы (Text Breaks), которые помогают системе идентифицировать ключевые фразы и их границы.
• Акцентирование ключевых фраз в значимых позициях: Размещать наиболее важные фразы в заголовках, начале абзацев (Initial Hit) или как отдельные короткие предложения/пункты списка (Exact Hit). Система придает этим позициям больший вес при Phrase Extraction.
• Использование форматирования (Typeface): Патент явно указывает, что характеристики шрифта (размер, стиль) учитываются при оценке фраз. Использование логического выделения (например, bold) для ключевых концепций может повысить их Document Phrase Score.
• Анализ Anchor Text: При построении ссылок (внутренних и внешних) использовать естественные фразы, так как патент упоминает учет Anchor Text при извлечении и оценке фраз.

Worst practices (это делать не надо)

• Keyword Stuffing и неестественные конструкции: Перечисление ключевых слов или использование неестественных формулировок неэффективно. Система ищет валидные фразы в естественном контексте, ограниченном семантическими границами, а не случайные наборы слов.
• "Стена текста" (Wall of Text): Публикация длинных блоков текста без форматирования, абзацев и подзаголовков. Это минимизирует количество Text Breaks, снижая шансы на идентификацию важных фраз как Initial или Exact Hits; большинство фраз будут классифицированы как менее значимые Medial Hits.
• Фокус только на точное вхождение запроса: Из-за Query Phrasification система может по-разному интерпретировать запрос пользователя. Оптимизация только под одну узкую формулировку является рискованной.

Стратегическое значение

Этот патент является одним из фундаментальных документов, подтверждающих переход от лексического поиска к семантическому (начиная с фраз и двигаясь к сущностям). Он демонстрирует, что единица индексации и поиска — это концепция. Для долгосрочной SEO-стратегии это означает, что создание тематического авторитета (Topical Authority) через глубокое раскрытие темы с использованием всего спектра релевантных фраз является ключевым. Также патент подчеркивает, что структура и оформление контента напрямую влияют на его семантическую интерпретацию.

Практические примеры

Сценарий: Оптимизация статьи для идентификации ключевых фраз (Phrase Extraction)

Задача: Убедиться, что система корректно идентифицирует фразу "архитектура поисковой системы" как ключевую концепцию статьи.

Применение (на основе патента):

1. Title/H1 (Высокий вес, Exact Hit): Использовать фразу в заголовке: "Современная архитектура поисковой системы Google".
2. Начало абзаца (Initial Hit): Начать ключевой абзац с этой фразы: "Архитектура поисковой системы должна решать задачи масштабируемости..."
3. Форматирование (Typeface): Выделить фразу жирным шрифтом в тексте: "Ключевым элементом является архитектура поисковой системы."
4. Пункт списка (Exact Hit): Использовать фразу как отдельный пункт списка при перечислении тем:
   • Извлечение фраз
   • Архитектура поисковой системы
   • Обновление индекса

Ожидаемый результат: За счет использования структурных сигналов (Text Breaks) и форматирования (Typeface) фраза получит высокий Document Phrase Score в процессе индексации, что увеличит её значимость для ранжирования.