Как Google использует фразовую индексацию и многоуровневую архитектуру (Primary/Secondary Index) для масштабирования поиска и определения тематической релевантности

Термины и определения

Primary Index (Первичный индекс)

Часть индекса, хранящая списки соответствия (Posting Lists) для фраз. Содержит ограниченное количество (Топ-K) наиболее релевантных документов. Документы хранятся в порядке ранжирования по релевантности.

Secondary Index (Вторичный индекс)

Часть индекса, хранящая оставшиеся документы из Posting Lists, которые не вошли в Primary Index. Документы хранятся в порядке их идентификаторов (Document ID), а не по релевантности.

Posting List (Список соответствия)

Структура данных в индексе для конкретной фразы, содержащая список документов, в которых эта фраза встречается.

Good Phrase (Хорошая фраза)

Фраза (включая отдельные слова), которая встречается достаточно часто и/или имеет отличительные признаки (например, выделена тегами), и которая статистически предсказывает появление других фраз.

Information Gain (Прирост информации)

Метрика для определения связи между двумя фразами. Рассчитывается как отношение фактической частоты совместной встречаемости двух фраз к ожидаемой частоте. Высокий Information Gain указывает на сильную связь.

Related Phrases (Связанные фразы)

Фразы, которые часто встречаются вместе и имеют Information Gain выше определенного (высокого) порога. Используются для определения тематики документа.

Cluster (Кластер)

Набор связанных фраз, в котором каждая фраза имеет высокий Information Gain по отношению хотя бы к одной другой фразе в наборе.

Related Phrase Bit Vector (Битовый вектор связанных фраз)

Структура данных, хранящаяся в Posting List для пары (фраза, документ). Указывает, какие из связанных фраз также присутствуют в этом документе. Используется для ранжирования.

Incomplete Phrase (Незавершенная фраза)

Фраза, которая предсказывает только свои собственные расширения (например, «Президент Соединенных» предсказывает только «Президент Соединенных Штатов»).

Interesting Instance (Интересное вхождение)

Вхождение фразы, выделенное грамматическими или форматными маркерами (например, жирный шрифт, анкорный текст гиперссылки).

Tiering (Многоуровневое хранение)

Метод оптимизации хранения в Primary Index, при котором для документов с более низким рангом хранится меньше атрибутов релевантности.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод разделения индекса для фразы.

1. Система создает список документов (Posting List), содержащих первую фразу.
2. Документы в списке ранжируются по оценке релевантности (relevance score).
3. Список разделяется на первую часть (высокоранжированные документы) и вторую часть (менее ранжированные документы).
4. Первая часть сохраняется в Primary Index. Документы хранятся в порядке их ранга (rank order).
5. Вторая часть сохраняется в Secondary Index. Документы хранятся в числовом порядке их идентификаторов (numerical order of the respective document identifiers).
6. В Primary Index сохраняется ссылка на Secondary Index.

Claim 2 (Зависимый от 1): Уточняет, что оценка релевантности может быть основана на PageRank (page rank based type score).

Claim 8 (Независимый пункт): Описывает метод многоуровневого хранения (Tiering) внутри Primary Index.

1. Система сохраняет первую часть списка (высокоранжированные документы) в Primary Index.
2. Эта первая часть делится на секции (уровни).
3. Первая секция (самые высокие ранги) содержит первый набор атрибутов релевантности для каждого документа.
4. Вторая секция (более низкие ранги) содержит второй набор атрибутов релевантности, который является подмножеством первого набора.

Это означает, что система хранит меньше информации о документах по мере снижения их релевантности, даже если они находятся в Primary Index.

Где и как применяется

Изобретение затрагивает фундаментальные аспекты архитектуры поиска, в первую очередь индексирование и ранжирование.

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает документы для анализа. Также описан механизм обнаружения изменений в документах для управления версиями (архивирования).

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Включает несколько ключевых процессов:

1. Идентификация фраз: Анализ документов для выявления Good Phrases.
2. Анализ совместной встречаемости: Построение матрицы совместной встречаемости и расчет Information Gain для определения Related Phrases и кластеров.
3. Построение индекса: Создание Posting Lists для фраз, включая расчет Related Phrase Bit Vector для каждого документа.
4. Ранжирование и разделение: Расчет оценок релевантности (например, PageRank) для документов в каждом Posting List, их сортировка и разделение между Primary Index и Secondary Index.
5. Многоуровневое хранение (Tiering): Оптимизация хранения атрибутов в Primary Index.

RANKING – Ранжирование
Система использует фразовую информацию на этапе ранжирования. Документы оцениваются не только по наличию фраз из запроса, но и по наличию связанных фраз. Ранг может определяться значением Related Phrase Bit Vector (чем больше связанных фраз в документе, тем выше ранг). Также учитываются фразы в анкорах входящих ссылок.

Входные данные:

• Коллекция документов (Corpus).
• Статистика частоты и совместной встречаемости фраз.
• Атрибуты релевантности документов (например, PageRank, инлинки, анкорный текст).

Выходные данные:

• Primary Index и Secondary Index.
• Список Good Phrases с данными о кластерах и Information Gain.
• Related Phrase Bit Vectors, ассоциированные с документами в индексе.

На что влияет

• Типы контента: Влияет на все типы индексируемого контента. Особенно сильно влияет на информационный контент, где тематика определяется через взаимосвязанные концепции (фразы).
• Точность определения тематики: Система позволяет более точно определять тематику документа, отличая документы, которые глубоко раскрывают тему (содержат много связанных фраз и кластеров), от документов с поверхностным упоминанием.
• Масштабируемость поиска: Архитектура индекса позволяет Google обрабатывать значительно больший объем документов по сравнению с традиционными методами.

Когда применяется

• Триггеры активации (Индексация): Процесс применяется во время каждого прохода индексации (crawling pass). Идентификация фраз, ранжирование и разделение индекса происходят периодически.
• Триггеры активации (Ранжирование): Механизмы ранжирования на основе фраз активируются при обработке поискового запроса, когда система идентифицирует фразы в запросе и извлекает данные о связанных фразах из индекса.
• Пороговые значения: Используются пороги для определения Good Phrases (на основе частоты и количества Interesting Instances) и для определения Related Phrases (на основе порога Information Gain). Также используется порог K для разделения Posting List между Primary и Secondary индексами (в примере указано 32k).

Пошаговый алгоритм

Процесс А: Идентификация и кластеризация фраз

1. Сбор статистики: Сканирование документов с использованием скользящего окна для сбора кандидатов во фразы и статистики совместной встречаемости.
2. Классификация фраз: Разделение фраз на Good Phrases и Bad Phrases на основе порогов частоты и количества «интересных» вхождений.
3. Расчет предсказательной силы: Для каждой пары хороших фраз рассчитывается Information Gain. $I(j,k) = A(j,k) / E(j,k)$.
4. Отсечение слабых фраз: Удаление из списка Good Phrases тех фраз, которые не предсказывают никакие другие фразы или предсказывают только свои расширения (Incomplete Phrases).
5. Идентификация связанных фраз: Определение Related Phrases путем сравнения Information Gain с высоким порогом (например, 100).
6. Кластеризация: Группировка Related Phrases в кластеры на основе их взаимной предсказательной силы.

Процесс Б: Индексация документов и разделение индекса

1. Идентификация фраз в документе: Поиск всех Good Phrases в документе.
2. Обновление Posting Lists: Добавление идентификатора документа в Posting Lists для каждой найденной фразы.
3. Расчет Related Phrase Bit Vector: Для каждой фразы определяется, какие из ее связанных фраз (и вторичных связанных фраз) также присутствуют в документе. Эта информация кодируется в битовый вектор.
4. Ранжирование Posting Lists: Документы в каждом Posting List сортируются по оценке релевантности (например, PageRank).
5. Разделение индекса: Posting List разделяется. Топ-K документов сохраняются в Primary Index в порядке ранжирования.
6. Многоуровневое хранение (Tiering): В Primary Index для документов с более низким рангом сохраняется меньше атрибутов релевантности.
7. Сохранение остатка: Документы за пределами Топ-K сохраняются в Secondary Index в порядке идентификаторов документов.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документа. Система анализирует последовательности слов для формирования фраз.
• Структурные и HTML факторы: Используются для определения «интересных» вхождений фраз (Interesting Instances). Упоминаются: жирный шрифт, подчеркивание, анкорный текст гиперссылки, кавычки, заголовки (titles), URL, основной текст (body), боковые панели (sidebar), футеры, реклама, капитализация.
• Ссылочные факторы:
  • PageRank (упоминается как возможная оценка релевантности для сортировки Posting Lists).
  • Входящие ссылки (inlinks) и исходящие ссылки (outlinks).
  • Анкорный текст входящих ссылок. Система хранит список анкорных документов, которые содержат фразу и ссылаются на текущий документ.
• Временные факторы: Патент описывает механизм архивирования версий документов с использованием временных меток и диапазонов дат для определения валидности конкретной версии документа.

Какие метрики используются и как они считаются

• P(p), S(p), M(p): Метрики для идентификации Good Phrases. P(p) – количество документов с фразой; S(p) – общее количество вхождений фразы; M(p) – количество «интересных» вхождений.
• Expected Co-occurrence Rate E(j,k): Ожидаемая частота совместной встречаемости фраз j и k, если бы они были независимы. $E(j,k) = E(j) * E(k)$.
• Actual Co-occurrence Rate A(j,k): Фактическая частота совместной встречаемости.
• Information Gain I(j,k): Основная метрика для определения связи между фразами. $I(j,k) = A(j,k) / E(j,k)$.
• Пороги Information Gain: Используются два порога. Низкий (например, 1.1-1.7) для определения предсказательной силы фразы. Высокий (например, 100) для определения Related Phrases и формирования кластеров.
• Relevance Score: Оценка релевантности документа (например, PageRank), используемая для сортировки Posting Lists перед разделением индекса.
• Related Phrase Bit Vector Value: Числовое значение битового вектора, используемое как показатель тематической релевантности документа (чем больше связанных фраз, тем выше значение).

1. Фундаментальный сдвиг к фразовой индексации: Патент подтверждает, что индексация и ранжирование основаны на фразах и концепциях, а не только на отдельных словах. Система автоматически определяет значимые фразы в языке.
2. Information Gain как мера связи: Ключевым механизмом для определения тематических связей является Information Gain. Фразы считаются связанными, если их совместная встречаемость значительно (в патенте предлагается порог в 100 раз) превышает ожидаемую. Это основа для построения тематических кластеров.
3. Тематическая релевантность через связанные фразы: Наличие в документе не только целевой фразы, но и множества связанных с ней фраз (Related Phrases) является сильным сигналом релевантности. Это кодируется в Related Phrase Bit Vector, и его значение используется для ранжирования.
4. Архитектура Primary/Secondary Index: Для масштабирования поиска Google использует разделенный индекс. Только ограниченное количество документов (Топ-K) попадает в Primary Index для каждой фразы. Эти документы предварительно отсортированы по сильным сигналам релевантности (например, PageRank).
5. Конкуренция за Primary Index: Попадание в Primary Index критически важно, так как он используется в первую очередь при поиске. Для этого документ должен обладать высокими показателями авторитетности и релевантности.
6. Многоуровневая оптимизация (Tiering): Даже внутри Primary Index ресурсы распределяются неравномерно. Полный набор атрибутов релевантности хранится только для самых топовых документов.

Best practices (это мы делаем)

• Построение Тематического Авторитета (Topical Authority): Сосредоточьтесь на создании контента, который содержит естественные кластеры семантически связанных фраз. Если вы пишете о теме А, убедитесь, что контент также включает фразы, имеющие высокий Information Gain с темой А. Это увеличит значение Related Phrase Bit Vector документа.
• Использование значимых фраз в структурных элементах: Система идентифицирует Good Phrases, обращая внимание на «интересные» вхождения (заголовки, жирный шрифт, анкорный текст). Стратегически размещайте ключевые концепции в этих элементах для повышения вероятности их распознавания как значимых.
• Наращивание сильных сигналов релевантности (PageRank/E-E-A-T): Поскольку Primary Index хранит документы в порядке их Relevance Score (например, PageRank), критически важно наращивать авторитет страницы. Без достаточного авторитета страница может оказаться в Secondary Index, даже если она тематически релевантна.
• Оптимизация анкорного текста входящих ссылок: Патент подчеркивает важность фраз в анкорах. Получайте ссылки с тематически релевантных страниц, используя анкоры, которые являются Good Phrases и связаны с тематикой вашего документа. Система оценивает тематичность как ссылающегося документа, так и самого анкора.
• Создание сфокусированного контента: Патент предполагает, что документы, охватывающие слишком много разных тем (слишком много кластеров), могут быть отсеяны из выдачи в пользу более сфокусированных документов. Поддерживайте четкую тематическую направленность страницы.

Worst practices (это делать не надо)

• Фокус на плотности ключевых слов: Оптимизация под частоту отдельных слов или одной фразы неэффективна. Если документ не содержит связанных фраз (Related Phrases), его тематическая релевантность будет оценена низко, даже при высокой плотности основного запроса.
• Использование неестественных или изолированных фраз: Попытки манипулировать ранжированием путем вставки фраз без контекста не сработают, так как система анализирует совместную встречаемость и кластеры фраз в естественном контексте.
• Игнорирование авторитета страницы при оптимизации контента: Создание отличного контента на сайте с низким авторитетом может привести к тому, что страница попадет в Secondary Index и не будет конкурентоспособной в поиске.
• Размытие тематики страницы: Создание длинных страниц, затрагивающих множество слабо связанных тем, может привести к трудностям в классификации и потенциальному понижению в ранжировании по сравнению с узкоспециализированными страницами.

Стратегическое значение

Этот патент является одним из фундаментальных документов, объясняющих переход Google от статистического анализа слов к семантическому анализу концепций. Он показывает, что тематический авторитет строится не просто на покрытии темы, а на использовании правильных комбинаций взаимосвязанных фраз, которые статистически предсказывают друг друга (Information Gain). Стратегически, SEO должно фокусироваться на понимании этих взаимосвязей в своей нише. Кроме того, он подчеркивает жесткую иерархию в индексе Google: есть явное разделение на высокоавторитетный контент (Primary Index) и «длинный хвост» (Secondary Index).

Практические примеры

Сценарий: Оптимизация статьи про породу собак «Австралийская овчарка» (Australian Shepherd)

1. Исследование связанных фраз: Необходимо определить фразы, которые имеют высокий Information Gain с «Австралийская овчарка». В патенте (FIG. 3) упоминаются примеры из текста: «stock dogs» (пастушьи собаки), «Basque shepherds» (баскские пастухи), «Australian Shepherd Club of America» (ASCA).
2. Создание контента: Написать статью, которая естественным образом интегрирует эти и другие связанные фразы (например, «herding programs», «obedience programs», «little blue dogs»).
3. Ожидаемый результат (Контент): Система идентифицирует наличие кластера связанных фраз. Related Phrase Bit Vector для этой страницы будет иметь высокое значение, что повысит ее тематическую релевантность.
4. Повышение авторитета: Продвигать страницу для получения качественных обратных ссылок, чтобы повысить ее Relevance Score.
5. Ожидаемый результат (Индекс): Благодаря высокому Relevance Score, страница попадает в Primary Index по запросу «Австралийская овчарка» и связанные запросы, обеспечивая высокую видимость.