Как Google использует связанные фразы и Information Gain для автоматической кластеризации и организации поисковой выдачи

Термины и определения

Этот патент описывает комплексную систему фразового поиска и кластеризации. Для понимания механизма необходимо разобрать ключевые термины.

Good Phrase (Хорошая фраза)

Фраза (включая отдельные слова), которая встречается с достаточной частотой и/или в "интересных контекстах" (Interesting Instances), и которая предсказывает появление хотя бы одной другой фразы, не являющейся ее расширением.

Information Gain (I(j,k)) (Прирост информации)

Ключевая метрика. Мера того, насколько сильно присутствие фразы Gj предсказывает присутствие фразы Gk. Рассчитывается как отношение фактической частоты совместного появления (A) к ожидаемой частоте (E). $I(j,k) = A(j,k)/E(j,k)$.

Related Phrase (Связанная фраза)

Фраза Gk, которая имеет очень высокий Information Gain по отношению к фразе Gj (например, порог > 100). Указывает на сильную семантическую связь.

Cluster (Кластер)

Набор связанных фраз. В контексте выдачи — группа документов, объединенных общей Related Phrase.

Interesting Instance (Интересный контекст)

Появление фразы, выделенное маркерами форматирования (например, жирный шрифт, анкорный текст гиперссылки, заголовок).

Related Phrase Bit Vector (RPBV, Битовый вектор связанных фраз)

Структура данных в индексе для пары (Фраза, Документ). Указывает, какие из связанных фраз данной фразы также присутствуют в этом документе. Битовые позиции упорядочены по убыванию Information Gain.

Incomplete Phrase (Неполная фраза) и Phrase Extension (Расширение фразы)

Фраза, которая предсказывает только свои расширения (например, "Президент" -> "Президент США"). Используется для автодополнения запросов.

Ключевые утверждения (Анализ Claims)

Патент US7426507B1 фокусируется на генерации таксономии (кластеризации) результатов поиска.

Claim 1 (Независимый пункт): Описывает основной метод представления документов.

1. Получение документов в ответ на запрос, содержащий фразу (query phrase).
2. Определение связанных фраз (Related Phrases). Связь определяется, если Information Gain (IG) превышает порог. IG рассчитывается как функция фактической (A(j,k)) и ожидаемой (E(j,k)) частоты совместного появления.
3. Определение множества кластеров. Каждый кластер ассоциирован с одной из связанных фраз и использует ее как название.
4. Представление документов: для каждого кластера показывается некоторое количество документов, содержащих его связанную фразу, вместе с названием кластера.

Ядро изобретения — использование статистически значимых (на основе Information Gain) связанных фраз для автоматической кластеризации (создания таксономии) поисковой выдачи.

Claim 2 (Зависимый от 1): Уточняет порядок кластеров.

Кластеры упорядочиваются по убыванию количества документов в них. Наиболее крупные (популярные) тематические группы показываются первыми.

Claim 3 и 4 (Зависимые от 1): Уточняют способ выборки документов.

• Claim 3: Представление фиксированного количества документов из каждого кластера.
• Claim 4: Представление количества документов пропорционально размеру кластера.

Это обеспечивает репрезентативную выборку результатов из разных тематических групп.

Claim 5 (Зависимый от 1): Уточняет техническую реализацию.

Определение связанных фраз включает изучение Related Phrase Bit Vector (RPBV). Это показывает, что система использует предварительно рассчитанные данные для быстрого определения состава кластеров.

Claim 14 (Зависимый): Детализирует механизм подсчета документов в кластере.

Подсчет осуществляется путем доступа к RPBV. Счетчик увеличивается, если и только если в векторе установлен бит в позиции, соответствующей связанной фразе кластера. Это подчеркивает эффективность реализации.

Claim 15 (Зависимый): Добавляет этап обработки запроса.

Система может идентифицировать неполную фразу (Incomplete Phrase) в запросе и заменить ее расширением (Phrase Extension) до начала поиска. Это интегрирует механизм переписывания запросов в общую систему.

Где и как применяется

Изобретение требует инфраструктуры, затрагивающей индексирование, но основной процесс генерации таксономии применяется на финальных этапах.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит вся предварительная работа:

• Идентификация Good Phrases.
• Расчет Information Gain и идентификация Related Phrases.
• Создание и сохранение Related Phrase Bit Vectors (RPBV) для каждой фразы в каждом документе.

RANKING – Ранжирование
Система формирует первичный набор результатов, используя фразы и RPBV для расчета оценок релевантности.

RERANKING – Переранжирование / METASEARCH – Метапоиск и Смешивание
Это основной этап применения генерации таксономии (Presentation System).

• Анализ результатов: Система получает ранжированный список.
• Подсчет связанных фраз: Используя RPBV документов в выдаче, система быстро подсчитывает, как часто каждая Related Phrase (Qr) встречается во всем наборе результатов.
• Генерация Таксономии: Наиболее частые Qr выбираются в качестве заголовков кластеров.
• Организация выдачи: Результаты перегруппировываются под заголовками кластеров.

Входные данные:

• Ранжированный набор результатов поиска.
• Фразы запроса (Qp) и их связанные фразы (Qr).
• Related Phrase Bit Vectors (RPBV) для документов в результатах.

Выходные данные:

• Модифицированный набор результатов поиска, организованный в виде тематических кластеров.

На что влияет

• Специфические запросы: Наибольшее влияние на широкие или неоднозначные информационные запросы, где существует множество подтем или различных аспектов темы (например, "Ягуар" или "Австралийская овчарка").
• Организация SERP: Влияет на структуру выдачи, обеспечивая разнообразие (Diversity) и тематическую навигацию.

Когда применяется

• Условия применения: Применяется после основного ранжирования, на этапе представления результатов.
• Триггеры активации: Активируется, если для фраз запроса существуют Related Phrases и в результатах поиска наблюдается достаточное разнообразие этих фраз для формирования значимых кластеров.

Пошаговый алгоритм

Процесс А: Офлайн-подготовка данных (Индексирование)

1. Идентификация фраз: Сбор статистики по частоте и совместной встречаемости. Классификация фраз на Good Phrases.
2. Расчет Information Gain: Для каждой пары хороших фраз вычисляется IG.
3. Определение Related Phrases: Если IG превышает высокий порог (например, 100), фразы помечаются как связанные и сортируются по IG.
4. Индексирование документов: Для каждой фразы в документе создается Related Phrase Bit Vector (RPBV). Бит устанавливается, если соответствующая связанная фраза также присутствует в документе. Вектор сохраняется в индексе.

Процесс Б: Генерация таксономии при запросе (Presentation)

1. Получение данных: Система получает запрос (Qp) и список релевантных документов.
2. Идентификация связанных фраз (Qr): Извлекается список Related Phrases (Qr) для Qp.
3. Подсчет частотности Qr: Система итерирует по документам в результатах. Для каждой Qr подсчитывается количество документов, содержащих ее, путем анализа RPBV.
4. Формирование кластеров: Qr сортируются по частоте встречаемости. Топ-N фраз становятся названиями кластеров.
5. Сортировка кластеров: Кластеры упорядочиваются по популярности (количеству документов).
6. Выборка документов: Из каждого кластера выбирается количество документов (фиксированное или пропорциональное) для представления.
7. Отображение: Результаты представляются сгруппированными под названиями кластеров.

Какие данные и как использует

Данные на входе

Система генерации таксономии полагается на предварительно вычисленные данные.

• Системные данные (Индекс):
  • Good Phrase List: Список значимых фраз.
  • Co-occurrence Matrix данные и Information Gain значения: Статистика совместного появления и рассчитанные значения IG, определяющие связанные фразы.
  • Related Phrase Bit Vectors (RPBV): Хранятся в постинг-листах. Критически важны для быстрого подсчета частоты кластеров.
• Контентные и Технические факторы (на этапе индексации): Текст документа и маркеры выделения (Interesting Instances – анкорный текст, заголовки, выделенный шрифт) используются для идентификации Good Phrases и сбора статистики.

Какие метрики используются и как они считаются

• Information Gain (I(j,k)): Основная метрика для определения связи. Формула: $I(j,k) = A(j,k)/E(j,k)$ (A=фактическая, E=ожидаемая частота).
• Пороги Information Gain:
  • Порог для определения Good Phrase (например, > 1.5).
  • Высокий порог для определения Related Phrase (например, > 100).
• Метрики частоты фраз (P(p), S(p), M(p)): Используются для идентификации Good Phrases на этапе индексации.
• Частота кластера (Cluster Frequency): Количество документов в результатах поиска, содержащих определенную связанную фразу. Используется для выбора и ранжирования кластеров.

1. Переход от ключевых слов к концепциям (фразам): Патент закладывает фундамент для фразовой индексации. Google анализирует устойчивые фразы (Good Phrases), которые представляют семантические концепции, а не изолированные слова.
2. Information Gain как мера семантической связи: Ключом к пониманию тематических связей является не просто совместное появление, а статистическая предсказательная сила одной фразы по отношению к другой (Information Gain). Это data-driven подход к семантике.
3. Автоматическая таксономия для разнообразия (Diversity): Цель кластеризации выдачи — улучшить пользовательский опыт, показав различные аспекты темы. Таксономия генерируется динамически на основе наиболее статистически значимых связанных фраз в найденном контенте.
4. Важность совместной встречаемости (Co-occurrence) для SEO: Документы, которые естественным образом содержат кластеры связанных фраз, считаются тематически полными. Это критически важно для демонстрации релевантности.
5. Эффективность реализации через Bit Vectors: Использование Related Phrase Bit Vectors (RPBV) в индексе позволяет выполнять сложную кластеризацию в реальном времени, сводя анализ контента к быстрым битовым операциям.

Best practices (это мы делаем)

• Фокус на Topical Authority и семантическом охвате: Необходимо создавать контент, который покрывает не только основную фразу запроса, но и кластер связанных фраз (Related Phrases), которые имеют высокий Information Gain. Это сигнализирует о глубине проработки темы и помогает системе правильно классифицировать контент.
• Исследование кластеров фраз: Анализируйте совместную встречаемость терминов в контенте конкурентов из ТОПа и изучайте, как Google организует выдачу. Это позволит понять, какие фразы формируют тематический кластер и какие концепции Google считает наиболее связанными.
• Использование фраз в "Интересных контекстах": Поскольку система учитывает Interesting Instances при идентификации Good Phrases, важно использовать ключевые и связанные фразы в заголовках, выделенном тексте и анкорном тексте ссылок.
• Оптимизация под конкретные подтемы (кластеры): При работе с широкими запросами создавайте контент, который четко выровнен под конкретную подтему (потенциальный кластер), чтобы гарантировать его представление в соответствующем тематическом блоке SERP.

Worst practices (это делать не надо)

• Keyword Stuffing и изолированная оптимизация: Повторение одной и той же фразы без использования связанных концепций неэффективно. Система ищет наличие разнообразных Related Phrases, а не только высокую плотность основного ключа.
• Создание тонкого контента (Thin Content): Страницы, которые поверхностно затрагивают тему и не содержат достаточного количества связанных фраз, будут проигрывать тематически полным документам.
• Игнорирование семантического контекста: Создание контента, который формально содержит ключевые слова, но не отражает реальных статистических связей между концепциями (игнорирует Information Gain).

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google на понимание естественного языка и тематическое моделирование. Он предоставляет конкретную модель (основанную на Information Gain и фразах) того, как Google автоматически выявляет структуру знаний в нише. Долгосрочная SEO-стратегия должна быть направлена на построение Topical Authority путем полного охвата семантических кластеров, а не на оптимизацию под отдельные запросы.

Практические примеры

Сценарий: Организация выдачи и оптимизация статьи по теме "Australian Shepherd" (Австралийская овчарка)

1. Запрос: "Australian Shepherd".
2. Анализ (Предполагаемый): Система идентифицирует Related Phrases с высоким Information Gain: "Blue Merle" (голубой мерль), "Red Merle" (красный мерль), "Agility Training" (аджилити), "Herding Dogs" (пастушьи собаки).
3. Генерация таксономии в SERP: Система анализирует ТОП-100 результатов и видит, что чаще всего встречаются "Blue Merle" и "Agility Training". Выдача может быть организована так:
   • Кластер 1: Blue Merle (50 документов)
   • Кластер 2: Agility Training (30 документов)
4. Действия SEO (Оптимизация): Создается комплексное руководство. Специалист гарантирует, что статья включает не только основную фразу, но и естественно интегрирует все идентифицированные связанные фразы (окрасы, активность, сравнение пород).
5. Ожидаемый результат: Статья демонстрирует высокую тематическую релевантность, так как содержит множество фраз из кластера. Это увеличивает ее шансы на высокое ранжирование и попадание в соответствующие тематические группы в SERP.