Как Google использует Information Gain для автоматического определения значимых фраз и построения семантических связей между ними

Термины и определения

Good Phrase (Хорошая/Значимая фраза)

Последовательность слов (включая отдельные слова), которая встречается достаточно часто и/или имеет достаточное количество «интересных вхождений», а также обладает предсказательной силой (Information Gain) по отношению к другим фразам.

Interesting Instance / Distinguished Instance (Интересное/Выделенное вхождение)

Вхождение фразы, выделенное грамматическими или форматными маркерами (например, жирный шрифт, подчеркивание, анкорный текст гиперссылки, кавычки). Является сигналом значимости фразы.

Information Gain (I(j,k)) (Прирост информации)

Ключевая метрика патента. Показывает, во сколько раз фактическая частота совместной встречаемости двух фраз (A(j,k)) превышает ожидаемую (E(j,k)). Используется для определения предсказательной силы и связанности фраз.

Related Phrases (Связанные фразы)

Две хорошие фразы, у которых Information Gain превышает очень высокий порог (например, 100). Указывает на сильную семантическую связь.

Cluster (Кластер)

Набор Related Phrases, в котором каждая фраза имеет высокий Information Gain по отношению хотя бы к одной другой фразе в наборе. Представляет собой тему или концепт.

Incomplete Phrase (Неполная фраза)

Фраза, которая предсказывает только свои расширения (Phrase Extensions) и ничего более (например, «Президент Соединенных»).

Phrase Extension (Расширение фразы)

Более длинная фраза, начинающаяся с неполной фразы (например, «Президент Соединенных Штатов»).

Phrase Window (Окно фразы)

Скользящее окно (например, 4-5 слов), используемое для извлечения кандидатов во фразы из текста.

Secondary Window (Вторичное окно)

Более широкое окно (например, +/- 30 слов) вокруг текущей фразы, используемое для подсчета статистики совместной встречаемости (co-occurrence).

Co-occurrence Matrix (Матрица совместной встречаемости)

Структура данных, хранящая статистику совместного появления пар хороших фраз в пределах Secondary Window.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации фраз в коллекции документов.

1. Сбор возможных фраз из документов.
2. Классификация фраз на хорошие (good) или плохие (bad) на основе частоты встречаемости.
3. Вычисление Information Gain (IG) для пары хороших фраз (gⱼ, gₖ) как функции фактической и ожидаемой частоты совместной встречаемости.
4. Выборочное сохранение в качестве «значимых фраз» (valid phrases) только тех хороших фраз, которые предсказывают появление хотя бы одной другой хорошей фразы (IG > первый порог).
5. Идентификация «связанных фраз» (Related Phrases), если IG > второй (более высокий и строгий) порог.
6. Сохранение значимых и связанных фраз.

Ядро изобретения — это многоступенчатый статистический фильтр для автоматического выявления семантически значимых единиц (фраз) и их сильных взаимосвязей, где Information Gain является ключевой метрикой для определения как значимости, так и связанности.

Claim 6 и 7 (Зависимые от 1): Уточняют критерии классификации Good Phrase.

Фраза классифицируется как хорошая, если она соответствует порогам по общему количеству документов И общему количеству вхождений (Claim 6), ИЛИ если она имеет минимальное количество «выделенных вхождений» (distinguished instances) (Claim 7). Это показывает, что система использует как общую частотность, так и сигналы выделения (например, анкорный текст) для определения важности фразы.

Claim 9 (Зависимый от 1): Определяет формулу Information Gain.

IG (I(j,k)) рассчитывается как $A(j,k)/E(j,k)$, где A(j,k) — фактическая частота совместной встречаемости, а E(j,k) — ожидаемая частота.

Claim 12 и 13 (Зависимые от 1): Описывают обработку неполных фраз.

Система удаляет Incomplete Phrases из списка хороших фраз. Неполная фраза определяется как та, которая предсказывает только свои собственные расширения (Phrase Extensions).

Claim 17 (Зависимый от 1): Описывает процесс идентификации кластеров.

Для фразы gₓ и набора ее связанных фраз R, кластер формируется из gₓ и тех фраз из R, которые имеют ненулевой (взаимный) Information Gain по отношению друг к другу внутри набора R. Это обеспечивает тематическую целостность кластера.

Где и как применяется

Изобретение является ключевым компонентом процесса индексирования и подготовки данных для ранжирования.

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает сырой контент (текст и разметку), который будет использоваться для идентификации фраз.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Процесс можно разделить на две части:

1. Идентификация фраз (Phrase Identification): Офлайн-процесс анализа корпуса для генерации списка Good Phrases, расчета Information Gain, идентификации Related Phrases и формирования Clusters. Этот процесс создает базу данных фраз (Phrase Data).
2. Индексирование документов (Phrase-Based Indexing): Процесс анализа отдельных документов для определения присутствующих в них хороших фраз и сохранения этой информации в основном Индексе.

QUNDERSTANDING – Понимание Запросов
Система использует базу идентифицированных фраз для распознавания концепций в запросе пользователя. Также используется список Incomplete Phrases для предложения пользователю полных вариантов запроса (Phrase Extensions) или автоматического расширения запроса.

RANKING – Ранжирование
На этапе ранжирования система использует данные, сгенерированные во время индексации. Наличие в документе как самой фразы из запроса, так и ее Related Phrases используется как сильный сигнал релевантности и тематического соответствия.

На что влияет

• Все типы контента и запросов: Алгоритм является фундаментальным и влияет на обработку любого текстового контента и всех типов запросов. Он определяет, как система понимает тематику контента.
• Тематическое моделирование (Topical Authority): Влияет на способность системы определять основные и второстепенные темы документа через анализ кластеров связанных фраз. Документы, содержащие множество Related Phrases, будут считаться более авторитетными.
• Анкорный текст и структура контента: Механизм Interesting Instances напрямую влияет на оценку значимости фраз в анкорном тексте и структурных элементах документа (заголовки, выделения).

Когда применяется

• Триггеры активации: Процесс идентификации фраз активируется периодически при обработке новых или обновленных документов в корпусе (во время краулинга и индексации). Обработка ведется партициями (например, по 1 млн документов).
• Пороговые значения: Алгоритм критически зависит от нескольких порогов:
  • Пороги частотности: Для классификации фразы как «хорошей» (например, >10 документов и >20 вхождений, ИЛИ >5 Interesting Instances).
  • Порог предсказания (IG Threshold 1): Низкий порог Information Gain (например, 1.1–1.7) для определения, обладает ли фраза предсказательной силой (используется для Pruning).
  • Порог связанности (IG Threshold 2): Высокий порог Information Gain (например, 100) для определения сильной связи между фразами (Related Phrases).

Пошаговый алгоритм

Процесс А: Идентификация фраз и сбор статистики (Во время сканирования корпуса)

1. Сбор данных: Система сканирует документы по частям (партициями).
2. Извлечение кандидатов: Для каждого документа текст обходится с помощью Phrase Window (например, 5 слов) для извлечения всех возможных последовательностей слов (кандидатов во фразы).
3. Сбор статистики вхождений: Для каждого кандидата (Possible Phrase) обновляются счетчики: P(p) – количество документов, S(p) – общее количество вхождений, M(p) – количество Interesting Instances.
4. Сбор статистики совместной встречаемости: Одновременно используется Secondary Window (например, +/- 30 слов) для обновления Co-occurrence Matrix. Подсчитывается, как часто пары фраз встречаются рядом.

Процесс Б: Классификация и Очистка (После обработки партиции)

1. Классификация фраз: Кандидаты классифицируются как Good Phrases, если они превышают пороги частотности (P(p), S(p)) или M(p).
2. Расчет Information Gain: Для всех пар Good Phrases (gⱼ, gₖ) вычисляется Information Gain (IG). $IG = Actual Co-occurrence Rate / Expected Co-occurrence Rate$.
3. Очистка по предсказательной силе (Pruning): Если фраза не предсказывает никакие другие фразы (IG ниже Порога 1, например 1.5), она удаляется из списка Good Phrases.
4. Идентификация связанных фраз: Если IG превышает Порог 2 (например, 100), фразы помечаются как Related Phrases.
5. Обработка неполных фраз: Система проверяет, предсказывает ли фраза только свои расширения (Phrase Extensions). Если да, она перемещается в список Incomplete Phrases.
6. Кластеризация: Группы сильно связанных фраз объединяются в Clusters на основе их взаимного IG.

Какие данные и как использует

Данные на входе

Система фокусируется на статистическом анализе текста и структуры документа.

• Контентные факторы: Текст документа. Система анализирует последовательности слов (n-граммы).
• Структурные/Технические факторы (HTML): Используются для идентификации Interesting Instances. Учитываются HTML-теги (например, теги выделения bold, underline), грамматические маркеры (кавычки). Также теги разметки и знаки препинания могут использоваться для определения границ Phrase Window.
• Ссылочные факторы: Анкорный текст (Anchor text) явно указан как один из ключевых типов Interesting Instances.

Какие метрики используются и как они считаются

• P(p) – Частота документов: Количество документов, в которых появляется фраза.
• S(p) – Общая частота: Общее количество вхождений фразы в корпусе.
• M(p) – Частота интересных вхождений: Количество Interesting Instances фразы.
• Co-occurrence Counts (Счетчики совместной встречаемости R(j,k), D(j,k), C(j,k)): Подсчет совместных появлений пар фраз в пределах Secondary Window, с учетом их выделенности.
• E(g) – Expected Value (Ожидаемая частота): Процент документов, которые, как ожидается, будут содержать фразу g (P(g)/Total Documents T).
• E(j,k) – Expected Co-occurrence Rate: Ожидаемая частота совместной встречаемости, если бы фразы были не связаны: $E(g_j) * E(g_k)$.
• A(j,k) – Actual Co-occurrence Rate: Фактическая частота совместной встречаемости (R(j,k) / T).
• I(j,k) (Information Gain): Мера предсказательной силы: $A(j,k)/E(j,k)$.

1. Автоматизация семантического анализа: Патент описывает механизм, позволяющий Google автоматически, без ручного вмешательства, выявлять значимые концепции (фразы) и их взаимосвязи на основе статистического анализа огромного корпуса текстов.
2. Information Gain как мера семантической связи: Information Gain является центральной метрикой. Она используется для фильтрации незначимых фраз (низкий IG) и для количественной оценки силы связи между значимыми фразами (высокий IG).
3. Многоуровневая оценка значимости: Система использует многоуровневый подход: сначала оценивается частота и выделение (Interesting Instances), затем общая предсказательная сила (низкий порог IG), и, наконец, сильная связанность (высокий порог IG).
4. Важность контекста и структуры: Система явно учитывает структурные элементы документа (анкорный текст, форматирование) как сильные сигналы для идентификации значимых фраз. Совместная встречаемость анализируется в локальном контексте (Secondary Window).
5. Основа тематического моделирования (Topical Authority): Идентификация Related Phrases и Clusters позволяет системе строить тематические модели, понимая, какие концепции статистически вероятно обсуждаются вместе. Это является основой для оценки Тематического Авторитета.
6. Отделение префиксов от концепций: Механизм идентификации Incomplete Phrases позволяет отделить начала фраз от законченных концепций, улучшая точность индексации и понимание запросов.

Best practices (это мы делаем)

• Фокус на фразах и концепциях, а не на отдельных словах: Оптимизируйте контент под естественные, устоявшиеся фразы. Анализируйте не просто ключевые слова, а сочетания фраз, которые часто используются вместе в авторитетных источниках по вашей теме.
• Развитие Topical Authority через кластеры связанных фраз: Для доминирования в нише необходимо покрыть весь кластер Related Phrases. Если основная тема «Australian Shepherd», необходимо также использовать фразы, имеющие высокий Information Gain с ней (например, «blue merle», «agility training», «herding dogs»). Это сигнализирует системе о глубине проработки темы.
• Использование значимых фраз в анкорном тексте: Патент явно указывает, что анкорный текст является Interesting Instance. Используйте точные, релевантные фразы во внутренней перелинковке и при построении внешних ссылок.
• Структурирование и выделение ключевых концепций: Используйте форматирование (жирный шрифт) и структурные элементы (заголовки, списки) для выделения ключевых фраз. Это может увеличить счетчик Interesting Instances (M(p)) и подчеркнуть важность концепции.
• Обеспечение близости связанных концепций: Размещайте семантически связанные фразы близко друг к другу в тексте (в пределах Secondary Window, т.е. в одном абзаце или разделе), чтобы система могла эффективно зафиксировать их совместную встречаемость.

Worst practices (это делать не надо)

• Keyword Stuffing и неестественные сочетания слов: Попытки манипулировать ранжированием путем повторения ключевых слов неэффективны. Система ищет статистически подтвержденные связи (Information Gain), а не просто высокую плотность терминов.
• Игнорирование семантического окружения: Написание текстов только по основному запросу без использования Related Phrases. Если система не видит связанных фраз, которые она ожидает увидеть на основе высокого IG, релевантность документа будет оценена ниже.
• Использование общих фраз в качестве ключевых: Фокусировка на фразах, не имеющих предсказательной силы (например, идиомы или общие утверждения), не поможет ранжированию, так как они будут отфильтрованы системой.

Стратегическое значение

Этот патент является одним из foundational-патентов для современного SEO. Он знаменует переход от анализа отдельных ключевых слов к анализу фраз и их статистических взаимосвязей как основы для понимания контента. Стратегически, это подтверждает необходимость построения Тематического Авторитета путем глубокого и всестороннего освещения темы, используя весь спектр связанных концепций (Related Phrases). Работа над SEO должна вестись на уровне тем и кластеров, а не изолированных запросов.

Практические примеры

Сценарий: Оптимизация статьи о породе собак «Австралийская овчарка» (Australian Shepherd)

1. Анализ (Имитация работы Google): Система Google определила, что фраза «Australian Shepherd» является Good Phrase. Она также определила Related Phrases с высоким Information Gain: «Aussie», «blue merle», «red merle», «tricolor», «agility training».
2. Действия SEO-специалиста (НЕПРАВИЛЬНО): Написать статью, многократно повторяющую «Australian Shepherd», но не упоминающую окрасы («blue merle») или виды активности («agility training»). Система не увидит ожидаемых связанных фраз.
3. Действия SEO-специалиста (ПРАВИЛЬНО): Написать комплексную статью, естественно включающую основную фразу и большинство ее Related Phrases. Использовать «blue merle Australian Shepherd» в подзаголовке (H2) и «agility training tips» в качестве анкорного текста для внутренней ссылки.
4. Результат (ПРАВИЛЬНО): Вхождения в H2 и анкорном тексте засчитываются как Interesting Instances. Наличие связанных фраз подтверждает тематическую релевантность кластеру. Документ получает более высокие позиции.