Как Google использует вероятностные иерархические модели для определения скрытых концепций (тем) в запросах и документах

Термины и определения

Activation Level (Уровень активации)

Динамический параметр, выбираемый кластером во время исполнения модели. Определяет, "насколько сильно" кластер будет активировать свои дочерние терминалы. Используется для обработки текстов различной длины.

Candidate Clusters (Кандидатские кластеры)

Подмножество кластеров из общей модели, которые с высокой вероятностью активны при генерации конкретного набора слов (документа или запроса). Выбираются для ускорения вычислений.

Clusters / Concepts (Кластеры / Концепции)

Узлы в вероятностной модели, представляющие скрытые переменные (идеи, темы или сущности). Они используются для объяснения совместной встречаемости концептуально связанных слов.

Evidence Tree (Дерево свидетельств)

Структура, используемая в процессе Parent Picking для быстрого отбора кандидатских кластеров. Строится от наблюдаемых терминалов вверх к их родительским кластерам.

Global Nodes (Глобальные узлы)

Узлы, представляющие параметры самой модели (например, вес связи между двумя кластерами). Они отражают общие знания о мире, извлеченные из всего обучающего набора данных.

Links (Связи)

Направленные связи в вероятностной модели, соединяющие узлы. Имеют веса (Weights), определяющие вероятность активации дочернего узла при активации родительского.

Local Network / Local Nodes (Локальная сеть / Локальные узлы)

Репликация модели для анализа конкретного экземпляра текста (например, одной поисковой сессии). Локальные узлы представляют неопределенность относительно того, какие концепции были активны при генерации этого конкретного текста.

Loopy Belief Propagation (Loopy)

Итеративный алгоритм приближенного вывода (inference) в вероятностных графических моделях. Используется для оценки вероятностей скрытых переменных (кластеров) и для обучения параметров модели (глобальных узлов).

Noisy-OR

Функция комбинирования вероятностей. Если узел имеет несколько активных родителей, вероятность того, что он НЕ активируется, равна произведению вероятностей того, что ни одна из связей от активных родителей не сработает.

Parent Picking

Метод быстрого отбора Candidate Clusters для конкретного текста путем оценки их вероятности на основе априорных данных и связей с наблюдаемыми терминалами.

Terminals (Терминалы)

Наблюдаемые переменные в модели. Соответствуют словам или устойчивым фразам (compounds) в тексте.

Universal Node (U) / CANADA

Корневой узел модели, который всегда активен и является источником активации всех остальных кластеров.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод характеризации документа.

1. Система получает документ, содержащий набор слов.
2. Система выбирает candidate clusters концептуально связанных слов, которые связаны с этим набором слов.
3. Выбор происходит с использованием модели, которая объясняет, как наборы слов генерируются из кластеров.
4. Система конструирует набор компонентов (вектор) для характеризации документа.
5. Этот набор включает компоненты для кандидатских кластеров, где каждый компонент указывает степень, в которой соответствующий кластер связан с набором слов.

Claim 2 (Зависимый от 1): Уточняет, что модель является вероятностной (probabilistic model) и содержит узлы, представляющие случайные переменные для слов и кластеров.

Claim 3 (Зависимый от 2): Уточняет, что каждый компонент вектора указывает степень, в которой соответствующий кластер активен (active) в генерации набора слов.

Claim 4 и 5 (Зависимые от 3): Описывают механизм активации через взвешенные связи (weighted links) и функцию комбинирования Noisy-OR. Если у узла несколько активных родителей, вероятность того, что он не сработает, является произведением вероятностей того, что связи от активных родителей не сработают.

Claim 7 (Зависимый от 4): Детализирует процесс выбора кандидатских кластеров (Parent Picking).

1. Конструируется evidence tree, начиная с терминальных узлов (слов документа) и следуя по связям в обратном направлении к родительским кластерам.
2. Дерево используется для оценки вероятности того, что каждый родительский кластер был активен.
3. Родительский кластер выбирается как кандидатский на основе этой оценки.

Claim 15 (Зависимый от 3): Описывает процесс аппроксимации вероятности активности кластера.

Вероятность того, что данный кандидатский кластер активен, аппроксимируется по состояниям вероятностной модели, которые могли сгенерировать набор слов.

Claim 17 (Зависимый от 16): Детализирует метод выбора вероятных состояний модели (альтернатива Loopy для локального вывода).

1. Случайным образом выбирается начальное состояние модели.
2. Выполняются операции "восхождения на холм" (hill-climbing), начиная с начального состояния, чтобы достичь состояния, которое с высокой вероятностью сгенерировало набор слов.

Где и как применяется

Это изобретение является ключевым компонентом для понимания семантики текста и применяется на нескольких этапах поиска.

QUNDERSTANDING – Понимание Запросов
Основное применение. Система используется для анализа поискового запроса пользователя в реальном времени.

1. Входные данные: Текст запроса (набор Terminals).
2. Процесс: Система применяет обученную вероятностную модель для характеризации запроса. Используются техники Parent Picking и Inference (Loopy или Hill-climbing) для идентификации активных Clusters.
3. Выходные данные: Вектор, представляющий семантическое значение запроса в пространстве концептуальных кластеров. Это позволяет понять интент и контекст за пределами буквальных слов.

INDEXING – Индексирование и извлечение признаков
Система также применяется для анализа контента веб-страниц во время индексирования.

1. Входные данные: Текст веб-страницы.
2. Процесс: Аналогично пониманию запросов, система характеризует страницу, идентифицируя активные кластеры.
3. Выходные данные: Вектор активных кластеров сохраняется в индексе как семантический признак документа.

RANKING – Ранжирование
Результаты этапов QUNDERSTANDING и INDEXING используются для ранжирования.

1. Входные данные: Вектор кластеров запроса и векторы кластеров документов-кандидатов.
2. Процесс: Система сравнивает вектор запроса и вектор документа (например, используя косинусное расстояние или другие метрики сходства). Это позволяет оценить концептуальную релевантность документа запросу, даже если они используют разные слова.
3. Выходные данные: Сигнал семантической релевантности, используемый в функциях ранжирования.

На что влияет

• Все типы контента и запросов: Патент описывает универсальный механизм понимания любого текста, будь то короткие запросы или длинные документы.
• Обработка синонимии и связанных терминов: Система влияет на то, как поиск обрабатывает связанные слова. Если разные слова (например, "pictures", "photos", "images") часто активируются одним и тем же кластером, система будет рассматривать их как семантически близкие.
• Обработка полисемии (Ambiguity): Влияет на обработку многозначных запросов. Например, запрос "jaguar" может активировать как кластер, связанный с автомобилями, так и кластер, связанный с животными. Патент упоминает возможность использования этого для диверсификации выдачи.
• Языковые ограничения: Механизм не зависит от языка и может быть обучен на любом корпусе текстов.

Когда применяется

Алгоритм применяется всякий раз, когда системе необходимо понять семантическое содержание текста.

• Во время индексирования: При обработке каждого нового или обновленного документа для вычисления его концептуального вектора.
• Во время выполнения запроса: В реальном времени для анализа запроса пользователя и вычисления его концептуального вектора.
• Во время обучения модели: Периодически офлайн для обучения или обновления вероятностной модели на основе новых данных (например, свежих поисковых сессий).

Пошаговый алгоритм

Процесс А: Обучение модели (Офлайн)

1. Сбор данных: Сбор большого количества текстовых примеров (например, поисковых сессий за день).
2. Препроцессинг (Compounding): Определение лексикона слов и устойчивых фраз (Terminals). Текст преобразуется в наборы терминалов.
3. Инициализация модели: Начало с базовой модели (например, только Universal Node) или загрузка существующей модели.
4. Итеративное обучение (Loopy Belief Propagation / EM):
   1. Локальный вывод (Inference): Для каждой сессии строится Local Network. Вычисляются вероятности активности локальных кластеров с учетом текущих параметров модели (Global Nodes).
   2. Генерация сообщений: Из локальных сетей извлекаются сообщения (Link Messages и Node Messages), которые передаются вверх к глобальным узлам.
   3. Оптимизация связей (Link Optimization): Глобальные узлы обновляют свои параметры (веса и вероятности существования связей) на основе полученных сообщений для максимизации правдоподобия данных.
   4. Создание новых кластеров: На основе анализа сессий создаются новые кластеры для объяснения необъясненных совместных появлений слов.
5. Повторение: Шаг 4 повторяется до сходимости модели.

Процесс Б: Характеризация документа/запроса (Онлайн)

1. Получение текста: Система получает текст (запрос или документ).
2. Препроцессинг: Текст преобразуется в набор Terminals.
3. Выбор Кандидатов (Parent Picking):
   1. Строится Evidence Tree, начиная с терминалов в тексте и двигаясь вверх к родительским кластерам.
   2. Оценивается вероятность активности каждого родительского кластера.
   3. Выбирается небольшое подмножество наиболее вероятных Candidate Clusters.
4. Построение Локальной Сети: Строится компактная локальная сеть, включающая только терминалы из текста и выбранные кандидатские кластеры (используя техники Sparseness).
5. Вывод (Inference): Вычисляются точные вероятности активности кандидатских кластеров в контексте данного текста. Могут использоваться методы Loopy Belief Propagation или Hill-climbing.
6. Построение Вектора: Конструируется вектор, где каждый компонент представляет степень активности (например, вероятность * уровень активации) соответствующего кластера.
7. Нормализация: Вектор может быть нормализован.

Какие данные и как использует

Данные на входе

• Контентные факторы (Текст): Система использует непосредственно слова и фразы (Terminals) из анализируемого текста (запроса или документа). Порядок слов игнорируется; текст рассматривается как неупорядоченный набор терминалов.
• Поведенческие факторы (Данные для обучения): Для обучения модели используются большие корпусы текстов. В патенте в качестве основного примера приводятся Query Sessions (набор запросов пользователя за день). Совместное появление слов в рамках одной сессии является ключевым сигналом для выявления концептуальных связей.

Какие метрики используются и как они считаются

Система оперирует вероятностями и весами в рамках вероятностной графической модели.

• Link Weight (W): Вес связи между узлами. Определяет базовую вероятность активации дочернего узла родителем.
• Activation Level (A): Динамический уровень активации кластера.
• Firing Probability (Вероятность срабатывания): Вероятность того, что активный кластер активирует дочерний терминал. Рассчитывается по формуле: $1 - e^{-AW}$. Для связей между кластерами используется просто W.
• Noisy-OR Combination: Вероятность активации узла несколькими родителями $C_1...C_n$ рассчитывается как: $1 - \prod (1 - P(C_i \text{ fires child}))$.
• Order One Probability (O1): Априорная (безусловная) вероятность того, что узел активен. Аппроксимируется частотой активации узла во время обучения.
• Vector Component (Компонент вектора характеризации): Метрика, указывающая степень активности кластера $C_i$ в данном тексте. Может рассчитываться как вероятность активности $P(C_i)$ или как произведение $Activation(C_i) * P(C_i)$.

1. Переход от слов к концепциям: Патент описывает конкретный и масштабируемый механизм для перехода от анализа ключевых слов к анализу скрытых концепций (тем). Система моделирует мир как иерархию концепций, которые генерируют наблюдаемые слова.
2. Автоматическое выявление семантических связей: Система автоматически выявляет синонимы, связанные термины и иерархические отношения (специализация/обобщение) путем анализа совместной встречаемости слов в обучающих данных (например, поисковых сессиях). Слова, принадлежащие одному кластеру, считаются семантически близкими.
3. Контекстуальная интерпретация: Значение слова определяется тем, какие кластеры оно активирует и какие другие слова присутствуют в тексте. Это позволяет системе различать разные значения многозначных слов.
4. Генеративная модель для ранжирования: Характеризация запросов и документов в виде векторов в пространстве кластеров позволяет реализовать концептуальное ранжирование. Документы ранжируются на основе совпадения активных концепций, а не только по совпадению слов.
5. Важность поисковых сессий: Поисковые сессии являются критически важным источником данных для обучения модели, так как они содержат связанные по смыслу запросы, что помогает выявлять концептуальные связи.
6. Масштабируемость через аппроксимацию: Для работы в масштабе веба используются сложные техники аппроксимации и обеспечения разреженности (Sparseness, Parent Picking, Loopy Belief Propagation), которые делают вычисления возможными в реальном времени.

Best practices (это мы делаем)

• Фокус на тематическом покрытии (Topical Coverage): Создавайте контент, который полностью охватывает тему, используя разнообразную лексику, синонимы и связанные термины. Это увеличивает вероятность того, что ваш контент будет сильно связан с релевантными концептуальными Clusters в модели Google.
• Создание кластерного контента (Hub and Spoke): Организуйте контент в виде тематических кластеров. Это соответствует иерархической структуре модели, описанной в патенте, где общие концепции (Hub) связаны с более специфическими (Spoke).
• Анализ семантически связанных запросов: Изучайте запросы, которые пользователи задают в рамках одной сессии (например, через анализ связанных запросов и "People Also Ask"). Это дает представление о том, какие слова Google группирует в одни и те же концептуальные кластеры. Используйте эти слова в своем контенте.
• Оптимизация под концепции, а не только под ключевые слова: Вместо фокусировки на точном вхождении конкретного ключевого слова, убедитесь, что страница четко сигнализирует о своей основной теме (концепции). Если страница релевантна концепции, она может ранжироваться по широкому спектру запросов, связанных с этой концепцией.
• Использование устойчивых фраз (Compounds): Используйте естественные и устойчивые фразы (например, "New York City", а не только "New York"). Модель обрабатывает такие фразы как отдельные Terminals, что может улучшить точность определения концепций.

Worst practices (это делать не надо)

• Keyword Stuffing и неестественная плотность ключевых слов: Система анализирует текст как набор терминалов и оценивает вероятность их генерации из концепций. Искусственное завышение частоты слов не обязательно приведет к более сильной активации релевантного кластера и может выглядеть неестественно.
• Создание разрозненного контента (Thin Content): Создание множества коротких статей под узкие запросы без связи с более широкой темой, неэффективно. Система ищет контент, который демонстрирует активацию сильных и связанных концептуальных кластеров.
• Игнорирование синонимов и вариативности языка: Использование только одного варианта термина (например, только "фото" и никогда "изображение" или "картинка") ограничивает способность системы связать ваш контент с полным спектром релевантных кластеров.

Стратегическое значение

Этот патент является одним из фундаментальных документов, подтверждающих стратегию Google по переходу к семантическому поиску. Он демонстрирует, что уже на ранних этапах Google разрабатывал сложные системы для моделирования концепций, лежащих в основе языка. Для долгосрочной SEO-стратегии это означает, что успех зависит от способности создавать контент, который точно соответствует семантическим кластерам, изученным Google. Понимание тематики и интента пользователя становится важнее, чем техническая оптимизация под конкретные формулировки запросов.

Практические примеры

Сценарий: Оптимизация страницы о породе собак "Ягуар" (Jaguar)

1. Анализ (на основе патента): Система знает, что слово "Jaguar" многозначно. Оно связано как минимум с двумя основными Clusters: КЛАСТЕР_АВТОМОБИЛИ (связан с терминалами "car", "XK8", "luxury", "engine") и КЛАСТЕР_ЖИВОТНЫЕ (связан с "cat", "feline", "rainforest", "spots").
2. Действие SEO-специалиста: Чтобы гарантировать, что страница о животном активирует правильный кластер, необходимо включить в текст слова, которые сильно связаны с КЛАСТЕР_ЖИВОТНЫЕ и слабо связаны с КЛАСТЕР_АВТОМОБИЛИ.
3. Реализация: Включение терминов "большая кошка", "Амазонка", "пятнистый окрас", "хищник".
4. Ожидаемый результат: При анализе страницы система (используя Inference) определит высокую вероятность активации КЛАСТЕР_ЖИВОТНЫЕ и низкую вероятность активации КЛАСТЕР_АВТОМОБИЛИ. Страница будет лучше ранжироваться по запросам, связанным с животным, и не будет ошибочно показываться по запросам об автомобиле.

Сценарий: Расширение семантики для страницы об "Айфонах"

1. Анализ (на основе патента): Пользователи, ищущие информацию об Айфонах, часто используют разные слова в рамках одной сессии (например, "iPhone 15", "iOS features", "Apple store", "best smartphone"). Модель группирует эти термины в связанные кластеры.
2. Действие SEO-специалиста: Создать контент, который охватывает не только сам продукт, но и связанные с ним концепции, чтобы максимизировать активацию релевантных кластеров.
3. Реализация: Включить разделы о функциях операционной системы, сравнение с другими смартфонами, информацию о покупке и аксессуарах.
4. Ожидаемый результат: Страница будет идентифицирована как высоко релевантная широкой концепции "iPhone" и сможет ранжироваться по более широкому спектру запросов, так как ее концептуальный вектор будет хорошо совпадать с векторами этих запросов.