Как Google использует кластеры совместной встречаемости терминов и иерархические оценки для классификации сайтов по тематическим вертикалям

Описание

Какую задачу решает

Патент решает задачу автоматической и точной классификации большого и динамически изменяющегося набора объектов (веб-сайтов, страниц, рекламных объявлений) в рамках предопределенной иерархической таксономии (Taxonomy). Основная сложность заключается в определении оптимального уровня специфичности — например, классифицировать сайт как «Электроника» (общая категория) или «Электроника/Камеры/DSLR» (специфичная категория), обеспечивая при этом высокую достоверность классификации.

Что запатентовано

Запатентована система и метод для многоуровневой семантической категоризации объектов (Documents или Properties). Изобретение использует Semantic Clusters (кластеры совместной встречаемости терминов) и опционально Concepts (абстрактные значения) для назначения объекта категориям в таксономии. Ключевым элементом является алгоритм выбора «лучшей» категории путем нахождения самого глубокого уровня в иерархии, который соответствует пороговому значению достоверности, используя кумулятивные оценки.

Как это работает

Система работает как конвейер классификации:

• Идентификация кластеров: Анализируется контент объекта для выявления Semantic Clusters (например, с помощью PHIL – Probabilistic Hierarchical Inferential Learner). Это группы терминов, которые часто встречаются вместе.
• Идентификация концепций: Кластеры используются для определения взвешенного набора Concepts (например, с помощью Circadia Semantic Recognition Engine), формируя «суть» (Gist).
• Идентификация категорий: Концепции (или кластеры напрямую) используются для определения релевантных категорий в таксономии.
• Иерархический выбор: Система рассчитывает кумулятивные оценки (S&SCCS – Self&Subsumed Category Cluster Score) для категорий на разных уровнях иерархии. Выбирается самая глубокая (специфичная) категория, чья оценка превышает установленный порог значимости.

Актуальность для SEO

Высокая. Хотя оригинальная заявка датируется 2005 годом (патент выдан в 2018), описанные принципы тематической классификации и иерархического анализа являются фундаментальными для современных поисковых систем. Понимание тематики сайта и его классификация по вертикалям напрямую связаны с концепциями Тематического Авторитета (Topical Authority) и семантического поиска.

Важность для SEO

Влияние на SEO высокое (85/100). Патент детально описывает механизм, с помощью которого Google может определять основную тематическую вертикаль и уровень экспертизы сайта. Понимание этого процесса критически важно для построения Тематического Авторитета. Если контент сайта семантически разрознен или не содержит четких кластеров терминов, система может классифицировать сайт слишком широко или не классифицировать его вообще, что затруднит ранжирование в конкретных нишах.

Детальный разбор

Термины и определения

Category (Категория) / Vertical (Вертикаль)

Узел в таксономии. Группа связанных продуктов, услуг или тем.

Circadia

Упомянутый в патенте пример семантического движка. Используется для операций «sensing» (определение концепций) и «seeking» (определение категорий).

Cluster / Semantic Cluster (Кластер)

Группа терминов, которые часто встречаются совместно (co-occur) в определенном контексте (например, в веб-страницах или поисковых сессиях). Также называется term co-occurrence cluster.

Concept (Концепция)

Абстрактный носитель смысла, не зависящий от языка. Например, слова «Stop» и «Halt» относятся к одной концепции.

Document (Документ) / Property (Ресурс)

Объект, подлежащий категоризации. Включает веб-страницы, веб-сайты, рекламные объявления.

Gist (Суть)

Взвешенный набор концепций (weighted set of concept matches), полученный в результате анализа текста.

ICCS (Intra-Category Cluster Score)

Внутрикатегориальная оценка кластера. Оценка, присвоенная непосредственно конкретному узлу категории.

PHIL (Probabilistic Hierarchical Inferential Learner)

Упомянутая в патенте система для генерации и идентификации Clusters.

S&SCCS (Self&Subsumed Category Cluster Score)

Оценка кластера категории, включающая себя и подчиненные категории. Кумулятивная оценка для узла категории, включающая собственный ICCS и ICCS всех его узлов-потомков (более глубоких уровней).

Taxonomy (Таксономия)

Структурированный, обычно иерархический, набор категорий.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод категоризации ресурса (property) в иерархической таксономии.

1. Система получает информацию о ресурсе (например, контент сайта).
2. Идентифицируются множественные semantic clusters повторяющихся терминов в этой информации.
3. Идентифицируется набор категорий для ресурса на основе этих кластеров. Этот шаг включает детальный механизм иерархического выбора:
   • Для каждого уровня иерархии определяется, соответствует ли оценка кластера (cluster score) для категории на этом уровне заданному порогу.
   • Оценка кластера на данном уровне определяется как комбинация оценки для этой категории и оценок всех нижестоящих (подчиненных) категорий. (Это соответствует метрике S&SCCS в описании).
   • Идентифицируется самый глубокий уровень (deepest level) от вершины иерархии, на котором категория все еще соответствует порогу.
   • Эта категория на самом глубоком уровне назначается ресурсу (Assigned Category).
4. Генерируется маппинг (связь) между ресурсом и назначенной категорией.
5. (Применение) Система получает термин от пользователя, идентифицирует категорию, связанную с этим термином, и предоставляет пользователю информацию о ресурсе (поскольку ресурс был привязан к этой категории).

Claim 2, 3, 4, 5 (Зависимые): Уточняют, что процесс может включать идентификацию и оценку промежуточных Concepts на основе кластеров. Концепции объединяют разные термины с одинаковым значением и используются для поиска категорий в индексе concept-category.

Claim 9 (Зависимый): Подтверждает, что оценка кластера (Cluster Score) для категории основана на сумме Intra-Category Cluster Score (ICCS) этой категории и ICCS всех категорий-потомков в иерархии.

Где и как применяется

Изобретение применяется преимущественно на этапе индексирования для глубокого понимания и классификации контента.

CRAWLING – Сканирование и Сбор данных
Система собирает Document Information (контент веб-сайтов), которая служит входными данными для категоризации.

INDEXING – Индексирование и извлечение признаков
Основной этап применения патента. Происходит глубокий анализ контента:

1. Анализ контента и Генерация кластеров: Идентификация Semantic Clusters (например, с помощью PHIL) и их оценка (Activation Score).
2. Генерация концепций: Преобразование кластеров в Concepts (например, с помощью Circadia).
3. Категоризация: Сопоставление кластеров/концепций с Taxonomy.
4. Вычисление метрик: Расчет ICCS и S&SCCS для определения оптимального уровня иерархии.
5. Сохранение индексов: Создание и хранение различных маппингов (индексов), описанных в патенте: Документ-Категория (Document-to-Category), Кластер-Категория (Cluster-to-Category) и т.д.

QUNDERSTANDING – Понимание Запросов / RANKING – Ранжирование
Результаты категоризации используются как сигналы. Система может использовать маппинг Термин-Категория для понимания интента запроса и маппинг Документ-Категория для оценки тематической релевантности и авторитетности документа в конкретной вертикали.

Входные данные:

• Информация о документе/ресурсе (текстовый контент).
• Предопределенная иерархическая таксономия.
• Предварительно рассчитанные данные о кластерах (Term-Cluster Information) и концепциях.

Выходные данные:

• Ассоциация между документом и одной или несколькими категориями таксономии (включая «лучшую» основную категорию).
• Различные индексы, связывающие термины, кластеры, документы и категории.

На что влияет

• Тематический авторитет (Topical Authority): Патент описывает фундаментальный механизм определения Topical Authority. Способность системы назначить сайту специфическую категорию (глубокий уровень таксономии) является индикатором высокого авторитета в этой узкой теме.
• Типы контента и Структура сайтов: Наибольшее влияние оказывается на сайты с большим объемом текстового контента. Сайты с четкой иерархической структурой и семантически связанным контентом будут классифицированы более точно и специфично.
• Ниши и тематики: Применимо ко всем тематикам. Особенно важно в сложных нишах с глубокой иерархией (технологии, медицина, e-commerce), где важна точность классификации.

Когда применяется

• Триггеры активации: Процесс категоризации активируется при индексации нового документа или переиндексации обновленного контента.
• Пороговые значения (Thresholds): Критически важный элемент системы. Пороги используются:
  • Для фильтрации значимых кластеров и концепций.
  • Для определения лучшей категории: S&SCCS должен превышать заданный порог концептуальной значимости (Minimum Conceptual Significance Threshold). В патенте упоминается примерное значение 0.24 (при нормализованных оценках). Если порог не достигнут, система выберет более общую категорию или не классифицирует объект (NONE).

Пошаговый алгоритм

Процесс категоризации документа (например, веб-сайта)

1. Прием данных: Система принимает информацию о документе (контент).
2. Идентификация кластеров: Идентифицируется набор Semantic Clusters, релевантных документу (например, с помощью PHIL).
3. Оценка и фильтрация кластеров:
   1. Кластерам присваиваются оценки (Activation Scores), измеряющие их значимость для документа.
   2. При категоризации сайта оценки могут быть взвешены по количеству просмотров страниц (pageviews).
   3. Кластеры с низкими оценками или стоп-кластеры отфильтровываются. Оставшиеся оценки нормализуются (например, чтобы сумма равнялась 1).
4. Идентификация концепций (Sensing): Кластеры используются для определения взвешенного набора концепций (Gist) с помощью механизма семантического распознавания (например, Circadia).
5. Идентификация категорий (Seeking): Набор концепций используется для идентификации релевантных категорий в таксономии.
6. Расчет внутрикатегориальных оценок (ICCS): Для каждой релевантной категории рассчитывается ICCS на основе оценок связанных кластеров/концепций.
7. Выбор лучшей категории (Иерархическая оценка):
   1. Расчет S&SCCS: Для каждого узла рассчитывается S&SCCS путем суммирования ICCS этого узла и ICCS всех его дочерних узлов.
   2. Применение порога и выбор глубины: Определяется самый глубокий уровень иерархии, на котором категория имеет S&SCCS, превышающий порог значимости (например, 0.24).
   3. Назначение: Эта категория выбирается как основная (Primary Category).
8. Ассоциация: Документ ассоциируется с выбранной категорией, и эта связь сохраняется в индексе.

Какие данные и как использует

Данные на входе

• Контентные факторы: Основные данные – это текст документа или сайта. Система анализирует термины и их совместную встречаемость (co-occurrence) для формирования кластеров.
• Структурные данные (Таксономия): Предопределенная иерархическая таксономия (например, отраслевые вертикали).
• Поведенческие факторы (Косвенно):
  • Данные о совместной встречаемости терминов для генерации кластеров (PHIL) могут быть получены из поисковых сессий (search sessions) или запросов.
  • В описании упоминается возможность использования просмотров страниц (Pageviews) для взвешивания значимости кластеров при категоризации всего веб-сайта.

Какие метрики используются и как они считаются

• Activation Score (Оценка активации кластера): Метрика, показывающая концептуальную значимость кластера для документа.
• Cluster Score (Оценка кластера для сайта): Может рассчитываться как произведение Activation Score кластера на странице и количества pageviews этой страницы, нормализованное по сайту.
• Intra-Category Cluster Score (ICCS): Оценка релевантности кластеров документа для конкретной категории таксономии.
• Self&Subsumed Category Cluster Score (S&SCCS): Агрегированная метрика для иерархии. Рассчитывается как: S&SCCS = ICCS(Category) + SUM(ICCS(Child_Categories)). Используется для определения оптимального уровня специфичности.
• Minimum Conceptual Significance Threshold (Порог концептуальной значимости): Минимальное значение S&SCCS, необходимое для назначения категории. Гарантирует статистическую значимость классификации.

Выводы

1. Многоуровневая семантическая абстракция: Google использует многоступенчатый процесс для категоризации: Термины -> Clusters (совместная встречаемость) -> Concepts (абстрактный смысл) -> Categories (таксономия). Это подчеркивает переход от анализа ключевых слов к семантическому пониманию.
2. Основа классификации – совместная встречаемость: Semantic Clusters являются фундаментальным сигналом. Система ищет группы слов, которые часто появляются вместе, чтобы понять контекст и тематику.
3. Цель — максимальная специфичность при высокой уверенности: Система стремится назначить наиболее специфичную (глубокую) категорию в иерархии, но только если уровень уверенности (S&SCCS) достаточно высок и превышает порог.
4. Метрика S&SCCS и агрегация сигналов: Использование S&SCCS показывает, что сигналы из подтем (дочерние категории) агрегируются и усиливают достоверность более общих тем (родительские категории). Это подтверждает важность комплексного покрытия темы.
5. Риск тематического размытия: Использование порогов значимости предотвращает классификацию сайтов со слишком размытой тематикой. Если сигналы распределены по многим категориям и ни одна не доминирует, сайт может остаться без четкой категории.

Практика

Best practices (это мы делаем)

• Построение Тематического Авторитета (Topical Authority) через глубину и ширину: Создавайте контент, который всесторонне раскрывает тему и ее подтемы (стратегия «Hub and Spoke»). Наличие контента по подтемам (дочерние узлы таксономии) усиливает сигналы для основной темы (родительский узел) через механизм S&SCCS.
• Фокус на семантических кластерах и совместной встречаемости: Убедитесь, что контент содержит сильные и четкие паттерны совместной встречаемости терминов, характерные для вашей целевой категории. Используйте нишевую терминологию последовательно и в правильном контексте, чтобы помочь системе идентифицировать релевантные Semantic Clusters.
• Оптимизация под специфичную категорию (Niche Down): Стремитесь к максимально глубокой классификации в иерархии. Для этого необходимо предоставлять детальный, экспертный контент, который генерирует сильные сигналы (высокий ICCS) для узкоспециализированных подкатегорий, позволяя S&SCCS преодолеть порог.
• Четкая структура сайта и тематическая концентрация: Поддерживайте высокую тематическую концентрацию сайта и логичную структуру. Это помогает системе правильно агрегировать тематические сигналы со всех страниц и увеличивает вероятность превысить Minimum Conceptual Significance Threshold.

Worst practices (это делать не надо)

• Тематическое размытие (Thematic Dilution): Создание сайта, который пытается охватить слишком много несвязанных тем. Это приводит к формированию множества слабых кластеров. В результате ни одна категория не наберет достаточного веса (S&SCCS), и сайт будет классифицирован слишком широко или не классифицирован вообще.
• Поверхностный контент (Thin Content): Создание большого количества коротких статей, не покрывающих тему глубоко. Такой контент не генерирует сильных сигналов для специфических категорий.
• Использование ключевых слов без контекста: Повторение ключевых слов без создания естественных семантических кластеров неэффективно. Система ищет паттерны совместной встречаемости, а не просто плотность отдельных слов.

Стратегическое значение

Патент подтверждает стратегическую важность построения Тематического Авторитета (Topical Authority) и перехода от оптимизации под ключевые слова к оптимизации под сущности и тематические кластеры. Он предоставляет конкретный механизм, как Google алгоритмически определяет специализацию сайта. Долгосрочная стратегия SEO должна фокусироваться на создании сильного, однозначного семантического профиля сайта, который Google сможет уверенно сопоставить с глубокой и специфичной категорией в своей таксономии.

Практические примеры

Сценарий: Определение оптимальной категории для сайта о фототехнике (с использованием примера из патента FIG. 24)

Предположим, порог значимости = 0.24. Сайт о гаджетах имеет следующие оценки ICCS:

• Уровень 4: MP3 Players (0.14), Cameras (0.16), Camcorders (0.06), Handhelds (0.06).
• Уровень 3: Audio Equipment (0.00), Cameras & Camcorders (0.00), Personal Electronics (0.16).

Расчет S&SCCS и выбор категории:

1. Уровень 4 (Специфичный): Ни одна из категорий не достигает порога 0.24. Например, S&SCCS(Cameras) = 0.16.
2. Уровень 3 (Более общий):
   • S&SCCS(Audio Equipment) = ICCS(Audio) + ICCS(MP3 Players) = 0.00 + 0.14 = 0.14 (Ниже порога).
   • S&SCCS(Cameras & Camcorders) = ICCS(C&C) + ICCS(Cameras) + ICCS(Camcorders) = 0.00 + 0.16 + 0.06 = 0.22 (Ниже порога).
   • S&SCCS(Personal Electronics) = ICCS(PE) + ICCS(Handhelds) = 0.16 + 0.06 = 0.22 (Ниже порога).
3. Уровень 2 (Общий): Категория Consumer Electronics. Ее S&SCCS = сумма всех вышеперечисленных S&SCCS (0.14 + 0.22 + 0.22) = 0.58.
4. Результат: Поскольку S&SCCS уровня 2 (0.58) превышает порог (0.24), и это самый глубокий уровень, достигший порога, сайт будет классифицирован как «Consumer Electronics».

Вопросы и ответы