Как Google использует кластеры совместной встречаемости терминов и статистику просмотров страниц для иерархической классификации сайтов

Термины и определения

Activation Score (Оценка активации)

Показатель того, насколько концептуально значим данный кластер для анализируемого документа (например, веб-страницы). Высокие значения указывают на высокую значимость.

Cluster (Кластер)

Группа терминов, которые часто встречаются вместе (например, в веб-страницах или поисковых сессиях). В патенте упоминаются PHIL clusters.

Concept (Концепция)

Абстрактная единица смысла, не зависящая от языка. Например, слова STOP и HALT относятся к одной концепции.

Circadia

Упомянутый в патенте пример движка семантического распознавания. Используется для преобразования кластеров в концепции и концепций в категории.

ICCS (Intra-Category Cluster Score)

Оценка, присвоенная категории на основе кластеров, напрямую связанных с ней.

Pageviews (Просмотры страниц)

Количество просмотров отдельных страниц сайта. Используется как весовой коэффициент при агрегации оценок кластеров на уровне сайта.

PHIL (Probabilistic Hierarchical Inferential Learner)

Упомянутая в патенте система для генерации кластеров совместной встречаемости терминов.

S&SCCS (Self&Subsumed Category Cluster Score)

Совокупная оценка категории. Рассчитывается как сумма ICCS самой категории и ICCS всех ее дочерних (поглощенных, subsumed) категорий в иерархии.

Taxonomy / Verticals (Таксономия / Вертикали)

Структурированный, иерархический набор категорий (например, отраслей, продуктов, тем).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод категоризации веб-сайта и его использование для подбора рекламы.

1. Система получает информацию о веб-сайте.
2. Определяется набор взвешенных кластеров (scored clusters), где оценка показывает концептуальную значимость кластера для сайта.
3. Используя эти кластеры, система определяет категорию в иерархической таксономии. Этот шаг включает:
   1. Поиск категорий по кластерам.
   2. Вычисление оценки для категорий (S&SCCS), основанной на сумме (1) внутрикатегориальной оценки кластера (ICCS) самой категории и (2) ICCS категорий-потомков в иерархии.
4. Сайт ассоциируется с категорией, и ассоциация сохраняется.
5. Система определяет релевантное рекламное объявление для сайта, используя эту сохраненную ассоциацию.

Ядром изобретения является специфический метод иерархической оценки (S&SCCS) для выбора категории и применение этой категоризации для рекламы.

Claim 2 (Зависимый от 1): Уточняет расчет оценок кластеров для сайта.

Определение набора взвешенных кластеров для сайта использует количество просмотров страниц (pageviews) и оценки активации (activation scores) на отдельных веб-страницах сайта. Это подтверждает, что трафик влияет на вес страницы в классификации сайта.

Claim 4 (Зависимый от 1): Уточняет выбор итоговой категории.

Определение категории включает выбор категории самого глубокого иерархического уровня, чья вычисленная оценка (S&SCCS) превышает предопределенный порог. Система предпочитает специфичность, но требует уверенности.

Где и как применяется

Изобретение применяется преимущественно на этапе анализа контента для его классификации.

CRAWLING – Сканирование и Сбор данных
Система должна собрать данные о просмотрах страниц (Pageviews), например, из логов рекламных систем (упоминается AdSense), для последующего использования при взвешивании значимости страниц.

INDEXING – Индексирование и извлечение признаков
Основное применение патента.

1. Извлечение признаков: Контент страниц анализируется для определения Clusters и их Activation Scores.
2. Агрегация и Взвешивание: Оценки кластеров агрегируются с уровня страниц на уровень сайта. Согласно Claim 2, этот процесс учитывает Pageviews и Activation Scores.
3. Категоризация: Происходит выбор наилучшей категории в таксономии с использованием механизма S&SCCS и порога.
4. Сохранение: Ассоциация между сайтом и категорией сохраняется в индексе (Document-to-Category Information).

RANKING / AD SERVING
Согласно Claim 1, результаты категоризации используются для подбора релевантной рекламы. Такая тематическая классификация также является важным сигналом, который может использоваться в органическом ранжировании для оценки авторитетности сайта (Topical Authority) в определенной вертикали.

Входные данные:

• Контент веб-сайта.
• Данные о просмотрах страниц (Pageviews) и Activation Scores (например, из логов).
• Индексы соответствий (Term-Cluster, Cluster-to-Category).
• Иерархическая таксономия.

Выходные данные:

• Ассоциация веб-сайта с категориями таксономии (Primary и Secondary Categories).

На что влияет

• Структура сайта и трафик: Алгоритм напрямую зависит от распределения трафика. Страницы с высоким показателем Pageviews оказывают большее влияние на итоговую тематическую классификацию сайта, чем страницы с низким трафиком.
• Конкретные ниши: Влияет на все тематические вертикали. Система определяет доминирующую тематику и уровень специализации сайта, что критично для E-commerce и контентных проектов.

Когда применяется

• Условия применения: Алгоритм применяется при индексации или анализе логов для определения или обновления тематической классификации сайта.
• Пороговые значения:
  1. Порог Activation Score для учета кластера на странице (в описании упоминается пример 1.0).
  2. Minimum Conceptual Significance Threshold: Порог достоверности для S&SCCS (в описании упоминается пример 0.24 для нормализованных оценок). Категория выбирается, только если её S&SCCS превышает этот порог.

Пошаговый алгоритм

Процесс Категоризации Веб-сайта

1. Сбор данных и предварительная обработка: Для каждой страницы сайта собираются контент, количество просмотров (Pageviews), идентифицируются кластеры (Clusters) и их Activation Scores. Кластеры с оценкой ниже порога игнорируются.
2. Агрегация кластеров на уровне сайта:
   • Для каждого кластера на каждой странице вычисляется оценка: Activation Score × Pageviews.
   • Эти оценки суммируются для каждого кластера по всему сайту.
3. Нормализация и фильтрация:
   • Общие оценки кластеров для сайта нормализуются (например, делятся на общую сумму всех оценок, чтобы сумма равнялась 1).
   • Выбирается Топ-N кластеров (например, Топ-25) или кластеры, составляющие Топ-Y% оценки (например, 70%).
4. Определение Категорий-Кандидатов: Для каждого из отобранных кластеров определяются ассоциированные с ними категории в таксономии (используя предрассчитанный индекс Cluster-to-Category).
5. Расчет иерархических оценок (ICCS и S&SCCS):
   • ICCS (Intra-Category Cluster Score) рассчитывается для каждой категории путем суммирования оценок связанных с ней кластеров.
   • S&SCCS (Self&Subsumed Category Cluster Score) рассчитывается для каждого узла иерархии путем суммирования собственного ICCS и ICCS всех дочерних узлов.
6. Выбор Лучшей Категории (Primary Category):
   • Устанавливается порог достоверности (например, 0.24).
   • Система анализирует иерархию и выбирает самую глубокую (наиболее специфичную) категорию, чей S&SCCS превышает порог.
   • Если порог не достигнут ни одной категорией, присваивается "NONE".
7. Выбор Вторичной Категории (Secondary Category): Процесс повторяется для поиска следующей лучшей категории, исключая уже выбранную Primary Category.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст веб-страниц. Используется для идентификации терминов и активации кластеров совместной встречаемости.
• Поведенческие факторы (Внешние): Данные о совместной встречаемости терминов в поисковых сессиях пользователей (используются для предварительного построения кластеров, например, PHIL).
• Поведенческие факторы (Внутренние/Трафик): Количество просмотров страниц (Pageviews). Используются как веса для определения значимости страниц и их кластеров при агрегации на уровне сайта (Claim 2).
• Сигналы релевантности (Системные): Activation Score. Оценка концептуальной значимости кластера для страницы.

Какие метрики используются и как они считаются

• Cluster Score (Оценка кластера для сайта): Агрегированная оценка значимости кластера для всего сайта, взвешенная по трафику. В патенте приведен пример расчета:

  $SCORE = \frac{\sum (Activation Score * Pageviews)}{Total Sum Of Products}$ (где Total Sum Of Products — это сумма всех таких произведений для сайта).

• ICCS (Intra-Category Cluster Score): Сумма нормализованных Cluster Scores для всех кластеров сайта, которые были ассоциированы с данной категорией.
• S&SCCS (Self&Subsumed Category Cluster Score): Ключевая метрика для иерархического выбора. $S\&SCCS(Cat) = ICCS(Cat) + \sum ICCS(Descendant Cats)$.
• Minimum Conceptual Significance Threshold: Пороговое значение (например, 0.24), которое должна превысить S&SCCS, чтобы категория была выбрана.

1. Многоступенчатая семантическая классификация: Патент описывает сложный конвейер (Термины -> Кластеры -> [Концепции] -> Категории), подтверждая, что Google анализирует контент далеко за пределами простого сопоставления ключевых слов.
2. Классификация на уровне сайта с учетом трафика: Ключевой вывод (Claim 2) — тематика сайта определяется путем агрегации сигналов со всех страниц, причем вес страницы в этой агрегации зависит от её трафика (Pageviews). Страницы с высоким трафиком сильнее влияют на то, как Google классифицирует весь домен.
3. Баланс специфичности и уверенности (S&SCCS): Система стремится найти наиболее специфичную (глубокую) категорию, но требует высокой уверенности для этого (Claim 4). Механизм S&SCCS и порог достоверности предотвращают ошибочную классификацию, если тематические сигналы разрознены или слабы.
4. Основа Topical Authority: Эта система категоризации является фундаментом для оценки Тематического Авторитета. Чтобы сайт был признан авторитетным, он должен быть корректно и уверенно классифицирован в соответствующей вертикали, что требует широкого и глубокого покрытия темы (для максимизации S&SCCS).
5. Использование данных из рекламных сетей: Патент явно указывает на использование данных из логов рекламных систем (AdSense) и нацеленность изобретения на подбор релевантной рекламы (Claim 1), подтверждая тесную связь между рекламными технологиями и общим пониманием контента Google.

Best practices (это мы делаем)

• Обеспечение тематической консистентности на высокотрафиковых страницах: Поскольку Pageviews используются как весовой коэффициент, критически важно, чтобы страницы, получающие основной трафик (главная, популярные статьи), четко соответствовали целевой тематической категории сайта.
• Управление внутренним трафиком: Используйте структуру сайта и внутреннюю перелинковку для направления трафика на страницы, которые наиболее важны для вашей бизнес-вертикали. Если вы хотите классифицироваться в определенной нише, убедитесь, что релевантные страницы получают достаточно просмотров.
• Глубокое и структурированное покрытие темы (Topical Authority): Создавайте контент, который покрывает как общие аспекты темы, так и её подтемы (модель Pillar-Cluster). Механизм S&SCCS вознаграждает сайты, которые сильны как в основной категории, так и в ее дочерних категориях, что необходимо для достижения специфичной классификации.
• Использование терминологии из кластеров совместной встречаемости: Анализируйте связанные поисковые запросы и контент лидеров ниши, чтобы понять, какие термины часто встречаются вместе. Естественное использование этих связанных терминов поможет системе идентифицировать релевантные Clusters и повысить их Activation Scores.

Worst practices (это делать не надо)

• Размытие тематики (Thematic Dilution), особенно на трафиковых страницах: Создание большого объема нетематического контента, который собирает значительный трафик. Например, если сайт о финансах ведет популярный блог о путешествиях, который генерирует 80% трафика, сайт рискует быть классифицированным как туристический из-за веса Pageviews.
• Игнорирование низкотрафиковых, но тематически важных страниц: Если ключевые коммерческие или экспертные страницы не получают трафика, их вклад в общую классификацию сайта будет минимальным, даже если они идеально оптимизированы.
• Поверхностное покрытие множества тем: Попытка охватить слишком много разных тем без глубины приведет к размыванию оценок S&SCCS. Система не сможет преодолеть порог достоверности для специфичных категорий.

Стратегическое значение

Патент подтверждает стратегическую важность построения Topical Authority и демонстрирует, что классификация сайта — это не среднее арифметическое его страниц, а взвешенное по трафику значение. Это подчеркивает синергию между контент-маркетингом, SEO и UX: необходимо не только создавать релевантный контент, но и обеспечивать его потребление пользователями. Долгосрочная стратегия должна фокусироваться на создании четкой иерархии контента и управлении потоками пользователей для поддержки целевой категоризации.

Практические примеры

Сценарий 1: Влияние популярного блога на классификацию E-commerce сайта

1. Исходная ситуация: Сайт продает органическую косметику (Целевая категория: /Shopping/Beauty/Cosmetics). У него есть блог о здоровом образе жизни.
2. Проблема: Статья в блоге «10 лучших диет для детокса» становится вирусной и генерирует 70% трафика сайта. Сайт начинает классифицироваться как /Health/Nutrition & Special Diets.
3. Анализ (на основе патента): Кластеры, связанные с диетами, получили высокие Activation Scores на этой статье. Из-за огромного количества Pageviews (Claim 2), эти кластеры получили доминирующий вес при агрегации на уровне сайта, перевесив кластеры, связанные с косметикой.
4. Решение: Необходимо сместить баланс. (а) Активно направлять трафик с этой популярной статьи на продуктовые страницы (увеличивая их Pageviews). (б) Скорректировать статью, усилив связь между диетами и здоровьем кожи/использованием косметики, чтобы активировать нужные кластеры. (в) Создать больше высокотрафикового контента, напрямую связанного с косметикой.

Сценарий 2: Анализ глубины классификации (на основе FIG. 24 патента)

Сайт о гаджетах. Порог t=0.24.

1. Уровень 4 (Специфичные продукты): "MP3 Players" (ICCS=0.14), "Cameras" (ICCS=0.16). Ни одна не превышает 0.24.
2. Уровень 3 (Типы продуктов): "Cameras & Camcorders" (S&SCCS=0.22). Ниже порога 0.24.
3. Уровень 2 (Широкие категории): "Consumer Electronics" (S&SCCS=0.58). Превышает порог 0.24.
4. Выбор: Система выбирает самую глубокую категорию, превысившую порог: "Consumer Electronics". Сайт классифицирован широко, так как не имеет достаточной концентрации в узких нишах.