Как Google использует анализ со-цитирования (Co-citation) для группировки результатов поиска по темам

Термины и определения

Back Link List (Список обратных ссылок)

Набор документов, которые содержат прямые ссылки (forward links) на документы из Expanded Search Set. Используются для анализа со-цитирования.

Co-citation (Со-цитирование)

Ситуация, когда один документ ссылается на два других документа (или группы) одновременно. Co-citation number — это количество документов, которые со-цитируют данную пару.

Expanded Search Set (Расширенный набор поиска)

Исходный набор результатов поиска, дополненный документами из ближайшего ссылочного окружения (теми, что ссылаются на исходный набор, или теми, на которые ссылается исходный набор).

Hierarchical Clustering (Иерархическая кластеризация)

Алгоритм группировки, при котором каждый документ изначально считается отдельной группой, а затем наиболее близкие группы итеративно объединяются.

NumBL (Number of Back Links)

Общее количество входящих ссылок на документ или группу документов. Используется как показатель популярности для нормализации.

Similarity Measure (Метрика сходства)

Числовое значение, определяющее степень тематической близости между двумя документами или группами. Рассчитывается на основе Co-citation и NumBL.

W (или ω) (Web size estimate)

Оценка общего количества страниц в Интернете. Используется в формуле Similarity Measure для расчета ожидаемого случайного со-цитирования.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод кластеризации документов.

1. Идентификация набора документов.
2. Определение сходства между первым и вторым документами на основе: (А) количества документов, ссылающихся на оба документа (Co-citation), и (Б) количества обратных ссылок (NumBL) первого и второго документов.
3. Ключевое условие: результат определения сходства обратно пропорционален количеству обратных ссылок (NumBL).
4. Формирование группы, если документы признаны схожими.

Ядро изобретения — это обязательная нормализация (обратная пропорциональность) по популярности. Это предотвращает ситуацию, когда очень популярные, но тематически не связанные сайты кластеризуются вместе из-за случайных общих ссылок.

Claim 4 (Зависимый от 1): Уточняет расчет сходства.

Определение сходства основано на вычитании произведения количества обратных ссылок первого и второго документов из количества документов, ссылающихся на оба.

Это описывает числитель формулы Similarity Measure, где из фактического со-цитирования вычитается ожидаемое случайное со-цитирование.

Claim 13 (Зависимый от 1): Описывает структуру формулы сходства.

Сходство определяется путем деления первого значения (основанного на Co-citation и NumBL) на второе значение (основанное только на NumBL).

Это подтверждает использование сложной дроби, где числитель учитывает скорректированное со-цитирование, а знаменатель используется для нормализации.

Claim 17 (Независимый пункт): Описывает применение метода к группам (иерархическая кластеризация).

1. Каждый документ определяется как группа.
2. Определяется тематическое сходство двух групп на основе Co-citation и NumBL групп.
3. Условие: сходство обратно пропорционально NumBL групп.
4. Группы объединяются, если они признаны схожими.

Это позволяет применять базовый механизм итеративно для построения иерархии кластеров.

Где и как применяется

Изобретение применяется на финальных этапах обработки запроса для организации выдачи.

INDEXING – Индексирование и извлечение признаков
На этом этапе система анализирует ссылочный граф и рассчитывает данные о входящих ссылках (NumBL) для каждого документа. Патент также упоминает возможность предварительной кластеризации (preclustering) всего интернета офлайн.

RANKING – Ранжирование
На этом этапе генерируется исходный набор результатов поиска (Search Set).

RERANKING – Переранжирование / METASEARCH – Метапоиск и Смешивание
Основное применение патента. После получения исходных результатов система активирует механизм кластеризации:

1. Анализ окружения: Исходный набор может быть расширен (Expanded Search Set) и извлекается список обратных ссылок (Back Link List).
2. Кластеризация: Выполняется иерархическая кластеризация с использованием Similarity Measure.
3. Формирование SERP: Результаты перегруппировываются для отображения пользователю в виде тематических кластеров.

Входные данные:

• Исходный набор результатов поиска (Search Set).
• Данные ссылочного графа (кто на кого ссылается).
• Показатели NumBL для документов.

Выходные данные:

• Сгруппированные по темам результаты поиска.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные (ambiguous) запросы, имеющие несколько различных интентов или значений (например, "Jaguar", "Saturn", "Apple").
• Типы контента: Влияет на любые типы гиперссылочных документов, интегрированных в ссылочный граф интернета.

Когда применяется

• Условия работы: Алгоритм применяется к набору результатов поиска для их тематической организации.
• Триггеры активации: Наличие достаточного количества данных о со-цитировании среди результатов поиска. Если ссылок мало, кластеризация на основе ссылок будет неэффективной. Вероятно, активируется, когда система идентифицирует запрос как неоднозначный.

Пошаговый алгоритм

Процесс кластеризации результатов поиска:

1. Получение исходного набора: Система получает исходный Search Set.
2. Расширение набора (Опционально): Search Set расширяется за счет документов из ближайшего окружения, формируя Expanded Search Set.
3. Генерация обратных ссылок: Формируется Back Link List документов, которые ссылаются на документы в Expanded Search Set.
4. Расчет исходного сходства: Для пар документов рассчитывается Co-citation number и вычисляется Similarity Measure. Изначально каждый документ считается отдельной группой.
5. Идентификация кандидатов на слияние: Система сортирует пары групп по убыванию Similarity Measure и определяет наиболее схожие пары. Для эффективности одновременно выбирается множество пар.
6. Слияние групп: Выбранные пары объединяются в новые, более крупные группы.
7. Перерасчет сходства: Вычисляется Similarity Measure для новых групп. Для эффективности может использоваться аппроксимация путем суммирования предыдущих показателей Co-citation (как описано в патенте при обсуждении FIG. 17).
8. Проверка условия остановки: Система проверяет, остались ли группы с показателем сходства выше порогового значения (например, больше 0). Если нет, процесс завершается. Если да, повторяются шаги 5-7.
9. Отображение результатов: Исходные результаты поиска отображаются сгруппированными в соответствии с финальными кластерами.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на использовании структуры ссылок.

• Ссылочные факторы: Это единственные факторы, используемые в данном изобретении. Анализируются входящие ссылки (Back Links) и исходящие ссылки (Forward Links) для документов в исходном наборе и их окружении. Анкорный текст или контент не используются.

Какие метрики используются и как они считаются

Система вычисляет следующие ключевые метрики:

• NumBL (A): Количество входящих ссылок на документ (или группу) А. Показатель популярности.
• Co-citation (A, B): Количество документов, которые одновременно ссылаются и на А, и на Б. Показатель связи.
• Similarity Measure (A, B): Основная метрика для кластеризации.

Формула расчета Similarity Measure (A, B) (согласно FIG. 13):

$\text{Similarity}(A, B) = \frac{\text{Co-citation}(A, B) - \frac{\alpha \cdot \text{NumBL}(A) \cdot \text{NumBL}(B)}{W}}{\sqrt{\text{NumBL}(A) \cdot \text{NumBL}(B)}}$

Где:

• $\alpha$ (Alpha) — константа (например, 10), гарантирующая, что слияние происходит только при статистически значимом превышении случайного уровня со-цитирования.
• $W$ — оценка размера Интернета.

Интерпретация формулы:

• Числитель: Вычитает ожидаемое количество случайных со-цитирований (которое тем выше, чем популярнее страницы А и Б) из фактического количества.
• Знаменатель: Нормализует результат (штрафует популярность), чтобы страницы с большим количеством ссылок не доминировали в процессе кластеризации.

1. Ссылки определяют тематику (Link-Based Context): Патент подтверждает, что Google использует ссылочный граф не только для оценки авторитетности (PageRank), но и для определения тематических связей между документами. Структура ссылок служит заменой человеческому знанию при группировке контента.
2. Со-цитирование как ключевой сигнал связи: Основным механизмом определения тематической близости является Co-citation. Документы, на которые часто ссылаются одни и те же источники, считаются тематически связанными.
3. Критическая важность нормализации популярности: Изобретение вводит сложную метрику Similarity Measure, специально разработанную для нейтрализации влияния чрезмерно популярных сайтов. Сходство обратно пропорционально количеству входящих ссылок (NumBL). Это означает, что важна не масса ссылок, а их структура и контекст.
4. Иерархический подход к темам: Использование иерархической кластеризации позволяет системе строить тематические группы итеративно, что повышает точность и решает проблему транзитивности (когда А связано с Б, Б связано с В, но А не имеет прямой связи с В).
5. Важность ссылочного окружения (Link Neighborhood): Тематика документа определяется его положением в ссылочном графе. То, кто ссылается на вас, и на кого еще ссылаются эти источники, определяет вашу «ссылочную окрестность».

Best practices (это мы делаем)

• Интеграция в тематические ссылочные кластеры: Стратегия линкбилдинга должна быть направлена на получение ссылок со страниц, которые также ссылаются на другие авторитетные и тематически близкие ресурсы в вашей нише. Это создает сильный профиль со-цитирования.
• Приоритет тематических Хабов: Фокусируйтесь на получении ссылок от страниц-хабов (например, отраслевые обзоры, каталоги, авторитетные списки ресурсов). Ссылки из таких источников помогают поисковой системе правильно кластеризовать ваш контент вместе с лидерами ниши.
• Анализ со-цитирования конкурентов: Изучайте, какие источники одновременно ссылаются на нескольких ваших топовых конкурентов. Эти источники являются ключевыми целями для аутрич-кампаний, так как ссылка от них имеет высокую стратегическую ценность для подтверждения тематической релевантности.
• Использование исходящих ссылок для контекстуализации: Патент упоминает (FIG 6A/6B), что прямые ссылки между страницами также могут учитываться как форма со-цитирования. Размещение исходящих ссылок на авторитетные, тематически связанные ресурсы может помочь определить контекст вашей страницы.

Worst practices (это делать не надо)

• Нерелевантный линкбилдинг и PBN: Получение ссылок с сайтов, которые не имеют тематической связи с вашим контентом или ссылаются на случайный набор ресурсов (например, некачественные PBN). Такие ссылки не помогут установить тематическую связь через механизм Co-citation.
• Фокус только на количестве ссылок или Метриках Авторитетности (DA/DR): Метрики типа DA/DR не отражают структуру со-цитирования. Патент показывает, что система нормализует популярность (NumBL), поэтому фокус на массе ссылок без учета их структуры неэффективен.
• Изоляция в ссылочном графе: Получение ссылок только со страниц, которые больше ни на кого в вашей нише не ссылаются. Такие ссылки могут передавать вес, но слабо помогают в формировании тематического кластера.

Стратегическое значение

Этот патент является одним из фундаментальных документов, объясняющих концепцию Topical Authority с точки зрения ссылочного графа. Он подтверждает, что для Google критически важно, в каком контексте и окружении находится сайт. Долгосрочная SEO-стратегия должна включать построение сильного, тематически сфокусированного ссылочного профиля, который четко позиционирует сайт внутри определенного тематического кластера интернета. Это подтверждает переход от анализа отдельных ссылок к анализу паттернов и структур в ссылочном графе.

Практические примеры

Сценарий: Построение Topical Authority для сайта о веганском питании

1. Анализ кластера: SEO-специалист идентифицирует ключевые авторитетные сайты в нише (например, VeganSociety.com, NutritionFacts.org).
2. Анализ Со-цитирования: Используя инструменты анализа ссылок, специалист находит страницы (например, университетские исследования, крупные новостные статьи о питании), которые одновременно ссылаются на VeganSociety.com и NutritionFacts.org. Это тематические хабы.
3. Стратегия Аутрич: Специалист проводит аутрич-кампанию, нацеленную на получение ссылок именно с этих тематических хабов (или страниц аналогичного типа) на свой сайт.
4. Ожидаемый результат: Получив ссылки с этих страниц, новый сайт начинает со-цитироваться вместе с авторитетами ниши. Алгоритм Google, основанный на принципах патента, идентифицирует высокую тематическую связь (Similarity Measure) и начинает рассматривать новый сайт как часть авторитетного тематического кластера "Веганское питание".