Как Google использует анализ сопутствующих ссылок (co-citation) и нормализацию веса для определения связанных сайтов и конкурентов

Термины и определения

Backlink Set (Набор обратных ссылок)

Первый набор документов. Страницы, которые содержат прямую ссылку на выбранный (исходный) документ.

Forwardlink Set (Набор прямых ссылок)

Второй набор документов. Страницы, на которые указывают ссылки из документов Backlink Set. Это кандидаты на звание связанных страниц.

Host (Хост)

Сервер или домен, на котором размещен документ. Используется для нормализации веса ссылок и обеспечения разнообразия (Host Diversity).

Popular List (Список популярных страниц)

Заранее сгенерированный список страниц, которые наиболее часто встречаются в списках связанных страниц по всей сети. Используется для фильтрации несимметричных результатов.

Same Level of Generality (Тот же уровень обобщения)

Концепция, описывающая документы, которые являются аналогами или конкурентами исходного документа.

Symmetric List / Relation (Симметричный список / Отношение)

Список связанных страниц, для которых связь является взаимной. Если А связана с Б, и Б также связана с А (по результатам этого же анализа), связь симметрична. Такие связи приоритезируются.

Unsymmetric List (Несимметричный список)

Список связанных страниц, для которых связь не является взаимной.

Value (Значение/Вес ссылки)

Числовое значение, присваиваемое каждой прямой ссылке. Нормализуется на основе характеристик хоста и количества ссылок.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации списка связанных документов с двумя ключевыми механизмами нормализации.

1. Система получает первый набор документов (Backlink Set) и второй набор (Forwardlink Set).
2. Каждой ссылке в документах первого набора присваивается значение (вес).
3. Нормализация по хосту: Вес ссылки уменьшается, если в первом наборе присутствуют несколько документов с того же хоста, что и документ, содержащий эту ссылку.
4. Нормализация по количеству ссылок: Вес ссылки дополнительно уменьшается путем деления на число, основанное на количестве исходящих ссылок в документе плюс предопределенная величина (predetermined amount). Например, $1/(Links+K)$.
5. Для каждого документа во втором наборе генерируется оценка (Score) на основе суммы весов указывающих на него ссылок.
6. Генерируется список связанных документов на основе этих оценок.

Claim 8 (Независимый пункт): Описывает метод, включающий нормализацию (как в Claim 1) и дополнительный шаг проверки на симметричность.

1. Выполняются шаги по генерации первого списка связанных документов с использованием двойной нормализации.
2. Для каждого документа в первом списке генерируется его собственный (второй) список связанных документов.
3. Документ удаляется из первого списка, если выбранный (исходный) документ не входит во второй список этого документа. Это фильтр, оставляющий только симметрично связанные документы.

Claim 10 (Зависимый от 8 и 9): Детализирует обработку несимметричных результатов с использованием фильтрации по популярности.

Документ из списка несимметричных результатов удаляется, если он присутствует в Popular List. Это позволяет отфильтровать глобально популярные сайты.

Claim 13 и 18 (Независимые пункты): Фокусируются конкретно на механизме нормализации по количеству ссылок (без обязательного упоминания нормализации по хосту), подчеркивая важность деления веса на количество ссылок плюс константа.

Где и как применяется

Изобретение затрагивает этапы индексирования (для подготовки данных) и ранжирования/метапоиска (как специализированная функция).

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает сырые данные о структуре ссылок в сети.

INDEXING – Индексирование и извлечение признаков
Основная подготовительная работа происходит здесь (описано как «Preprocessing of Web»).

1. Извлечение ссылок: Система строит ссылочный граф, сохраняя наборы прямых (Forwardlink Sets) и обратных ссылок (Backlink Sets) для каждой страницы.
2. Предварительный расчет: Списки связанных страниц могут быть рассчитаны заранее для всех веб-страниц.
3. Генерация Popular List: Система анализирует частоту встречаемости страниц в списках связанных страниц и генерирует глобальный Popular List.

RANKING / METASEARCH – Ранжирование / Метапоиск
Алгоритм не является частью основного ранжирования для произвольных запросов. Он представляет собой специализированную функцию (например, оператор related: или функция, упоминаемая в патенте как GoogleScout), которая активируется по запросу пользователя для конкретного URL.

1. Расчет и Скоринг: Система использует предварительно рассчитанные данные о ссылках и применяет механизмы взвешивания (нормализация по хосту и количеству ссылок).
2. Фильтрация: Применяются фильтры симметричности и популярности для уточнения списка.

Входные данные:

• Выбранный гиперссылочный документ (URL).
• Backlink Set для выбранного документа и Forwardlink Sets для документов в Backlink Set.
• Данные о хостах и количестве исходящих ссылок для документов в Backlink Set.
• Popular List.

Выходные данные:

• Отсортированный список связанных гиперссылочных документов.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на страницы сущностей (компаний, продуктов, организаций), где важно найти конкурентов или аналоги. Механизм помогает идентифицировать тематические кластеры сайтов на основе того, как на них ссылаются третьи стороны.
• Структура сайта: Механизм нормализации по хосту специально разработан для снижения влияния внутренних ссылок при определении внешних связанных ресурсов.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда пользователь явно запрашивает список связанных страниц для конкретного документа.
• Исключения и особые случаи: Для очень популярных страниц (миллионы обратных ссылок) патент предлагает использовать случайную выборку (random sampling) из Backlink Set (например, 10 000 ссылок) для повышения эффективности. Для страниц с малым количеством обратных ссылок упоминается использование «ссылки на себя» (self link) для улучшения результатов.

Пошаговый алгоритм

Процесс А: Предварительная обработка (Офлайн / Indexing)

1. Сканирование и сохранение: Сканирование веб-страниц, сохранение Forwardlink и Backlink Sets для всего набора документов.
2. Расчет связанных списков: Предварительный расчет списков связанных страниц для всех документов (используя Процесс Б).
3. Генерация Popular List: Анализ всех рассчитанных списков и идентификация веб-страниц, которые встречаются в них наиболее часто.

Процесс Б: Генерация списка связанных страниц (Runtime или Офлайн)

1. Получение Backlink Set: Извлечение набора обратных ссылок для выбранной страницы. При необходимости применяется выборка.
2. Получение Forwardlink Set: Определение набора страниц (кандидатов), на которые ссылаются страницы из Backlink Set.
3. Присвоение значений (Взвешивание): Итерация по всем прямым ссылкам в Backlink Set:
   1. Нормализация по хосту: Если в Backlink Set есть несколько страниц с одного хоста, уменьшить значение ссылки (например, разделить на количество страниц с этого хоста).
   2. Нормализация по количеству ссылок: Уменьшить значение ссылки в зависимости от общего количества исходящих ссылок на странице-доноре (например, разделить на количество ссылок плюс константа).
   3. Присвоение итогового нормализованного значения ссылке.
4. Генерация оценок (Scoring): Для каждой страницы в Forwardlink Set суммируются значения всех указывающих на нее ссылок.
5. Генерация списка: Формирование списка связанных страниц путем сортировки кандидатов по полученным оценкам.

Процесс В: Отображение списка (Runtime / Фильтрация)

1. Определение Симметрии: Проверка, является ли связь взаимной (присутствует ли исходный URL в списке связанных страниц кандидата).
2. Разделение Списков: Формирование Symmetric List и Unsymmetric List.
3. Отображение: Сначала отображаются результаты из Symmetric List. Затем отображаются результаты из Unsymmetric List, при условии, что их нет в глобальном Popular List.

Какие данные и как использует

Данные на входе

Патент полностью основан на анализе структуры ссылок и не использует контентные, поведенческие или временные факторы (хотя упоминает возможность комбинирования с text-based similarity).

• Ссылочные факторы: Критически важные данные. Используются входящие ссылки (для Backlink Set), исходящие ссылки (для Forwardlink Set) и общее количество исходящих ссылок на странице-доноре (для нормализации).
• Технические факторы: Используются данные о хостах (доменах) страниц в Backlink Set для выполнения нормализации по хосту.

Какие метрики используются и как они считаются

Система использует несколько ключевых метрик для взвешивания:

• Вес ссылки (Value): Основная метрика. Используются две формулы нормализации:
  • Нормализация по хосту (Host Normalization): Вес делится на количество страниц с того же хоста (H) в Backlink Set. $V_{host} = \frac{1}{H}$
  • Нормализация по количеству ссылок (Link Count Normalization): Вес делится на общее количество исходящих ссылок на странице (L) плюс константа (C, в патенте предлагается C=10). $V_{links} = \frac{1}{L+C}$
• Комбинированный вес: Итоговый вес ссылки получается путем перемножения факторов: $V_{final} = V_{host} * V_{links}$.
• Score (Оценка связанности): Итоговая оценка для страницы-кандидата. Рассчитывается как сумма комбинированных весов всех ссылок, указывающих на нее из Backlink Set.
• Symmetry (Симметричность): Метрика, определяющая взаимность связи. Используется для приоритезации результатов.

1. Определение связанных сайтов через Co-Citation: Патент описывает фундаментальный механизм анализа сопутствующих ссылок (co-citation). Связанность определяется не прямыми ссылками между сайтами А и Б, а тем фактом, что третья сторона (С) ссылается и на А, и на Б.
2. Критичность нормализации данных в ссылочном графе: Структура веба создает шум (внутренние ссылки, каталоги). Google активно нормализует вес ссылок, чтобы устранить эти искажения и получить более точный сигнал связанности.
3. Важность разнообразия хостов (Host Diversity): Механизм нормализации по хосту снижает влияние множественных ссылок с одного домена. Это подтверждает, что для точной оценки ссылочного профиля Google стремится учитывать сигналы от максимально разнообразного набора источников.
4. Нормализация веса ссылок по их количеству (Пессимизация Хабов): Патент явно указывает на снижение веса отдельных ссылок, если страница-донор содержит их слишком много. Ссылки со сфокусированных страниц имеют больший вес, чем ссылки из крупных каталогов.
5. Симметричность как индикатор качества связи: Приоритет отдается симметрично связанным сайтам (А похож на Б, и Б похож на А). Система считает такие связи более надежными индикаторами нахождения на одном уровне общности.
6. Фильтрация глобальной популярности: Система фильтрует слишком общие или глобально популярные сайты из несимметричных результатов, чтобы предоставить более специфичные и полезные связанные ресурсы.

Best practices (это мы делаем)

• Стратегическое со-цитирование (Strategic Co-citation): Необходимо стремиться получать ссылки со страниц (Hubs), которые уже ссылаются на ваших прямых конкурентов или авторитетные сайты в вашей нише. Быть упомянутым в одном контексте с лидерами рынка помогает системе идентифицировать ваш сайт как находящийся на «том же уровне обобщения» через механизм co-citation.
• Приоритет разнообразия доноров (Host Diversity): Подтверждается критическая важность получения ссылок с разных хостов. Из-за нормализации по хосту, 10 ссылок с 10 разных сайтов значительно ценнее, чем 10 ссылок с одного сайта.
• Предпочтение сфокусированных ссылок (Low OBL): Отдавайте приоритет ссылкам со страниц с умеренным количеством исходящих ссылок. Из-за нормализации по количеству ссылок, ссылка из тематической статьи передаст больший вес, чем ссылка из каталога с сотнями ссылок.
• Анализ ссылочного окружения (Link Neighborhood Analysis): Регулярно анализируйте ссылочный профиль конкурентов. Ищите страницы, которые ссылаются на нескольких конкурентов одновременно — это первоочередные цели для линкбилдинга.

Worst practices (это делать не надо)

• Получение ссылок из каталогов и агрегаторов общего назначения: Ссылки со страниц с огромным количеством исходящих ссылок неэффективны. Механизм нормализации по количеству ссылок ($1/(L+K)$) значительно снижает их вес.
• Фокус на сквозных (site-wide) или множественных ссылках с одного домена: Эта тактика неэффективна из-за нормализации по хосту. Система агрегирует сигналы с одного хоста, снижая их индивидуальный вес.
• Манипуляции через сетки (PBN) на одном хостинге/IP: Создание множества страниц на одном хосте (или легко идентифицируемой сетке) с целью повлиять на связанность может быть неэффективно из-за нормализации по хосту (если система идентифицирует их как один хост).
• Игнорирование ссылочного контекста: Получение ссылок со страниц, которые не ссылаются на другие сайты в вашей нише, не поможет системе кластеризировать ваш сайт вместе с лидерами рынка.

Стратегическое значение

Патент подчеркивает, что анализ ссылочного графа является многогранным процессом, выходящим за рамки простого подсчета авторитетности (PageRank). Для Senior SEO-специалистов важно понимать, что ссылочная стратегия должна не только повышать рейтинг, но и правильно позиционировать сайт в тематическом и конкурентном ландшафте. Механизмы co-citation лежат в основе того, как Google может кластеризировать сайты и понимать отношения между сущностями без анализа текста.

Практические примеры

Сценарий: Позиционирование нового сайта интернет-магазина электроники

1. Цель: Чтобы Google идентифицировал новый сайт (NewStore.com) как связанный с лидерами рынка (например, BestBuy.com, Amazon.com).
2. Анализ (Co-citation): SEO-команда анализирует Backlink Set конкурентов и обнаруживает, что авторитетные обзорные сайты (TechRadar.com, CNET.com) часто ссылаются на них в своих статьях.
3. Действие (Link Building): Проведение аутрич-кампании для получения ссылок с TechRadar.com и CNET.com на NewStore.com, в идеале — в тех же статьях, где упоминаются конкуренты.
4. Влияние механизма нормализации:
   • По количеству ссылок: Ссылка из статьи «Топ-5 магазинов электроники» (5 исходящих ссылок) будет иметь больший вес, чем ссылка из «Каталога всех магазинов» (200 исходящих ссылок).
   • По хосту: Получение одной ссылки с TechRadar.com и одной с CNET.com лучше, чем получение пяти ссылок только с CNET.com.
5. Ожидаемый результат: Система видит, что в Backlink Set NewStore.com входят TechRadar и CNET. Анализируя их Forwardlink Set, система видит BestBuy и Amazon и присваивает им высокие оценки связанности с NewStore.com, тем самым правильно классифицируя новый сайт как игрока этого рынка.