Как Google рассчитывает авторитетность страниц на основе их близости к доверенным сайтам-источникам (Seed Sites)

Термины и определения

Seed Pages (Исходные страницы, сайты-источники)

Набор предварительно отобранных, высококачественных и доверенных страниц, которые служат эталоном для оценки качества других страниц. Они являются отправными точками для расчета расстояний.

Link-graph (Ссылочный граф)

Структура данных, представляющая веб-страницы как узлы и гиперссылки между ними как направленные ребра.

Length (L(q→p)) (Длина ссылки)

Метрика, присваиваемая ссылке от q к p. Представляет собой «стоимость» перехода по ссылке. Длина ссылки обычно увеличивается с ростом количества исходящих ссылок со страницы-источника q.

Out-degree (|q|_out) (Исходящая степень)

Количество исходящих ссылок со страницы q.

Shortest Distance (Кратчайшее расстояние)

Минимальная суммарная длина ссылок вдоль пути от Seed Page до целевой страницы.

k-th shortest distance (k-е кратчайшее расстояние)

Метод определения итогового расстояния до страницы. Вместо использования расстояния от самого ближайшего источника (k=1), система может использовать расстояние от k-го по близости источника. Это повышает устойчивость к манипуляциям.

Damping factor (d) (Коэффициент затухания)

Коэффициент, используемый в расчетах PageRank. В данном патенте он используется для определения базовой длины ссылки через параметр $α = -log(d)$.

Reduced link-graph (Редуцированный ссылочный граф)

Подграф исходного графа, состоящий только из тех ссылок, которые участвуют в формировании k кратчайших путей от Seed Pages до всех остальных страниц.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод ранжирования.

1. Система получает набор взаимосвязанных страниц и набор Seed Pages.
2. Система присваивает значения длины (lengths) ссылкам на основе свойств ссылок и страниц, которые они соединяют.
3. Вычисляются кратчайшие расстояния (shortest distances) от набора Seed Pages до каждой страницы на основе длин ссылок.
4. Определяется Ranking Score для каждой страницы на основе вычисленных кратчайших расстояний.
5. Создается ранжирование страниц на основе Ranking Scores.

Claim 2 и 3 (Зависимые): Уточняют механизм определения длины ссылки.

Длина ссылки определяется как функция от количества исходящих ссылок (Out-degree) со страницы-источника. Эта функция является монотонно невозрастающей, то есть длина ссылки увеличивается (или остается прежней) при увеличении количества исходящих ссылок.

Claim 5 (Зависимый): Детализирует формулу длины ссылки.

Длина ссылки q→p включает член $(\alpha+log(|q|_{out}))$, где α — неотрицательное значение. Это подтверждает, что ценность ссылки логарифмически уменьшается с ростом исходящей степени источника.

Claim 6 (Зависимый от 5): Уточняет значение α.

α определяется как $-log(d)$, где d — коэффициент затухания (damping factor). Это устанавливает прямую математическую связь между моделью PageRank и моделью кратчайших расстояний.

Claim 9, 10 и 11 (Зависимые): Определяют метод расчета итогового рейтинга.

Ranking Score определяется с использованием k кратчайших расстояний от k ближайших Seed Pages. В частности, он базируется именно на k-м кратчайшем расстоянии (D(p)). Рейтинг может быть пропорционален $e^{-D(p)}$.

Где и как применяется

Изобретение описывает метод вычисления глобальной метрики качества или авторитетности страниц, аналогичной PageRank, но с акцентом на доверие, исходящее от Seed Pages.

CRAWLING – Сканирование и Сбор данных
Метрики, рассчитанные этим методом, могут использоваться для приоритизации сканирования (Crawl Scheduling). Страницы с более коротким расстоянием до Seed Pages (более высоким рейтингом) могут сканироваться чаще.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. На этом этапе происходит анализ ссылочного графа:

1. Определение длин ссылок: Для каждой ссылки вычисляется её длина на основе исходящей степени источника.
2. Расчет расстояний: Используя алгоритмы поиска кратчайшего пути (например, Dijkstra), система вычисляет расстояния от Seed Pages до всех достижимых страниц.
3. Вычисление Ranking Score: Рассчитывается итоговый скор на основе k-го кратчайшего расстояния.
4. Сохранение: Полученная метрика сохраняется в индексе как статический сигнал качества/авторитетности страницы.

RANKING – Ранжирование
На этапах L2 и L3 ранжирования вычисленный Ranking Score используется как один из сигналов для определения итоговой позиции документа в выдаче по конкретному запросу.

Входные данные:

• Полный или частичный граф веб-ссылок.
• Набор предопределенных Seed Pages (и их опциональные веса).
• Данные об исходящей степени (Out-degree) для каждой страницы.

Выходные данные:

• Ranking Score для каждой достижимой страницы, основанный на кратчайшем расстоянии до Seed Pages.
• Reduced link-graph, показывающий пути распространения авторитета.

На что влияет

• Все типы контента и ниши: Алгоритм является универсальным и применяется ко всему ссылочному графу для определения общей авторитетности страниц.
• Борьба со спамом: Особенно сильно влияет на оценку сайтов, пытающихся манипулировать стандартным PageRank. Ссылочные фермы и сети сателлитов оказываются «далеко» от доверенных источников, так как связи внутри них часто имеют большую длину (высокий Out-degree) и не имеют коротких путей к Seed Pages.

Когда применяется

• Условия применения: Алгоритм применяется глобально ко всему индексу.
• Частота применения: Расчет происходит периодически во время обновления основного индекса и пересчета глобальных ссылочных факторов (аналогично пересчету PageRank). Это офлайн-процесс, а не расчет в реальном времени.

Пошаговый алгоритм

Процесс расчета рейтинга авторитетности на основе расстояний:

1. Инициализация:
   1. Определяется набор Seed Pages (S).
   2. Каждой Seed Page s_i присваивается начальное расстояние d_i⁰. Если используются веса w_i, то $d_i^0 = -log(w_i)$. По умолчанию d_i⁰ = 0.
2. Расчет длин ссылок: Для каждой ссылки q→p в графе вычисляется её длина L(q→p). Используется формула (Equation 10): $L(q→p)=-log(d)+log(\frac{|q|_{out}}{w(q→p)})$.
3. Вычисление кратчайших путей: Система одновременно вычисляет кратчайшие расстояния от всех Seed Pages до всех остальных страниц. Для каждой страницы p и каждого источника s_i вычисляется D_i(p) как $min_{q→p}(D_i(q) + L(q→p))$.
4. Агрегация расстояний: Для каждой страницы p определяется итоговое расстояние D(p). Оно выбирается как k-е наименьшее значение из набора всех расстояний {D_i(p)}.
5. Финальный расчет рейтинга: Ranking Score R(p) вычисляется на основе итогового расстояния. Например, $R(p) = e^{-D(p)}$.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на использовании структуры ссылочного графа и предварительно отобранных эталонных страницах.

• Ссылочные факторы: Критически важные данные. Система использует информацию о входящих и исходящих ссылках для построения графа. Ключевым параметром является исходящая степень (Out-degree) каждой страницы, которая напрямую используется для расчета длины ссылки. Также могут учитываться веса ссылок (w(q→p)), основанные на их свойствах (например, позиция, шрифт), если они используются.
• Системные данные: Набор Seed Pages. Эти страницы должны быть предварительно идентифицированы как высококачественные и доверенные.

Другие типы факторов (контентные, технические, поведенческие и т.д.) в этом конкретном алгоритме расчета авторитетности не используются.

Какие метрики используются и как они считаются

• Link Length (L(q→p)): Длина ссылки. Рассчитывается для трансформации мультипликативной модели PageRank в аддитивную модель расстояний. Основная формула (Equation 10): $L(q→p)=-log(d)+log(\frac{|q|_{out}}{w(q→p)})$.
• Shortest Distance (D(p)): Итоговое расстояние до страницы p. Определяется как k-е наименьшее расстояние от набора Seed Pages.
• Ranking Score (R(p)): Итоговый рейтинг авторитетности. Вычисляется как $e^{-D(p)}$.

1. Математическое обоснование TrustRank: Патент предоставляет конкретный и вычислительно эффективный механизм для реализации концепций, подобных TrustRank. Авторитетность определяется не общим количеством ссылок, а краткостью пути от доверенных источников (Seed Pages).
2. Логарифмическое пенальти за исходящие ссылки: Ценность ссылки (её «длина») напрямую зависит от количества других исходящих ссылок на странице-доноре (Out-degree). Зависимость логарифмическая. Это снижает эффективность ссылок с каталогов, форумов и заспамленных ресурсов.
3. Трансформация PageRank в расстояние: Ключевая идея патента — преобразование итеративного расчета PageRank в задачу поиска кратчайшего пути. Это позволяет эффективно использовать тысячи Seed Pages одновременно.
4. Важность множественных путей (параметр k): Использование k-го кратчайшего расстояния означает, что для получения высокого рейтинга желательно иметь короткие пути не к одному, а к нескольким (k) различным доверенным источникам. Это защищает систему от манипуляций через один скомпрометированный источник или случайную сильную связь.
5. Качество важнее количества: Алгоритм явно предпочитает качество связей. Короткий путь, состоящий из высококачественных ссылок (с малым Out-degree доноров), даст лучший результат, чем множество длинных путей через ссылочные хабы низкого качества.

Best practices (это мы делаем)

• Фокус на качестве доноров и их близости к авторитетам: Приоритет отдается получению ссылок с ресурсов, которые сами имеют сильный и чистый ссылочный профиль. Необходимо стремиться сокращать «расстояние» до авторитетных сайтов в своей нише (идеально — до самих Seed Sites, таких как крупные СМИ, правительственные ресурсы, ведущие университеты).
• Анализ исходящих ссылок донора (Out-degree): Необходимо оценивать количество исходящих ссылок на странице-доноре. Ссылки со страниц с низким Out-degree являются более ценными (имеют меньшую «длину»), согласно патенту.
• Диверсификация путей авторитетности: Стройте ссылочный профиль так, чтобы к вашему сайту вели короткие пути от разных авторитетных кластеров. Использование параметра 'k' в алгоритме подчеркивает важность подтверждения авторитетности из нескольких источников.
• Оптимизация внутренней перелинковки: Учитывайте собственный Out-degree. Размещение большого количества исходящих ссылок на ключевых страницах увеличивает «длину» этих ссылок и уменьшает авторитет, передаваемый целевым страницам (как внутренним, так и внешним).

Worst practices (это делать не надо)

• Массовая закупка ссылок с бирж и агрегаторов: Ссылки с ресурсов с очень высоким Out-degree (каталоги, футеры, заспамленные блоги) имеют большую «длину» и практически не сокращают расстояние до Seed Sites.
• Построение PBN и ссылочных ферм без внешней подпитки: Закрытые сети сайтов, не имеющие коротких путей к доверенным источникам, будут классифицированы как неавторитетные, даже если внутри сети высокий PageRank.
• Игнорирование структуры сайта и страницы донора: Оценка потенциальной ссылки только по авторитетности домена без учета количества других исходящих ссылок на конкретной странице является ошибкой.

Стратегическое значение

Патент подтверждает стратегическую важность построения репутации и получения качественных редакционных ссылок. Он предоставляет модель для понимания того, как Google может измерять «Доверие» (Trust). Стратегия линкбилдинга должна смещаться от накопления ссылочной массы к построению кратчайших и наиболее качественных путей от эталонных авторитетных ресурсов к продвигаемому сайту. Это требует глубокого понимания ссылочного графа в своей нише и идентификации ключевых авторитетов.

Практические примеры

Сценарий: Оценка ценности двух разных ссылок

Мы хотим получить ссылку для сайта (Сайт P). Есть два варианта:

• Вариант А: Ссылка со страницы новостей крупного СМИ (Сайт Q1). На этой странице 30 исходящих ссылок.
• Вариант Б: Ссылка из каталога компаний (Сайт Q2). На этой странице 500 исходящих ссылок.

Применение механизма патента (расчет длины ссылок):

Используем упрощенную формулу длины $L = \alpha + log(Out-degree)$. (Предположим α=0.1 и используем натуральный логарифм).

1. Длина ссылки А: L(A) = 0.1 + ln(30) ≈ 0.1 + 3.40 = 3.50
2. Длина ссылки Б: L(B) = 0.1 + ln(500) ≈ 0.1 + 6.21 = 6.31

Результат:

Ссылка А значительно «короче» ссылки Б. Если предположить, что оба сайта Q1 и Q2 находятся на одинаковом расстоянии от Seed Sites, то получение ссылки А даст Сайту P более высокий Ranking Score (меньшее итоговое расстояние), чем получение ссылки Б.