Как Google модифицирует PageRank, используя модель «Разумного серфера» для взвешивания ссылок на основе вероятности клика

Термины и определения

Feature Data (Признаки данных)

Характеристики, связанные со ссылкой. Включают признаки самой ссылки (например, размер шрифта, позиция, анкорный текст), признаки исходного документа (source document) и признаки целевого документа (target document).

Feature Vector (Вектор признаков)

Структурированное представление Feature Data для конкретной ссылки, используемое в качестве входных данных для модели машинного обучения.

Link Weight (Вес ссылки, $w_n$)

Значение, присваиваемое ссылке на основе модели машинного обучения. Отражает прогнозируемую вероятность того, что ссылка будет выбрана пользователем.

Model (Модель)

Динамическая модель машинного обучения (например, логистическая регрессия, дерево решений), обученная прогнозировать вероятность выбора ссылки.

Positive/Negative Instances (Положительные/Отрицательные примеры)

Данные для обучения модели. Выбор ссылки считается положительным примером для этой ссылки. Отсутствие выбора других ссылок на той же странице считается отрицательными примерами для них.

Reasonable Surfer Model (Модель разумного серфера)

Модель поведения пользователя, которая предполагает, что при доступе к документу серфер будет переходить по некоторым ссылкам с более высокой вероятностью, чем по другим, основываясь на их характеристиках и контексте.

User Behavior Data (Данные о поведении пользователей)

Информация о действиях пользователей, используемая для обучения модели. Включает навигационные действия (клики по ссылкам), язык пользователя, интересы, поисковые запросы.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования.

1. Система хранит Feature Data для набора ссылок (включая признаки исходного документа, самой ссылки и целевого документа).
2. Система хранит User Behavior Data (навигационная активность и клики пользователей по этим ссылкам).
3. На основе этих двух наборов данных система обучает модель (training a model), которая предсказывает вероятность выбора ссылки пользователем. Обучение включает анализ признаков выбранных и невыбранных ссылок для генерации правил.
4. Система идентифицирует новые ссылки и определяет их Feature Data.
5. Система использует обученную модель для определения вероятности выбора каждой новой ссылки. Это делается путем ввода Feature Data ссылки в модель.
6. Рассчитывается ранг целевого документа на основе вероятности, связанной со ссылками, указывающими на него.
7. Документ упорядочивается на основе этого ранга.

Ядром изобретения является использование комбинации User Behavior Data и детализированных Feature Data для обучения предиктивной модели, которая затем используется для взвешивания ссылок при расчете ранга.

Claim 12 (Независимый пункт): Аналогичен Claim 1, но более явно описывает промежуточный шаг присвоения веса.

1. Обучение модели на основе Feature Data и User Behavior Data.
2. Определение вероятности выбора новой ссылки с использованием модели.
3. Присвоение веса (assigning a weight) ссылке на основе этой вероятности.
4. Присвоение ранга целевому документу на основе весов ссылок, указывающих на него.

Claim 16 (Независимый пункт): Описывает систему и детализирует типы используемых признаков (Feature Data).

Система включает средства для хранения Feature Data, которые включают данные о признаках исходных документов, самих ссылок и целевых документов. Патент приводит конкретные примеры этих признаков, подтверждая, что физическое представление (шрифт, позиция) и контекст (анкор, тематика) ссылки являются входами для модели взвешивания.

Где и как применяется

Изобретение применяется в основном на этапе индексирования, в частности, во время анализа ссылок и расчета авторитетности.

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются «сырые» данные о поведении пользователей (User Behavior Data). Патент упоминает, что эти данные могут быть получены от веб-браузера или помощника браузера (например, тулбара).

INDEXING – Индексирование и извлечение признаков
Это ключевой этап применения патента.

1. Извлечение признаков (Feature Extraction): Во время индексирования система извлекает Feature Data для каждой ссылки: ее позицию, размер шрифта, анкорный текст, URL-адреса и т.д.
2. Анализ ссылок (Link Analysis):
   • Система использует предварительно обученную модель машинного обучения для анализа Feature Data каждой ссылки.
   • На основе этого анализа каждой ссылке присваивается вес (Link Weight), отражающий вероятность клика.
   • Система рассчитывает ранги документов (например, PageRank) с использованием модифицированной формулы, которая включает эти веса.

RANKING – Ранжирование
Рассчитанные ранги документов (модифицированный PageRank) используются как один из сигналов ранжирования для определения авторитетности и качества документов.

(Фоновый процесс / Offline):
Система периодически анализирует собранные User Behavior Data и Feature Data для обучения и обновления модели машинного обучения. Это динамическая модель, которая адаптируется к изменениям в поведении пользователей.

На что влияет

• Типы контента и Структура сайта: Влияет на все типы контента, которые используют ссылки для ранжирования. Особенно сильно влияет на стратегии внутренней перелинковки (архитектуру сайта) и внешнего линкбилдинга. Ценность навигационных ссылок, контекстных ссылок, футерных ссылок и рекламных баннеров рассчитывается по-разному.
• Ниши и тематики: Влияние универсально.

Когда применяется

• Расчет рангов: Алгоритм применяется постоянно в процессе расчета PageRank или аналогичных показателей авторитетности на основе ссылок.
• Обновление модели: Модель машинного обучения обновляется периодически (periodically update the weights) по мере поступления новых данных о поведении пользователей и изменениях в ссылочном графе.

Пошаговый алгоритм

Процесс можно разделить на три фазы: сбор данных, обучение модели и применение модели.

Фаза А: Сбор данных (Постоянный процесс)

1. Сбор Feature Data: Во время сканирования и индексирования извлекаются характеристики ссылок, исходных и целевых документов.
2. Сбор User Behavior Data: Через браузеры или другие механизмы собираются данные о навигации пользователей (клики по ссылкам).

Фаза Б: Обучение модели (Периодический/Офлайн процесс)

1. Определение Положительных и Отрицательных примеров: Анализируются User Behavior Data. Клик по ссылке = положительный пример. Отсутствие клика по другим ссылкам на странице = отрицательные примеры.
2. Генерация Векторов признаков (Feature Vectors): Для каждой ссылки создается вектор, содержащий ее Feature Data.
3. Обучение Модели: Используются векторы признаков и положительные/отрицательные примеры для обучения модели машинного обучения (например, наивный Байес, дерево решений, логистическая регрессия). Модель генерирует правила (общие и специфичные для документов), которые предсказывают вероятность клика на основе признаков.

Фаза В: Применение модели (Индексирование/Анализ ссылок)

1. Генерация Весов ссылок (Link Weights): Обученная модель применяется к ссылкам в веб-графе. Вес ссылки ($w_n$) рассчитывается как функция правил, применимых к Feature Data этой ссылки.
2. Расчет Рангов документов: Ранги документов определяются с использованием модифицированной формулы PageRank, которая учитывает веса ссылок. Патент приводит пример формулы (Eqn. 1): $r(A) = \frac{a}{N} + (1-a)(\frac{w_{1}r(B_{1})}{|B_{1}|} + ... + \frac{w_{n}r(B_{n})}{|B_{n}|})$, где $w_n$ — это вес ссылки, $r(B_{n})$ — ранг ссылающегося документа, а $|B_{n}|$ — количество исходящих ссылок из него.

Какие данные и как использует

Данные на входе

Патент детально описывает типы Feature Data, используемые для обучения модели. Это критически важная информация для SEO.

Признаки Ссылки (Link Features):

• Контентные факторы:
  • Анкорный текст (количество слов, сами слова).
  • Коммерциализация (commerciality) анкорного текста.
  • Контекст (несколько слов до и/или после ссылки).
  • Тематический кластер, связанный с анкорным текстом.
• Структурные и Визуальные факторы (Presentation):
  • Размер шрифта анкорного текста.
  • Позиция ссылки (в списке HTML, в основном тексте, выше/ниже первого экрана, сбоку, в футере, в сайдбаре).
  • Если ссылка в списке — позиция ссылки в этом списке.
  • Цвет шрифта и атрибуты (курсив, серый, тот же цвет, что и фон).
• Технические и Мультимедиа факторы:
  • Тип ссылки (например, текстовая или изображение).
  • Если ссылка является изображением — соотношение сторон изображения.
  • Встраивает ли URL ссылки другой URL (редирект).

Признаки Исходного Документа (Source Document Features):

• Технические факторы: URL документа, веб-сайт.
• Структурные факторы: Количество ссылок в документе.
• Контентные факторы: Присутствие слов в документе или в заголовке. Тематический кластер документа. Степень соответствия тематического кластера документа тематическому кластеру анкорного текста ссылки.

Признаки Целевого Документа (Target Document Features):

• Технические факторы: URL документа, веб-сайт, длина URL, слова в URL. Находится ли целевой URL на том же хосте/домене, что и исходный.

Данные о поведении пользователей (User Behavior Data) - используются для обучения:

• Поведенческие факторы: Навигационные действия (выбор ссылок, введенные адреса). Поисковые запросы, введенные пользователем.
• Пользовательские факторы: Язык пользователя. Интересы пользователя.

Какие метрики используются и как они считаются

• Link Weight ($w_n$): Прогнозируемая вероятность того, что ссылка будет выбрана пользователем. Рассчитывается моделью машинного обучения на основе Feature Data ссылки.
• Document Rank ($r(A)$): Вероятность того, что «разумный серфер» окажется на документе. Рассчитывается по модифицированной формуле PageRank (Eqn. 1).
• Алгоритмы машинного обучения: Патент упоминает использование стандартных техник, таких как наивный Байес (naive bayes), дерево решений (decision tree) или логистическая регрессия (logistic regression) для формирования модели.

1. Эволюция PageRank: От Случайного к Разумному Серферу: Патент подтверждает отказ от предположения, что все ссылки равны. Алгоритмы ранжирования взвешивают ссылки пропорционально вероятности того, что реальный пользователь перейдет по ним.
2. Взвешивание ссылок основано на прогнозировании кликов с помощью ML: Вес ссылки определяется не эвристиками, а динамической моделью машинного обучения, которая прогнозирует вероятность клика.
3. Реальное поведение пользователей обучает модель весов: User Behavior Data (фактические клики) используются как эталонные данные (ground truth) для обучения модели, которая затем определяет, сколько веса передает каждая ссылка в вебе.
4. Визуальные, структурные и контекстные признаки критичны: Визуальное представление (шрифт, цвет), расположение (позиция на странице, в основном контенте или футере) и контекст (анкор, околоссылочный текст, тематика) ссылки напрямую определяют, сколько ранжирующего значения она передает.
5. Индивидуализация правил: Модель может изучать как общие правила (General rules), так и правила, специфичные для конкретных документов или сайтов (Document-specific rules), что повышает точность оценки.

Best practices (это мы делаем)

• Приоритет заметному размещению ссылок: Размещайте важные внутренние и внешние ссылки в основном контенте (main content), как можно выше на странице. Ссылки, расположенные на видном месте, имеют более высокую прогнозируемую вероятность клика и, следовательно, передают больше веса.
• Оптимизация анкорного текста и контекста: Используйте четкий, описательный и контекстуально релевантный анкорный текст. Модель учитывает слова в анкоре, их коммерциализацию и слова вокруг ссылки (context of a few words before and/or after the link).
• Интеграция UX и SEO для перелинковки: Убедитесь, что внутренние ссылки полезны и действительно используются посетителями. Модель обучается на реальном поведении. Если пользователи игнорируют вашу навигацию или контекстные ссылки, их вес будет снижен. Дизайн страницы напрямую влияет на веса ссылок.
• Качественный линкбилдинг: Приобретайте внешние ссылки, которые расположены в основном теле релевантного контента на авторитетных сайтах. Ссылка внутри абзаца тематической статьи получит значительно больший вес, чем ссылка в сайдбаре или списке партнеров.

Worst practices (это делать не надо)

• Использование скрытых или незаметных ссылок: Ссылки, которые сливаются с фоном (патент упоминает признак same color as background), имеют мелкий шрифт или скрыты от пользователя, получат минимальный вес.
• Зависимость от сквозных ссылок в футере/сайдбаре: Полагаться на ссылки в футере или боковых колонках (sidebar, footer) для распределения ранга неэффективно. Эти ссылки обычно имеют низкую вероятность клика и, соответственно, низкий вес.
• Приобретение низкокачественных ссылок: Покупка ссылок, которые пользователи игнорируют (очевидные платные ссылки, нерелевантные баннеры, ссылки в некачественном контенте), не принесет значительной пользы, даже если они followed.
• Игнорирование архитектуры страницы: Размещение ключевых ссылок ниже первого экрана или в перегруженных блоках снижает их эффективность в передаче веса.

Стратегическое значение

Этот патент аннулирует представление о том, что «ссылка есть ссылка». Он требует целостного подхода, в котором UX, дизайн и релевантность контента объединяются для максимизации ценности ссылочного графа. Стратегия линкбилдинга должна быть сосредоточена на получении редакционно ценных размещений, с которыми взаимодействуют реальные пользователи. Это изобретение является основой для понимания того, почему контекстные ссылки в качественном контенте ценятся значительно выше, чем любые другие типы ссылок.

Практические примеры

Сценарий: Оптимизация внутренней перелинковки интернет-магазина

1. Ситуация: Ключевые страницы категорий доступны через мега-меню, но также дублируются ссылками в футере. Страницы фильтров доступны только через блок фасетной навигации в сайдбаре.
2. Анализ на основе патента:
   • Ссылки в мега-меню, вероятно, имеют высокий вес (заметны, часто используются).
   • Ссылки в футере имеют низкий вес (низкая вероятность клика).
   • Ссылки в сайдбаре могут иметь низкий или средний вес, в зависимости от UX.
3. Действия:
   • Для продвижения ключевых страниц фильтров добавить контекстные ссылки на них из основного контента страниц категорий (например, в описании категории или блоках «Популярные подборки»).
4. Ожидаемый результат: Контекстные ссылки в основном контенте получат высокий Link Weight согласно модели «разумного серфера». Это приведет к более эффективной передаче PageRank на ключевые страницы фильтров, улучшая их ранжирование.