Как Google использует механизм «Pull-Push» для валидации ссылок через трафик и время вовлечения (Dwell Time)

Термины и определения

Seed Resource (Исходный ресурс, «Семя»)

Ресурс, для которого доступно достаточно данных о входящих ссылках и трафике для вычисления Seed Score.

Source Resource (Ресурс-источник, Донор)

Ресурс, содержащий ссылки на другие ресурсы.

Target Resource (Целевой ресурс)

Ресурс, на который ссылаются источники, но для которого недостаточно данных для вычисления Seed Score. Оценивается через Source Scores доноров.

Seed Score (Оценка «Семени»)

Мера качества Seed Resource. Основана на соотношении количества входящих ссылок (resource link count) и количества переходов по ним (selection count), скорректированном на качество этих переходов.

Source Score (Оценка Источника)

Мера качества Source Resource. Определяется на основе Seed Scores ресурсов, на которые он ссылается.

Resource Score (Оценка Ресурса)

Итоговая мера качества ресурса. Определяется на основе Source Scores ресурсов, которые на него ссылаются.

Pull-Push Process (Процесс «Тяни-Толкай»)

Механизм распространения оценок качества. Seed Scores «вытягиваются» (Pull) для расчета Source Scores, а затем Source Scores «проталкиваются» (Push) для расчета Resource Scores.

Selection Quality Score (Оценка Качества Перехода)

Метрика качества отдельного клика по ссылке.

Click Duration (Продолжительность клика, Dwell Time)

Время, которое пользователь провел на ресурсе после перехода по ссылке. Используется для расчета Selection Quality Score. Может классифицироваться как короткий, средний или длинный клик.

Unqualified Source (Неквалифицированный источник)

Source Resource, чей Source Score ниже определенного порога. Ссылки с таких источников дисконтируются.

N-gram Score (Оценка N-граммы)

Мера качества фразы из анкорного текста. Рассчитывается на основе Source Scores источников, использующих эту фразу в своих исходящих ссылках.

Query Score (Оценка Запроса)

Метрика, оценивающая склонность запроса возвращать спам-результаты. Рассчитывается на основе N-gram Scores.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс «Pull-Push».

1. Вычисление Seed Score для набора seed resources. Оценка базируется на: (i) общем количестве ссылающихся ресурсов, (ii) общем количестве переходов (кликов) по этим ссылкам, и (iii) seed selection quality score (агрегированное качество кликов).
2. Идентификация Source Resources (ссылающихся на Seeds).
3. Вычисление Source Score для каждого источника на основе Seed Scores ресурсов, на которые он ссылается (The Pull).
4. Идентификация всех ресурсов, на которые ссылаются источники (включая Target Resources).
5. Вычисление Resource Score для каждого ресурса на основе Source Scores источников, которые на него ссылаются (The Push).

Claim 3 (Зависимый): Уточняет, что Seed Score основан на соотношении (ratio) между общим количеством переходов и общим количеством ссылающихся ресурсов.

Claims 4-6 (Зависимые): Детализируют механизм учета качества кликов (Dwell Time).

• Система определяет Selection Quality Score для каждого отдельного клика (Claim 4).
• Качество клика (Claim 5) базируется на click duration (Dwell Time).
• Агрегированная оценка качества (Claim 6) учитывает количество коротких, средних и длинных кликов (short click, medium click, long click). Это механизм защиты от накруток и учета реального вовлечения.

Claim 8 (Зависимый): Критически важный пункт, описывающий дисконтирование ссылок.

1. Источники с Source Score ниже порога помечаются как unqualified resource.
2. В процессе ранжирования общее количество ссылок на ресурс дисконтируется (уменьшается) на число ссылок, исходящих от unqualified resources. Ссылки от источников, которые систематически ссылаются на некликабельные страницы, обесцениваются.

Claims 9-10 (Зависимые): Описывают механизм оценки анкоров и N-грамм.

1. Анкорный текст исходящих ссылок источника разбивается на n-граммы.
2. Source Score источника присваивается каждой из этих n-грамм.
3. Вычисляется N-gram Score путем агрегации всех Source Scores, присвоенных этой n-грамме. Это позволяет оценить качество экосистемы, использующей определенные анкоры.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поиска.

INDEXING – Индексирование и извлечение признаков
Основная часть вычислений происходит на этом этапе офлайн. Система анализирует ссылочный граф и агрегирует исторические данные о поведении пользователей (клики, dwell time). Процессы «Pull-Push» (расчет Seed Scores, Source Scores, Resource Scores) и расчет N-gram Scores выполняются в пакетном режиме и сохраняются в индексе (Search Index и N-gram Index).

QUNDERSTANDING – Понимание Запросов
При получении запроса система использует N-gram Scores для вычисления Query Score в реальном времени. Это позволяет оценить склонность запроса к спаму.

RANKING / RERANKING – Ранжирование и Переранжирование
На этих этапах происходит применение рассчитанных оценок:

• Дисконтирование ссылок: При расчете ссылочных сигналов ранжирования ссылки от Unqualified Sources игнорируются или имеют значительно меньший вес (согласно Claim 8).
• Корректировка ранжирования: Resource Score может использоваться как прямой сигнал качества ресурса.
• Адаптация весов: Система использует Query Score для динамического изменения баланса факторов. Если запрос «спамный» (низкий Query Score), система снижает влияние ссылочных факторов (resource count) и повышает влияние поведенческих факторов (selection count) (согласно FIG. 11 патента).

Входные данные:

• Данные ссылочного графа и анкорные тексты.
• Исторические данные о трафике (Historical Data): количество переходов по ссылкам (Selection Count).
• Данные о качестве трафика: продолжительность кликов (Click Duration / Dwell Time).

Выходные данные:

• Метрики качества: Seed Score, Source Score, Resource Score.
• Классификация источников (Qualified/Unqualified).
• Метрики анкоров/запросов: N-gram Score, Query Score.
• Скорректированные оценки ранжирования (Adjusted Rank Scores).

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние оказывается на конкурентные коммерческие ниши и YMYL-тематики, подверженные агрессивному линкбилдингу (PBN, массовая закупка). Патент упоминает контекст «payday loans» как пример ниши с низким Query Score.
• Типы контента и ссылок: Влияет на оценку любых ссылок, но особенно сильно бьет по ссылкам, размещенным в местах, не предназначенных для навигации пользователей (футеры, скрытые блоки, ссылочные каталоги низкого качества).

Когда применяется

• Временные рамки: Вычисление базовых оценок (Pull-Push) происходит периодически в офлайн-режиме. Применение оценок (дисконтирование, корректировка весов) происходит в реальном времени при обработке запроса.
• Условия применения: Расчет Seed Score требует наличия достаточного объема данных о ссылках и кликах.
• Триггеры активации: Механизм адаптации весов активируется, когда Query Score запроса пересекает определенный порог (указывая на высокую вероятность спама).

Пошаговый алгоритм

Процесс А: Вычисление оценок качества ресурсов (Pull-Push) (Офлайн)

1. Идентификация Seed Resources: Выбор ресурсов с достаточным объемом данных.
2. Сбор данных о трафике: Для каждого Seed Resource собираются данные о количестве входящих ссылок и количестве переходов.
3. Оценка качества переходов: Для каждого перехода определяется Selection Quality Score на основе Click Duration (Dwell Time). Клики классифицируются (короткие, средние, длинные).
4. Вычисление Seed Score: Рассчитывается как соотношение ссылок и трафика, скорректированное на агрегированное качество трафика (Seed Selection Quality Score).
5. Идентификация Source Resources: Определение ресурсов, ссылающихся на Seed Resources.
6. Вычисление Source Score («Pull»): Для каждого источника рассчитывается Source Score путем агрегации Seed Scores ресурсов, на которые он ссылается.
7. Классификация Источников: Источники с Source Score ниже порога помечаются как Unqualified Sources.
8. Вычисление Resource Score («Push»): Для всех ресурсов (Seed и Target) рассчитывается Resource Score путем агрегации Source Scores источников, которые на них ссылаются.

Процесс Б: Вычисление оценок N-грамм и Запросов

1. Извлечение анкоров и N-грамм: Для каждого Source Resource извлекаются анкорные тексты исходящих ссылок и разбиваются на N-граммы.
2. Присвоение оценок: Каждой N-грамме присваивается Source Score источника, в котором она найдена.
3. Вычисление N-gram Score (Офлайн): Для каждой уникальной N-граммы агрегируются все присвоенные ей Source Scores.
4. Вычисление Query Score (Онлайн): При получении запроса он разбивается на N-граммы, их N-gram Scores агрегируются для расчета Query Score.

Процесс В: Применение в ранжировании (Онлайн)

1. Идентификация релевантных ресурсов.
2. Расчет базовых оценок ранжирования.
3. Дисконтирование ссылок (по Процессу А): При расчете ссылочных факторов ранжирования вес ссылок от Unqualified Sources обнуляется или значительно снижается (Claim 8).
4. Корректировка весов (по Процессу Б): Если Query Score ниже порога (запрос «спамный»), система уменьшает влияние ссылочных факторов (resource count) и увеличивает влияние поведенческих факторов (selection count) для расчета итогового Rank Score (FIG. 11).
5. Финальное ранжирование: Ресурсы сортируются по итоговому Rank Score.

Какие данные и как использует

Данные на входе

• Ссылочные факторы:
  • Структура ссылочного графа (входящие и исходящие ссылки).
  • Количество входящих ссылок (resource link count).
  • Анкорный текст исходящих ссылок.
• Поведенческие факторы:
  • Количество переходов по ссылкам (selection count).
  • Продолжительность клика (Click Duration / Dwell Time) — время, проведенное пользователем на целевом ресурсе после перехода.

Какие метрики используются и как они считаются

• Seed Score: Рассчитывается как функция от (Количество Ссылок, Количество Переходов, Качество Переходов). В основном варианте (Claim 3) это соотношение (ratio):