Как Google объединяет данные о ссылках и кликах для расчета авторитетности страниц (Query-Independent Score)

Термины и определения

Augmented Resource Graph (Дополненный граф ресурсов)

Структура данных, представляющая собой граф, который включает узлы, соответствующие ресурсам (веб-страницам), и узлы, соответствующие поисковым запросам. Он также может включать узлы пользователей или пользовательских сессий. Связи (ребра) в графе представляют как гиперссылки между ресурсами, так и взаимодействия пользователей (например, отправка запроса, клик по результату).

Dampening Factor (Коэффициент затухания)

Фактор, используемый в итеративных алгоритмах расчета оценок (подобных PageRank). Он представляет вероятность того, что пользователь прекратит навигацию и начнет новый поиск (сброс). Используется для гарантии сходимости алгоритма.

Quality of Result Statistic (Статистика качества результата)

Метрика, оценивающая, насколько релевантным пользователи сочли ресурс в качестве результата поиска по определенному запросу. Используется для взвешивания ребер между узлами запросов и узлами ресурсов. В патенте прямо упоминается CTR (Click-Through Rate) как пример такой статистики.

Query Node (Узел запроса)

Узел в дополненном графе, представляющий конкретный поисковый запрос.

Resource Node (Узел ресурса)

Узел в дополненном графе, представляющий конкретный ресурс (например, веб-страницу).

User Session Node / User Node (Узел пользовательской сессии / Узел пользователя)

В некоторых вариантах реализации графа, узлы, представляющие сессию пользователя или анонимизированного пользователя. Они связаны с узлами запросов, которые были отправлены в рамках этой сессии или этим пользователем.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод оценки ресурсов.

1. Генерация resource graph, включающего: узлы ресурсов, узлы запросов, ребра между ресурсами (ссылки) и ребра между запросами и ресурсами (выбор пользователя/клик).
2. Расчет оценки (score) для каждого ресурса. Оценка конкретного ресурса зависит от: (i) оценок ресурсов, которые ссылаются на него, И (ii) оценок запросов, которые связаны с ним ребром (привели к клику).
3. Ранжирование ресурсов в ответ на запрос пользователя на основе этих рассчитанных оценок.
4. Дополнение (Важно): Граф также включает узлы пользовательских сессий (User Sessions) и ребра между сессиями и запросами (факт отправки запроса в сессии). Оценка запроса зависит от оценок связанных с ним пользовательских сессий.

Claim 3 (Зависимый от 1): Уточняет механизм расчета оценок.

Каждое ребро имеет связанный вес (associated weight). Расчет оценки ресурса основывается на весах ребер, входящих в узел этого ресурса.

Claim 5 (Зависимый от 3): Определяет вес ребра «Запрос-Ресурс».

Вес ребра между узлом запроса и узлом ресурса выводится из quality of result statistic для этого ресурса и запроса.

Claim 6 (Зависимый от 5): Уточняет метрику качества.

Quality of result statistic является click through rate (CTR) для ресурса и запроса.

Claim 8 (Зависимый от 7): Детализирует итеративный процесс расчета.

1. Инициализация оценки для каждого узла в графе (например, 1, деленное на общее количество узлов).
2. Итеративное обновление оценки каждого узла. Обновленная оценка выводится из взвешенного среднего (weighted average) оценок узлов, имеющих входящие ребра к данному узлу.

Claim 18 (Независимый пункт): Альтернативный вариант реализации.

Аналогичен Claim 1, но вместо узлов пользовательских сессий используются узлы пользователей (Users). Оценка запроса зависит от оценок связанных с ним пользователей.

Где и как применяется

Изобретение описывает механизм расчета независимых от запроса оценок авторитетности (Query-Independent Scores), который затрагивает несколько этапов поисковой архитектуры.

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются данные о гиперссылках между ресурсами, которые используются для построения базового графа ресурсов.

Сбор поведенческих данных (Data Acquisition)
Система собирает логи запросов (Query Data), которые включают информацию о том, какие запросы были отправлены, какие результаты были выбраны пользователями (клики), а также идентификаторы пользователей или сессий. Эти данные анонимизируются.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. На этом этапе происходит построение Augmented Resource Graph и расчет оценок авторитетности.

1. Агрегация данных: Ссылочные данные и логи запросов обрабатываются для идентификации узлов и ребер.
2. Построение графа и взвешивание: Создается граф, и рассчитываются веса ребер. Критически важным является расчет Quality of Result Statistic (например, CTR) для пар запрос-ресурс.
3. Расчет оценок: Запускается итеративный алгоритм (подобный PageRank) для вычисления финальных оценок всех узлов.
4. Сохранение: Рассчитанные независимые от запроса оценки ресурсов сохраняются в индексе (например, в Score Repository) для последующего использования.

RANKING – Ранжирование
Во время обработки пользовательского запроса поисковая система (Search Engine) использует предварительно рассчитанные оценки из индекса как один из сигналов ранжирования (query-independent measure).

Входные данные:

• Данные о ресурсах и ссылках между ними (Resource Data).
• Логи запросов (Query Data): запросы, выбранные результаты, CTR, данные о сессиях/пользователях.

Выходные данные:

• Независимые от запроса оценки авторитетности (Scores) для ресурсов.

На что влияет

• Все типы контента и запросов: Механизм универсален и влияет на расчет авторитетности всех проиндексированных ресурсов.
• Ресурсы с малым количеством ссылок: Патент особенно важен для ресурсов, которые еще не накопили значительный ссылочный профиль, но хорошо отвечают на запросы пользователей. Они могут получить высокую оценку авторитетности за счет высокого CTR по важным запросам.
• Свежий контент (Freshness): Свежий контент, быстро набирающий популярность в поиске (высокий CTR), может быстрее получить высокую оценку авторитетности благодаря этому механизму.

Когда применяется

• Расчет оценок: Процесс построения графа и расчета оценок выполняется офлайн в пакетном режиме (batch processing). Он не происходит в реальном времени при каждом запросе пользователя.
• Использование оценок: Рассчитанные оценки используются поисковой системой на этапе ранжирования для каждого релевантного запроса.
• Фильтрация данных: В патенте упоминается возможность фильтрации данных при построении графа. Например, могут быть исключены ресурсы, на которые кликали меньше порогового числа раз, или запросы, отправленные слишком малым числом пользователей.

Пошаговый алгоритм

Процесс расчета оценок авторитетности:

1. Сбор данных: Сбор ссылочных данных (кто на кого ссылается) и логов запросов (кто что искал и на что кликал).
2. Генерация графа: Построение Augmented Resource Graph.
   1. Создание узлов для Ресурсов, Запросов и (опционально) Пользователей/Сессий.
   2. Создание ребер: Ресурс -> Ресурс (ссылки); Запрос <-> Ресурс (клики); Пользователь/Сессия <-> Запрос (отправка запроса).
3. Назначение весов ребрам:
   1. Для ребер Ресурс -> Ресурс: вес обычно определяется делением 1 на количество исходящих ссылок из источника.
   2. Для ребер Запрос <-> Ресурс: вес определяется на основе Quality of Result Statistic (например, CTR). Может учитываться позиция результата и длительность клика (short/long clicks).
   3. Для ребер Пользователь/Сессия <-> Запрос: вес может определяться количеством запросов от пользователя/сессии или количеством пользователей, задавших запрос.
4. Нормализация весов: Веса исходящих ребер из узла могут быть нормализованы так, чтобы их сумма равнялась 1.
5. Инициализация оценок: Присвоение начальной оценки всем узлам графа (например, равномерное распределение).
6. Итеративный расчет оценок: Обновление оценок узлов до достижения сходимости или порогового числа итераций.
   1. Оценка узла обновляется как взвешенное среднее оценок узлов, которые на него указывают.
   2. Применение Dampening Factor для моделирования случайного сброса навигации.
7. Финализация и сохранение: Сохранение итоговых оценок ресурсов для использования в ранжировании.

Какие данные и как использует

Данные на входе

Система использует два основных источника данных: Resource Data и Query Data.

• Ссылочные факторы: Входящие и исходящие ссылки между ресурсами. Используются для построения ребер Ресурс -> Ресурс.
• Поведенческие факторы: Данные из логов запросов.
  • Клики (User Selections): Факт выбора ресурса в ответ на запрос.
  • CTR (Click-Through Rate): Частота кликов на ресурс по запросу.
  • Длительность клика (Length of the clicks): Упоминается возможность учета длительности пребывания на ресурсе после клика (short clicks vs long clicks).
  • Позиция результата: Упоминается возможность учета позиции результата при расчете веса клика (клик на низкую позицию может иметь больший вес).
• Пользовательские факторы: Анонимизированные идентификаторы пользователей или пользовательских сессий. Используются для группировки запросов и построения соответствующих узлов и ребер в графе.

Какие метрики используются и как они считаются

• Quality of Result Statistic: Ключевая метрика для определения веса ребра Запрос-Ресурс. Основной пример – CTR. $CTR = \frac{\text{Количество кликов}}{\text{Количество показов}}$
• Edge Weights (Веса ребер): Рассчитываются для всех ребер в графе. Для ссылок – на основе количества исходящих ссылок. Для кликов – на основе Quality of Result Statistic.
• Resource Scores (Оценки ресурсов): Итоговый результат работы алгоритма. Рассчитывается итеративно как взвешенное среднее оценок входящих узлов. Представляет собой независимую от запроса меру качества или авторитетности ресурса.

1. Объединение ссылочной и поведенческой авторитетности: Патент предлагает конкретный механизм интеграции данных о ссылках и данных о кликах в единую модель расчета авторитетности. Это не два разных фактора ранжирования, а единый граф, где сигналы усиливают друг друга.
2. CTR как прямой фактор авторитетности: Click-Through Rate (CTR) явно используется как вес ребра между запросом и ресурсом. Высокий CTR по запросу напрямую увеличивает поток авторитетности от этого запроса к ресурсу, повышая его общий (независимый от запроса) Score.
3. Авторитетность запросов (Query Authority): В этой модели запросы сами являются узлами графа и имеют собственную оценку авторитетности. Важность запроса определяется тем, на какие ресурсы он ведет, и (в вариантах с сессиями/пользователями) тем, кто его задает. Клики от более авторитетных запросов передают больше веса ресурсу.
4. Возможность ранжирования без ссылок: Ресурс может достичь высокой оценки авторитетности даже при отсутствии входящих ссылок, если он часто выбирается пользователями по авторитетным запросам. Это особенно важно для свежего или узкоспециализированного контента.
5. Взаимное усиление: Авторитетные ресурсы делают запросы, которые на них ведут, более авторитетными, и наоборот. Это создает экосистему, где качество и релевантность усиливают друг друга.
6. Учет качества кликов: Помимо CTR, патент упоминает возможность использования других Quality of Result Statistics, таких как длительность клика (short vs long clicks) и позиция клика. Это указывает на важность не просто получения клика, но и удовлетворения интента пользователя.

Best practices (это мы делаем)

• Оптимизация сниппетов и CTR: Работа над привлекательностью Title и Description критически важна не только для привлечения трафика по конкретному запросу, но и для наращивания общей авторитетности страницы. Высокий CTR напрямую конвертируется в авторитетность через Augmented Resource Graph.
• Фокус на удовлетворении интента (User Satisfaction): Поскольку патент упоминает возможность учета длительности кликов (противодействие коротким кликам), необходимо создавать контент, который полностью отвечает на запрос пользователя и удерживает его на странице. Удовлетворенность пользователя становится сигналом авторитетности.
• Построение тематической авторитетности (Topical Authority): Создавайте контент, который стабильно получает высокий CTR по кластеру связанных запросов. Это увеличит авторитетность как самих запросов в контексте вашей темы, так и ваших страниц.
• Анализ важных запросов: Необходимо понимать, какие запросы в вашей нише могут обладать высокой авторитетностью (Query Authority). Получение кликов по этим запросам даст больший прирост к авторитетности страницы, чем клики по низкочастотным или менее важным запросам.

Worst practices (это делать не надо)

• Кликбейт и манипуляция CTR: Использование заголовков, которые обманом заставляют пользователя кликнуть, но не соответствуют содержанию страницы. Если система учитывает короткие клики (как указано в патенте), это приведет к низкому весу ребра в графе и не даст прироста авторитетности.
• Игнорирование пользовательского опыта: Стратегия, основанная исключительно на наращивании ссылочной массы без учета того, как пользователи взаимодействуют со страницей в поиске, становится менее эффективной. Ссылки – это только часть графа.
• Накрутка поведенческих факторов: Попытки искусственно увеличить CTR могут быть неэффективны, если система использует узлы Пользователей или Сессий (Claims 1 и 18). Если клики исходят от низкокачественных пользователей или подозрительных сессий (с низкой оценкой в графе), они передадут минимальный вес.

Стратегическое значение

Этот патент подтверждает стратегический сдвиг в понимании авторитетности. Он показывает, что классический PageRank, основанный только на ссылках, устарел. Современная авторитетность — это гибридная метрика, учитывающая как мнение других сайтов (ссылки), так и мнение пользователей (клики и удовлетворенность). Долгосрочная SEO-стратегия должна в равной степени фокусироваться на качестве контента, пользовательском опыте и традиционном линкбилдинге.

Практические примеры

Сценарий: Повышение авторитетности нового обзора

1. Ситуация: Публикуется детальный обзор нового гаджета. У страницы пока нет обратных ссылок.
2. Действие: SEO-специалист оптимизирует Title и Description так, чтобы максимально точно отразить содержание и привлечь внимание в SERP по запросу "Обзор Гаджета X".
3. Результат в поиске: Страница появляется в выдаче и благодаря качественной оптимизации сниппета получает CTR значительно выше среднего (например, 15% на 3-й позиции).
4. Работа алгоритма:
   • В Augmented Resource Graph создается ребро от узла "Обзор Гаджета X" к узлу страницы.
   • Вес этого ребра высокий из-за высокого CTR (Quality of Result Statistic).
   • При следующем пересчете оценок, узел запроса передает значительную авторитетность узлу страницы.
5. Итог: Независимая от запроса оценка (Query-Independent Score) страницы увеличивается. Это помогает ей лучше ранжироваться не только по исходному запросу, но и по всем другим релевантным запросам, еще до того, как на нее появятся первые ссылки.