Как Google использует нормализованные сигналы удовлетворенности пользователей для переранжирования выдачи и управления краулингом/индексацией

Термины и определения

Actual Utility Rate (Фактический уровень полезности)

Метрика, отражающая реальную эффективность документа. Рассчитывается как отношение количества Good Utilization Events к общему количеству Search Events (показов).

Aggregated Correction Factor (Агрегированный коэффициент корректировки)

Correction Factor, рассчитанный для набора связанных документов (например, одного домена, тематики, автора). Используется, если индивидуальные данные документа слишком разрежены (низкий Confidence Level).

Confidence Level (Уровень достоверности)

Мера надежности рассчитанного Correction Factor. Зависит от объема собранных данных (например, общего количества Search Events или времени нахождения документа в индексе).

Correction Factor (Коэффициент корректировки)

Ключевая метрика патента. Рассчитывается как отношение Decaying Average Actual Utility Rate к Decaying Average Expected Utility Rate. Используется для корректировки различных оценок документа.

Crawl Score (Оценка сканирования)

Метрика, используемая краулером для определения приоритетности и необходимости сканирования документа. Может корректироваться с помощью Correction Factor (Claim 13).

Decay Constant (Константа затухания)

Параметр (D), используемый при расчете Decaying Average. Определяет вес свежих данных по отношению к историческим. Может отличаться для разных типов контента (например, новости vs статьи).

Decaying Average (Затухающее среднее / Скользящее среднее с затуханием)

Метод расчета среднего значения, при котором недавние события имеют больший вес, чем старые.

Expected Utility Rate (Ожидаемый уровень полезности)

Метрика, предсказывающая, насколько эффективным должен быть документ, исходя из того, на каких позициях он показывался. Рассчитывается с использованием Rank Position Map.

Good Utilization Event (Событие хорошего использования)

Качественное взаимодействие пользователя. Определяется как клик, после которого пользователь провел на документе не менее определенного времени (Dwell Time) И затем совершил действие, не связанное с исходным запросом (Claim 11).

Index Score (Оценка индексации)

Метрика, используемая индексером для определения, следует ли включать документ в индекс или сохранять его там. Может корректироваться с помощью Correction Factor (Claim 12).

Rank Position Map (Карта позиций ранжирования)

Структура данных, определяющая ожидаемую полезность (например, средний CTR) для каждой позиции в результатах поиска. Может быть разной для разных языков, типов документов или типов запросов.

Search Event (Событие поиска)

Показ документа в наборе результатов поиска на определенной позиции (импрешн).

Utilization Event (Событие использования)

Взаимодействие пользователя с документом в результатах поиска (например, клик по ссылке).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод корректировки ранжирования с включением механизма агрегации.

1. Система получает Rank Position Map.
2. Определяется Expected Utility Rate (EUR) для документа на основе карты и истории показов документа на разных позициях.
3. Определяется Actual Utility Rate (AUR) на основе фактических выборов и общего количества показов.
4. Вычисляется Correction Factor (на основе AUR и EUR).
5. Определяется Confidence Level для этого фактора, и фактор корректируется на его основе.
6. Механизм агрегации: Если Confidence Level ниже порога (aggregation threshold), выбирается набор связанных документов.
7. Вычисляется Aggregated Correction Factor для набора.
8. Этот агрегированный фактор используется вместо индивидуального для данного документа.
9. Оценка (Score) документа корректируется на основе итогового Correction Factor.
10. Предоставляется список результатов, ранжированный на основе скорректированных оценок.

Claim 2 и 3 (Зависимые): Уточняют расчет полезности.

Определяется Decaying Average (затухающее среднее) как для Expected Utility Rate (Claim 2), так и для Actual Utility Rate (Claim 3), используя константу затухания (Decay Constant). Correction Factor рассчитывается на основе этих затухающих средних, приоритизируя свежие данные.

Claim 10 и 11 (Зависимые): Определяют качество взаимодействий.

Система использует только события определенного типа (Good Utilization Event) для расчета Actual Utility Rate. Claim 11 определяет критерии: (i) доступ к документу в течение как минимум определенного количества времени (Dwell Time), И (ii) последующее действие пользователя, не связанное с исходным поисковым запросом. Это механизм фильтрации pogo-sticking.

Claim 12 и 13 (Зависимые): Расширяют применение фактора.

Correction Factor применяется для корректировки Index Score (решение об индексации — Claim 12) и Crawl Score (решение о сканировании — Claim 13).

Где и как применяется

Изобретение охватывает несколько ключевых этапов поисковой архитектуры, связывая поведенческие данные с основными процессами.

CRAWLING – Сканирование и Сбор данных
Механизм используется для управления краулинговым бюджетом. Correction Factor применяется к Crawl Score документа (Claim 13). Документы с низкой полезностью могут получать более низкий приоритет сканирования.

INDEXING – Индексирование и извлечение признаков
Механизм используется для принятия решения о включении документа в индекс. Correction Factor применяется к Index Score (Claim 12). Если скорректированная оценка ниже порога (indexing threshold), документ может быть не проиндексирован или удален из индекса.

RANKING / RERANKING – Ранжирование и Переранжирование
Основной этап применения патента. Ranking Scores, полученные на этапе RANKING, корректируются с использованием Correction Factor (индивидуального или агрегированного, скорректированного по Confidence Level). Происходит финальное переранжирование списка документов.

Входные данные:

• Логи показов (Search Events) с указанием позиций ранжирования.
• Логи взаимодействий (Utilization Events), включая данные о времени доступа (Dwell Time) и последующих действиях пользователя.
• Rank Position Map.
• Начальные оценки документа (Ranking Score, Crawl Score, Index Score).

Выходные данные:

• Скорректированные оценки (Adjusted Scores).
• Переранжированный список результатов поиска.
• Решения о приоритете сканирования и индексации.

На что влияет

• Конкретные типы контента и запросы: Влияет на все типы, но патент упоминает, что Rank Position Map и константы затухания (Decay Constants) могут различаться в зависимости от контекста: языка, типа документа (например, новости более чувствительны ко времени, чем описания продуктов) или типа запроса (например, коммерческие, медицинские запросы).
• Длиннохвостые запросы и новые страницы: Влияет на них через механизм агрегации. Даже если у страницы мало собственных данных, она может быть скорректирована на основе общей производительности сайта (домена) или тематического раздела.

Когда применяется

• Частота применения: Расчет Correction Factor может происходить офлайн (в пакетном режиме) на основе данных за определенный период. Применение фактора к Ranking Score происходит онлайн при ответе на запрос.
• Триггеры активации (Агрегация): Механизм агрегации активируется (FIG. 8), когда Confidence Level для индивидуального Correction Factor документа ниже установленного порога (first aggregation threshold). Агрегированный фактор применяется, если он превышает второй порог значимости (second aggregation threshold).

Пошаговый алгоритм

Процесс А: Расчет Correction Factor (FIG. 7) (Офлайн/Пакетный режим)

1. Сбор данных (Search Events): Запись количества показов документа на каждой позиции ранжирования за период времени.
2. Расчет Expected Utility Rate (EUR): Вычисление ожидаемой полезности по формуле (взвешенное среднее), используя Rank Position Map (Equation 1):

   $EUR = \frac{\sum(EUR\_{RX}*SE\_{RX})}{SE\_{TOTAL}}$

   (где EUR – ожидаемая полезность на позиции X, SE – количество показов на позиции X).
3. Сбор данных (Utilization Events): Запись общего количества взаимодействий за период.
4. Фильтрация взаимодействий: Отбор только Good Utilization Events. Проверка критериев: минимальное время доступа (Dwell Time) И последующее несвязанное действие.
5. Расчет Actual Utility Rate (AUR): (Количество Good Utilization Events) / (Общее количество Search Events).
6. Расчет затухающего среднего (Decaying Average): Применение формулы затухания к EUR и AUR для приоритизации недавних данных (Equation 2):

   $UR\_{DECAY} = \frac{UR\_{AVG}}{D} + \frac{D-1}{D}*UR\_{AVG-1}$

   (где D – константа затухания).
7. Вычисление Correction Factor: (Decaying Average AUR) / (Decaying Average EUR).
8. Расчет Confidence Level и Агрегация (FIG. 8): Оценка достоверности. Если Confidence Level низкий, вычисление и использование Aggregated Correction Factor.

Процесс Б: Применение Correction Factor (Онлайн/Офлайн)

1. Корректировка фактора: Correction Factor (индивидуальный или агрегированный) корректируется на основе Confidence Level.
2. Применение к оценкам:
   1. Ранжирование (Онлайн, FIG. 6): Adjusted Ranking Score = Ranking Score * Adjusted Correction Factor. Документы переранжируются.
   2. Индексация (Офлайн, FIG. 9A): Adjusted Index Score = Index Score * Adjusted Correction Factor. Сравнение с порогом индексации.
   3. Сканирование (Офлайн, FIG. 9B): Adjusted Crawl Score = Crawl Score * Adjusted Correction Factor. Сравнение с порогом сканирования.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании поведенческих и временных данных для корректировки оценок.

• Поведенческие факторы:
  • Search Events: Показы документа с обязательной фиксацией позиции ранжирования.
  • Utilization Events: Взаимодействия (клики, выборы).
  • Время доступа (Dwell Time): Время, проведенное пользователем на документе после клика. Критично для определения Good Utilization Event.
  • Последующие действия пользователя: Активность после доступа к документу (возврат в SERP, новый запрос, закрытие сессии). Критично для определения Good Utilization Event.
• Временные факторы:
  • Временные метки событий: Используются для расчета Decaying Average.
  • Время нахождения в индексе: Может использоваться для расчета Confidence Level.
• Структурные/Системные факторы:
  • Принадлежность к группе: Домен, сайт, категория, тип контента, автор (используется для агрегации).
  • Rank Position Map: Глобальные данные о полезности по позициям (могут зависеть от языка, типа документа, типа запроса).
  • Decay Constant: Системная переменная для расчета затухания (может зависеть от типа документа).

Какие метрики используются и как они считаются

• Expected Utility Rate (EUR): Ожидаемая полезность, нормализованная по позиции. Рассчитывается как средневзвешенное значение ожидаемых полезностей из Rank Position Map на основе истории показов документа (Формула 1).
• Actual Utility Rate (AUR): Фактическая полезность. Рассчитывается как доля Good Utilization Events от общего числа Search Events.
• Decaying Average: Затухающее среднее для EUR и AUR, придающее больший вес недавним данным (Формула 2).
• Correction Factor: Основная метрика корректировки. Рассчитывается как отношение затухающего среднего AUR к затухающему среднему EUR.
• Confidence Level: Метрика статистической значимости Correction Factor. Упоминается расчет на основе распределения Пуассона и нормализация к значению от 0 до 1.

1. Нормализация по позиции критически важна (Position Bias Mitigation): Система оценивает производительность документа относительно ожиданий для той позиции, на которой он был показан. Недостаточно иметь высокий raw CTR; необходимо превосходить ожидания (Expected Utility Rate) для своей позиции.
2. Удовлетворенность пользователя (Satisfaction) важнее кликов (Clicks): Ключевым элементом является концепция Good Utilization Event. Патент явно определяет это как взаимодействие, включающее достаточное время пребывания на странице (Dwell Time) И последующее действие, не связанное с запросом. Это прямой механизм борьбы с pogo-sticking и кликбейтом.
3. Приоритет недавней производительности: Использование Decaying Average означает, что система адаптируется к изменениям в качестве контента или поведении пользователей, придавая больший вес недавним данным. Исторические заслуги со временем теряют вес.
4. Агрегация данных для борьбы с разреженностью: Механизм Aggregated Correction Factor позволяет применять сигналы полезности на уровне сайта или раздела к отдельным страницам с низким трафиком (низкий Confidence Level). Качество всего сайта влияет на производительность отдельных страниц.
5. Влияние полезности на весь жизненный цикл поиска: Патент явно распространяет использование Correction Factor за пределы ранжирования. Низкая полезность несет риски не только для ранжирования, но и для базовых процессов сканирования (влияние на Crawl Score) и индексации (влияние на Index Score).

Best practices (это мы делаем)

• Оптимизация под удовлетворение интента (Intent Satisfaction) и Dwell Time: Фокусируйтесь на создании контента, который полностью отвечает на запрос пользователя и удерживает его на странице. Контент должен быть исчерпывающим, чтобы минимизировать возврат пользователя в SERP (pogo-sticking). Это максимизирует Good Utilization Events.
• Улучшение сниппетов для точности и привлекательности: Работайте над Title и Description, чтобы повысить кликабельность относительно конкурентов на той же позиции (превзойти Expected Utility Rate), но при этом точно отражать содержание, чтобы не провоцировать быстрые отказы.
• Улучшение общего пользовательского опыта сайта (Site-wide UX): Поскольку система использует агрегацию (Aggregated Correction Factor), сильный общий UX и высокая удовлетворенность пользователей на уровне сайта могут положительно повлиять на ранжирование отдельных страниц, особенно новых или низкочастотных.
• Регулярное обновление контента: Из-за механизма временного затухания (Decaying Average) необходимо поддерживать актуальность и полезность контента, чтобы сохранять высокий Correction Factor.
• Оптимизация краулингового бюджета через качество: Поддерживайте высокую полезность контента, чтобы гарантировать достаточный Crawl Score и Index Score. Регулярно улучшайте или удаляйте контент с низкой вовлеченностью.

Worst practices (это делать не надо)

• Использование кликбейта (Clickbait): Создание заголовков, направленных на получение клика, но не соответствующих содержанию. Это приведет к высокому CTR, но низкому количеству Good Utilization Events (из-за pogo-sticking), что снизит Correction Factor и приведет к пессимизации.
• Создание тонкого (Thin) контента: Контент, который не удовлетворяет интент пользователя, будет иметь низкий Actual Utility Rate, даже если он технически оптимизирован под ключевые слова.
• Игнорирование скорости загрузки и UX: Плохой пользовательский опыт, ведущий к быстрым отказам, будет интерпретироваться как низкая полезность, негативно влияя на Dwell Time.
• Накрутка поведенческих факторов "в лоб": Попытки симулировать клики без обеспечения качества взаимодействия. Система фильтрует Good Utilization Events, использует нормализацию и Confidence Level, что делает простые накрутки CTR неэффективными и рискованными.

Стратегическое значение

Этот патент подтверждает, что Google использует сложные поведенческие метрики для оценки качества и удовлетворенности пользователей, выходящие далеко за рамки простого CTR. Стратегически важно понимать, что производительность документа оценивается в контексте его позиции. Патент подчеркивает системный подход Google: низкая полезность несет риски не только для ранжирования, но и для базовых процессов сканирования и индексации. Долгосрочная SEO-стратегия должна быть сосредоточена на обеспечении максимальной ценности и удовлетворенности пользователя.

Практические примеры

Сценарий 1: Борьба с кликбейтом в ранжировании

1. Ситуация: На позиции 2 находится статья с кликбейтным заголовком, а на позиции 4 — детальное руководство.
2. Данные: Статья на Поз. 2 имеет высокий CTR, но пользователи быстро возвращаются в SERP (низкий Dwell Time). Статья на Поз. 4 имеет более низкий CTR (из-за позиции), но пользователи, которые кликают, проводят много времени на странице.
3. Расчеты:
   • Поз. 2: Высокий Expected Utility Rate, но низкий Actual Utility Rate (мало Good Utilization Events). Correction Factor < 1.
   • Поз. 4: Более низкий Expected Utility Rate, но высокий Actual Utility Rate. Correction Factor > 1.
4. Результат: Система корректирует Ranking Scores. Руководство повышается в выдаче, а кликбейтная статья понижается.

Сценарий 2: Влияние на краулинговый бюджет в E-commerce

1. Ситуация: Большой интернет-магазин имеет раздел со старыми моделями товаров. Эти страницы имеют низкий трафик и высокий показатель отказов.
2. Расчеты: Система вычисляет низкий Actual Utility Rate для этих страниц. Aggregated Correction Factor для всего раздела также оказывается значительно ниже 1.
3. Применение к Crawl Score: Correction Factor применяется к Crawl Score страниц этого раздела.
4. Результат: Googlebot начинает реже сканировать эти страницы, экономя краулинговый бюджет магазина для более полезных и популярных разделов.