Как Google рассчитывает QDF (Query Deserves Freshness), комбинируя актуальность запроса, возраст документа и качество источника по формуле Q^D

Термины и определения

Boosting Function (Функция бустинга)

Функция, используемая для корректировки исходной оценки ранжирования (S). В патенте имеет вид $Q^D$. Это непрерывная функция, которая может повышать (если D>0), понижать (если D<0) или оставлять оценку неизменной (если D=0 или Q=1).

D (Resource Value)

Значение ресурса. Комплексная оценка, основанная на возрасте ресурса $F(age)$, скорректированная с учетом качества ресурса и его провайдера (G, H, I). Является показателем степени в формуле бустинга.

F(age) (Функция возраста)

Монотонно убывающая функция от возраста ресурса. В патенте предлагается использовать обратную сигмовидную функцию (reverse sigmoid function). Новые документы получают положительные значения, старые – отрицательные.

G(provider)

Функция, предоставляющая независимую от запроса оценку качества провайдера (query-independent quality score).

H(query, provider) (QtoP)

Функция, предоставляющая зависимую от запроса оценку качества провайдера (query-dependent quality score). Основана на вероятности того, что пользователи, вводящие данный запрос, выберут ресурс от этого провайдера.

I(query, resource) (Topicality Score)

Оценка тематичности. Мера того, насколько хорошо запрос соответствует ресурсу (релевантность).

Provider (Провайдер)

Источник ресурса. Может быть веб-сайтом или учетной записью пользователя (user account), загрузившего контент (например, канал на видеохостинге).

Q (Query Value)

Значение запроса. Мера того, насколько fresh-seeking является запрос. Основана на максимуме одного или нескольких сигналов свежести (freshness signals).

QFval

Нормализованные значения сигналов свежести запроса (например, процентили), используемые для расчета Q.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод корректировки ранжирования.

1. Система получает результат поиска с исходной оценкой S.
2. Определяется значение запроса (Q), основанное на максимуме одного или нескольких сигналов свежести запроса (query freshness signals). Q представляет предпочтение пользователей к новым ресурсам.
3. Определяется значение ресурса (D), основанное на функции возраста $F(age)$.
4. Вычисляется новая оценка S' как произведение S и функции бустинга от Q и D.
5. Условие повышения: S' > S, когда Q указывает на предпочтение свежести, И $F(age)$ указывает, что ресурс новый.

Claim 3 (Зависимый): Указывает конкретную форму функции бустинга: $Q^D$.

Claim 9 (Зависимый): Определяет, что качество ресурса (используемое для корректировки D) базируется на функциях $G(provider)$, $H(query, provider)$ и $I(query, resource)$.

Claim 12 (Зависимый от 9): Определяет точную формулу для расчета D, демонстрируя асимметричное влияние качества на свежий и устаревший контент.

Если $F(age) > 0$ (Ресурс свежий):

$D = F(age) \times G(provider) \times H(query, provider) \times I(query, resource)$

Качество является мультипликатором буста свежести.

Если $F(age) \leq 0$ (Ресурс устаревший):

$D = \frac{F(age)}{G(provider) \times H(query, provider) \times I(query, resource)}$

Качество является делителем штрафа за возраст. Высокое качество смягчает (демпфирует) пессимизацию устаревшего контента.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя данные, рассчитанные офлайн, и применяя корректировки в реальном времени.

INDEXING – Индексирование и извлечение признаков
На этом этапе собираются данные для расчета метрик. Определяется возраст ресурса для $F(age)$. Рассчитываются и сохраняются независимые от запроса оценки качества провайдера $G(provider)$. Собирается статистика индексирования (Indexing Statistics Database) по упоминаниям терминов в новостях, блогах и социальных сетях.

QUNDERSTANDING (Офлайн/Предварительная обработка)
Система анализирует журналы запросов (Query Logs Database) для выявления сигналов свежести (QFval): всплески объема запросов, клики по новостным результатам. Также на основе логов рассчитываются вероятности кликов для определения зависимого от запроса качества провайдера $H(query, provider)$.

RANKING – Ранжирование
На этом этапе генерируется исходный набор результатов с базовыми оценками ранжирования (S). Также рассчитывается оценка тематичности $I(query, resource)$.

RERANKING – Переранжирование
Основное место применения патента (Freshness Engine). В реальном времени система:

1. Вычисляет Q для входящего запроса.
2. Для каждого результата вычисляет D, используя $F(age)$ и метрики качества (G, H, I).
3. Применяет функцию бустинга $S' = S \times Q^D$ для получения финальной оценки.

На что влияет

• Специфические запросы: Наибольшее влияние на информационные запросы, связанные с текущими событиями, новостями, недавними релизами (fresh-seeking queries).
• Конкретные ниши или тематики: Новости, спорт, технологии, развлечения, политика, а также YMYL-темы, где актуальность информации критична.
• Типы контента: Влияет на веб-страницы, новости, блоги, видео. Особенно сильно влияет на типы контента, где четко определен "провайдер" (provider), например, UGC-контент (видеоканалы, аккаунты в социальных сетях).

Когда применяется

Алгоритм применяется постоянно, так как функция бустинга является непрерывной. Однако эффект наиболее заметен при выполнении следующих условий:

• Высокое значение Q: Когда система идентифицирует запрос как fresh-seeking (Q значительно больше 1).
• Высокое положительное значение D: Когда ресурс является новым ($F(age) > 0$) и исходит от высококачественного провайдера (высокие G, H, I). Это приводит к сильному бустингу.
• Низкое отрицательное значение D: Когда ресурс устарел ($F(age) \leq 0$), особенно если качество провайдера низкое. Это приводит к демотивации (пессимизации).

Пошаговый алгоритм

Процесс работы Freshness Engine в реальном времени:

1. Получение данных: Система получает запрос, результат поиска и его исходную оценку (S).
2. Расчет актуальности запроса (Q):
   1. Извлекаются значения сигналов свежести (QFval) для запроса (например, процентиль всплеска трафика, процентиль упоминаний в новостях и т.д.).
   2. Определяется максимальное значение из всех QFval.
   3. Рассчитывается Q. В патенте предлагается формула: $Q = Max(QFval) + 1$.
3. Расчет значения ресурса (D):
   1. Определяется возраст ресурса и рассчитывается $F(age)$ (например, с помощью обратной сигмоиды).
   2. Извлекаются метрики качества: $G(provider)$, $H(query, provider)$, $I(query, resource)$.
   3. Применяется формула расчета D (умножение на качество, если $F(age)>0$; деление на качество, если $F(age)\leq 0$).
4. Применение функции бустинга: Рассчитывается новая оценка $S' = S \times Q^D$.
5. Переранжирование: Результаты сортируются на основе новой оценки S'.

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных для расчета метрик Q и D.

• Поведенческие факторы (Query Logs):
  • Объем запросов в недавний период (для Q).
  • Запросы, направленные специально в новостной поиск (для Q).
  • Выборы пользователей (клики) на новостные результаты по сравнению с веб-результатами (для Q).
  • Данные о кликах для расчета вероятностей выбора контента от конкретного провайдера (для $H(query, provider)$).
• Временные факторы:
  • Возраст ресурса (для $F(age)$).
• Контентные факторы (Indexing Statistics):
  • Количество упоминаний терминов запроса на недавно созданных новостных страницах, блогах и социальных сетях (для Q).
• Факторы качества источника:
  • Предварительно рассчитанные оценки авторитетности сайта или аккаунта (используются в $G(provider)$).

Какие метрики используются и как они считаются

• Сигналы свежести запроса (QFval): Патент перечисляет 8 типов сигналов. Они нормализуются, например, в виде процентилей (значения от 0 до 1).
• Q (Query Value): Рассчитывается как $Max(QFval) + 1$. Диапазон значений Q, таким образом, от 1 до 2.
• F(age): Обратная сигмоида от возраста. Может принимать положительные и отрицательные значения (например, от -3 до +3).
• Метрики качества (G, H, I): Используются функции трансформации (линейные или сигмоидальные) для приведения исходных оценок качества к нужному диапазону (например, от 0.5 до 2).
• D (Resource Value): Рассчитывается по сложной разделенной формуле (Claim 12), объединяя F(age) с G, H, I.
• Функция бустинга: $Q^D$.

1. QDF — это экспоненциальная функция актуальности запроса и качества/свежести ресурса: Патент четко определяет модель как $S' = S \times Q^D$. Это означает, что влияние свежести может быть очень значительным при высоких значениях Q и D.
2. Качество провайдера (E-E-A-T) критично для QDF бустинга: Метрики качества провайдера (G и H) являются мультипликаторами свежести ($F(age)$) при расчете D. Если качество низкое (близко к нулю), даже очень свежий контент не получит значительного буста.
3. Асимметричное влияние качества защищает "вечнозеленый" контент: Формула для D (Claim 12) показывает, что качество усиливает буст для свежего контента (умножение), но смягчает пессимизацию для устаревшего контента (деление). Авторитетный старый контент страдает от QDF меньше, чем некачественный старый контент.
4. Query-Dependent Provider Quality (QtoP): Вводится понятие качества провайдера, зависящего от запроса ($H(query, provider)$). Это подчеркивает важность тематической авторитетности, основанной на поведении пользователей.
5. Непрерывный механизм бустинга и демотивации: Система не только повышает свежие результаты, но и активно понижает устаревшие (когда D<0) в ответ на актуальные запросы (Q>1).

Best practices (это мы делаем)

• Наращивание авторитета провайдера (E-E-A-T): Это ключевая стратегия для извлечения выгоды из QDF. Необходимо работать над улучшением метрик $G(provider)$ и $H(query, provider)$. Поскольку качество умножается на свежесть, авторитетные сайты получают экспоненциально больший буст за актуальный контент.
• Своевременная публикация контента по трендовым темам (Newsjacking): Для тем с высоким Q (fresh-seeking) необходимо публиковать качественный контент максимально быстро, чтобы получить высокое значение $F(age)$ и, соответственно, высокий D.
• Поддержание актуальности "вечнозеленого" контента: Для авторитетных сайтов важно поддерживать качество (G, H, I) на высоком уровне, чтобы минимизировать штраф за возраст. Качество выступает демпфером пессимизации, когда $F(age) \leq 0$.
• Обеспечение корректных временных меток: Убедитесь, что Google может корректно определить дату создания или значительного обновления контента (в CMS, Sitemap, микроразметке), чтобы расчет $F(age)$ был точным.
• Специфика для UGC-платформ: Если работа ведется с видео или социальными сетями, фокус должен быть на авторитетности аккаунта или канала (user account как provider), так как метрика QtoP (H) играет важную роль.

Worst practices (это делать не надо)

• Публикация свежего контента на неавторитетных сайтах: Создание нового сайта под трендовую тему не даст эффекта. Даже при высоком $F(age)$, низкие значения G и H приведут к тому, что итоговое значение D будет минимальным.
• Манипуляции с датами (Date Spinning): Попытки искусственно завысить $F(age)$ путем изменения дат публикаций без существенного обновления контента неэффективны, так как Google использует множество сигналов для определения реального возраста контента.
• Игнорирование тематической авторитетности (QtoP): Попытки ранжироваться по трендовым темам, которые не соответствуют основной тематике сайта, будут менее эффективны из-за низкого значения $H(query, provider)$.

Стратегическое значение

Этот патент подтверждает стратегическую важность синергии между качеством источника (E-E-A-T) и актуальностью контента (QDF). Авторитетность является необходимым условием (мультипликатором) для эффективного использования свежести как фактора ранжирования. Долгосрочная SEO-стратегия должна фокусироваться на построении авторитета в конкретных темах (для повышения H) и общем качестве ресурса (для повышения G), что позволит быстро занимать топовые позиции при появлении релевантных трендов (высокий Q).

Практические примеры

Сценарий: Запуск нового смартфона (Высокий Q)

Сравнение двух ресурсов, опубликованных одновременно (одинаково высокий $F(age)$).

1. Ресурс A: Обзор на авторитетном технологическом портале (например, TechCrunch).
   • Качество (G, H, I): Высокое.
   • Расчет D: $D = F(age) \times \text{Качество}$. D будет очень высоким.
   • Результат: $S' = S \times Q^D$. Ресурс получит максимальный буст и займет ТОП-1.
2. Ресурс B: Пост в новом блоге.
   • Качество (G, H, I): Низкое (близко к 0).
   • Расчет D: $D = F(age) \times \text{Качество}$. D будет близко к 0.
   • Результат: $S' \approx S$. Ресурс не получит значимого буста за свежесть.