Как Яндекс рассчитывает Ранг Свежести Просмотра (FBR) на основе истории браузеров и времени создания страниц

Описание

Какую задачу решает

Патент решает проблему статического характера традиционных алгоритмов ранжирования, основанных на анализе истории просмотров (аналогичных PageRank, но считаемых по переходам пользователей). Существующие алгоритмы не учитывают фактор времени (новизны) активности. Страница, которая была авторитетной и посещаемой несколько дней назад, может уже не быть актуальной для текущего поиска, но сохранит свою высокую оценку. Изобретение улучшает ранжирование, вводя механизм учета свежести активности и контента.

Что запатентовано

Запатентована система и способ расчета ранга страницы, включающий временной коэффициент — Ранг Свежести Просмотра (Freshness Browsing Rank, FBR). Суть изобретения заключается в итеративном вычислении показателя свежести для веб-страниц на основе агрегированных данных истории просмотров. Этот показатель учитывает как недавние посещения страницы, так и дату ее создания, включает механизм экспоненциального затухания со временем и распространяется по графу переходов пользователей.

Как это работает

Система анализирует историю просмотров за определенный период, разбивая его на подынтервалы. Для каждого интервала вычисляется «начальная свежесть» страницы, основанная на количестве посещений и факте создания страницы в этот период. Затем система итеративно обновляет общий показатель свежести: к значению предыдущего периода, умноженному на коэффициент затухания (Time Decay), добавляется прирост свежести текущего периода. Этот прирост включает начальную свежесть и свежесть, распространенную от смежных страниц по графу переходов пользователей (Freshness Propagation). Финальный FBR используется как фактор ранжирования и комбинируется с запросо-зависимыми факторами (Query-Dependent, QD), такими как BM25.

Актуальность для SEO

Высокая. Поведенческие факторы и сигналы свежести (QDF — Query Deserves Freshness) играют критическую роль в современных поисковых системах. Описанный механизм, связывающий поведенческие данные с временными метками для расчета динамического ранга, остается крайне актуальным, хотя конкретные математические модели могли эволюционировать с момента подачи заявки.

Важность для SEO

Влияние на SEO значительно (8/10). Патент демонстрирует конкретный механизм, как Яндекс преобразует агрегированные поведенческие данные (посещения, переходы) и временные характеристики контента (дата создания) в измеримый сигнал ранжирования. Это подчеркивает критическую важность создания стабильно актуального контента и поддержания постоянного вовлечения пользователей, поскольку всплески активности быстро затухают.

Детальный разбор

Термины и определения

BR(p) (Browsing Rank)

Стандартный ранг просмотра страницы p. Аналог PageRank, рассчитанный на основе графа переходов пользователей из истории просмотров, без учета времени. $BR(p)=Q(p)\pi(p)$.

FBR(p) (Freshness Browsing Rank)

Ранг Свежести Просмотра. Модификация BR(p), учитывающая временные факторы (свежесть посещений и создания контента). Ядро изобретения.

QD(p,q) (Query-Dependent element)

Запросо-зависимый элемент ранжирования для страницы p по запросу q. Например, BM25.

Q(p) (Расчетное время пребывания)

Оценка времени, проведенного пользователями на странице p в истории просмотров (Dwell Time).

$\pi(p)$ (Стационарное распределение)

Вероятность нахождения пользователя на странице p в марковском процессе просмотра. Основа для расчета BR и FBR.

Показатель свежести ($F_i(p)$)

Итеративно вычисляемая оценка свежести страницы p на момент времени i. Учитывает затухание и прирост свежести.

Начальная свежесть ($F_i^0(p)$)

Базовая оценка свежести, основанная на прямых событиях в интервале i: создании страницы ($n_i(p)$) и количестве посещений ($m_i(p)$).

Прирост свежести ($\Delta F_i(p)$)

Инкрементальное значение свежести, учитывающее начальную свежесть и распространение свежести от смежных страниц.

$\beta$ (Коэффициент затухания, Time Decay)

Параметр (от 0 до 1), определяющий скорость уменьшения показателя свежести со временем. Применяется к значению предыдущего периода.

$\mu$ (Коэффициент распространения, Propagation factor)

Параметр (от 0 до 1), определяющий баланс между начальной свежестью и свежестью, полученной от смежных страниц.

K (Количество интервалов)

Количество подынтервалов, на которые разбивается анализируемый период времени.

Ключевые утверждения (Анализ Claims)

Патент защищает метод расчета ранга страницы, который интегрирует временные параметры в анализ истории просмотров путем разбиения времени на интервалы.

Claim 1 (Независимый пункт): Описывает базовый метод.

1. Доступ к данным истории просмотра, включающим параметр времени.
2. Вычисление оценочного ранга с использованием этих данных и параметра времени.
3. Ранжирование веб-страницы.
4. Ключевая особенность: Параметр времени включает первый и второй моменты времени (начало и конец периода). Процесс включает выбор последовательности моментов времени внутри этого интервала, разбивая его как минимум на два подынтервала. Это подтверждает итеративный подход к анализу свежести.

Claim 2 и Claim 13: Описывают комбинацию с другими факторами.

Оценочный ранг вычисляется путем объединения первой оценки (основанной на истории просмотра и времени, т.е. FBR) и второй оценки (запросо-зависимый элемент, т.е. QD). Эти оценки уточняются (взвешиваются) по соответствующим коэффициентам (например, $\lambda$ и $1-\lambda$). Это подтверждает, что FBR является одним из сигналов в общей формуле ранжирования.

Claims 7-10: Детализируют механизм расчета показателя свежести.

Для каждого момента времени в последовательности вычисляются два значения свежести:

1. Первое значение свежести (Claim 8): Использует время создания веб-страницы и количество посещений в предшествующем подынтервале. (Соответствует Начальной свежести $F_i^0(p)$).
2. Второе значение свежести (Claim 9): Использует время создания и рассчитанные значения свежести смежных (связанных переходами) веб-страниц. (Соответствует механизму распространения в $\Delta F_i(p)$).

Claim 10 описывает итеративное вычисление промежуточного показателя свежести для каждого момента времени, используя показатель из непосредственно предшествующего момента и второе значение свежести. (Соответствует формуле обновления с затуханием $F_{i}(p)=\beta F_{i-1}(p)+\Delta F_{i}(p)$).

Claims 11 и 12: Описывают интеграцию показателя свежести в расчет ранга.

Финальный оценочный ранг (FBR) вычисляется с использованием вероятности перехода, умноженной на функцию показателя свежести. Также может включать умножение расчетного времени пребывания (Q(p)) и стационарной вероятности распределения ($\pi(p)$) на функцию показателя свежести.

Где и как применяется

Изобретение затрагивает офлайн-процессы обработки данных и онлайн-ранжирование.

INDEXING / Офлайн-обработка данных
Основная часть вычислений происходит офлайн. Система агрегирует данные истории просмотров из различных источников (упоминаются базы данных ISP, данные браузеров, например Chrome и Яндекс, подключаемые модули, мобильные сети). На этом этапе происходит построение графа просмотров и итеративный расчет Показателя Свежести ($F_i(p)$) и финального FBR для веб-страниц. Для этого также необходимы данные о времени создания страниц (t(p)).

RANKING – Ранжирование (Уровни L2/L3)
Во время обработки запроса предварительно рассчитанный FBR используется как запросо-независимый (статический) фактор ранжирования. На этапе ранжирования он комбинируется с запросо-зависимыми факторами (QD).

Уравнение комбинации (Уравнение 5b):

$$f_{q}(p)=\lambda FBR(p)+(1-\lambda)QD(p,q)$$

Где $\lambda$ определяет вес поведенческого фактора свежести относительно текстовой релевантности.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, для которых важна актуальность (QDF — Query Deserves Freshness) — новости, тренды, недавние события. Для таких запросов вес $\lambda$ для FBR может быть выше.
• Типы контента: Влияет на все типы контента, которые генерируют пользовательский трафик. Новостные порталы, блоги и социальные медиа могут получить больше преимуществ из-за высокой частоты обновлений и посещений. «Вечнозеленый» контент должен поддерживать стабильный интерес, чтобы противостоять затуханию FBR.

Когда применяется

• Расчет FBR: Происходит непрерывно или периодически в офлайн-режиме по мере обновления данных истории просмотров. В патенте упоминаются примеры интервалов обновления от 1 часа до 1 дня.
• Применение FBR: Используется во время ранжирования при ответе на поисковый запрос.

Пошаговый алгоритм

Процесс расчета Ранга Свежести Просмотра (FBR).

1. Сбор и подготовка данных:
   1. Доступ к агрегированным данным истории просмотров (сеансы, переходы, временные метки).
   2. Получение данных о времени создания страниц (t(p)).
   3. Построение графа просмотров G=(V,E).
2. Инициализация параметров:
   1. Определение анализируемого периода (например, 1 неделя).
   2. Определение количества интервалов K (например, K=168 для часовых интервалов в неделе).
   3. Установка коэффициентов: затухания ($\beta$), распространения ($\mu$), весов для посещений и создания ($a^0, b^0, a^1, b^1$). Эти параметры определяются через машинное обучение (например, градиентный спуск) на обучающих данных.
3. Итеративный расчет Показателя Свежести (Цикл по i от 1 до K):

   Для каждой страницы p в графе G:

   1. Расчет Начальной Свежести ($F_i^0(p)$): Вычисление на основе событий в интервале i (Уравнение 5a). $$F_{i}^{0}(p)=a^{0}n_{i}(p)+b^{0}m_{i}(p)$$

      Где $n_i(p)=1$, если страница создана в интервале i; $m_i(p)$ = количество посещений в интервале i.

   2. Расчет Локального Веса ($W_i(p)$): Используется для определения того, как свежесть распространяется на страницу (Уравнение 7).
   3. Расчет Прироста Свежести ($\Delta F_i(p)$): Вычисление инкремента путем комбинации начальной свежести и свежести, полученной от входящих переходов (Уравнение 6). $$\Delta F_{i}(p)=\mu F_{i}^{0}(p)+(1-\mu)\sum_{\tilde{p}\rightarrow p} Weight(\tilde{p}, p) \Delta F_{i}(\tilde{p})$$
   4. Обновление и Затухание ($F_i(p)$): Расчет общего показателя свежести на момент i (Уравнение 8). $$F_{i}(p)=\beta F_{i-1}(p)+\Delta F_{i}(p)$$

      К затухающему показателю предыдущего периода добавляется прирост текущего периода.

4. Расчет FBR:
   1. Использование финального показателя свежести ($F_K(p)$) для корректировки вероятностей перехода в графе G. Вес перехода $I(p_1, p_2)$ заменяется на $I(p_1, p_2) \times F_K(p_2)$.
   2. Вычисление стационарного распределения ($\pi_F(p)$) на основе скорректированных вероятностей (аналогично расчету PageRank).
   3. Вычисление FBR(p), например, как $Q(p)\pi_F(p)$.
5. Применение в Ранжировании (Онлайн):

   При получении запроса q, финальный ранг $f_q(p)$ вычисляется путем комбинации FBR и запросо-зависимого скора QD (Уравнение 5b).

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Являются основой изобретения. Используются агрегированные данные истории просмотров:
  • Сеансы просмотра (последовательности посещенных страниц).
  • Переходы пользователей между страницами (формируют граф просмотров).
  • Количество посещений страницы ($m_i(p)$) в заданный интервал времени.
  • Расчетное время пребывания на странице (Q(p)).
• Временные факторы: Критически важны для расчета свежести.
  • Временные метки посещений и переходов.
  • Время создания страницы (t(p)). Используется для определения $n_i(p)$ (была ли страница создана в интервале i).
• Контентные факторы: Используются косвенно через запросо-зависимый компонент (QD), например, BM25, который анализирует текст и заголовки на соответствие запросу.

Какие метрики используются и как они считаются

• Показатель Свежести ($F_i(p)$): Итеративно вычисляемая метрика, объединяющая данные о посещениях, дате создания, распространении популярности и временном затухании. Основные формулы расчета: Уравнения 5а, 6, 7, 8.
• FBR (Freshness Browsing Rank): Финальная метрика ранжирования, основанная на стационарном распределении в графе просмотров с вероятностями, скорректированными по Показателю Свежести.
• Машинное обучение и Оптимизация: В патенте детально описывается (Уравнения 11-18) процесс обучения параметров системы ($\lambda, \beta, \mu, a^x, b^x$). Используется оптимизационный анализ (например, градиентный спуск) и вычисление частных производных для минимизации функции потерь на основе обучающих данных с метками релевантности и свежести.
• Нормализация и Агрегация: Данные истории просмотров агрегируются от множества пользователей и нормализуются для расчета вероятностей переходов.

Выводы

1. Агрегированные поведенческие данные — прямой сигнал ранжирования: Яндекс явно использует историю просмотров пользователей (не только клики в поиске) для расчета авторитетности страниц (FBR). Это аналог PageRank, но основанный на реальных переходах пользователей и чувствительный ко времени.
2. Свежесть активности и контента критична: Система спроектирована так, чтобы повышать ранг страниц, которые недавно посещались ($m_i(p)$) или были недавно созданы ($n_i(p)$).
3. Экспоненциальное затухание (Time Decay): Введен явный механизм затухания ($\beta$). Если активность на странице прекращается, ее показатель свежести и, соответственно, FBR будут быстро снижаться. Это требует постоянного поддержания интереса пользователей.
4. Распространение свежести (Propagation): Свежесть и популярность распространяются по графу на основе реальных путей навигации пользователей. Посещение одной актуальной страницы может повысить FBR смежных страниц, на которые переходят пользователи.
5. Гибридное ранжирование: FBR не заменяет текстовую релевантность (QD), а дополняет ее. Финальный ранг является линейной комбинацией этих сигналов. Вес FBR ($\lambda$), вероятно, увеличивается для запросов, требующих свежести (QDF).

Практика

Best practices (это мы делаем)

• Поддержание постоянного вовлечения (Sustained Engagement): Стимулируйте повторные визиты и долгосрочное взаимодействие с контентом. Из-за механизма затухания ($\beta$) разовый всплеск трафика даст лишь временный эффект. Стабильный трафик важнее пикового.
• Регулярное создание нового контента: Дата создания страницы ($n_i(p)$) является прямым входом для расчета Начальной Свежести. Регулярная публикация актуального контента повышает общий FBR ресурса.
• Оптимизация путей навигации (Internal Linking/Navigation): Улучшайте внутреннюю перелинковку и структуру сайта, чтобы облегчить пользователям навигацию. Свежесть распространяется по тем путям, которые пользователи реально используют. Если пользователи переходят с новых популярных статей на архивные материалы, FBR архивных материалов также увеличится.
• Привлечение трафика из разных источников: Поскольку данные собираются из истории просмотров (браузеры, ISP), трафик из социальных сетей, прямые заходы и email-рассылки также вносят вклад в расчет FBR, увеличивая количество посещений ($m_i(p)$).
• Фокус на QDF-запросах: Для тематик, где актуальность критична (новости, события), оптимизация под FBR становится приоритетной задачей. Необходимо обеспечить максимально быстрое попадание контента в поле зрения пользователей.

Worst practices (это делать не надо)

• Стратегия «создал и забыл» (Set and Forget): Создание контента, который не обновляется и не привлекает постоянного внимания пользователей, приведет к снижению FBR из-за механизма затухания.
• Покупка краткосрочных всплесков трафика: Накрутка посещений даст кратковременный прирост Начальной Свежести, но этот эффект быстро исчезнет после окончания кампании, если трафик не конвертируется в постоянное вовлечение.
• Игнорирование пользовательского опыта и навигации: Сложная структура сайта, мешающая пользователям перемещаться между страницами, будет препятствовать распространению свежести по ресурсу.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Яндекса на интеграцию поведенческих данных и сигналов свежести в ядро ранжирования. Он детально описывает механизм, посредством которого внимание пользователей (трафик) напрямую транслируется в измеримый, но затухающий со временем фактор ранжирования. Для долгосрочной SEO-стратегии это означает необходимость комплексного подхода, сочетающего качественный контент-маркетинг, работу над удержанием аудитории и техническую оптимизацию путей навигации.

Практические примеры

Сценарий 1: Новостная статья о недавнем событии

1. Действие SEO/Маркетинга: Максимально быстрое создание и публикация статьи (активирует $n_i(p)$). Активное продвижение через соцсети, главную страницу, рассылки для генерации большого количества посещений ($m_i(p)$) в первые часы/дни.
2. Результат в FBR: Страница получает высокий показатель Начальной Свежести ($F_i^0(p)$). Это приводит к высокому FBR, что способствует ранжированию по актуальным запросам (QDF).
3. Развитие: Как только событие теряет актуальность и трафик падает, показатель свежести начинает экспоненциально затухать ($\beta$). Ранг страницы снижается, если он не поддерживается другими факторами.

Сценарий 2: Распространение свежести на архивный контент

1. Ситуация: На сайте есть старая, но качественная статья («Как выбрать палатку»), которая имеет низкий FBR из-за давности.
2. Действие SEO: Публикуется новая статья («Лучшие палатки 2025 года»), которая генерирует много трафика (высокий $F_i^0(p)$). В этой новой статье размещается заметная ссылка на старую статью, и пользователи активно по ней переходят.
3. Результат в FBR: Свежесть от новой статьи распространяется (Propagation, $\Delta F_i(p)$) на старую статью через граф переходов пользователей. FBR старой статьи увеличивается, что может улучшить ее позиции, даже без обновления ее контента.

Вопросы и ответы