Как Яндекс рассчитывает «Свежестной» Ранг (FBR) на основе актуальности пользовательского интереса и распространения свежести

Описание

Какую задачу решает

Патент решает проблему статичности традиционных алгоритмов расчета авторитетности, основанных на истории посещений (например, BrowseRank). Стандартные подходы не учитывают фактор времени (recency), уравнивая старые и недавние паттерны браузинга. Это приводит к тому, что страницы, популярные в прошлом, но потерявшие актуальность, могут сохранять высокие оценки авторитетности. Изобретение внедряет динамический механизм учета «свежести» для приоритизации актуального контента.

Что запатентовано

Запатентован метод и система для расчета ранга веб-страницы, названного Freshness Browsing Rank (FBR). Суть изобретения заключается в интеграции временных данных (Time Data) в анализ графа пользовательских переходов (Browsing Graph). Система вычисляет «Показатель свежести» (Freshness Measure), который учитывает дату создания страницы и недавнюю активность посещений, позволяя этой свежести распространяться между страницами и затухать со временем.

Как это работает

Система анализирует агрегированные логи истории посещений и делит их на временные интервалы. Для каждой страницы рассчитывается Initial Freshness (Начальная свежесть), основанная на дате ее создания и количестве визитов в этот период. Затем эта свежесть итеративно «распространяется» (Spreading Freshness) по графу переходов пользователей: если пользователи переходят со «свежей» страницы А на Б, страница Б наследует часть свежести. При отсутствии активности показатель свежести экспоненциально уменьшается (используется Decay Factor β). Финальный FBR скор отражает вероятность посещения страницы, отдавая предпочтение недавно популярным переходам, и может комбинироваться с запросозависимыми факторами (QD).

Актуальность для SEO

Высокая. Концепции использования поведения пользователей для оценки авторитетности и необходимость учета свежести (QDF — Query Deserves Freshness) являются фундаментальными для современного поиска. Описанные принципы временного затухания авторитетности и распространения актуальности через пользовательские переходы крайне актуальны для понимания динамического ранжирования в Яндексе.

Важность для SEO

Влияние на SEO значительно (8/10). Патент описывает конкретный механизм, как Яндекс определяет динамическую авторитетность на основе актуального поведения пользователей. Он демонстрирует, что авторитетность не статична и подвержена затуханию. Это смещает фокус с исторического веса на необходимость поддержания постоянной вовлеченности, актуализации контента и получения трафика из «свежих» источников.

Детальный разбор

Термины и определения

BrowseRank (BR(p))

Базовая оценка авторитетности страницы p, основанная на анализе истории просмотров. Аналог PageRank, но использующий реальные переходы пользователей (граф браузинга) вместо ссылок.

Browsing Graph (Граф просмотров, G=(V,E))

Граф, где вершины (V) — веб-страницы, а ребра (E) — переходы пользователей между ними.

Decay Factor (Коэффициент затухания, \( \beta \))

Параметр (от 0 до 1), определяющий скорость уменьшения показателя свежести с течением времени при отсутствии новой активности. Используется для экспоненциального затухания.

FBR (Freshness Browsing Rank, \( \pi_F(p) \))

Основная метрика патента. Модифицированный BrowseRank, который учитывает Freshness Measure. Повышает ранг страниц с высокой актуальностью.

Freshness Measure (Показатель свежести, F(p))

Количественная оценка актуальности страницы, рассчитанная на основе временных данных и распространения свежести от соседних страниц.

Initial Freshness (Начальная свежесть, \( F^0_i(p) \))

Локальная оценка свежести страницы p в интервале i. Зависит от даты создания (\( n_i(p) \)) и количества посещений (\( m_i(p) \)) в этот период.

QD (Query Dependent component)

Запросозависимый компонент ранжирования (например, BM25 или семантическая релевантность).

Spreading Freshness / Incremental Freshness (Распространяемая/Прирост свежести, \( \Delta F_i(p) \))

Прирост свежести страницы p в интервале i. Рассчитывается путем объединения начальной свежести и свежести, полученной от входящих переходов с соседних страниц.

Transition Probability (Вероятность перехода, \( \omega \))

Вероятность перехода пользователя с одной страницы на другую. В FBR модифицируется в Fresh Transition Probability (\( \omega_F \)), учитывающую свежесть целевой страницы.

Ключевые утверждения (Анализ Claims)

Патент защищает метод интеграции временных данных в расчет ранга страницы на основе истории просмотров.

Claim 1 (Независимый пункт): Описывает основной метод расчета ранга.

1. Система получает доступ к истории просмотров (browsing history data), включающей временные данные (определяется временной интервал).
2. Вычисляется оценка ранга (Rank Score) для страницы. Этот процесс включает:
• Выбор последовательности моментов времени внутри интервала (сегментация времени).
• Вычисление первого и второго значений свежести.
• Критически важно: Второе значение свежести использует время создания страницы И вычисленные значения свежести соседних веб-страниц (neighbouring web pages). Это защищает механизм распространения свежести.
3. Вычисление общего показателя свежести (Freshness Measure) как функции этих значений.
4. Ранжирование веб-страницы в соответствии с оценкой ранга.

Claim 2 (Зависимый от 1): Уточняет формирование итоговой оценки ранга.

1. Вычисляется первая оценка (FBR), используя ранг просмотра и временные данные.
2. Вычисляется вторая оценка, используя запросозависимый компонент (QD).
3. Итоговая оценка получается путем сложения этих оценок, скорректированных соответствующими факторами (например, \( \lambda \) и \( 1-\lambda \), как описано в патенте).

Claim 4 (Зависимый от 1): Подтверждает основную цель.

Временные данные используются для придания большего веса более свежим данным истории просмотров по сравнению со старыми (механизм затухания).

Claim 9 (Зависимый от 1): Уточняет механизм расчета ранга.

Вычисление оценки ранга использует вероятность перехода (Transition Probability), умноженную на функцию показателя свежести. Это техническое описание того, как свежесть влияет на вес переходов в графе.

Где и как применяется

Изобретение применяется на этапах офлайн-обработки данных и непосредственно в ранжировании.

INDEXING – Индексирование и извлечение признаков (Offline/Периодически)
Основная часть вычислений FBR происходит офлайн.

• Система агрегирует данные из логов истории посещений (источники: Яндекс.Браузер, плагины, ISP и т.д.) и даты создания страниц.
• Строится Browsing Graph на основе реальных переходов пользователей.
• Выполняется итеративный расчет показателей свежести и итогового FBR для URL.
• Рассчитанный FBR сохраняется в индексе как статический (запросонезависимый) фактор авторитетности.

RANKING – Ранжирование (Уровни L2/L3)
На этапе ранжирования предварительно рассчитанный FBR используется как один из признаков в модели машинного обучения. Патент явно описывает механизм комбинации FBR с запросозависимыми факторами (QD):

$$f_{q}(p)=\lambda FBR(p)+(1-\lambda)QD(p,q)$$

На что влияет

• Специфические запросы и ниши: Наибольшее влияние оказывается на запросы, подразумевающие свежесть (QDF — Query Deserves Freshness), и быстро меняющиеся тематики: новости, тренды, события, сезонные товары.
• Типы контента: Влияет на любой контент, где актуальность и недавний интерес пользователей имеют значение. Меньшее влияние на «вечнозеленый» контент, если он не испытывает всплесков недавней активности.
• Динамика авторитетности: FBR делает авторитетность динамической. Он понижает страницы, которые теряют популярность у пользователей, даже если у них сильный ссылочный профиль.

Когда применяется

• Вычисление FBR: Происходит офлайн с определенной периодичностью (например, ежечасно или ежедневно), так как требует анализа больших объемов данных и сложных итеративных вычислений.
• Применение в ранжировании: Рассчитанный скор используется при обработке поисковых запросов в реальном времени. Вес FBR (\( \lambda \)) в формуле ранжирования может быть выше для QDF-запросов.

Пошаговый алгоритм

Процесс расчета Freshness Browse Rank (FBR).

1. Сбор данных и инициализация:
   • Сбор логов истории браузинга и дат создания страниц t(p).
   • Определение временного периода анализа (например, 1 неделя) и его разделение на K интервалов (например, по часам).
   • Построение графа браузинга G=(V,E).
2. Итеративный расчет свежести (для каждого интервала i от 1 до K):
   • Этап 2.1: Расчет Начальной Свежести (Initial Freshness). Для каждой страницы p вычисляется \( F^0_i(p) \). Зависит от создания (\( n_i(p) \)) и посещений (\( m_i(p) \)) в интервале i.
     $$F^{0}_{i}(p)=a^{0}n_{i}(p)+b^{0}m_{i}(p)$$
   • Этап 2.2: Расчет Распространяемой Свежести (Spreading/Incremental Freshness). Вычисляется \( \Delta F_i(p) \). Это комбинация начальной свежести и свежести, полученной от соседних страниц (с которых были переходы). Это итеративный процесс внутри интервала i. (Equation 6).
   • Этап 2.3: Расчет Кумулятивной Свежести и Затухание (Cumulative Freshness). Вычисляется итоговая свежесть в интервале i с учетом затухания (β) предыдущего значения.
     $$F_{i}(p)=\beta F_{i-1}(p)+\Delta F_{i}(p)$$
3. Расчет FBR (после K итераций):
   • Итоговый показатель свежести \( F_K(p) \) используется для модификации веса переходов. Вес перехода на страницу p2 корректируется значением \( F_K(p2) \).
   • Вычисляются новые «свежие» вероятности перехода (\( \omega_F \)).
   • Рассчитывается итоговый ранг FBR (\( \pi_F(p) \)) с использованием этих новых вероятностей (аналогично расчету PageRank/BrowseRank). (Equation 10).
4. Применение в ранжировании (Онлайн):
   • При поступлении запроса q, FBR комбинируется с запросозависимой оценкой QD(p, q).

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые): Агрегированные логи истории посещений (Browsing Histories). Включают:
  • Последовательности посещенных URL в рамках сессий.
  • Переходы между страницами (для построения графа).
  • Количество визитов страницы в определенный временной интервал (\( m_i(p) \)).
• Временные факторы (Ключевые):
  • Временные метки всех посещений и переходов.
  • Дата создания страницы (t(p)). Используется для расчета начальной свежести (\( n_i(p) \)).

Какие метрики используются и как они считаются

• Методы вычислений: Алгоритм основан на теории Марковских процессов и итеративном расчете стационарного распределения (аналогично PageRank).
• Метрики свежести (\( F^0, \Delta F, F \)): Рассчитываются итеративно по формулам, включающим время создания, количество посещений, свежесть соседей и фактор затухания (β).
• FBR (\( \pi_F(p) \)): Основная метрика патента, рассчитываемая с использованием взвешенных по времени вероятностей перехода (\( \omega_F \)).
• Алгоритмы машинного обучения и оптимизация: Патент детально описывает процесс обучения многочисленных параметров модели (\( a^0, b^0, \alpha, \beta, \mu \) и т.д.). Используется градиентный спуск (gradient-based optimization) и вычисление частных производных для минимизации функции потерь (Loss Function) на обучающей выборке с асессорскими оценками (Perfect, Excellent, Good и т.д.).

Выводы

1. Свежесть определяется комплексно: Яндекс определяет свежесть не только по дате публикации. Она включает дату создания контента, недавнюю активность пользователей (посещения) и свежесть источников трафика.
2. Распространение свежести (Freshness Propagation): Ключевой механизм (\( \Delta F \)). Страница может считаться «свежей», даже если она старая, если на нее активно переходят с других «свежих» страниц (например, новостных сайтов или трендовых обсуждений). Авторитет распространяется по графу реальных переходов пользователей.
3. Затухание свежести (Freshness Decay): Введен механизм экспоненциального затухания (коэффициент \( \beta \)). Актуальность, полученная в прошлом, теряет вес. Чтобы поддерживать высокий FBR, страница должна постоянно получать новую активность.
4. FBR как динамический авторитет: FBR представляет собой динамическую оценку авторитетности, которая быстро реагирует на изменения в поведении пользователей, в отличие от статических метрик (PageRank).
5. Интеграция в ранжирование: FBR является мощным запросонезависимым сигналом, который комбинируется с запросозависимыми факторами (QD), влияя на финальную выдачу, особенно по QDF-запросам.

Практика

Best practices (это мы делаем)

• Получение трафика из «свежих» источников: Стратегически важно получать переходы (и ссылки, генерирующие эти переходы) с ресурсов, которые сами имеют высокий показатель свежести — новостные агрегаторы, трендовые обсуждения, популярные социальные медиа. Благодаря механизму распространения свежести (\( \Delta F \)), это значительно повысит FBR вашего сайта.
• Стимулирование недавней активности: Активно работайте над привлечением трафика на важные страницы. Используйте различные каналы (рассылки, соцсети, внутренние блоки) для генерации сигналов недавних посещений (\( m_i(p) \)) и борьбы с затуханием (\( \beta \)).
• Регулярное создание и обновление контента: Создание нового контента генерирует сигналы свежести (\( n_i(p) \)). Обновление старого контента и его повторное продвижение критически важно для поддержания актуальности.
• Оптимизация User Flow и внутренней перелинковки: Управляйте путями пользователя. Размещайте ссылки со свежих или популярных в данный момент страниц на важные, но более старые материалы, чтобы передать им часть FBR через механизм распространения свежести.

Worst practices (это делать не надо)

• Полагаться только на статический авторитет (Ссылки/PageRank): Стратегия, игнорирующая актуальность пользовательского интереса, будет проигрывать. Старый авторитет может быть нивелирован низким FBR.
• Игнорирование затухания актуальности: Создание контента без стратегии его дальнейшего поддержания интереса приведет к быстрому падению FBR из-за фактора затухания (\( \beta \)). Стратегия «создал и забыл» неэффективна.
• Получение трафика только из стагнирующих источников: Если весь ваш трафик идет из старых, редко обновляемых источников, которые сами имеют низкую свежесть, механизм распространения свежести не будет работать в вашу пользу.
• Манипуляции с датами публикации: Простое изменение даты публикации без реального обновления контента и привлечения новой активности не даст эффекта, так как FBR в первую очередь зависит от реального поведения пользователей (посещений и переходов).

Стратегическое значение

Патент подтверждает стратегический приоритет Яндекса на учет динамики пользовательского интереса и предоставляет математическую основу для алгоритмов QDF. Авторитет в этой модели — это не просто накопленный вес, а текущая востребованность ресурса. Для SEO это означает, что работа над актуальностью контента, скоростью реагирования на тренды и привлечением трафика из актуальных источников является фундаментальным требованием для поддержания высокого уровня FBR.

Практические примеры

Сценарий 1: Распространение свежести на старый контент (Использование тренда)

1. Ситуация: У вас есть старая, качественная статья по теме, которая внезапно стала трендовой из-за недавних новостей.
2. Действие: Быстро получить переходы на эту статью из «свежих» источников. Например, добиться упоминания в популярных СМИ/соцсетях, которые обсуждают тренд.
3. Механизм FBR: Новостные источники имеют высокую начальную свежесть (\( F^0 \)). Когда пользователи переходят с них на вашу старую статью, механизм распространения (\( \Delta F \)) передает часть этой свежести вашей статье.
4. Результат: FBR старой статьи резко возрастает, что приводит к улучшению ее позиций по трендовым запросам, даже без изменения контента.

Сценарий 2: Затухание свежести и необходимость поддержки

1. Ситуация: Вы запустили новый товар. При запуске страница получила высокую начальную свежесть (создание + рекламный трафик). FBR высокий.
2. Спустя время: Рекламная кампания закончилась, трафик упал.
3. Механизм FBR: В каждом следующем временном интервале (например, каждый час) накопленный FBR умножается на коэффициент затухания \( \beta \) (например, 0.9). Если новый трафик и переходы со свежих источников отсутствуют, FBR быстро снижается.
4. Результат: Позиции товара могут упасть, уступив место более актуальным товарам конкурентов. Необходимо поддерживать постоянный интерес к товару для сохранения FBR.

Вопросы и ответы