Как Яндекс прогнозирует популярность контента (видео, статей), используя данные поиска, браузера и веба

Описание

Какую задачу решает

Патент решает задачу надежной оценки текущей и будущей популярности (например, количества просмотров или комментариев) контента, размещенного на внешних хостингах (например, видео на YouTube, музыка на Soundcloud). Поисковым системам и агрегаторам необходимо знать популярность контента для его ранжирования и рекомендаций. Проблема в том, что полагаться только на данные от хостинг-провайдера (через API) ненадежно: API может отсутствовать, быть недоступным, иметь ограничения по частоте запросов или предоставлять данные с задержкой. Патент предлагает метод независимой оценки популярности, используя собственные данные Яндекса.

Что запатентовано

Запатентована система для прогнозирования популярности Content Item. Суть изобретения заключается в использовании комбинации трех источников данных для обучения модели машинного обучения: (1) Search Logs (активность пользователей в поиске, связанная с контентом), (2) Browsing Logs (активность пользователей в браузере, связанная с контентом, например, прямые заходы) и (3) Statistical Web Data (ссылки и встраивания контента на сторонних сайтах). Это позволяет прогнозировать популярность независимо от данных хостинг-провайдера.

Как это работает

Система собирает данные о взаимодействии пользователей с элементом контента. Из логов поиска извлекаются данные о показах URL контента в выдаче, кликах и CTR. Из логов браузера (например, Yandex.Browser) извлекаются данные о посещениях URL контента. Краулер собирает данные о том, на каких сайтах и когда появились ссылки на контент или его встраивания (Embeds). Эти данные преобразуются в агрегированные и неагрегированные признаки. Для обработки неагрегированных признаков (например, временных меток встраиваний) используется Linear Influence Model. Результат этой модели, вместе с остальными признаками, подается на вход основной модели машинного обучения (в патенте упоминается Friedman’s gradient boosting decision trees), которая прогнозирует итоговую популярность контента.

Актуальность для SEO

Высокая. Прогнозирование популярности и трендов является ключевой задачей для поисковых систем и рекомендательных сервисов. Использование собственных данных экосистемы (поиск, браузер, краулер) для независимой оценки качества и популярности контента — стандартная практика для Яндекса. Хотя конкретная модель ML могла эволюционировать (например, к CatBoost), описанные принципы сбора и использования сигналов остаются крайне актуальными.

Важность для SEO

Влияние на SEO значительно (8/10), особенно для видео-SEO, продвижения изображений и агрегаторов контента. Патент детально описывает, как Яндекс оценивает популярность контента за пределами его хостинга. Он подчеркивает критическую важность генерации внешних сигналов: ссылок, встраиваний (Embeds), поискового трафика и даже прямого трафика (отслеживаемого через логи браузера). Для высокого ранжирования контент должен быть не просто оптимизирован на хостинге, но и активно распространяться по вебу.

Детальный разбор

Термины и определения

Aggregated-dynamic-web-features (Агрегированные динамические веб-признаки)

Статистические показатели, рассчитанные на основе данных краулера о ссылках и встраиваниях. Примеры: общее количество встраиваний, количество хостов со ссылками, среднее количество ссылок на хост, время с момента первой/последней ссылки.

Browsing Logs (Логи браузера)

Данные об активности пользователей в браузере (например, Yandex.Browser), включая историю посещений URL. Используются для извлечения Dynamic-browsing-logs-features (например, количество посещений URL контента).

Content Hosting Provider (Хостинг-провайдер)

Сервис, который хранит пользовательский контент (например, YouTube, Soundcloud).

Content Item (Элемент контента)

Любые данные, размещенные на хостинге: видео, изображение, аудио, текст, приложение.

Dynamic Features (Динамические признаки)

Признаки, описывающие взаимодействие пользователей с контентом и изменяющиеся со временем (например, количество лайков, комментариев, CTR в поиске).

Embeds (Встраивания)

Встраивание контента (например, видео) на сторонний веб-ресурс, позволяющее просматривать его без перехода на сайт хостинг-провайдера.

Friedman’s gradient boosting decision trees (Градиентный бустинг решающих деревьев Фридмана)

Основной алгоритм машинного обучения, используемый в патенте для прогнозирования популярности. Он использует все агрегированные признаки и результат Linear Influence Model.

Linear Influence Model (Модель линейного влияния)

Вспомогательная модель, которая обрабатывает Non-aggregated-dynamic-web-features (например, список хостов с временными метками встраиваний) для оценки распространения влияния. Ее результат используется как признак для основного алгоритма GBDT.

Non-aggregated-dynamic-web-features (Неагрегированные динамические веб-признаки)

Сырые данные краулера о ссылках и встраиваниях. Примеры: список хостов с временными метками встраиваний; список хостов с временными метками ссылок.

Search Logs (Логи поиска)

Данные об активности пользователей в поисковой системе. Используются для извлечения Dynamic-search-logs-features (показы URL в SERP, клики, CTR).

Static Features (Статические признаки)

Признаки контента, которые не зависят от просмотров и не меняются со временем (например, длительность видео, категория, дата загрузки, информация об авторе).

Statistical Web Data (Статистические веб-данные)

Данные, собранные краулером о наличии ссылок или встраиваний (Embeds) контента на сторонних веб-ресурсах.

Ключевые утверждения (Анализ Claims)

Патент защищает метод прогнозирования популярности, основанный на комбинации данных из логов поиска, логов браузера и данных веб-краулера.

Claim 1 (Независимый пункт): Описывает основной процесс прогнозирования популярности контента.

1. Система получает из базы данных краулера идентификатор элемента контента.
2. Система получает данные из логов: Search Logs Data (активность в поиске, направленная на этот контент) И Browsing Logs Data (активность в браузере, направленная на этот контент).
3. Система получает из базы данных краулера Statistical Web Data (данные о ссылках и/или встраиваниях этого контента на других веб-ресурсах).
4. Прогнозирование популярности контента осуществляется на основе как минимум этих трех наборов данных: (i) данные логов поиска, (ii) данные логов браузера и (iii) статистические веб-данные.

Claim 2 (Зависимый от 1): Описывает опциональное расширение метода.

1. Система дополнительно получает от сервера хостинг-провайдера через API список статических и динамических признаков контента (например, длительность видео, количество лайков).
2. Прогнозирование популярности осуществляется на основе четырех наборов данных: (i), (ii), (iii) из Claim 1 и (iv) данные, полученные через API хостинг-провайдера.

Claim 5 (Зависимый от 1): Уточняет состав данных логов поиска (Dynamic-search-logs-features). Они включают как минимум одно из:

• Количество показов URL контента на странице результатов поиска (SERP).
• Количество кликов по URL контента в SERP.
• CTR (Click Through Rate) URL контента в SERP.

Claim 6 (Зависимый от 1): Уточняет состав данных логов браузера (Dynamic-browsing-logs-features). Они включают количество посещений URL контента, зарегистрированных в логах браузера.

Claim 7 (Зависимый от 1): Уточняет состав статистических веб-данных, определяя Aggregated-dynamic-web-features. Это обширный список метрик, включающий количество, распределение по хостам и страницам, а также временные характеристики ссылок и встраиваний (например, общее количество встраиваний, максимум встраиваний на хост, количество дней с момента первого/последнего встраивания/ссылки и т.д.).

Claim 8 (Зависимый от 1): Уточняет состав статистических веб-данных, определяя Non-aggregated-dynamic-web-features. К ним относятся:

• Список хостов с временными метками встраиваний контента.
• Список хостов с временными метками ссылок на контент.

Claim 9 (Зависимый от 1): Определяет используемый алгоритм машинного обучения.

1. Прогнозирование выполняется с помощью ML-алгоритма.
2. Алгоритм использует модель Friedman’s gradient boosting decision trees (GBDT).
3. Модель GBDT получает на вход результат Linear Influence Model в качестве одного из признаков.

Claim 10 (Зависимый от 9): Уточняет, что Linear Influence Model получает на вход Non-aggregated-dynamic-web-features (т.е. сырые данные о временных метках из Claim 8).

Где и как применяется

Изобретение затрагивает несколько этапов поиска, объединяя сбор данных, извлечение признаков и ранжирование.

CRAWLING – Сканирование и Сбор данных
Краулер Яндекса выполняет две задачи в контексте этого патента: (1) Обнаружение самого элемента контента на хостинге (например, нового видео на YouTube) и (2) Обнаружение сторонних веб-ресурсов, которые ссылаются на этот контент или встраивают его. Фиксируются хосты и временные метки этих событий.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит обработка собранных данных и расчет признаков для ML-модели.

• Обработка логов: Агрегация данных из Search Logs и Browsing Logs для расчета поведенческих признаков (CTR, количество посещений).
• Обработка веб-данных: Расчет Aggregated-dynamic-web-features (статистика по ссылкам/встраиваниям) и подготовка Non-aggregated-dynamic-web-features (временные метки).
• Обучение и применение моделей (Офлайн/Онлайн): Применение Linear Influence Model к неагрегированным данным и последующее применение GBDT для расчета финального параметра прогнозируемой популярности (Popularity Prediction Parameter).

RANKING – Ранжирование
Прогнозируемая популярность используется как сильный признак для ранжирования контента. В патенте указано, что одно из основных применений — это правильное ранжирование элементов контента по их популярности, например, для показа наиболее популярных элементов на главной странице сервиса (например, Яндекс.Видео или Дзен).

На что влияет

• Типы контента: В первую очередь влияет на ранжирование контента, который часто размещается на внешних хостингах и агрегируется Яндексом: видео, музыка, изображения, популярные статьи, приложения.
• Специфические запросы: Влияет на запросы, где популярность является важным индикатором релевантности (например, «трендовые видео», «популярная музыка», «вирусные новости»).
• Вертикали поиска: Наибольшее влияние оказывается на вертикальные поиски (Яндекс.Видео, Яндекс.Картинки) и рекомендательные системы, где необходимо фильтровать и ранжировать большие объемы пользовательского контента.

Когда применяется

Алгоритм применяется постоянно по мере поступления новых данных.

• Триггеры активации: Обнаружение нового контента краулером или необходимость обновления прогноза популярности для существующего контента.
• Частота применения: Прогноз может обновляться по мере поступления новых данных из логов (поиск, браузер) и обнаружения новых ссылок/встраиваний краулером. В патенте упоминается возможность непрерывного дообучения ML-алгоритма параллельно с прогнозированием популярности.

Пошаговый алгоритм

Процесс работы системы прогнозирования популярности.

1. Сбор данных (Фоновый процесс):
   1. Краулер обнаруживает элемент контента на хостинге и индексирует его.
   2. Краулер сканирует веб и обнаруживает ссылки и встраивания (Embeds) этого контента на сторонних ресурсах, фиксируя хосты и временные метки.
   3. Система логирования фиксирует взаимодействия пользователей с контентом в поиске (Search Logs) и браузере (Browsing Logs).
   4. (Опционально) Система запрашивает статические и динамические признаки через API хостинг-провайдера.
2. Получение идентификатора контента: Система прогнозирования получает из базы краулера индикацию элемента контента, для которого нужно сделать прогноз.
3. Извлечение данных логов: Извлекаются Search Logs Data и Browsing Logs Data, связанные с этим контентом.
4. Извлечение веб-данных: Извлекаются Statistical Web Data (ссылки и встраивания), связанные с этим контентом.
5. Инжиниринг признаков:
   1. Расчет Dynamic-search-logs-features (CTR, клики, показы).
   2. Расчет Dynamic-browsing-logs-features (посещения).
   3. Расчет Aggregated-dynamic-web-features (статистика по ссылкам/встраиваниям).
   4. Подготовка Non-aggregated-dynamic-web-features (временные метки).
6. Применение модели линейного влияния: Linear Influence Model обрабатывает Non-aggregated-dynamic-web-features для оценки распространения влияния.
7. Прогнозирование (Основная ML-модель): Модель Friedman’s GBDT получает на вход все агрегированные признаки (из логов и веба), опциональные признаки из API, а также результат Linear Influence Model.
8. Выход: Генерация прогнозируемого параметра популярности (например, ожидаемое количество просмотров).
9. Применение: Использование прогнозируемой популярности для ранжирования контента.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые): Данные из Search Logs (показы в SERP, клики, CTR) и Browsing Logs (количество посещений URL). Это прямые сигналы интереса пользователей к контенту.
• Ссылочные факторы (Ключевые): Данные из Statistical Web Data. Учитываются входящие ссылки на URL контента. Анализируется количество ссылок, количество ссылающихся хостов, а также временные метки появления ссылок.
• Структурные факторы (Ключевые): Встраивания (Embeds) контента на сторонних ресурсах. Аналогично ссылкам, анализируется количество, распределение по хостам/страницам и временные метки появления встраиваний.
• Временные факторы: Активно используются временные метки для всех типов данных: время загрузки контента, время с момента первой/последней ссылки или встраивания, время последнего взаимодействия.
• Контентные факторы (Опционально, через API): Static Features, полученные от хостинга: длительность, категория, длина заголовка, данные об авторе (возраст аккаунта, количество подписчиков, суммарное время просмотра всех его материалов).
• Внешние поведенческие факторы (Опционально, через API): Dynamic Features, полученные от хостинга: количество комментариев, лайков, дизлайков, рейтинги.

Какие метрики используются и как они считаются

Система использует сложный набор метрик, разделенных на несколько групп:

Метрики из логов поиска (Dynamic-search-logs-features):

• Количество показов URL в SERP.
• Количество кликов по URL в SERP.
• CTR URL в SERP.

Метрики из логов браузера (Dynamic-browsing-logs-features):

• Количество посещений URL, зарегистрированных в логах.

Метрики веб-данных (Statistical Web Data):

• Агрегированные (Aggregated-dynamic-web-features): Десятки статистических показателей, включая общее количество, максимум/среднее на хост/страницу, и временные интервалы для ссылок и встраиваний (полный список приведен в патенте в описании Claim 7).
• Неагрегированные (Non-aggregated-dynamic-web-features): Списки хостов с временными метками ссылок и встраиваний.

Алгоритмы машинного обучения:

• Linear Influence Model: Используется для обработки неагрегированных веб-признаков. Моделирует, как упоминания (ссылки/встраивания) на разных хостах в разное время влияют на популярность.
• Friedman’s GBDT: Основная модель прогнозирования, которая агрегирует все остальные признаки и выход Linear Influence Model для финального прогноза.

Выводы

1. Яндекс независимо оценивает популярность контента: Система не полагается на данные хостинг-провайдеров (например, счетчик просмотров YouTube). Вместо этого она использует собственные данные из экосистемы Яндекса для верификации и прогнозирования популярности.
2. Экосистемные данные как ключевой актив: Патент подчеркивает важность владения и использования данных из Search Logs и, что особенно важно, Browsing Logs (например, из Yandex.Browser). Это дает Яндексу видимость не только поискового, но и прямого/реферального трафика.
3. Встраивания (Embeds) и ссылки критически важны: Statistical Web Data (ссылки и встраивания) являются одним из трех обязательных компонентов прогнозирования. Это сильные сигналы распространения контента.
4. Временная динамика и распространение влияния: Система не просто считает ссылки и встраивания, но и анализирует *когда* и *где* они появились. Для этого используется Linear Influence Model, которая обрабатывает временные метки (Non-aggregated features). Скорость распространения контента важна для прогноза.
5. Прогнозируемая популярность — фактор ранжирования: Цель всей системы — получить надежный сигнал популярности для использования в ранжировании и рекомендациях.

Практика

Best practices (это мы делаем)

• Стимулирование встраиваний (Embeds) контента: Если вы продвигаете видео или другой встраиваемый контент, активно работайте над тем, чтобы его встраивали на сторонних релевантных сайтах (СМИ, блоги, социальные сети). Согласно патенту, Embeds являются важной частью Statistical Web Data.
• Работа над ссылочным профилем контента: Обеспечивайте появление ссылок на страницу контента (например, на страницу видео на YouTube или статью в блоге). Важно не только количество, но и качество ссылающихся хостов.
• Оптимизация под поисковый трафик и высокий CTR: Убедитесь, что контент хорошо оптимизирован для поиска (релевантные заголовки и описания), чтобы максимизировать показы и клики в SERP. Эти данные (Dynamic-search-logs-features) напрямую используются для прогнозирования популярности.
• Стимулирование прямых посещений и виральности: Поощряйте пользователей делиться ссылками и посещать контент напрямую. Хотя это сложнее контролировать, патент показывает, что данные из Browsing Logs (посещения) учитываются системой. Высокая виральность приведет к росту всех трех ключевых типов сигналов.
• Скорость распространения: Работайте над быстрым первоначальным посевом контента. Linear Influence Model анализирует временные метки ссылок и встраиваний, что предполагает важность скорости распространения для прогнозирования пиковой популярности.

Worst practices (это делать не надо)

• Изолированная оптимизация: Фокусироваться только на оптимизации контента на самом хостинге (например, только YouTube SEO), игнорируя внешнее распространение. Без внешних сигналов (логи поиска, логи браузера, веб-данные) прогноз популярности будет низким.
• Накрутка просмотров на хостинге: Попытки манипулировать счетчиками просмотров на самом хостинге могут быть неэффективны, так как Яндекс использует свои собственные данные для независимой верификации популярности. Если просмотры есть, но нет ссылок, встраиваний и поискового трафика, система распознает аномалию.
• Медленное и неестественное распространение: Постепенная закупка ссылок или встраиваний на низкокачественных ресурсах может дать меньший эффект, чем быстрый вирусный рост или упоминания на авторитетных площадках, так как модель учитывает динамику влияния.

Стратегическое значение

Патент демонстрирует, как Яндекс использует свою экосистему (Поиск и Браузер) для глубокого понимания поведения пользователей за пределами поисковой выдачи. Это подтверждает стратегическую важность комплексного подхода к продвижению контента. Для SEO-специалистов это означает, что ранжирование популярного контента зависит от синергии между он-пейдж оптимизацией (для поискового трафика), PR/Outreach (для ссылок и встраиваний) и SMM (для виральности и прямого трафика). Система направлена на выявление естественно популярного контента.

Практические примеры

Сценарий: Продвижение нового видео-обзора гаджета

1. Подготовка (Оптимизация для Search Logs): Видео загружается на YouTube с оптимизированным заголовком и описанием, чтобы оно начало показываться в поиске Яндекса и генерировать показы и клики (CTR).
2. Посев (Генерация Statistical Web Data и Browsing Logs): Сразу после публикации команда проводит outreach:
   • Крупный новостной сайт о технологиях встраивает (Embed) видео в свою новость. Краулер Яндекса фиксирует встраивание и временную метку.
   • Несколько тематических блогов пишут краткие заметки со ссылкой на видео. Краулер фиксирует ссылки.
   • Ссылка распространяется в социальных сетях, генерируя прямые переходы. Часть этих переходов фиксируется в Browsing Logs (если пользователи используют Yandex.Browser).
3. Обработка системой Яндекса:
   • Linear Influence Model анализирует быстрое появление встраивания на авторитетном сайте и ссылок в блогах.
   • Система видит рост кликов из поиска и рост прямых посещений.
4. Результат: Основная ML-модель (GBDT) комбинирует эти сильные сигналы и прогнозирует высокую популярность видео. Видео получает значительный буст в ранжировании в Яндекс.Видео и в блоке видео на основной выдаче.

Вопросы и ответы