Как Яндекс ускоряет генерацию персональных рекомендаций, комбинируя офлайн и онлайн вычисления (на примере Яндекс.Дзен)

Описание

Какую задачу решает

Патент решает проблему баланса между скоростью и релевантностью в системах персональных рекомендаций контента. В патенте отмечается, что существующие системы часто либо требуют значительного времени для генерации релевантных рекомендаций, либо генерируют их быстро, но с низкой релевантностью для конкретного пользователя. Изобретение предлагает архитектуру, которая позволяет быстро предоставлять персонализированную ленту за счет разделения вычислений на офлайн и онлайн компоненты.

Важно отметить: этот патент описывает архитектуру рекомендательной системы (например, Яндекс.Дзен, который упоминается на иллюстрациях как ZEN), а не алгоритмы основного веб-поиска.

Что запатентовано

Запатентован метод генерации рекомендуемого набора элементов (Recommended Subset of Items), использующий двухэтапный подход. Суть изобретения заключается в разделении процесса на идентификацию двух независимых подмножеств контента. Первое подмножество (First Subset) определяется на основе общих характеристик контента (Item Features) и вычисляется заранее (офлайн). Второе подмножество (Second Subset) определяется на основе истории взаимодействий пользователя (User Events) в момент запроса (онлайн), причем в него включаются только те элементы, которые отсутствуют в Первом подмножестве. Финальная рекомендация формируется слиянием этих двух наборов.

Как это работает

Система работает следующим образом:

1. Офлайн-подготовка: Система анализирует весь пул доступного контента и на основе общих признаков (например, глобальной популярности) определяет Первое подмножество (например, Топ-100 популярных статей). Оно сохраняется в базе данных.
2. Онлайн-обработка: Когда пользователь запрашивает рекомендации (например, открывает ленту Дзен).
3. Персонализация: Система анализирует историю пользователя и находит контент, похожий на то, что пользователь потреблял ранее (Потенциальное второе подмножество).
4. Фильтрация: Из найденного похожего контента удаляются все элементы, которые уже присутствуют в Первом (общепопулярном) подмножестве. Оставшиеся элементы формируют Второе подмножество.
5. Слияние и Ранжирование: Первое и Второе подмножества объединяются, ранжируются, и результат выдается пользователю.

Это позволяет снизить нагрузку в реальном времени, так как значительная часть рекомендаций (Первое подмножество) уже готова.

Актуальность для SEO

Высокая. Патент описывает фундаментальные принципы построения высоконагруженных рекомендательных систем. Гибридные подходы, сочетающие офлайн-вычисления (для скорости) и онлайн-персонализацию (для точности), являются стандартом индустрии. Учитывая, что в фигурах патента явно упоминается «ZEN», этот патент описывает актуальные архитектурные решения для платформ типа Яндекс.Дзен.

Важность для SEO

Влияние на SEO (7/10). Патент не относится напрямую к ранжированию в основном поиске Яндекса. Однако он критически важен для понимания работы рекомендательных платформ Яндекса (Яндекс.Дзен). Для издателей и создателей контента, стремящихся получить трафик из этих систем, понимание этого механизма имеет ключевое значение. Патент показывает, что система целенаправленно ищет баланс между глобально популярным контентом (First Subset) и персонализированным, но менее популярным контентом (Second Subset).

Детальный разбор

Термины и определения

First Subset (Первое подмножество)

Набор элементов, выбранный из общего пула на основе общих характеристик (Item Features), а не персональной истории пользователя. Часто это наиболее высоко ранжированные элементы по глобальным метрикам (например, популярные статьи). Вычисляется заранее (офлайн).

Item Features (Характеристики элемента)

Признаки, связанные с контентом. Примеры включают: глобальную популярность, количество лайков/загрузок/кликов, категорию, жанр, цену, автора, длину документа, рейтинг и т.д.

Potential Second Subset (Потенциальное второе подмножество)

Промежуточный набор элементов, которые похожи на контент, с которым пользователь взаимодействовал ранее (User-specific Interacted Subset).

Recommended Subset of Items (Рекомендованное подмножество элементов)

Финальный набор контента, который показывается пользователю. Является результатом слияния и ранжирования Первого и Второго подмножеств.

Second Subset (Второе подмножество)

Набор элементов, выбранный на основе истории взаимодействий пользователя (User Events). Формируется из Потенциального второго подмножества путем исключения всех элементов, которые уже присутствуют в Первом подмножестве. Представляет собой персонализированную, нишевую часть выдачи.

User Events (События пользователя)

Зарегистрированные действия пользователя: просмотры, клики, лайки, покупки, загрузки и т.д.

User-specific Interacted Subset (Подмножество взаимодействий пользователя)

Набор элементов, с которыми конкретный пользователь взаимодействовал в прошлом.

Ключевые утверждения (Анализ Claims)

Патент защищает архитектуру гибридной рекомендательной системы, оптимизированной по скорости и релевантности.

Claim 1 (Независимый пункт): Описывает основной метод генерации рекомендаций.

1. Идентификация Первого подмножества из общего пула на основе общих характеристик элементов (Item Features).
2. Получение запроса на рекомендации.
3. Идентификация Второго подмножества на основе событий пользователя (User Events).
4. Ключевое ограничение: каждый элемент во Втором подмножестве должен отличаться от любого элемента в Первом подмножестве.
5. Генерация финального Рекомендованного подмножества путем включения элементов из Первого и Второго подмножеств.

Система целенаправленно разделяет рекомендации на две группы: общие (Первое) и персональные, не являющиеся общими (Второе), перед их объединением.

Claim 4 и Claim 5 (Зависимые пункты): Описывают оптимизацию производительности.

• Claim 4 утверждает, что Первое подмножество сохраняется в базе данных *до* получения запроса на рекомендации.
• Claim 5 утверждает, что идентификация и сохранение Первого подмножества выполняются в офлайн-режиме (off-line mode).

Это подтверждает, что Первое подмножество (например, глобально популярный контент) вычисляется заранее, чтобы ускорить ответ системы в реальном времени.

Claim 6 (Зависимый пункт): Детализирует процесс идентификации Второго подмножества (персонализация).

1. Определение Подмножества взаимодействий пользователя (контент, потребленный ранее).
2. Определение Потенциального второго подмножества: элементы из общего пула, которые похожи (similar) на элементы из Подмножества взаимодействий.
3. Исключение из Потенциального второго подмножества всех элементов, которые также присутствуют в Первом подмножестве.

Этот механизм гарантирует, что Второе подмножество вносит новизну (Novelty). Если персонализированный интерес пользователя совпадает с глобально популярным контентом, этот контент попадет в выдачу через Первое подмножество, а Второе подмножество будет использовано для поиска менее очевидных (нишевых) рекомендаций.

Где и как применяется

Патент описывает архитектуру рекомендательной системы, а не компонент основного веб-поиска. Наиболее вероятное применение — Яндекс.Дзен (название ZEN фигурирует на иллюстрациях патента) и аналогичные персональные ленты контента. Процесс затрагивает несколько этапов.

Офлайн-процессы (Аналог INDEXING & Feature Extraction)

• Анализ контента: Извлечение Item Features для всех потенциально рекомендуемых элементов (текст, категории, автор, глобальные поведенческие метрики).
• Генерация Первого подмножества: Ранжирование всего пула контента на основе общих Item Features и сохранение Топ-N элементов как First Subset в быстрой базе данных. Это происходит до запроса пользователя.
• Расчет схожести: Может включать предварительный расчет матрицы схожести между элементами (упоминается Comparison Table), которая затем используется для поиска похожих элементов.

Онлайн-процессы (Аналог RANKING & BLENDING)

Этот этап активируется при получении запроса от пользователя.

• Анализ профиля пользователя: Извлечение User-specific Interacted Subset из истории (User Events).
• Генерация Второго подмножества:
  1. Поиск похожих элементов (Potential Second Subset).
  2. Фильтрация: сравнение Потенциального второго подмножества с предварительно вычисленным Первым подмножеством и удаление пересечений.
• Слияние и Финальное Ранжирование: Объединение Первого и Второго подмножеств. Ранжирование объединенного списка (Claim 2) для формирования финальной выдачи.

На что влияет

• Типы контента: Влияет на все типы контента в рекомендательной системе: статьи, видео, посты в социальных сетях, товары, музыка.
• Баланс выдачи: Механизм напрямую влияет на баланс между «вирусным»/популярным контентом (First Subset) и нишевым/персонализированным контентом (Second Subset) в ленте пользователя. Он гарантирует, что даже если пользователь интересуется мейнстримом, система будет пытаться найти для него менее популярные, но релевантные материалы.

Когда применяется

Алгоритм применяется при каждом запросе пользователя на генерацию или обновление рекомендательной ленты.

• Триггеры активации: Запрос может быть явным (нажатие кнопки «Обновить») или неявным (открытие приложения Дзен, открытие новой вкладки браузера, прокрутка ленты).
• Частота применения: Офлайн-компонент (генерация First Subset) выполняется периодически. Онлайн-компонент выполняется в реальном времени при каждом запросе.

Пошаговый алгоритм

Этап 1: Офлайн-обработка (Периодический процесс)

1. Сбор данных: Агрегация пула потенциально рекомендуемых элементов и их характеристик (Item Features).
2. Глобальное ранжирование: Ранжирование элементов в пуле на основе их общих характеристик (например, популярности).
3. Формирование Первого подмножества: Выбор Топ-N наиболее высоко ранжированных элементов.
4. Сохранение: Запись Первого подмножества в базу данных для быстрого доступа.

Этап 2: Онлайн-обработка (В реальном времени)

1. Получение запроса: Система получает запрос на рекомендации от пользователя.
2. Анализ истории пользователя: Идентификация Подмножества взаимодействий пользователя (User-specific Interacted Subset).
3. Поиск похожих элементов: Сравнение элементов из истории пользователя с общим пулом контента для нахождения похожих материалов (формирование Потенциального второго подмножества). Может использоваться предварительно рассчитанная таблица схожести.
4. Фильтрация пересечений: Извлечение сохраненного Первого подмножества. Удаление из Потенциального второго подмножества всех элементов, которые присутствуют в Первом подмножестве. Результат — финальное Второе подмножество.
5. Слияние: Объединение Первого и Второго подмножеств.
6. Ранжирование: Ранжирование объединенного набора элементов.
7. Выдача: Отправка инструкций для отображения Рекомендованного подмножества пользователю.

Какие данные и как использует

Данные на входе

Система использует два основных типа данных: характеристики контента и данные о поведении пользователей.

• Контентные и Мультимедиа факторы (Item Features): Присущие элементу характеристики. Упомянуты: категория/тема документа, длина документа, жанр (для музыки/видео), аудио-характеристики (темп), автор/производитель, цена (для товаров).
• Поведенческие факторы (Глобальные, как часть Item Features): Метрики взаимодействия всех пользователей с элементом. Упомянуты: популярность, количество лайков, покупок, загрузок, кликов, рейтинг.
• Поведенческие факторы (Персональные, User Events): История конкретного пользователя. Упомянуты: прослушивание трека, лайк, показ ресурса (presentation), клик на ресурс (selection), покупка/заказ/загрузка элемента.

Какие метрики используются и как они считаются

• Ранжирование Первого подмножества: Производится на основе Item Features. Конкретная формула ранжирования не приводится, но упоминается выбор «наиболее высоко ранжированных элементов» по популярности, количеству лайков и т.д.
• Метрика Схожести (Similarity): Используется для нахождения Второго подмножества. Схожесть определяется путем сравнения Item Features двух элементов. Например, два музыкальных трека похожи, если у них один исполнитель, альбом и год выпуска.
• Таблица Сравнения (Comparison Table): Патент предлагает использовать предварительно рассчитанную таблицу, где для каждого элемента указаны похожие элементы. Упоминается, что эта таблица может быть создана с использованием алгоритма машинного обучения (machine learned algorithm) или человеком-асессором.
• Ранжирование Финального набора: Производится после слияния Первого и Второго подмножеств. Ранжирование также основывается на Item Features соответствующих элементов.

Выводы

1. Архитектура для скорости: Основная цель патента — оптимизация производительности рекомендательной системы. Разделение на офлайн (First Subset) и онлайн (Second Subset) вычисления позволяет быстро отвечать на запрос пользователя, минимизируя объем вычислений в реальном времени.
2. Два источника рекомендаций: Лента пользователя формируется из двух разных источников: глобально популярного/качественного контента (First Subset) и персонализированного контента (Second Subset).
3. Принудительное разнообразие (Novelty): Ключевой механизм патента — явное исключение пересечений между First и Second Subset перед слиянием. Это означает, что Second Subset используется исключительно для поиска релевантного контента, который *не является* глобально популярным. Система принудительно ищет нишевый контент для персонализации.
4. Контент-ориентированная фильтрация: Персонализация (Second Subset) основана на поиске элементов, похожих на те, что пользователь потреблял ранее (Item-to-Item Similarity). Схожесть определяется через сравнение характеристик контента (Item Features).
5. Применимость к Дзену, а не к Поиску: Описанные механизмы относятся к системам рекомендаций (в патенте явно упоминается ZEN), а не к ранжированию в основном веб-поиске.

Практика

ВАЖНО: Эти рекомендации применимы для создателей контента и издателей, стремящихся оптимизировать свое присутствие в рекомендательных системах Яндекса (например, Яндекс.Дзен), а не в основном веб-поиске.

Best practices (это мы делаем)

• Создание качественного и вирусного контента (Цель: First Subset): Контент с высоким потенциалом глобальной популярности (широкая тематика, цепляющие заголовки, сильное вовлечение) имеет шанс попасть в First Subset. Это обеспечивает быстрый и массовый охват, так как этот набор предварительно рассчитан и готов к показу.
• Создание нишевого и глубокого контента (Цель: Second Subset): Поскольку система целенаправленно ищет контент для Second Subset, который не является глобально популярным, создание узкоспециализированного контента критически важно для долгосрочного удержания аудитории. Этот контент будет показан пользователям, которые проявили интерес к данной нише.
• Максимизация Item Features (Структурирование контента): Обеспечьте, чтобы система могла легко извлечь максимум характеристик из вашего контента. Это включает четкую категоризацию, использование релевантных тегов (если применимо), указание авторства и создание понятной структуры текста. Это повышает точность определения схожести (Similarity).
• Стимулирование взаимодействий (User Events): Активно поощряйте пользователей взаимодействовать с контентом (лайки, комментарии, шеры, дочитывания). Глобальные взаимодействия повышают шанс попадания в First Subset. Персональные взаимодействия формируют историю пользователя, на основе которой строится Second Subset.

Worst practices (это делать не надо)

• Фокус только на кликбейте и вирусности: Стратегия, направленная только на попадание в First Subset, может дать краткосрочный эффект, но не сформирует лояльную аудиторию. Если контент не удерживает пользователя, он не будет генерировать качественные User Events, необходимые для построения Second Subset.
• Игнорирование узких тематик: Если издатель освещает только самые популярные темы, он конкурирует только за место в First Subset. Он упускает возможность быть рекомендованным через Second Subset, который специально ищет менее популярный, но персонализированный контент.
• Нечеткая тематическая направленность (Смешение тем): Если контент не имеет четких Item Features или пытается охватить слишком много разных тем одновременно в одном источнике/канале, системе будет сложно определить его схожесть с другими элементами, что затруднит его рекомендацию через Second Subset.

Стратегическое значение

Патент раскрывает архитектуру, лежащую в основе рекомендательных сервисов Яндекса. Стратегически это подтверждает, что для успеха на платформе необходимо работать в двух направлениях: бороться за глобальную популярность (массовый охват) и одновременно развивать нишевые направления (персонализация и удержание). Механизм исключения пересечений между First и Second Subset показывает, что система активно стремится предложить пользователю более разнообразный и глубокий контент, а не только мейнстрим.

Практические примеры

Сценарий: Рекомендация статей о кулинарии

1. Офлайн (First Subset): Система проанализировала все статьи и определила, что статья «10 лучших рецептов блинов на Масленицу» имеет максимальную глобальную популярность (высокие Item Features). Она попадает в First Subset.
2. История пользователя: Пользователь недавно читал статьи «Как приготовить Том Ям» и «Секреты паназиатской кухни». Это его User-specific Interacted Subset.
3. Онлайн (Potential Second Subset): Система ищет похожие статьи. Она находит:
   • A) «10 лучших рецептов блинов на Масленицу» (похоже по категории «Кулинария»).
   • B) «Рецепт Фо Бо в домашних условиях» (похоже на «Том Ям» и «Паназиатская кухня»).
4. Фильтрация (Second Subset): Система проверяет пересечения. Статья А уже есть в First Subset, поэтому она исключается из Second Subset. Статья B отсутствует в First Subset (она менее популярна глобально), поэтому она формирует Second Subset.
5. Слияние и Ранжирование: Финальная лента будет содержать и «10 лучших рецептов блинов» (из First Subset), и «Рецепт Фо Бо» (из Second Subset). Ранжирование определит, что показать выше.

Вывод для издателя: Если бы издатель не опубликовал нишевый рецепт Фо Бо, система не смогла бы найти для пользователя персонализированную рекомендацию во Втором подмножестве и показала бы только общепопулярные блины.

Вопросы и ответы