Как Яндекс обучает персонализированные модели ранжирования прямо на устройстве пользователя, используя данные о микроповедении (скроллинг, движение мыши)

Описание

Какую задачу решает

Патент решает две ключевые проблемы персонализации поиска. Во-первых, он устраняет ограничения серверного анализа, который не способен отслеживать детальные микровзаимодействия пользователя с контентом (например, точную скорость прокрутки, движения курсора, использование буфера обмена). Это позволяет использовать более гранулярные сигналы для оценки релевантности. Во-вторых, он повышает конфиденциальность: анализ поведения и обучение модели происходят локально на устройстве пользователя, а на сервер передается только агрегированная модель, а не сырые логи поведения.

Что запатентовано

Запатентован метод генерации User-Specific Ranking Model (пользовательской модели ранжирования) непосредственно на клиентском устройстве. Суть изобретения заключается в переносе процесса мониторинга пользовательских взаимодействий (User Interaction) и обучения модели машинного обучения (MLA) с сервера на устройство клиента. Это позволяет использовать в ранжировании сигналы, доступные только локально.

Как это работает

Система работает следующим образом: Сервер Яндекса определяет Resource-Specific Features (признаки ресурса) для отслеживания, включая те, что доступны только на клиенте, и отправляет их на устройство. Устройство локально отслеживает детальное поведение пользователя (скроллинг, движение мыши и т.д.) и на основе этого определяет Value Parameter (метку полезности ресурса). Используя признаки и метки как обучающий набор, устройство локально генерирует User-Specific Ranking Model. Эта модель передается на сервер, где она интегрируется с Generic Ranking Model (общей моделью ранжирования). Интеграция происходит путем переобучения (retraining) основной модели для создания Combined Ranking Model, или через двухэтапное переранжирование.

Актуальность для SEO

Высокая. Использование клиентских сигналов (client-side signals) для улучшения качества поиска при соблюдении требований конфиденциальности крайне актуально. Описанный подход соответствует современным трендам в машинном обучении, таким как федеративное обучение (Federated Learning) — обучение моделей на децентрализованных устройствах без обмена исходными данными.

Важность для SEO

Влияние на SEO критическое (9/10). Этот патент демонстрирует механизм, с помощью которого Яндекс может оценивать качество взаимодействия с контентом на гранулярном уровне (реальное чтение, изучение), выходя за рамки стандартных метрик (CTR, Dwell Time). Это смещает фокус SEO с оптимизации под клик на обеспечение глубокого вовлечения пользователя и высокого качества пользовательского опыта (UX) на странице, делая их прямыми сигналами для персонализированного ранжирования.

Детальный разбор

Термины и определения

Combined Ranking Model (Комбинированная модель ранжирования)

Итоговая модель, созданная на сервере путем интеграции User-Specific Ranking Model и Generic Ranking Model. Используется для формирования персонализированной выдачи.

Generic Ranking Model (Общая модель ранжирования)

Стандартная модель ранжирования поисковой системы, обученная на агрегированных данных всех пользователей.

MLA (Machine Learning Algorithm / Алгоритм машинного обучения)

Алгоритм, используемый на устройстве пользователя для локального обучения User-Specific Ranking Model.

Personalized Ranking Module (Модуль персонализированного ранжирования)

Компонент на устройстве пользователя (client-side), отвечающий за мониторинг взаимодействий и генерацию локальной модели.

Ranking Routine (Процедура ранжирования)

Компонент на сервере поиска (server-side), отвечающий за выбор признаков и интеграцию моделей ранжирования.

Resource-Specific Feature (Признак веб-ресурса)

Свойство веб-ресурса, используемое для обучения модели ранжирования (например, сложность текста, свежесть). Некоторые признаки могут быть отслежены только на клиенте.

User Interaction (Взаимодействие пользователя)

Действия пользователя с веб-ресурсом, отслеживаемые локально (например, скорость скроллинга, движение мыши, копирование текста).

User-Specific Ranking Model (Пользовательская модель ранжирования)

Модель ранжирования, сгенерированная локально на устройстве пользователя. Отражает его персональные предпочтения.

Value Parameter (Параметр ценности)

Метка (label) полезности ресурса, определяемая на клиенте на основе User Interaction. Используется как целевая переменная для обучения локальной модели.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на разделении процесса обучения персонализированной модели между клиентским устройством и сервером.

Claim 1 (Независимый пункт): Описывает метод, выполняемый на электронном устройстве пользователя.

1. Получение от сервера индикации множества Resource-Specific Features.
2. Критически важно: Указано, что по крайней мере часть этих признаков может быть отслежена только на электронном устройстве (only trackable at the electronic device).
3. Отслеживание User Interaction с веб-ресурсом.
4. Определение Value Parameter для веб-ресурса на основе взаимодействия.
5. Генерация User-Specific Ranking Model с помощью MLA локально на устройстве.
6. Передача этой модели на сервер. Это действие заставляет сервер переобучить (retrain) Generic Ranking Model с использованием пользовательской модели для получения Combined Ranking Model.
7. Отправка запроса на сервер, что заставляет сервер ранжировать результаты с использованием этой Combined Ranking Model.

Claim 9 (Независимый пункт): Описывает метод, выполняемый на сервере поисковой системы.

1. Передача на устройство индикации Resource-Specific Features (включая те, что отслеживаются только локально).
2. Получение от устройства User-Specific Ranking Model (сгенерированной локально).
3. Комбинирование полученной модели с Generic Ranking Model путем переобучения (retraining) общей модели для создания Combined Ranking Model.
4. Получение запроса от пользователя.
5. Ранжирование результатов поиска с использованием Combined Ranking Model.

Где и как применяется

Изобретение затрагивает инфраструктуру сбора данных и процесс ранжирования, реализуя механизм федеративного обучения.

CRAWLING – Сбор данных (Data Acquisition — Client Side)
Сбор данных о поведении происходит децентрализованно. Personalized Ranking Module на устройстве пользователя отслеживает пост-клик поведение (User Interactions), включая сигналы, недоступные серверу (например, движение мыши, скорость скроллинга).

Обработка данных (Client Side)
Модуль на клиенте не только собирает данные, но и обрабатывает их: интерпретирует взаимодействия для определения Value Parameter и обучает User-Specific Ranking Model локально с помощью MLA.

RANKING – Ранжирование (Уровень L4 — Personalization)
Ranking Routine на сервере применяет модель, полученную от клиента. Патент описывает два варианта интеграции:

1. Комбинирование/Переобучение (Retraining): (Основной метод, описанный в Claims 1 и 9). Общая модель переобучается с использованием пользовательской для создания Combined Ranking Model. Эта модель используется для основного ранжирования запросов пользователя.
2. Повторное ранжирование (Re-ranking): (Альтернативный метод, упомянутый в Описании). Сервер сначала ранжирует результаты с помощью Generic Ranking Model, а затем переранжирует этот список с помощью User-Specific Ranking Model.

На что влияет

• Поведенческие факторы: Вводит в ранжирование новый класс сигналов — детальные микровзаимодействия, отслеживаемые только на стороне клиента (сигналы вовлеченности, скорость чтения).
• Все типы контента и запросов: Механизм универсален и направлен на изучение общих предпочтений пользователя в отношении характеристик веб-ресурсов (например, предпочтение определенной сложности текста, наличия видео или дизайна).

Когда применяется

Процесс разделен на две фазы:

• Фаза Обучения (Локально): Происходит непрерывно на устройстве пользователя по мере его взаимодействия с веб-ресурсами.
• Фаза Применения (Сервер): Активируется при отправке пользователем поискового запроса. Актуальная User-Specific Ranking Model передается на сервер (вместе с запросом или периодически) и используется для ранжирования выдачи.

Пошаговый алгоритм

Процесс генерации и применения пользовательской модели ранжирования.

Этап 1: Инициализация (Сервер)

1. Выбор признаков: Ranking Routine на сервере выбирает Resource-Specific Features для отслеживания, с приоритетом на те, которые лучше или возможно отслеживать только на клиенте.
2. Передача признаков: Сервер отправляет индикацию этих признаков на клиентское устройство.

Этап 2: Сбор данных и Обучение (Клиент)

1. Отслеживание взаимодействий: Personalized Ranking Module наблюдает за User Interaction (скорость прокрутки, движение мыши, копирование текста и т.д.).
2. Определение ценности: На основе взаимодействий модуль определяет Value Parameter (метку релевантности) для ресурса. (Например, медленная прокрутка и наведение мыши на текст = высокая релевантность).
3. Накопление выборки: Сбор достаточного количества данных (признаки + метки).
4. Генерация модели: Модуль использует MLA для создания User-Specific Ranking Model.

Этап 3: Интеграция и Ранжирование (Сервер)

1. Получение модели: Сервер получает User-Specific Ranking Model от клиента.
2. Интеграция модели: Сервер интегрирует полученную модель с Generic Ranking Model. Согласно Claims, это происходит путем переобучения (retraining) для создания Combined Ranking Model.
3. Ранжирование: При получении запроса сервер использует Combined Ranking Model для генерации персонализированной выдачи.

Какие данные и как использует

Данные на входе

Система использует два основных типа данных: признаки ресурса и данные о взаимодействии пользователя.

Поведенческие факторы (User Interactions): Это ключевые данные, отслеживаемые локально для определения Value Parameter.

• Время, проведенное пользователем на ресурсе (Dwell Time).
• Скорость прокрутки контента (Scrolling Speed).
• Глубина переходов по гиперссылкам ресурса.
• Взаимодействие с медиа-элементами (например, клики по видео).
• Паттерны движения мыши (например, наведение курсора на текст, что указывает на чтение).
• Копирование частей веб-ресурса в буфер обмена.
• Скачивание веб-ресурса.
• Взаимодействие со специфическими элементами (клик на e-mail, заполнение форм).

Факторы Ресурса (Resource-Specific Features): Используются как признаки для обучения модели.

• Контентные факторы: Сложность текста, читаемость текста, свежесть контента, наличие изображений/видео.
• UX/Дизайн факторы: Цветовая схема веб-ресурса.
• Коммерческие факторы: Характер продавца, время доставки.
• Факторы релевантности: Соответствие результата поисковому запросу.

Какие метрики используются и как они считаются

• Value Parameter (Метка релевантности): Вычисляется на клиенте на основе эвристик, связанных с User Interactions. Патент приводит примеры эвристик:
  • Больше время на сайте = выше релевантность.
  • Медленнее скорость прокрутки = выше релевантность.
  • Глубже переходы по ссылкам = выше релевантность.
  • Дольше наведение мыши на текст = выше релевантность.
  • Факт копирования/скачивания = выше релевантность.

  Метка может быть бинарной или основанной на шкале, а также композитной.

• Алгоритмы машинного обучения (MLA): Используются на клиенте для генерации User-Specific Ranking Model. Обучение происходит на наборе данных: Resource-Specific Features (признаки) и Value Parameter (целевая переменная).

Выводы

1. Федеративное обучение в поиске Яндекса: Патент описывает применение принципов федеративного обучения (Federated Learning) для персонализации. Обучение модели происходит локально на устройстве пользователя, а не централизованно на сервере.
2. Новый уровень поведенческих факторов (Client-Side Signals): Ключевое нововведение — использование признаков, которые невозможно отследить на сервере (движение мыши, паттерны скроллинга, копирование в буфер). Это позволяет оценить реальное потребление контента (чтение, изучение).
3. Оценка удовлетворенности на клиенте: Устройство пользователя не просто собирает данные, но и интерпретирует их, присваивая ресурсу метку полезности (Value Parameter) на основе локальных эвристик (например, медленный скролл = полезно).
4. Интеграция через переобучение: Персональная модель интегрируется с общей моделью. Основной защищенный патентом механизм (Claims 1 и 9) — это переобучение (retraining) основной модели, хотя также упоминается переранжирование (re-ranking).
5. Повышение конфиденциальности: Поскольку сырые данные о поведении не покидают устройство пользователя, а передается только обученная модель, система обеспечивает бóльшую конфиденциальность.

Практика

Best practices (это мы делаем)

• Фокус на вовлеченности и UX (Engagement Optimization): Оптимизируйте страницы для длительного и внимательного изучения. Используйте ясную структуру, форматирование и мультимедиа, чтобы стимулировать пользователя медленно прокручивать страницу (медленный скроллинг) и взаимодействовать с элементами.
• Стимулирование позитивных взаимодействий: Поощряйте действия, которые система интерпретирует как позитивные сигналы:
  • Размещайте полезный контент, который пользователи захотят скопировать в буфер обмена (код, цитаты, рецепты, инструкции).
  • Предлагайте полезные материалы для скачивания.
  • Обеспечивайте удобство чтения (шрифт, контрастность), чтобы пользователь водил курсором по тексту или выделял его.
• Оптимизация читаемости и сложности текста: Поскольку «сложность текста» и «читаемость» упомянуты как Resource-Specific Features, убедитесь, что контент соответствует уровню целевой аудитории.
• Анализ поведения на странице: Активно используйте инструменты анализа поведения (например, Вебвизор в Яндекс Метрике), чтобы понять, как пользователи реально взаимодействуют с контентом — что прокручивают быстро, с чем взаимодействуют. Оптимизируйте страницу под эти клиентские сигналы.

Worst practices (это делать не надо)

• Использование «простыней» текста без структуры: Длинный неструктурированный текст стимулирует быструю прокрутку, что может быть интерпретировано как негативный сигнал (низкий Value Parameter).
• Вводящие в заблуждение заголовки (Кликбейт): Привлечение пользователя на страницу, которая не соответствует ожиданиям, приведет к быстрому уходу или хаотичному поведению, что негативно скажется на локальной модели ранжирования.
• Агрессивный UX и всплывающие окна: Элементы, мешающие потреблению контента, могут вызывать раздражение и генерировать негативные поведенческие паттерны.
• Запрет на копирование контента: Использование скриптов, запрещающих выделение и копирование текста, может лишить сайт позитивного сигнала (копирование в буфер обмена).

Стратегическое значение

Патент подтверждает стратегический фокус Яндекса на измерении реальной удовлетворенности пользователя за пределами простых кликов. Он вводит в экосистему поиска концепцию федеративного обучения для использования чувствительных данных. Для SEO это означает, что качество пользовательского опыта (UX) и глубина вовлечения становятся еще более критичными факторами ранжирования. Манипулировать такими гранулярными сигналами, как скорость прокрутки или движение мыши, практически невозможно, что требует ориентации на создание действительно полезного и удобного контента.

Практические примеры

Сценарий: Оптимизация страницы рецепта

1. Задача: Улучшить поведенческие сигналы для страницы с рецептом борща.
2. Применение патента: Мы знаем, что система может отслеживать скорость прокрутки, взаимодействие с элементами и копирование в буфер.
3. Действия:
   • Разбиваем процесс приготовления на четкие шаги с фотографиями. Это стимулирует пользователя останавливаться на каждом шаге (медленный скроллинг).
   • Размещаем список ингредиентов в виде блока с чекбоксами (взаимодействие с элементами).
   • Добавляем кнопку «Скопировать ингредиенты в буфер» или «Скачать список покупок» (позитивные сигналы копирования/скачивания).
4. Ожидаемый результат: Улучшение User Interactions приводит к присвоению странице более высокого Value Parameter на устройствах пользователей. Это улучшает User-Specific Ranking Model и повышает позиции сайта в их персонализированной выдаче.

Вопросы и ответы