Как Яндекс использует детальное поведение пользователя в браузере для построения персональной модели ранжирования на стороне клиента

Описание

Какую задачу решает

Патент решает две ключевые задачи в области персонализации поиска. Во-первых, он направлен на повышение релевантности выдачи за счет использования более глубоких и точных данных о поведении пользователя, которые технически сложно или невозможно отследить на стороне сервера (например, движение курсора мыши или скорость прокрутки страницы). Во-вторых, он решает проблему конфиденциальности (privacy). Традиционный подход требует сбора и анализа детальных логов поведения на серверах поисковой системы. Данное изобретение переносит процесс анализа взаимодействий и построения модели на устройство пользователя (клиентскую сторону), тем самым повышая защищенность личной информации.

Что запатентовано

Запатентована система и способ формирования персонализированной модели ранжирования на электронном устройстве пользователя (на стороне клиента). Суть изобретения заключается в разделении обязанностей: сервер поисковой системы предоставляет свойства, характерные для ресурса (признаки), а клиентское устройство отслеживает взаимодействие пользователя с ресурсами, определяет его предпочтения (метки) и локально обучает модель машинного обучения. Эта локально обученная модель затем используется поисковой системой для персонализации выдачи.

Как это работает

Механизм работает следующим образом: Сервер Яндекса отправляет на устройство пользователя информацию о признаках ранжирования (свойствах ресурса). Специальный модуль на устройстве пользователя (персонифицированный модуль ранжирования) отслеживает, как пользователь взаимодействует с веб-ресурсами (время на сайте, скорость скроллинга, движение мыши, копирование контента и т.д.). На основе этих взаимодействий модуль определяет, насколько ресурс удовлетворил пользователя (определяет значения параметров или метки). Используя полученные от сервера признаки и локально определенные метки как обучающую выборку, устройство формирует персонализированную модель ранжирования. Эта модель передается на сервер Яндекса, где она либо комбинируется с универсальной моделью ранжирования, либо используется для повторного ранжирования результатов.

Актуальность для SEO

Высокая. Персонализация поиска и учет поведенческих факторов являются ключевыми направлениями развития поисковых систем. Кроме того, вопросы конфиденциальности данных (Privacy-Preserving Machine Learning) становятся все более актуальными. Описанный подход, позволяющий использовать глубокие поведенческие данные без их прямой передачи на сервер, полностью соответствует современным трендам развития технологий поиска и ML.

Важность для SEO

Влияние на SEO значительно (8/10). Патент демонстрирует, что Яндекс готов использовать микровзаимодействия пользователя внутри страницы для оценки ее качества и релевантности. Это смещает фокус с традиционных метрик (клики на выдаче) на анализ вовлеченности непосредственно на сайте (User Engagement). Для SEO это означает критическую важность UX, дизайна, читабельности и полезности контента, которые стимулируют позитивные поведенческие сигналы (медленный скроллинг, взаимодействие с элементами), отслеживаемые на стороне клиента.

Детальный разбор

Термины и определения

Взаимодействие пользователя (User Interaction)

Действия пользователя на веб-ресурсе, отслеживаемые на стороне клиента (электронном устройстве). Включают время просмотра, скорость пролистывания, глубину просмотра ссылок, взаимодействие с медиа, характер перемещения мыши, копирование в буфер обмена, загрузку ресурса, взаимодействие с элементами (формы, email-адреса).

Значения параметров (Parameter Values)

Оценка предпочтений пользователя, определенная на основе его взаимодействий с веб-ресурсом. Фактически это «метка» (label) для машинного обучения, указывающая, был ли ресурс полезен пользователю (например, бинарная оценка «хорошо/плохо» или шкала).

Персонализированная модель ранжирования (Customized/Personalized Ranking Model)

Модель машинного обучения, сформированная непосредственно на электронном устройстве пользователя. Она обучается предсказывать предпочтения пользователя (Значения параметров) на основе Свойств ресурса.

Персонифицированный модуль ранжирования (Personalized Ranking Module)

Программный компонент на электронном устройстве (стороне клиента), отвечающий за отслеживание взаимодействий, определение значений параметров и формирование Персонализированной модели ранжирования.

Свойства, характерные для ресурса (Resource Features/Characteristics)

Признаки (features), используемые для обучения алгоритма ранжирования. Они описывают веб-ресурс (например, сложность текста, наличие изображений, новизна содержания, цветовая схема). В контексте патента эти свойства определяются сервером и передаются на клиентское устройство.

Универсальная модель ранжирования (Universal Ranking Model)

Основная модель ранжирования поисковой системы, обученная на сервере на основе общих данных и, возможно, данных о поведении, отслеживаемых на стороне сервера (например, кликов на выдаче).

Совмещенная модель ранжирования (Combined Ranking Model)

Модель, созданная на сервере путем интеграции Персонализированной модели ранжирования и Универсальной модели ранжирования.

Ключевые утверждения (Анализ Claims)

Патент защищает метод распределенного построения персонализированной модели, при котором обучение происходит на стороне клиента.

Claim 1 (Независимый пункт): Описывает способ, выполняемый на электронном устройстве пользователя (клиенте).

1. Устройство получает от сервера поисковой системы сигнал, содержащий информацию о характерном свойстве ресурса.
2. Производится оценка взаимодействия пользователя с веб-ресурсом, выполняемого с использованием этого устройства.
3. На основании этого взаимодействия определяется значение параметра веб-ресурса (т.е. определяется метка предпочтения).
4. Формируется персонализированная модель ранжирования на основе полученного значения параметра и характерного свойства ресурса.

Ядро изобретения здесь — локальное (на клиенте) формирование модели на основе локально наблюдаемых взаимодействий и серверных признаков.

Claim 15 (Независимый пункт): Описывает способ, выполняемый на сервере поисковой системы.

1. Сервер передает на электронное устройство информацию о характерном свойстве ресурса.
2. Сервер получает от устройства модель ранжирования (персонализированную), которая была сформирована устройством путем (i) оценки взаимодействия пользователя, (ii) определения значения параметра, (iii) формирования модели на основе параметра и свойства.

Этот пункт защищает роль сервера как инициатора процесса и получателя результата клиентского обучения.

Зависимые пункты (Детализация):

• Claims 2, 3, 22, 26, 27, 46: Описывают способы использования полученной модели на сервере: либо создание совмещенной модели (комбинация с универсальной), либо совместное использование.
• Claims 4, 10, 21, 28, 34, 45: Уточняют механизм совместного использования: ранжирование универсальной моделью, а затем повторное ранжирование персонализированной моделью.
• Claims 5, 6, 17, 18: Указывают, что свойства ресурса, передаваемые клиенту, совпадают со свойствами, используемыми в универсальной модели ранжирования.
• Claims 9, 19, 33, 43: Подчеркивают, что свойства могут выбираться так, чтобы оптимизировать отслеживание именно на электронном устройстве (т.е. те свойства, которые лучше видны клиенту, чем серверу).
• Claim 8, 32: Уточняют, что формирование модели на клиенте происходит с применением алгоритма машинного обучения, используя свойства и параметры (метки) как обучающую последовательность.

Где и как применяется

Изобретение затрагивает несколько слоев поисковой архитектуры, но его уникальность проявляется во взаимодействии между сервером и клиентом.

Офлайн-процессы и INDEXING (Подготовка данных)

• Сервер поисковой системы определяет набор свойств, характерных для ресурса. Это могут быть стандартные признаки ранжирования.
• Сервер выбирает подмножество этих свойств для передачи на клиент. Выбор может быть основан на том, какие взаимодействия лучше отслеживаются на клиенте (Claim 9).

Клиентская сторона (Вне рамок стандартной архитектуры поиска)

• Сбор данных: Персонифицированный модуль ранжирования на устройстве пользователя непрерывно отслеживает детальные взаимодействия пользователя с веб-ресурсами (движение мыши, скроллинг и т.д.).
• Оценка и разметка: Модуль интерпретирует эти взаимодействия для определения предпочтений пользователя (значений параметров или меток).
• Обучение модели: Используя признаки от сервера и локальные метки, модуль обучает персонализированную модель ранжирования.

RANKING – Ранжирование (Уровни L3/L4)

• При получении запроса от пользователя, клиентское устройство может передать актуальную персонализированную модель на сервер (или сервер использует последнюю полученную версию).
• На поздних стадиях ранжирования (например, L3 или L4) сервер применяет эту модель. Патент описывает два варианта:
1. Повторное ранжирование (Re-ranking): Результаты, ранжированные универсальной моделью, переупорядочиваются с помощью персонализированной модели (Claim 4).
2. Комбинированная модель: Универсальная и персонализированная модели объединяются в совмещенную модель, которая используется для финального ранжирования (Claim 2).

На что влияет

• Все типы запросов и контента: Механизм направлен на улучшение ранжирования для конкретного пользователя по всем типам запросов, где возможно определить его личные предпочтения относительно свойств контента.
• UX и дизайн: Влияет на оценку качества страницы с точки зрения удобства использования. Свойства, связанные с дизайном (например, цветовая схема, читабельность текста, наличие медиа – упомянуты в патенте), и то, как пользователь на них реагирует, становятся факторами ранжирования.
• Вовлеченность (Engagement): Система напрямую измеряет вовлеченность через микровзаимодействия, делая этот аспект критически важным для SEO.

Когда применяется

• Построение модели: Происходит непрерывно или периодически на устройстве пользователя по мере накопления данных о взаимодействиях.
• Передача модели: Может происходить при каждом поисковом запросе, периодически (например, раз в день) или по запросу сервера (например, когда сервер планирует обновление своих моделей).
• Применение в ранжировании: Активируется при обработке поискового запроса пользователя, для которого доступна персонализированная модель.

Пошаговый алгоритм

Процесс А: Обучение на стороне клиента (Claim 1)

1. Получение признаков: Клиентское устройство получает от сервера Яндекса информацию о свойствах, характерных для ресурса (например, для ресурса X свойство А=0.5, свойство B=0.2).
2. Мониторинг взаимодействий: Пользователь посещает веб-ресурс X. Персонифицированный модуль ранжирования отслеживает его действия (например, медленный скроллинг, копирование текста, время на сайте > 2 мин).
3. Определение метки: На основе взаимодействий модуль определяет значение параметра (метку) для ресурса X (например, Метка = 1, что означает высокую полезность/удовлетворенность).
4. Накопление обучающей выборки: Шаги 1-3 повторяются для множества ресурсов, формируя локальную базу данных пар (Признаки, Метка).
5. Обучение модели: При накоплении достаточного количества данных применяется алгоритм машинного обучения для формирования персонализированной модели ранжирования. Цель модели – предсказывать Метку на основе Признаков.
6. Передача модели: Обученная модель передается на сервер Яндекса (опционально, может храниться локально до момента поиска).

Процесс Б: Применение на стороне сервера (Claims 15, 21, 23)

1. Получение запроса и модели: Сервер получает поисковый запрос от пользователя и его актуальную персонализированную модель.
2. Формирование результатов: Сервер формирует набор кандидатов для ранжирования.
3. Ранжирование (Вариант 1 — Комбинация):
   1. Сервер интегрирует универсальную и персонализированную модели в совмещенную модель (например, корректируя веса признаков).
   2. Совмещенная модель используется для ранжирования кандидатов.
4. Ранжирование (Вариант 2 — Повторное ранжирование):
   1. Кандидаты ранжируются универсальной моделью.
   2. Полученный список повторно ранжируется с использованием персонализированной модели.
5. Выдача: Формируется персонализированный SERP.

Какие данные и как использует

Данные на входе

Система использует два основных потока данных: определяемые на сервере и отслеживаемые на клиенте.

Определяемые на сервере (Свойства ресурса):

• Контентные факторы: Сложность текста, читабельность текста, новизна содержания, насколько удачно результат поиска соответствует поисковому запросу (релевантность).
• Мультимедиа факторы: Наличие изображений и/или видео.
• Структурные/Дизайн факторы: Цветовая схема веб-ресурса.
• Поведенческие (агрегированные) факторы: Как часто посещается данный ресурс (популярность).
• Коммерческие факторы: Характер продавца, срок доставки.

Отслеживаемые на клиенте (Взаимодействия пользователя):

• Поведенческие (микро) факторы:
  • Количество времени на обзор веб-ресурса (Dwell time).
  • Скорость пролистывания (Scrolling speed).
  • Глубина просмотра по ссылкам (Navigation depth).
  • Взаимодействие с медиа-содержимым (клики на видео).
  • Характер перемещения мыши (Mouse movement patterns), задержка мыши над текстом.
  • Взаимодействие с элементами (формы, клик на электронный адрес).
• Технические действия пользователя:
  • Копирование части веб-ресурса в буфер обмена.
  • Загрузка веб-ресурса.

Какие метрики используются и как они считаются

• Метки предпочтений (Значения параметров): Вычисляются на клиенте на основе эвристик, связывающих взаимодействия с удовлетворенностью. Патент приводит следующие правила (примеры):
  • Длительное время обзора -> Высокая релевантность.
  • Низкая скорость пролистывания -> Высокая релевантность.
  • Большее углубление по ссылкам -> Высокая релевантность.
  • Задержка мыши над текстом (чтение) -> Высокая релевантность.
  • Копирование/Загрузка контента -> Высокая релевантность.

  Метка может быть бинарной (1/0) или использовать шкалу. Возможно формирование составных параметров из нескольких взаимодействий.

• Алгоритмы машинного обучения: Используются на клиенте для обучения персонализированной модели. Патент не специфицирует конкретный алгоритм, но указывает, что он может быть таким же, как тот, что используется для универсальной модели (вероятно, градиентный бустинг, например, CatBoost). Обучение происходит на наборе данных {Свойства Ресурса, Метка}.

Выводы

1. Перенос обучения на сторону клиента (Privacy-Preserving ML): Ключевая инновация патента — это формирование персонализированной модели ранжирования непосредственно на устройстве пользователя. Это позволяет Яндексу использовать глубокие поведенческие данные для персонализации, минимизируя при этом передачу конфиденциальной информации на сервер. На сервер передается только абстрактная модель, а не сырые логи действий.
2. Микровзаимодействия как сигналы качества: Патент явно указывает на использование детальных взаимодействий пользователя на странице (скорость скроллинга, движение мыши, копирование текста) как индикаторов релевантности и качества ресурса. Эти сигналы часто недоступны для отслеживания на стороне сервера.
3. Поведенческие данные как метки для ML: Удовлетворенность пользователя, выведенная из его взаимодействий, используется как целевая переменная (метка или «Ground Truth») для обучения персонализированной модели машинного обучения. Это подтверждает, что позитивный User Engagement является целью оптимизации ранжирования.
4. Интеграция с универсальным ранжированием: Персонализированная модель не заменяет основную (универсальную) модель, а дополняет ее. Это происходит либо через повторное ранжирование (re-ranking), либо через создание комбинированной модели. Это обеспечивает баланс между общей релевантностью и личными предпочтениями.
5. Важность UX/UI для SEO: Поскольку система учитывает реакцию пользователя на такие свойства как «читабельность текста», «цветовая схема», «наличие медиа», эти аспекты дизайна и контента становятся прямыми факторами, влияющими на персональное ранжирование.

Практика

Best practices (это мы делаем)

• Оптимизация User Engagement на странице: Фокусируйтесь на создании контента и дизайна, которые стимулируют позитивные микровзаимодействия. Это включает:
  • Улучшение читабельности (шрифты, контраст, верстка), чтобы стимулировать медленный скроллинг и задержку курсора над текстом (индикаторы чтения).
  • Использование качественного и релевантного медиаконтента (видео, изображения), который побуждает пользователя взаимодействовать с ним.
  • Создание контента, которым хочется поделиться или сохранить (стимулирование копирования в буфер обмена).
• Глубокая проработка контента: Создавайте подробный и полезный контент, который удерживает пользователя на странице (увеличивает время обзора) и стимулирует дальнейшую навигацию по сайту (углубление по ссылкам).
• Улучшение UX/UI: Инвестируйте в качественный дизайн и удобство использования. Поскольку реакция на «цветовую схему» и общую структуру может отслеживаться, неудобный или отталкивающий дизайн может негативно влиять на персональную модель ранжирования.
• Оптимизация коммерческих факторов: Для E-commerce важно предоставлять четкую информацию о «характере продавца» и «сроках доставки» (упомянуты как примеры свойств), так как удовлетворенность пользователя этими аспектами влияет на модель.

Worst practices (это делать не надо)

• Использование «воды» и поверхностного контента: Контент, который пользователи быстро пролистывают (высокая скорость скроллинга) в поисках сути или сразу покидают, будет генерировать негативные метки для обучения персонализированной модели.
• Агрессивные всплывающие окна и барьеры: Элементы, мешающие потреблению контента, могут вызывать хаотичное движение мыши или быстрый уход со страницы, что интерпретируется как низкая релевантность.
• Плохая верстка и нечитаемый текст: Текст, который сложно читать (мелкий шрифт, низкий контраст), не будет генерировать сигналы чтения (задержка курсора, медленный скроллинг).
• Вводящие в заблуждение заголовки (Кликбейт): Хотя кликбейт может привлечь трафик, он приводит к быстрому разочарованию на странице. Система зафиксирует короткое время обзора и отсутствие вовлеченности, что негативно скажется на ранжировании.

Стратегическое значение

Этот патент подтверждает стратегический фокус Яндекса на поведенческих факторах, причем не только на уровне SERP, но и на уровне взаимодействия с контентом сайта. Он демонстрирует техническую возможность Яндекса измерять качество сайта через микровзаимодействия. Для долгосрочной SEO-стратегии это означает, что качество User Experience (UX) и вовлеченность (Engagement) являются не просто желательными элементами, а критически важными факторами ранжирования. Успех в SEO все больше зависит от способности удовлетворить пользователя непосредственно на сайте.

Практические примеры

Сценарий 1: Оптимизация статьи для вовлечения

1. Задача: Повысить ранжирование информационной статьи.
2. Действия (основанные на патенте):
   • Разбить текст на короткие абзацы, использовать списки и выделения для улучшения читабельности.
   • Добавить полезные инфографики и релевантное видео по теме.
   • Добавить блок с «Ключевыми выводами» в начале статьи.
   • Убедиться, что контент содержит уникальную информацию, которую пользователи захотят сохранить.
3. Ожидаемый результат (по патенту): Пользователи медленнее скроллят страницу (читают), взаимодействуют с видео, копируют ключевые выводы в буфер обмена. Клиентский модуль фиксирует эти действия и присваивает ресурсу высокие метки удовлетворенности. Персональная модель обучается ассоциировать этот ресурс и его свойства с позитивным опытом, что улучшает его ранжирование для данного и похожих пользователей.

Сценарий 2: Улучшение UX интернет-магазина

1. Задача: Улучшить ранжирование карточки товара.
2. Действия (основанные на патенте):
   • Обеспечить наличие качественных фотографий и видеообзора товара.
   • Четко указать условия доставки и информацию о продавце (упомянутые свойства).
   • Оптимизировать дизайн карточки (цветовая схема, расположение элементов) для удобства изучения информации.
   • Упростить процесс взаимодействия с формой заказа.
3. Ожидаемый результат (по патенту): Пользователи проводят больше времени на карточке, просматривают медиа, взаимодействуют с формой заказа. Система интерпретирует это как высокую релевантность и удобство, что положительно влияет на обучение персональной модели ранжирования.

Вопросы и ответы