Как Яндекс создает многослойные векторы интересов пользователя с учетом времени и контекста

Описание

Какую задачу решает

Патент решает фундаментальную проблему анализа поведения пользователей: сложность сравнения и анализа разнородных событий (user events). Традиционные методы хранят разные типы данных (например, историю браузера и историю геолокации) в разных форматах, что затрудняет их совместный анализ. Изобретение предлагает унифицированный подход для представления и анализа поведения пользователя, охватывающий разные модальности (онлайн и офлайн) и разные временные масштабы.

Что запатентовано

Запатентована иерархическая система для оценки интересов пользователя путем отображения событий пользователя в векторы в нескольких многомерных пространствах (multidimensional spaces). Ключевая суть изобретения заключается в способе конфигурации модулей отображения векторов (vector-mapping modules), часто реализуемых как нейронные сети. Эти модули обучаются таким образом, чтобы расстояние между векторами в пространстве коррелировало с разницей в контексте, в частности, с временным интервалом (time interval) между исходными событиями.

Как это работает

Система работает иерархически. Сначала разнородные события (запросы, локации) векторизуются. Первый модуль отображения переводит их в общее многомерное пространство, где события, близкие по времени, располагаются рядом. Для обработки разных типов данных используются специализированные сети, сконфигурированные как Coupled Siamese Neural Network. Затем эти векторы агрегируются за определенный период (например, час), создавая новый входной вектор. Второй модуль отображения переводит этот агрегированный вектор в другое пространство, также сохраняя временную близость, но уже на более крупном масштабе. В результате создается многослойное представление интересов пользователя: от краткосрочного контекста до долгосрочных предпочтений.

Актуальность для SEO

Высокая. Использование векторных представлений (эмбеддингов) и нейронных сетей является основой современного поиска и систем персонализации. Моделирование поведения пользователя во времени и интеграция онлайн/офлайн сигналов (мультимодальность) крайне актуальны для повышения качества поиска и таргетинга.

Важность для SEO

Влияние на SEO значительно (7.5/10), но косвенно. Это не патент алгоритма ранжирования, а патент технологии глубокой персонализации и моделирования интересов. Он критически важен для понимания того, как Яндекс интерпретирует интент конкретного пользователя в конкретный момент времени. Система определяет релевантность контента, опираясь на недавний контекст пользователя (включая его местоположение) и его долгосрочные интересы, что напрямую влияет на персонализированную выдачу.

Детальный разбор

Термины и определения

User Event (Событие пользователя)

Любое действие, связанное с пользователем, которое фиксируется системой. Примеры включают отправку поискового запроса, посещение веб-страницы, покупку товара или физическое нахождение в определенной географической локации.

Vector-Mapping Module (Модуль отображения векторов)

Компонент (часто нейронная сеть), который преобразует входные векторы в выходные векторы в определенном многомерном пространстве. В патенте описано несколько уровней таких модулей (первый, второй, третий).

Multidimensional Space (Многомерное пространство)

Математическое пространство, в котором располагаются выходные векторы. Ключевая особенность в том, что расстояние (например, Евклидово) между векторами в этом пространстве имеет смысл и коррелирует с контекстуальной разницей между исходными событиями.

Input/Output Vector (Входной/Выходной вектор)

Численное представление события пользователя (Input Vector) или агрегированного набора событий (Output Vector).

Context / Time Interval (Контекст / Временной интервал)

В данном патенте Context в первую очередь определяется временем события. Time Interval (разница во времени между двумя событиями) используется как мера различия контекстов при обучении системы.

Vector Aggregation Module (Модуль агрегации векторов)

Компонент, который объединяет несколько выходных векторов из одного пространства (например, все события за час) в один новый входной вектор для следующего уровня обработки. Агрегация может включать усреднение, конкатенацию или сбор статистики.

Neural Network (Нейронная сеть)

Основной механизм реализации Vector-Mapping Modules. Используется для обучения функции отображения векторов.

Coupled Siamese Neural Network (Связанная сиамская нейронная сеть)

Архитектура обучения, используемая для обработки разнородных (мультимодальных) данных. В патенте используется для обучения отдельных нейронных сетей (например, одной для запросов, другой для локаций) так, чтобы они отображали данные в одно и то же общее пространство.

Cross-modal loss (Перекрестно-модальные потери)

Функция потерь, используемая при обучении сиамских сетей. Минимизация этой функции гарантирует, что события разных типов, произошедшие в схожем контексте (времени), будут отображены близко друг к другу в общем пространстве.

Interest Identification Module (Модуль идентификации интересов)

Компонент, который анализирует выходные векторы для определения интересов пользователя, поиска похожих пользователей или классификации пользователя.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной иерархический процесс работы системы.

1. Определение входных векторов для двух разных событий пользователя.
2. Отображение этих векторов в Первое многомерное пространство с помощью Первого модуля отображения.
3. Определение третьего входного вектора на основе первых двух выходных векторов (агрегация).
4. Отображение третьего входного вектора в Второе многомерное пространство с помощью Второго модуля отображения.
5. Определение сообщения (контента, рекламы) для пользователя на основе анализа векторов из первого и/или второго пространства.
6. Предоставление сообщения пользователю.

Claim 2 и 3 (Зависимые пункты): Определяют критически важный механизм конфигурации (обучения) системы. Это ядро изобретения.

• Claim 2: Утверждает, что Первый и Второй модули отображения конфигурируются так, чтобы расстояние между выходными векторами коррелировало с разницей в контексте соответствующих входных векторов.
• Claim 3: Уточняет, что разница в контексте включает временной интервал между событиями, связанными с входными векторами.

Система обучается так, чтобы математическое расстояние в векторном пространстве отражало физическое время между событиями.

Claim 9 (Зависимый пункт): Описывает реализацию для обработки разных типов событий (мультимодальность).

• Первое событие относится к первому типу (например, запрос), второе — ко второму типу (например, локация).
• Первый модуль отображения использует Первую нейронную сеть для первого типа событий и Вторую нейронную сеть для второго типа. Обе сети отображают векторы в одно и то же Первое многомерное пространство.
• Второй модуль отображения использует Третью нейронную сеть для агрегированных векторов.

Claim 14 (Зависимый пункт): Описывает метод обучения для мультимодальных данных.

• Конфигурация Первой и Второй нейронных сетей включает их соединение в архитектуру Coupled Siamese Neural Network.
• Обучение направлено на минимизацию Cross-modal loss между сетями. Это гарантирует, что запрос и локация, произошедшие одновременно, будут расположены рядом в пространстве.

Где и как применяется

Изобретение является частью инфраструктуры моделирования пользователей и персонализации.

QUERY PROCESSING – Понимание Запросов
На этом этапе система использует сгенерированные векторы интересов для лучшего понимания текущего интента пользователя. Краткосрочные векторы (из Первого пространства) помогают понять непосредственный контекст сессии, а долгосрочные векторы (из Второго или Третьего пространства) помогают понять общие интересы пользователя.

RANKING – Ранжирование (L4 Personalization)
Векторы интересов, сгенерированные этой системой, используются на поздних стадиях ранжирования для персонализации выдачи. Interest Identification Module может использовать эти векторы для переоценки релевантности документов для конкретного пользователя или для идентификации похожих пользователей (look-alike) и использования их поведенческих данных.

Офлайн-процессы (Сбор данных и Индексация признаков пользователя)
Основная часть работы происходит офлайн: сбор логов событий (запросы, клики, геолокация), обучение Vector-Mapping Modules (нейронных сетей) и периодический расчет/обновление агрегированных векторов интересов для каждого пользователя.

На что влияет

• Персонализация выдачи: Напрямую влияет на то, какие результаты увидит пользователь, основываясь на его краткосрочных и долгосрочных интересах.
• Конкретные типы контента: Влияет на рекомендации контента (в патенте приведен пример с новостными статьями), рекламу и результаты поиска.
• Локальный поиск: Система явно интегрирует геолокационные данные с поисковыми запросами, что критически важно для понимания локального интента.
• Понимание сессии: Благодаря корреляции расстояния и времени, система эффективно связывает последовательные действия пользователя в рамках одной сессии или задачи.

Когда применяется

Система работает в двух режимах:

• Обновление профиля: Применяется непрерывно при поступлении новых данных о событиях пользователя. Краткосрочные векторы обновляются в реальном времени или близко к нему. Агрегация и обновление долгосрочных векторов происходит периодически (например, раз в час, раз в день).
• Применение профиля: Активируется при каждом поисковом запросе или запросе контента для выполнения персонализации.

Пошаговый алгоритм

Процесс можно разделить на фазу обучения и фазу применения.

Фаза Обучения (Конфигурация)

1. Сбор данных: Сбор исторических событий пользователей разных типов (запросы, локации) с временными метками.
2. Векторизация событий: Преобразование сырых данных событий во входные векторы (например, с помощью хеширования).
3. Обучение Первого Уровня:
   • Использование архитектуры Coupled Siamese Neural Network (по одной сети на каждый тип события).
   • Обучение сетей отображению векторов в Первое пространство так, чтобы минимизировать Cross-modal loss и обеспечить корреляцию между расстоянием в пространстве и временным интервалом между событиями.
4. Агрегация: Группировка векторов из Первого пространства по временным окнам (например, по часам) и их агрегация (например, усреднение).
5. Обучение Второго Уровня: Обучение Второй нейронной сети отображению агрегированных векторов во Второе пространство, также сохраняя корреляцию между расстоянием и временем, но на более крупном масштабе.

Фаза Применения

1. Получение нового события: Фиксация нового действия пользователя (например, запрос).
2. Векторизация и Отображение Уровня 1: Преобразование события в вектор и его отображение в Первое пространство с помощью обученного Первого модуля.
3. Агрегация и Отображение Уровня 2: Обновление агрегированного вектора (например, за текущий час) и его отображение во Второе пространство с помощью обученного Второго модуля.
4. Анализ интересов: Использование полученных векторов (краткосрочных и/или долгосрочных) Модулем идентификации интересов.
5. Персонализация: Определение и предоставление пользователю релевантного сообщения (например, персонализированной выдачи).

Какие данные и как использует

Данные на входе

Система разработана для обработки разнородных данных:

• Поведенческие факторы (Онлайн):
  • Поисковые запросы (search queries) и их текстовое содержание.
  • Использование сетевых ресурсов: посещение веб-страниц (URI), клики по ссылкам, покупки товаров или услуг.
• Географические факторы (Офлайн):
  • Ассоциация пользователя с географической локацией (geographical location), например, присутствие пользователя вблизи определенного места, географические координаты.
• Временные факторы:
  • Временные метки (timestamps) всех событий. Время является ключевым элементом контекста и используется для обучения всей системы.

Какие метрики используются и как они считаются

• Методы Векторизации: Для преобразования сырых событий в исходные входные векторы упоминается хеширование (Hash Function).
• Алгоритмы машинного обучения: Основной механизм — Нейронные сети (Neural Networks). Для обработки мультимодальных данных используется специфическая архитектура Coupled Siamese Neural Network.
• Метрики расстояния: В многомерных пространствах используется расстояние между векторами (например, Евклидово расстояние).
• Целевая функция обучения: Обучение направлено на достижение корреляции между расстоянием в векторном пространстве и временным интервалом между соответствующими событиями. При мультимодальном обучении также минимизируется Cross-modal loss.
• Методы агрегации: Упоминаются усреднение векторов (averaging), конкатенация (concatenating) и компиляция статистики (compiling statistics) по типам событий в рамках временного окна.

Выводы

1. Унифицированное представление поведения: Яндекс стремится интегрировать все доступные сигналы о пользователе (онлайн-поиск, браузинг, офлайн-геолокация) в единое математическое представление (вектор).
2. Время как главный контекст: Ключевая инновация патента — принудительное структурирование векторного пространства так, чтобы оно отражало временную близость событий. Это означает, что последовательность и время действий критически важны для определения интересов.
3. Иерархическая модель интересов: Система не рассматривает интересы как плоский список. Она строит иерархию: от мгновенного контекста (Первое пространство) до долгосрочных интересов (Второе и последующие пространства), путем временной агрегации.
4. Мультимодальное понимание (Cross-Modal): Использование архитектуры Сиамских сетей подчеркивает важность понимания того, как связаны разные типы действий. Поиск ресторана и последующее его посещение рассматриваются как связанные элементы одной задачи.
5. Фундамент для персонализации и Look-alike: Эти многослойные векторы являются основой для глубокой персонализации ранжирования. Кроме того, они позволяют эффективно находить пользователей со схожим поведением (look-alike audiences), что позволяет переносить поведенческие паттерны с одного пользователя на другого.

Практика

Best practices (это мы делаем)

• Оптимизация под сессию и путь пользователя (User Journey): Необходимо понимать не только отдельный запрос, но и последовательность действий пользователя. Создавайте контент, который удовлетворяет интент на разных этапах пути пользователя, так как система связывает эти этапы во времени.
• Усиление локальной оптимизации (для релевантных бизнесов): Система явно связывает онлайн-запросы с офлайн-локацией. Для локального бизнеса критически важно обеспечить сильное присутствие в локальном поиске и картах, так как физическое перемещение пользователя напрямую влияет на его профиль интересов и последующую выдачу.
• Построение долгосрочной авторитетности (Topical Authority): Долгосрочные интересы моделируются через агрегированные векторы (Второй уровень). Регулярное создание качественного контента по теме и удержание пользователя на сайте способствует формированию сильного долгосрочного вектора интереса к вашей тематике.
• Максимизация позитивных поведенческих сигналов (для переноса на Look-alike): Так как система ищет похожих пользователей по векторам поведения, крайне важно, чтобы ваш сайт генерировал сильные позитивные сигналы (клики, вовлеченность). Эти паттерны могут быть перенесены на похожую аудиторию, повышая ранжирование вашего сайта для пользователей, которые его еще не посещали.

Worst practices (это делать не надо)

• Игнорирование персонализации: Рассматривать выдачу как статичную и одинаковую для всех пользователей — ошибка. Система активно адаптирует результаты под контекст и историю пользователя.
• Изолированная оптимизация под ключевые слова: Фокус только на тексте запроса без учета временного и географического контекста пользователя становится менее эффективным.
• Пренебрежение связью онлайн и офлайн: Для бизнесов с физическими точками продаж игнорирование того, как онлайн-контент влияет на офлайн-посещения (и наоборот, как офлайн-посещения влияют на последующие онлайн-интересы), является упущенной возможностью.

Стратегическое значение

Патент подтверждает стратегический приоритет Яндекса на глубокую персонализацию, основанную на комплексном моделировании поведения пользователя. Он демонстрирует сложную инфраструктуру для интеграции всех доступных сигналов, включая офлайн. Для SEO это означает, что выдача становится все более фрагментированной и контекстно-зависимой. Долгосрочная стратегия должна фокусироваться на понимании целевой аудитории, ее пути (journey) и создании контента, который резонирует с ее интересами на разных временных масштабах.

Практические примеры

Сценарий 1: Связывание онлайн и офлайн поведения (Локальный SEO)

1. События: Пользователь ищет «купить кофемашину» (Онлайн-событие 1), а через 30 минут его смартфон фиксируется в ТЦ с магазином электроники (Офлайн-событие 2).
2. Действие системы: Благодаря обучению на основе временной близости, Первый модуль отображения разместит векторы этих двух событий рядом в Первом пространстве. Сиамская сеть обеспечит эту близость, несмотря на разный тип событий.
3. Результат: Система укрепляет связь между интересом «кофемашины» и локацией магазина. При последующих запросах, связанных с кофе или техникой, этот магазин может получить приоритет в выдаче или на картах для данного пользователя.

Сценарий 2: Моделирование долгосрочного интереса (Информационный портал)

1. События: Пользователь в течение месяца регулярно читает статьи о Python на определенном портале. Каждое посещение — это событие.
2. Действие системы: Векторы отдельных посещений (Уровень 1) агрегируются в часовые, а затем, возможно, в дневные или месячные векторы (Уровень 2 или 3). Эти агрегированные векторы показывают устойчивый интерес к Python.
3. Результат: При вводе общего запроса, например, «лучшие языки программирования», система использует долгосрочный вектор интересов и персонализирует выдачу, повышая позиции ресурсов, релевантных Python (включая тот портал, который пользователь часто посещал).

Сценарий 3: Использование Look-alike аудиторий

1. События: Пользователь А и Пользователь Б независимо друг от друга искали информацию о походе в горы и посещали одни и те же магазины снаряжения (онлайн или офлайн).
2. Действие системы: Система генерирует очень близкие агрегированные векторы интересов для Пользователя А и Пользователя Б во Втором пространстве.
3. Результат: Если Пользователь А кликнул на рекламу нового бренда треккинговых ботинок, система может показать эту же рекламу или повысить ранжирование этого бренда для Пользователя Б, так как их интересы считаются схожими.

Вопросы и ответы