Как Яндекс создает единое векторное пространство для текстов, изображений и поведения пользователей для систем рекомендаций

Описание

Какую задачу решает

Патент решает задачу предоставления релевантных персонализированных рекомендаций в условиях разнородного контента (мультимодальность). Основная проблема — как эффективно связать элементы разных типов (текст и изображения) и сопоставить их с текущими и прошлыми интересами пользователя. Изобретение позволяет находить неявные связи между разнородными элементами через призму пользовательской активности и использовать эти связи для предсказания того, какой контент (включая новый) будет интересен пользователю.

Что запатентовано

Запатентован метод и система для создания общего многомерного векторного пространства — Пространства пользовательских элементов. Суть изобретения заключается в способе проецирования (embedding) разнородных данных — характеристик предыдущей активности пользователя, характеристик текста и характеристик изображений — в единое пространство. Близость элементов в этом пространстве отражает их связь на основе истории поведения пользователя.

Как это работает

Система работает в несколько этапов. Сначала создаются векторы характеристик для активности пользователя, текстов и изображений. Затем система формирует два промежуточных пространства: одно для связи активности и текста, другое для связи активности и изображений. Ключевым шагом является совмещение этих двух пространств в единое Пространство пользовательских элементов. Для генерации рекомендаций текущая активность пользователя также векторизуется и помещается в это общее пространство. Элементы (тексты или изображения), оказавшиеся наиболее близко к вектору текущей активности, выбираются для показа пользователю.

Актуальность для SEO

Высокая. Методы создания мультимодальных эмбеддингов (векторных представлений, объединяющих текст, изображения и поведение) являются фундаментом современных рекомендательных систем (например, Дзен) и персонализированного поиска (слой L4). Описанная архитектура активно используется Яндексом для персонализации контента и рекламы.

Важность для SEO

Влияние на SEO умеренное (4/10). Патент не описывает механизмы ранжирования основного веб-поиска (Core Ranking). Он фокусируется на системах рекомендаций и персонализации. Для SEO-специалистов это имеет критическое значение при работе с рекомендательными платформами (такими как Дзен) и для понимания того, как Яндекс интерпретирует поведение пользователей и связывает его с контентом разных типов. Хотя это не прямой фактор ранжирования в органическом поиске, он важен для успеха в экосистеме персонализированного контента.

Детальный разбор

Термины и определения

Примечание: Так как в предоставленном материале отсутствует раздел «Описание», термины интерпретируются строго в контексте «Формулы изобретения» (Claims).

Элемент (Element)

Единица контента, которая может быть представлена пользователю. Включает как минимум Поток текста (например, статья) и Файл изображения. Элементы могут быть ранее представлены пользователю или новыми.

Показатели предыдущей/текущей активности

Данные, связанные с активностью пользователя на сетевом ресурсе (логи поведения, просмотры, клики, данные сессий).

Вектор характеристик (Feature Vector)

Численное представление (эмбеддинг) объекта (активности пользователя, текста или изображения) в многомерном пространстве.

Пространство характеристик текста (Text Feature Space)

Первое многомерное пространство, созданное путем перенесения (проецирования) Вектора характеристик предыдущей активности и Вектора характеристик текста. Отражает связь между поведением пользователя и текстовым контентом.

Пространство характеристик изображения (Image Feature Space)

Второе многомерное пространство, созданное путем перенесения Вектора характеристик предыдущей активности и Вектора характеристик изображения. Отражает связь между поведением пользователя и изображениями.

Пространство пользовательских элементов (User Element Space)

Единое многомерное пространство, созданное путем совмещения Пространства характеристик текста и Пространства характеристик изображения. Отражает связи между всеми типами контента и активностью пользователя.

Ключевые утверждения (Анализ Claims)

Патент описывает систему построения и использования мультимодального векторного пространства для рекомендаций.

Claim 1 (Независимый пункт): Описывает основной процесс создания единого векторного пространства.

1. Получение доступа к данным: показатели предыдущей активности пользователя и показатели элементов (текст и изображения).
2. Векторизация: Создание векторов характеристик для предыдущей активности, текста и изображений.
3. Создание промежуточного пространства Текста: Проецирование вектора активности и вектора текста в первое многомерное пространство. Это фиксирует связь между поведением и текстом.
4. Создание промежуточного пространства Изображений: Проецирование вектора активности и вектора изображения во второе многомерное пространство. Это фиксирует связь между поведением и изображениями.
5. Создание Единого пространства: Совмещение первых двух пространств для создания Пространства пользовательских элементов.
6. Сохранение этого единого пространства.

Claims 2, 3, 8, 9 (Зависимые пункты): Описывают, как используется созданное пространство для генерации рекомендаций в реальном времени.

• Система получает показатели текущей активности пользователя и векторизует их.
• Этот вектор переносится в Пространство пользовательских элементов.
• Определение элемента для рекомендации основывается на анализе расстояния между этим элементом и местоположением Вектора характеристик текущей активности (т.е. используется поиск ближайших соседей).

Claims 6, 7 (Зависимые пункты): Критически важные пункты, определяющие, на чем обучаются эмбеддинги (что означает расстояние в пространстве).

• Расстояние между двумя элементами отражает то, были ли они представлены пользователю на протяжении одного сеанса просмотра (Claim 6).
• Или расстояние отражает число сеансов просмотра, разделяющих представление этих элементов (Claim 7).
• Это явно указывает на то, что модель обучается на основе совместной встречаемости (co-occurrence) элементов в пользовательских сессиях, что схоже с принципами работы алгоритмов типа Item2Vec.

Claim 12 (Независимый пункт): Описывает метод связывания известного контента с новым контентом (решение проблемы «холодного старта»).

• Система берет Первый элемент (ранее показанный пользователю) и Второй элемент (ранее не показанный).
• Создается пространство, отражающее связь между предыдущей активностью и Первым элементом.
• Второй (новый) элемент переносится в это же пространство на основе анализа данных, связанных с Первым и Вторым элементом (например, их контентной схожести или схожести поведения других пользователей).

Где и как применяется

Изобретение относится к системам персонализации и рекомендаций, которые могут быть интегрированы в поиск или работать как отдельные сервисы (например, Дзен, РСЯ).

Офлайн-процессы (аналог INDEXING & Feature Extraction для пользовательских данных)
Основная часть работы происходит офлайн:

• Обработка логов пользовательской активности, анализ контента (текстов и изображений).
• Обучение моделей для создания векторов характеристик.
• Построение и сохранение многомерных пространств (Пространства характеристик текста/изображения и общего Пространства пользовательских элементов).

RANKING – Ранжирование (Уровень L4 — Personalization)
Механизм может использоваться на финальных этапах ранжирования для персонализации выдачи. Система может использовать близость документа (элемента) к текущим интересам пользователя (вектору текущей активности) как фактор ранжирования.

Рекомендательные системы (Дзен, РСЯ)
Это основная область применения патента. Система используется в реальном времени для формирования ленты рекомендаций или подбора рекламы:

1. Получение данных о текущей активности пользователя.
2. Быстрая генерация вектора текущей активности.
3. Поиск ближайших соседей (рекомендаций) в предварительно построенном Пространстве пользовательских элементов.

На что влияет

• Типы контента: Влияет на рекомендации как текстового контента (статьи, новости, товары), так и визуального (изображения).
• Персонализация: Обеспечивает глубокую персонализацию, основанную на истории и текущем контексте пользователя.
• Мультимодальные связи: Позволяет системе рекомендовать текст на основе понравившихся пользователю изображений, и наоборот.

Когда применяется

• Триггеры активации: Запрос на генерацию персонализированной ленты контента, рекомендательного блока или рекламного объявления.
• Условия работы: Наличие достаточного объема исторических данных о поведении пользователей и контенте для построения векторных пространств.
• Частота применения: Построение пространств происходит периодически офлайн. Применение (рекомендация) происходит в реальном времени при взаимодействии пользователя.

Пошаговый алгоритм

Этап 1: Построение Единого Пространства (Офлайн)

1. Сбор данных: Получение доступа к показателям предыдущей активности пользователей (логи сессий) и элементам контента (тексты, изображения).
2. Векторизация:
   • Создание Вектора характеристик предыдущей активности.
   • Создание Вектора характеристик текста.
   • Создание Вектора характеристик изображения.
3. Построение Пространства характеристик текста: Проецирование векторов активности и текста в первое многомерное пространство. Обучение (перенесение) происходит так, чтобы элементы, просмотренные в одной сессии, находились близко друг к другу (согласно Claims 6, 7).
4. Построение Пространства характеристик изображения: Аналогичный процесс для векторов активности и изображений во втором многомерном пространстве.
5. Совмещение пространств: Создание единого Пространства пользовательских элементов путем совмещения первых двух пространств.
6. Сохранение: Сохранение модели пространства для онлайн-использования.

Этап 2: Генерация рекомендаций (Онлайн)

1. Получение текущих данных: Фиксация показателей текущей активности пользователя на ресурсе.
2. Векторизация текущей активности: Создание Вектора характеристик текущей активности.
3. Проецирование: Перенесение этого вектора в сохраненное Пространство пользовательских элементов.
4. Поиск рекомендаций: Анализ расстояния между вектором текущей активности и элементами в этом пространстве. Выбор ближайших соседей (Claims 8, 9).
5. Выдача: Инициирование отображения выбранных элементов пользователю.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Показатели предыдущей активности и Показатели текущей активности. Ключевую роль играют данные о сеансах просмотра (sessions) и совместной встречаемости элементов в рамках сессии (Claims 6, 7).
• Контентные факторы: Поток текста. Используются для создания Вектора характеристик текста.
• Мультимедиа факторы: Файл изображения. Используются для создания Вектора характеристик изображения.

Какие метрики используются и как они считаются

• Векторы характеристик (Эмбеддинги): Многомерные численные представления активности, текстов и изображений. Конкретные методы их создания в патенте не детализированы.
• Расстояние в многомерном пространстве: Используется как ключевая метрика релевантности и связи. Система обучается так, чтобы это расстояние отражало поведенческую связь (совместный просмотр в сессиях). При генерации рекомендаций минимальное расстояние до вектора текущей активности означает максимальную релевантность.
• Методы машинного обучения: Применяются для «перенесения» (проецирования) векторов в пространства. Это процесс обучения эмбеддингов, вероятно, с использованием методов, учитывающих контекст и последовательность (например, Skip-gram или аналогичные модели для рекомендаций, где контекстом выступает сессия).

Выводы

1. Мультимодальность и Единое Векторное Пространство: Яндекс использует технологию создания единого векторного пространства для объединения разнородных данных: текста, изображений и поведения пользователей. Это позволяет напрямую сравнивать релевантность разных типов контента.
2. Поведение как связующее звено: Ключевым элементом для объединения текста и изображений является активность пользователя. Связь между разными элементами (например, статьей и картинкой) определяется тем, как пользователи взаимодействуют с ними.
3. Обучение на основе сессий: Модель строится на анализе пользовательских сессий. Элементы, которые потребляются вместе или последовательно в рамках одной сессии (Claims 6, 7), считаются связанными и располагаются близко в векторном пространстве.
4. Рекомендации через векторную близость: Механизм рекомендаций основан на поиске ближайших соседей. Текущая активность пользователя векторизуется, и система ищет контент, расположенный максимально близко к этому вектору в общем пространстве.
5. Фокус на рекомендательных системах: Патент описывает архитектуру, идеально подходящую для сервисов типа Дзен или РСЯ, а не для основного ранжирования веб-поиска. Он направлен на угадывание интересов пользователя и предложение контента, включая новый (Claim 12).

Практика

Best practices (это мы делаем)

Рекомендации применимы в первую очередь для продвижения в рекомендательных системах Яндекса (например, Дзен) и улучшения персонализации.

• Стимулирование глубоких и тематических сессий: Создавайте контент, который вовлекает пользователя и мотивирует его продолжать взаимодействие с вашим ресурсом в рамках одной темы. Используйте качественную перелинковку, блоки похожих статей/товаров. Чем чаще ваш контент потребляется вместе в одной сессии, тем сильнее связь между этими элементами в модели Яндекса (Claims 6, 7).
• Синергия текста и изображений (Кросс-модальная оптимизация): Обеспечивайте высокое качество и релевантность как текстового, так и визуального контента. Поскольку система строит общее пространство, качественные и вовлекающие изображения могут способствовать рекомендации связанных с ними текстов, и наоборот. Изображения должны тематически соответствовать тексту.
• Оптимизация поведенческих факторов (Вовлеченность): Метрики вовлеченности (время на сайте, глубина просмотра) критически важны, так как они формируют Векторы характеристик активности, на которых строится вся система.
• Построение Topical Authority (в глазах пользователя): Развивайте ресурс как авторитетный источник по определенной тематике. Если пользователи будут регулярно потреблять ваш контент по конкретной теме, система сформирует четкий профиль интересов, связанный с вашими элементами, что улучшит рекомендации.

Worst practices (это делать не надо)

• Кликбейт и короткие сессии: Привлечение трафика с помощью обманчивых заголовков или изображений, которое ведет к быстрому уходу пользователя. Это формирует негативные поведенческие сигналы и не позволяет системе построить сильные связи между контентом и интересами пользователя.
• Несоответствие текста и мультимедиа: Использование изображений, нерелевантных тексту, или использование низкокачественных/стоковых картинок. Это может привести к «размыванию» позиционирования элементов в векторном пространстве и снижает эффективность работы кросс-модальной системы.
• Изолированный контент (Тупиковые страницы): Публикация материалов без возможности продолжить сессию (нет ссылок, нет связанных блоков). Это мешает системе фиксировать совместную встречаемость элементов в сессиях.

Стратегическое значение

Патент демонстрирует высокий уровень развития технологий персонализации в Яндексе, основанных на машинном обучении (эмбеддингах) и анализе больших данных о поведении. Он подтверждает стратегический приоритет на создание экосистемы контента, управляемой алгоритмическими рекомендациями. Для SEO это означает, что помимо классического поиска, значительная часть трафика распределяется через персонализированные ленты, где успех определяется не столько ключевыми словами, сколько способностью контента вовлекать пользователя и соответствовать его долгосрочным интересам.

Практические примеры

Сценарий 1: Кросс-модальная рекомендация (Изображение -> Текст)

1. Предыдущая активность: Пользователь часто просматривает и лайкает изображения (Элементы-Изображения) на тему «Скандинавский дизайн интерьера».
2. Действие системы (Офлайн): В Пространстве пользовательских элементов эти изображения расположены близко к статьям (Элементы-Текст) на тему «Философия Хюгге» и «Минимализм в доме», так как многие пользователи потребляют этот контент в одних сессиях.
3. Текущая активность: Пользователь открывает рекомендательную ленту. Его вектор активности отражает недавний интерес к интерьерам.
4. Результат: Система рекомендует новую статью о «Философии Хюгге», так как она находится близко к профилю интересов пользователя в едином пространстве, хотя пользователь явно не искал информацию о Хюгге.

Сценарий 2: Усиление связей через внутреннюю перелинковку

1. Структура сайта: Интернет-магазин имеет статью «Обзор смартфона X» (Элемент А) и страницу товара «Чехол для смартфона X» (Элемент Б). Между ними настроена эффективная перелинковка.
2. Поведение пользователей: Пользователи часто переходят со статьи обзора на страницу товара в рамках одной сессии.
3. Действие системы (Обучение): Согласно Claims 6 и 7, система фиксирует, что эти два элемента часто представляются в одной сессии.
4. Результат: В Пространстве пользовательских элементов расстояние между вектором Элемента А и вектором Элемента Б сокращается. Это увеличивает вероятность того, что при последующей активности, связанной со смартфоном X, пользователю будет рекомендован чехол.

Вопросы и ответы