Close Menu

    Как Яндекс обеспечивает консистентность версий эмбеддингов при обновлении моделей в рекомендательных системах

    METHODS AND SERVERS FOR STORING DATA ASSOCIATED WITH USERS AND DIGITAL ITEMS OF A RECOMMENDATION SYSTEM (Методы и серверы для хранения данных, связанных с пользователями и цифровыми элементами рекомендательной системы)
    2022 Патенты Яндекс Персонализация Рекомендательные системы Яндекс Дзен

    Яндекс патентует инфраструктурный метод для обеспечения точности работы рекомендательных систем (например, Дзен) во время обновления моделей машинного обучения. Чтобы избежать ошибок при расчете релевантности, система гарантирует, что эмбеддинг пользователя и эмбеддинг контента, используемые для генерации признака ранжирования, всегда принадлежат к одной и той же версии модели, даже если процесс обновления данных в распределенном хранилище еще не завершен.

    Описание

    Какую задачу решает

    Патент решает сугубо инфраструктурную проблему обеспечения консистентности данных (Data Consistency) в рекомендательных системах (таких как Яндекс.Дзен). Эти системы используют эмбеддинги пользователей (User Embeddings) и эмбеддинги контента (Item Embeddings) для расчета релевантности. Эмбеддинги генерируются моделями (например, Matrix Factorization Model), которые периодически переобучаются. Критически важно, чтобы для расчета релевантности использовались эмбеддинги из одной и той же версии модели. Поскольку обновление данных в распределенных хранилищах занимает время, возникает риск рассинхронизации версий (например, использование нового вектора пользователя со старым вектором контента), что приводит к ошибкам в рекомендациях.

    Что запатентовано

    Запатентован метод управления хранением и обновлением эмбеддингов с использованием гибридной архитектуры хранения. Суть изобретения заключается в раздельном хранении: User Embeddings в нераспределенном хранилище (Non-distributed storage) и Item Embeddings в распределенном хранилище (Distributed storage). Запатентован специфический процесс синхронизации, который позволяет временно хранить две версии эмбеддингов пользователей, чтобы гарантировать совпадение версий во время обновления эмбеддингов контента.

    Как это работает

    Система использует гибридную архитектуру. При обновлении модели (переход с V1 на V2):

    1. Новые User Embeddings (V2) записываются в нераспределенное хранилище В ДОПОЛНЕНИЕ к старым (V1).
    2. Новые Item Embeddings (V2) начинают ЗАМЕЩАТЬ старые (V1) в распределенном хранилище. Этот процесс занимает время для репликации по всем узлам.
    3. В процессе онлайн-запроса система сначала получает Item Embedding. Из-за задержки обновления это может быть V1 или V2.
    4. Система проверяет версию полученного Item Embedding и извлекает из нераспределенного хранилища User Embedding строго той же версии (V1 или V2).
    5. Только когда все узлы распределенного хранилища подтвердят обновление до V2, старые User Embeddings (V1) удаляются.

    Актуальность для SEO

    Высокая (для инфраструктуры рекомендательных систем). Обеспечение консистентности данных при частых обновлениях моделей машинного обучения в распределенных средах является фундаментальной задачей для крупных сервисов, таких как Яндекс.Дзен, которые полагаются на коллаборативную фильтрацию и эмбеддинги.

    Важность для SEO

    Влияние на SEO минимальное (1/10). Патент описывает внутренние инфраструктурные процессы Яндекс, связанные исключительно с работой рекомендательных систем (например, Дзен), а не с ранжированием в основном веб-поиске. Он не содержит информации о факторах ранжирования, качестве контента или ссылочных сигналах. Патент важен для понимания технической инфраструктуры Яндекса (MLOps), но не дает прямых практических рекомендаций для SEO-специалистов, занимающихся продвижением сайтов в органической выдаче.

    Детальный разбор

    Термины и определения

    Distributed Storage (Распределенное хранилище)
    Сетевая инфраструктура, где данные хранятся на нескольких узлах (nodes), часто с репликацией, для обеспечения отказоустойчивости. Обновление данных требует времени для распространения по всем узлам. Используется для хранения Item Embeddings.
    Embeddings (Эмбеддинги)
    Численные векторы, представляющие объекты. Включают User Embeddings (векторы пользователей) и Item Embeddings (векторы контента). Используются для оценки релевантности.
    Matrix Factorization Model (Модель матричной факторизации)
    Модель машинного обучения (в патенте упоминается SVD-based model), используемая для коллаборативной фильтрации. Она разлагает матрицу взаимодействий пользователей и контента (user-item interaction data) на матрицы User Embeddings и Item Embeddings.
    Non-distributed Storage (Нераспределенное хранилище)
    Хранилище данных, которое может быть реализовано на одном физическом устройстве (например, Key-Value storage). Обеспечивает более быстрое обновление по сравнению с распределенным хранилищем. Используется для хранения User Embeddings.
    Relevance Estimation Model (Модель оценки релевантности)
    Основной алгоритм ранжирования рекомендательной системы (в патенте упоминается пример CatBoost), который использует различные признаки, включая комбинацию User и Item Embeddings, для определения порядка показа контента.
    Version Value (Значение версии)
    Идентификатор (метка), связывающий эмбеддинги с конкретной итерацией обучения модели. Гарантирует, что эмбеддинги были сгенерированы вместе.

    Ключевые утверждения (Анализ Claims)

    Патент фокусируется на методе хранения и синхронизации данных для обеспечения консистентности версий при обновлении моделей.

    Claim 1 (Независимый пункт): Описывает полный цикл обновления и механизм хранения.

    1. Обучение V1: Модель матричной факторизации обучается на первом наборе данных.
    2. Генерация и Хранение V1: Генерируются первые эмбеддинги (User-V1, Item-V1). User-V1 сохраняются в Non-distributed storage. Item-V1 сохраняются в Distributed storage.
    3. Переобучение V2: Модель переобучается на свежем наборе данных.
    4. Генерация V2: Генерируются вторые эмбеддинги (User-V2, Item-V2).
    5. Хранение V2 (Ключевой механизм):
      • User-V2 сохраняются в Non-distributed storage В ДОПОЛНЕНИЕ к User-V1.
      • Item-V2 сохраняются в Distributed storage, ЗАМЕЩАЯ Item-V1 (этот процесс занимает время для репликации по узлам).
    6. Очистка: Когда подтверждено, что Item-V2 сохранены на КАЖДОМ узле Distributed storage, User-V1 удаляются из Non-distributed storage.

    Claim 10 (Зависимый пункт): Описывает логику работы системы во время переходного периода, когда в хранилищах присутствуют обе версии.

    1. Система получает запрос на рекомендацию.
    2. Из Distributed storage извлекается эмбеддинг контента. Он может быть либо V1, либо V2 (в зависимости от того, обновился ли узел, ответивший на запрос), и имеет соответствующую метку версии.
    3. Система проверяет полученную метку версии (V1 или V2).
    4. Из Non-distributed storage выбирается эмбеддинг пользователя, который соответствует этой же метке версии.
    5. Генерируется признак ранжирования как комбинация (например, скалярное произведение) консистентной пары эмбеддингов.

    Где и как применяется

    Патент описывает инфраструктурное решение, применяемое в Рекомендательных системах (в тексте патента упоминается Yandex.Zen), а не в основном веб-поиске Яндекса.

    Инфраструктура и Хранение Данных
    Изобретение описывает архитектуру хранения факторов (эмбеддингов), используемых для ранжирования. Оно определяет взаимодействие между сервером и двумя типами хранилищ.

    RANKING (Ранжирование в рекомендательной системе)
    Механизм применяется на этапе генерации признаков для Relevance Estimation Model (например, CatBoost). Когда поступает запрос на рекомендацию, система должна быстро извлечь эмбеддинги. Запатентованный метод гарантирует, что система всегда получает консистентную пару эмбеддингов, даже если инфраструктура находится в процессе обновления модели.

    На что влияет

    • Стабильность рекомендаций: Основное влияние — обеспечение стабильности и качества рекомендаций во время обновления моделей. Предотвращает ошибки, вызванные использованием рассинхронизированных версий эмбеддингов.
    • Типы систем: Влияет на сервисы с высокой степенью персонализации, основанные на коллаборативной фильтрации.

    Когда применяется

    Ключевая логика алгоритма активируется в двух случаях:

    1. Во время обновления модели (Офлайн): Когда модель матричной факторизации переобучается и необходимо записать новые версии эмбеддингов в хранилища.
    2. Во время запроса на рекомендацию в переходный период (Онлайн): Когда новые эмбеддинги контента еще не полностью реплицированы в распределенном хранилище, активируется логика выбора соответствующей версии эмбеддинга пользователя (Claim 10).

    Пошаговый алгоритм

    Процесс обновления модели и обеспечения консистентности.

    Фаза 1: Исходное состояние (Версия 1)

    1. Обучение и Генерация V1: Matrix Factorization Model обучается. Генерируются User-V1 и Item-V1.
    2. Хранение V1: User-V1 записываются в Non-distributed storage. Item-V1 записываются в Distributed storage.

    Фаза 2: Обновление (Версия 2)

    1. Переобучение и Генерация V2: Модель переобучается. Генерируются User-V2 и Item-V2.
    2. Запись User-V2: User-V2 записываются в Non-distributed storage в дополнение к User-V1.
    3. Запись Item-V2 (Начало переходного периода): Начинается процесс замещения Item-V1 на Item-V2 в Distributed storage. Это асинхронный процесс.

    Фаза 3: Переходный период (Обработка запросов)

    1. Запрос рекомендации.
    2. Извлечение Item Embedding: Система запрашивает эмбеддинг контента из Distributed storage. Может быть получен либо Item-V1, либо Item-V2.
    3. Проверка версии: Система идентифицирует версию полученного эмбеддинга контента.
    4. Извлечение User Embedding: Система запрашивает из Non-distributed storage эмбеддинг пользователя строго той же версии.
    5. Расчет релевантности: Используется консистентная пара эмбеддингов.

    Фаза 4: Завершение обновления

    1. Подтверждение репликации: Distributed storage подтверждает, что Item-V2 полностью записаны на все узлы.
    2. Очистка: User-V1 удаляются из Non-distributed storage. Система полностью перешла на Версию 2.

    Какие данные и как использует

    Данные на входе

    • Поведенческие факторы (User-Item Interaction Data): Являются основным источником данных для обучения Matrix Factorization Model. Это данные о взаимодействиях (клики, просмотры, лайки) между пользователями и цифровым контентом.

    Какие метрики используются и как они считаются

    Патент фокусируется на хранении, но описывает используемые компоненты:

    • Matrix Factorization: Используется для генерации User Embeddings и Item Embeddings. В патенте упоминается возможность использования Singular Value Decomposition (SVD) based model.
    • Ranking Feature (Признак ранжирования): Генерируется как комбинация извлеченного User Embedding и Item Embedding (при условии совпадения их версий). В описании упоминается, что этот признак может быть скалярным произведением (scalar product) между векторами.
    • Relevance Estimation Model: Использует сгенерированный Ranking Feature для финального ранжирования контента. В описании упоминается возможность использования CatBoost.

    Выводы

    Патент носит исключительно инфраструктурный характер и не содержит информации, которая может быть использована для практического применения в SEO веб-поиска.

    Основные выводы для понимания работы систем Яндекса:

    1. Фокус на рекомендательных системах: Изобретение направлено на обеспечение работы сервисов рекомендаций (типа Яндекс.Дзен), основанных на коллаборативной фильтрации, а не основного поиска.
    2. Важность консистентности данных (MLOps): Яндекс придает критическое значение тому, чтобы при расчете персонализированной релевантности использовались данные (эмбеддинги), сгенерированные одной и той же версией модели.
    3. Гибридная инфраструктура хранения: Для оптимизации производительности используется комбинация распределенных (для контента) и нераспределенных (для пользователей) хранилищ.
    4. Механизм безопасного обновления: Ключевым элементом является временное хранение двух версий эмбеддингов пользователей для поддержки консистентности во время длительного процесса обновления эмбеддингов контента в распределенном хранилище.

    Практика

    Патент является инфраструктурным и не дает практических выводов или рекомендаций для SEO-специалистов, занимающихся продвижением сайтов в веб-поиске.

    Best practices (это мы делаем)

    Нет применимых практик для SEO веб-поиска, вытекающих напрямую из этого патента.

    Для специалистов, работающих с рекомендательными системами (например, Яндекс.Дзен), патент косвенно подтверждает важность работы над поведенческими факторами, так как именно они (User-Item Interaction Data) лежат в основе обучения моделей матричной факторизации, генерирующих описанные эмбеддинги.

    Worst practices (это делать не надо)

    Нет применимых практик для SEO, вытекающих напрямую из этого патента. Он не описывает механизмы борьбы с манипуляциями.

    Стратегическое значение

    Стратегическое значение патента для SEO равно нулю. Он не раскрывает факторов ранжирования или методов анализа контента. Патент имеет значение для инженеров MLOps (Machine Learning Operations), подтверждая сложность поддержания высоконагруженных персонализированных сервисов и методы обеспечения их стабильности в Яндексе.

    Практические примеры

    Практических примеров для применения в SEO нет.

    Вопросы и ответы

    Влияет ли этот патент на ранжирование сайтов в основном поиске Яндекса?

    Нет, этот патент не описывает алгоритмы ранжирования веб-поиска. Он описывает инфраструктурное решение для хранения и обновления данных (эмбеддингов) в рекомендательных системах, таких как Яндекс.Дзен (что прямо упоминается в патенте). Механизмы, описанные здесь, не применяются к индексации и ранжированию веб-документов в основном поиске.

    Что такое эмбеддинги и модель матричной факторизации, упомянутые в патенте?

    Эмбеддинги — это численные векторы, которые представляют пользователей и контент. Модель матричной факторизации — это алгоритм коллаборативной фильтрации. Она анализирует, кто из пользователей с каким контентом взаимодействовал, и на основе этого создает эмбеддинги таким образом, что похожие пользователи и похожий контент оказываются близко друг к другу в векторном пространстве.

    Какую основную проблему решает этот патент?

    Он решает проблему консистентности (согласованности) данных во время обновления моделей. Обновление данных в распределенных хранилищах занимает время. Патент предотвращает ситуацию, когда система пытается рассчитать релевантность, используя старый эмбеддинг контента и новый эмбеддинг пользователя (или наоборот). Он гарантирует, что всегда используется пара эмбеддингов из одной и той же версии модели.

    Почему Яндекс использует два разных типа хранилищ (распределенное и нераспределенное)?

    Это связано с оптимизацией производительности и разницей в объемах данных. Эмбеддингов пользователей обычно значительно больше, чем эмбеддингов контента. Эмбеддинги пользователей хранятся в быстром нераспределенном хранилище (например, Key-Value), а эмбеддинги контента — в распределенном хранилище, которое лучше масштабируется и обеспечивает отказоустойчивость, но медленнее обновляется из-за необходимости репликации данных по узлам.

    Как система гарантирует совпадение версий во время обновления?

    Ключевой механизм — это временное хранение двух версий эмбеддингов пользователей (старой V1 и новой V2). В то же время эмбеддинги контента постепенно замещаются с V1 на V2. Когда система запрашивает данные, она сначала получает эмбеддинг контента (который может быть V1 или V2), проверяет его версию, и затем запрашивает эмбеддинг пользователя строго той же версии.

    Когда удаляется старая версия эмбеддингов?

    Старая версия эмбеддингов пользователей (V1) удаляется только после того, как система получит подтверждение, что новая версия эмбеддингов контента (V2) полностью записана на все узлы распределенного хранилища. Это гарантирует, что запросы к распределенному хранилищу больше не вернут старую версию V1, и позволяет экономить память.

    Могу ли я как SEO-специалист повлиять на эмбеддинги моего контента в Дзене?

    Напрямую повлиять на значения эмбеддингов нельзя, так как они формируются автоматически на основе совокупного поведения всех пользователей (коллаборативная фильтрация). Ваша задача — создавать качественный контент, который генерирует позитивные поведенческие сигналы (просмотры, лайки). Это косвенно приведет к формированию эмбеддингов, близких к векторам заинтересованных пользователей.

    Упоминается ли в патенте CatBoost или нейросети (YATI)?

    В описании патента CatBoost упоминается как пример реализации «Relevance Estimation Model» — основного алгоритма ранжирования, который использует эмбеддинги в качестве одного из признаков. Модель матричной факторизации (которая генерирует эмбеддинги) упоминается как SVD-based модель. Современные трансформерные модели типа YATI в этом патенте не упоминаются, так как он фокусируется на инфраструктуре хранения коллаборативных эмбеддингов.

    Означает ли этот патент, что рекомендации в Дзене могут временно ухудшаться при обновлении моделей?

    Наоборот, этот патент направлен на то, чтобы предотвратить ухудшение качества рекомендаций во время обновления моделей. Без этого механизма существовал бы риск рассинхронизации версий данных, что приводило бы к ошибкам. Запатентованное решение обеспечивает стабильное и корректное функционирование системы даже в процессе обновления данных.

    Какова практическая польза этого патента для Senior SEO специалиста?

    Практическая польза для классического SEO минимальна. Патент полезен для глубокого понимания технической инфраструктуры Яндекса и принципов работы его рекомендательных систем (MLOps). Он демонстрирует сложность внутренних процессов, направленных на поддержание качества работы машинного обучения, но не дает инструментов для влияния на ранжирование в веб-поиске.