Как Google обучает модели машинного обучения для персонализации поиска при недостатке данных о пользователе

Термины и определения

Feature Templates (Шаблоны признаков)

Группы связанных признаков. Например, шаблон для "Истории пользователя" (User History), шаблон для "Запроса" (Query) и шаблон для "Контекста" (Context).

Loss Function (Функция потерь)

Математическая функция, которая измеряет ошибку прогнозной модели. Цель обучения — минимизировать значение этой функции.

Layers (Слои)

Иерархическая организация комбинаций шаблонов признаков. Более низкие слои содержат более простые комбинации (например, только Запрос), а более высокие слои содержат более сложные взаимодействия (например, Запрос × История × Контекст).

Power Set (Множество всех подмножеств)

Набор всех возможных комбинаций Feature Templates. Если шаблоны A, B, C, то Power Set включает {A}, {B}, {C}, {A,B}, {A,C}, {B,C}, {A,B,C}.

Prediction Event (Событие прогнозирования)

Конкретный экземпляр, требующий прогноза, например, пользователь вводит запрос или заканчивает просмотр видео.

Prediction Model (Прогнозная модель)

Статистическая модель, обученная для прогнозирования результатов, например, релевантности контента для пользователя.

Sparsity (Разреженность данных)

Ситуация, когда для конкретного Prediction Event доступно только небольшое количество из всех возможных признаков модели.

Tensor Product (Тензорное произведение, ⊗)

Математическая операция, используемая для вычисления взаимодействий между векторами признаков из разных шаблонов. Результатом является Transformed Feature Vector Space.

Weight Vector (Вектор весов)

Набор числовых значений, определяющих важность различных признаков и их комбинаций в модели.

Ключевые утверждения (Анализ Claims)

Это изобретение относится к области машинного обучения и его применению в поисковых системах.

Claim 1 (Независимый пункт): Описывает метод предоставления релевантных результатов поиска пользователю.

1. Система получает запрос, извлекает историю пользователя и определяет текущий контекст пользователя.
2. Система определяет релевантные результаты поиска на основе запроса, истории и контекста, используя Prediction Model.
3. Система предоставляет результаты пользователю.

Ключевая часть Claim 1 детально описывает, как именно была адаптирована (обучена) эта Prediction Model:

• Определяется Power Set шаблонов признаков (комбинации Запроса, Истории, Контекста).
• Вычисляется Tensor Product для каждой комбинации, создавая Transformed Feature Vector Space.
• Пространство организуется в Layers (Слои) по сложности (где слой x+1 сложнее слоя x).
• Определяется Weight Vector на основе Loss Function с критическим ограничением: вес для слоя x не больше, чем вес для слоя x-1 (т.е. веса уменьшаются или остаются равными по мере увеличения сложности).

Claim 11 (Независимый пункт): Описывает сам метод адаптации Prediction Model в обобщенном виде (не привязываясь строго к поиску).

1. Определение набора Feature Templates.
2. Получение Prediction Event и соответствующих признаков.
3. Адаптация модели путем: включения новых данных, определения Power Set, вычисления Tensor Product, организации в Layers и определения Weight Vector с тем же иерархическим ограничением (вес слоя x ≤ вес слоя x-1).

Ядром изобретения является специфический метод обучения (адаптации) модели машинного обучения. Использование иерархической структуры тензорных произведений и применение ограничения на веса (штраф за сложность) позволяет модели оставаться эффективной даже при недостатке входных данных (разреженности), что критично для систем персонализации.

Где и как применяется

Изобретение описывает технику машинного обучения, которая может применяться на различных этапах поисковой архитектуры, где используются прогнозные модели.

INDEXING – Индексирование и извлечение признаков
На этом этапе извлекаются признаки, которые затем будут использоваться в Feature Templates (например, признаки контента, признаки авторов).

RANKING / RERANKING – Ранжирование и Переранжирование
Основное применение. Prediction Model, обученная с использованием описанной техники, используется для оценки релевантности результатов поиска или рекомендаций. Система получает доступные признаки для текущего Prediction Event (Запрос, История, Контекст) и использует модель для генерации прогноза (например, Ranking Score).

Взаимодействие компонентов:

• Model Adaption Module: Отвечает за обучение (адаптацию) модели. Этот процесс может происходить офлайн или в режиме онлайн-обучения по мере поступления новых данных. Он выполняет сложные вычисления (Tensor Products, оптимизация Weight Vector).
• Model Datastore: Хранит обученную модель и ее веса.
• Processor (в момент запроса): Использует обученную модель из Model Datastore для быстрого выполнения прогнозов во время ранжирования.

Входные данные (для модели):

• Конкретные признаки события (Prediction Event Features), соответствующие определенным шаблонам (Query, User History, Context).

Выходные данные (от модели):

• Прогноз релевантности контента (например, оценка или ранжированный список).

На что влияет

• Конкретные типы контента: В патенте явно упоминается применение для поиска видео (video search website, например, YouTube) и поиска документов (document search website). Техника особенно полезна для рекомендательных систем.
• Специфические запросы: Влияет на запросы, где важна персонализация и контекстуализация. Модель позволяет системе адаптировать выдачу на основе истории пользователя и его текущих действий.
• Персонализация: Метод напрямую влияет на то, как сигналы персонализации (история, контекст) комбинируются с сигналами запроса, особенно в ситуациях, когда данных о пользователе мало.

Когда применяется

• Применение модели (Prediction): Активируется каждый раз, когда система генерирует персонализированные результаты поиска или рекомендации.
• Адаптация модели (Training): Происходит непрерывно (в режиме онлайн-обучения) или периодически, когда система обрабатывает новые данные о взаимодействиях пользователей и обновляет Weight Vector для минимизации Loss Function.

Пошаговый алгоритм

Алгоритм описывает процесс адаптации (обучения) прогнозной модели.

1. Определение структуры модели: Система определяет набор Feature Templates (например, Ф = {f1=Запрос, f2=История, f3=Контекст}).
2. Получение данных: Система получает новое Prediction Event (например, пользователь выполнил поиск и кликнул на результат) и соответствующие признаки.
3. Включение данных: Новое событие и признаки включаются в набор данных, на которых базируется модель.
4. Определение комбинаций (Power Set): Система определяет множество всех подмножеств шаблонов признаков (P(Ф)).
5. Трансформация пространства признаков (Tensor Product): Для каждого элемента в P(Ф) вычисляется тензорное произведение соответствующих векторов признаков. Например, для элемента {f1, f2} вычисляется xf1 ⊗ xf2. Это формирует Transformed Feature Vector Space.
6. Организация слоев (Layers): Трансформированное пространство организуется в иерархические слои. Слой 1 содержит результаты для {f1}, {f2}, {f3}. Слой 2 для {f1, f2}, {f1, f3}, {f2, f3}. Слой 3 для {f1, f2, f3}.
7. Оптимизация и определение весов (Weight Vector): Система определяет вектор весов (w) путем минимизации Loss Function с применением регуляризации и строгого иерархического ограничения: вес любого элемента должен быть не больше веса элементов на предыдущем слое, которые его включают. Это гарантирует, что более сложные взаимодействия штрафуются сильнее.

Какие данные и как использует

Данные на входе

Патент фокусируется на методологии машинного обучения, но приводит конкретные примеры данных, используемых в контексте поиска (особенно видео/документов):

• Запрос (Query): Текст запроса, введенный пользователем.
• История пользователя (User History):
  • Ранее просмотренные видео или документы.
  • Известные предпочтения пользователя.
  • Ранее введенные запросы.
• Контекст (Context): (Взаимодействие пользователя с сайтом в момент запроса)
  • Видео или документ, который пользователь только что просмотрел.
  • Запрос, который пользователь использовал для нахождения последнего просмотренного контента.

Какие метрики используются и как они считаются

Патент описывает математическую основу для обучения модели.

• Loss Function (Функция потерь): Используется для измерения ошибки модели. В патенте приводится пример (Claim 8, 13, 18), похожий на Hinge Loss: $l(w;(x,y)) = max(0, 1-y(w·x))$, где w — вектор весов, x — трансформированное пространство признаков, y — истинная метка (ground truth label).
• Tensor Product (Тензорное произведение): Используется для вычисления взаимодействий (Claim 7, 12, 17): $x_{p_i} = ⊗_{k∈p_i(Φ)} x_{f_k}$xfk​​.
• Optimization Objective (Цель оптимизации): Модель стремится минимизировать сумму регуляризованных потерь по всем элементам трансформированного пространства (Claim 9, 14, 19). Ключевым является использование функции регуляризации (D), которая обеспечивает иерархическое ограничение весов между слоями.

1. Инфраструктурный характер патента: Патент описывает не конкретный алгоритм ранжирования, а математическую технику машинного обучения (ML infrastructure). Он объясняет, *как* Google может обучать свои модели, а не *какие именно* факторы они используют.
2. Приоритет надежности над сложностью: Основная цель изобретения — обеспечить надежную работу прогнозных моделей в условиях разреженности данных (sparsity). Это критически важно для персонализации, так как история пользователя часто бывает неполной.
3. Иерархическое взвешивание и штраф за сложность: Ключевая особенность — ограничение весов. Более простые комбинации признаков (например, только соответствие запросу) должны иметь вес больший или равный, чем более сложные взаимодействия (например, запрос + история + контекст).
4. Доминирование базовой релевантности: Для SEO это означает, что система спроектирована так, чтобы отдавать приоритет фундаментальной релевантности контента запросу. Сигналы персонализации и контекста действуют как модификаторы, но из-за ограничений на веса они вряд ли смогут компенсировать слабую базовую релевантность.
5. Подтверждение использования сигналов: Патент подтверждает, что Query, User History и Context (текущая сессия) являются ключевыми входными данными для моделей прогнозирования релевантности в поиске и рекомендательных системах (например, YouTube).

Best practices (это мы делаем)

Хотя патент носит инфраструктурный характер, он подтверждает важность фундаментальных принципов SEO:

• Фокус на фундаментальной релевантности запросу: Поскольку модель иерархически взвешивает признаки и отдает предпочтение более простым комбинациям (вероятно, соответствию запросу), обеспечение высокой степени релевантности контента основному интенту запроса остается первостепенной задачей. Это самый надежный сигнал.
• Построение Topical Authority: Создание контента, который всесторонне отвечает на запрос, обеспечивает сильные сигналы в базовом слое модели (Query Template), что дает наибольший вес при ранжировании.
• Оптимизация под контекст пользователя (User Journey): Понимание того, как пользователи перемещаются по сайту и какой контент они потребляют последовательно (Context), может помочь в оптимизации внутренней перелинковки и рекомендательных блоков, чтобы соответствовать моделям, которые используют контекст сессии.

Worst practices (это делать не надо)

• Ставка на гиперперсонализацию в ущерб релевантности: Не следует предполагать, что можно манипулировать ранжированием, оптимизируя контент под узкие комбинации истории и контекста, игнорируя общий интент. Модель спроектирована так, чтобы штрафовать сложные взаимодействия (более высокие слои), если они не дают значительного прироста точности по сравнению с базовой релевантностью.
• Игнорирование пользователей без истории: Не стоит создавать контент, который понятен только "посвященным". Описанная техника гарантирует, что система может эффективно ранжировать контент даже для пользователей, о которых ничего не известно (sparsity), полагаясь на базовые слои модели.

Стратегическое значение

Патент демонстрирует уровень сложности инфраструктуры машинного обучения Google, направленной на масштабируемую и надежную персонализацию. Стратегически он подтверждает, что Google придерживается консервативного подхода к взвешиванию сложных сигналов: базовая релевантность является основой, а персонализация и контекст — это улучшения, которые не должны нарушать эту основу. Это подчеркивает важность долгосрочной стратегии построения авторитетности и качества контента.

Практические примеры

Патент не дает прямых примеров для SEO, но описывает сценарий применения в рекомендательных системах (например, YouTube).

Сценарий: Рекомендация следующего видео на YouTube

1. Событие: Пользователь заканчивает смотреть видео о "Пайке микросхем" (Видео А).
2. Входные данные для модели:
   • Context: Видео А ("Пайка микросхем").
   • User History: Пользователь ранее смотрел много видео о ретро-компьютерах.
   • Query (если применимо): Запрос, который привел к Видео А (например, "как паять SMD компоненты").
3. Работа модели: Модель вычисляет взаимодействия: (Context), (History), (Query), (Context ⊗ History), и т.д.
4. Взвешивание: Вес (Context) ≥ Вес (Context ⊗ History).
5. Результат (Надежность): Если история пользователя скудная (новый пользователь), модель все равно сможет дать релевантную рекомендацию, опираясь в основном на Context (Видео А) и Query, так как их веса гарантированно выше, чем у сложных взаимодействий. Если история богатая, модель учтет взаимодействие Context ⊗ History, но только если это значительно улучшит прогноз.