Как Google обучает модели машинного обучения для персонализации поиска при недостатке данных о пользователе

Описание

Какую задачу решает

Патент решает фундаментальную проблему в машинном обучении: снижение точности сложных прогнозных моделей (prediction models), использующих большое количество признаков, когда входные данные являются разреженными (sparse). В контексте поиска и рекомендательных систем это происходит, когда система имеет мало информации о пользователе (скудная история поиска) или текущем контексте сессии. Изобретение направлено на создание модели, которая остается надежной и точной независимо от количества доступных признаков для конкретного события прогнозирования.

Что запатентовано

Запатентован метод адаптации и использования прогнозной модели в средах с богатым набором признаков, но разреженными событиями. Суть изобретения заключается в специфическом способе структурирования и обучения модели с использованием шаблонов признаков (feature templates), вычисления тензорных произведений (tensor products) их комбинаций, организации этих произведений в иерархические слои и применения строгого ограничения на весовые коэффициенты: веса более простых комбинаций признаков должны быть не меньше весов более сложных комбинаций.

Как это работает

Система структурирует модель следующим образом:

• Группировка признаков: Признаки группируются в шаблоны (Feature Templates), например: A=Запрос, B=История пользователя, C=Контекст.
• Вычисление взаимодействий: Система вычисляет все возможные комбинации шаблонов (Power Set) и их взаимодействия через Tensor Product (например, A⊗B, A⊗B⊗C).
• Иерархические слои: Взаимодействия организуются в слои (Layers) от простых (Слой 1: A, B, C) к сложным (Слой 3: A⊗B⊗C).
• Ограниченное взвешивание: Модель обучается с использованием функции потерь (Loss Function) с критическим ограничением: вес более простого слоя должен быть больше или равен весу более сложного слоя, который его включает (например, Вес(A) ≥ Вес(A⊗B) ≥ Вес(A⊗B⊗C)). Это штрафует сложность и обеспечивает надежность модели при отсутствии данных (например, если B отсутствует).

Актуальность для SEO

Высокая. Хотя конкретные методы машинного обучения постоянно развиваются, проблема обработки разреженных данных остается центральной задачей в крупномасштабных системах персонализации и ранжирования, таких как Google Search и YouTube (который упоминается в патенте как пример применения). Описанные методы тензорного произведения и иерархического обучения актуальны для современных архитектур глубокого обучения.

Важность для SEO

Влияние на SEO низкое (3/10). Это инфраструктурный патент, описывающий математический метод обучения моделей машинного обучения, а не конкретный алгоритм ранжирования или новые факторы. Он не дает прямых рекомендаций по оптимизации контента. Однако он предоставляет важное понимание того, как Google может взвешивать сигналы персонализации относительно базовой релевантности запроса, предполагая, что из-за иерархических ограничений базовая релевантность остается доминирующей.

Детальный разбор

Термины и определения

Feature Templates (Шаблоны признаков)

Группы связанных признаков. Например, шаблон для «Истории пользователя» (User History), шаблон для «Запроса» (Query) и шаблон для «Контекста» (Context).

Loss Function (Функция потерь)

Математическая функция, которая измеряет ошибку прогнозной модели. Цель обучения — минимизировать значение этой функции.

Layers (Слои)

Иерархическая организация комбинаций шаблонов признаков. Более низкие слои содержат более простые комбинации (например, только Запрос), а более высокие слои содержат более сложные взаимодействия (например, Запрос × История × Контекст).

Power Set (Множество всех подмножеств)

Набор всех возможных комбинаций Feature Templates. Если шаблоны A, B, C, то Power Set включает {A}, {B}, {C}, {A,B}, {A,C}, {B,C}, {A,B,C}.

Prediction Event (Событие прогнозирования)

Конкретный экземпляр, требующий прогноза, например, пользователь вводит запрос или заканчивает просмотр видео.

Prediction Model (Прогнозная модель)

Статистическая модель, обученная для прогнозирования результатов, например, релевантности контента для пользователя.

Sparsity (Разреженность данных)

Ситуация, когда для конкретного Prediction Event доступно только небольшое количество из всех возможных признаков модели.

Tensor Product (Тензорное произведение, ⊗)

Математическая операция, используемая для вычисления взаимодействий между векторами признаков из разных шаблонов. Результатом является Transformed Feature Vector Space.

Weight Vector (Вектор весов)

Набор числовых значений, определяющих важность различных признаков и их комбинаций в модели.

Ключевые утверждения (Анализ Claims)

Это изобретение относится к области машинного обучения и его применению в поисковых системах.

Claim 1 (Независимый пункт): Описывает метод предоставления релевантных результатов поиска пользователю.

1. Система получает запрос, извлекает историю пользователя и определяет текущий контекст пользователя.
2. Система определяет релевантные результаты поиска на основе запроса, истории и контекста, используя Prediction Model.
3. Система предоставляет результаты пользователю.

Ключевая часть Claim 1 детально описывает, как именно была адаптирована (обучена) эта Prediction Model:

• Определяется Power Set шаблонов признаков (комбинации Запроса, Истории, Контекста).
• Вычисляется Tensor Product для каждой комбинации, создавая Transformed Feature Vector Space.
• Пространство организуется в Layers (Слои) по сложности (где слой x+1 сложнее слоя x).
• Определяется Weight Vector на основе Loss Function с критическим ограничением: вес для слоя x не больше, чем вес для слоя x-1 (т.е. веса уменьшаются или остаются равными по мере увеличения сложности).

Claim 11 (Независимый пункт): Описывает сам метод адаптации Prediction Model в обобщенном виде (не привязываясь строго к поиску).

1. Определение набора Feature Templates.
2. Получение Prediction Event и соответствующих признаков.
3. Адаптация модели путем: включения новых данных, определения Power Set, вычисления Tensor Product, организации в Layers и определения Weight Vector с тем же иерархическим ограничением (вес слоя x ≤ вес слоя x-1).

Ядром изобретения является специфический метод обучения (адаптации) модели машинного обучения. Использование иерархической структуры тензорных произведений и применение ограничения на веса (штраф за сложность) позволяет модели оставаться эффективной даже при недостатке входных данных (разреженности), что критично для систем персонализации.

Где и как применяется

Изобретение описывает технику машинного обучения, которая может применяться на различных этапах поисковой архитектуры, где используются прогнозные модели.

INDEXING – Индексирование и извлечение признаков
На этом этапе извлекаются признаки, которые затем будут использоваться в Feature Templates (например, признаки контента, признаки авторов).

RANKING / RERANKING – Ранжирование и Переранжирование
Основное применение. Prediction Model, обученная с использованием описанной техники, используется для оценки релевантности результатов поиска или рекомендаций. Система получает доступные признаки для текущего Prediction Event (Запрос, История, Контекст) и использует модель для генерации прогноза (например, Ranking Score).

Взаимодействие компонентов:

• Model Adaption Module: Отвечает за обучение (адаптацию) модели. Этот процесс может происходить офлайн или в режиме онлайн-обучения по мере поступления новых данных. Он выполняет сложные вычисления (Tensor Products, оптимизация Weight Vector).
• Model Datastore: Хранит обученную модель и ее веса.
• Processor (в момент запроса): Использует обученную модель из Model Datastore для быстрого выполнения прогнозов во время ранжирования.

Входные данные (для модели):

• Конкретные признаки события (Prediction Event Features), соответствующие определенным шаблонам (Query, User History, Context).

Выходные данные (от модели):

• Прогноз релевантности контента (например, оценка или ранжированный список).

На что влияет

• Конкретные типы контента: В патенте явно упоминается применение для поиска видео (video search website, например, YouTube) и поиска документов (document search website). Техника особенно полезна для рекомендательных систем.
• Специфические запросы: Влияет на запросы, где важна персонализация и контекстуализация. Модель позволяет системе адаптировать выдачу на основе истории пользователя и его текущих действий.
• Персонализация: Метод напрямую влияет на то, как сигналы персонализации (история, контекст) комбинируются с сигналами запроса, особенно в ситуациях, когда данных о пользователе мало.

Когда применяется

• Применение модели (Prediction): Активируется каждый раз, когда система генерирует персонализированные результаты поиска или рекомендации.
• Адаптация модели (Training): Происходит непрерывно (в режиме онлайн-обучения) или периодически, когда система обрабатывает новые данные о взаимодействиях пользователей и обновляет Weight Vector для минимизации Loss Function.

Пошаговый алгоритм

Алгоритм описывает процесс адаптации (обучения) прогнозной модели.

1. Определение структуры модели: Система определяет набор Feature Templates (например, Ф = {f1=Запрос, f2=История, f3=Контекст}).
2. Получение данных: Система получает новое Prediction Event (например, пользователь выполнил поиск и кликнул на результат) и соответствующие признаки.
3. Включение данных: Новое событие и признаки включаются в набор данных, на которых базируется модель.
4. Определение комбинаций (Power Set): Система определяет множество всех подмножеств шаблонов признаков (P(Ф)).
5. Трансформация пространства признаков (Tensor Product): Для каждого элемента в P(Ф) вычисляется тензорное произведение соответствующих векторов признаков. Например, для элемента {f1, f2} вычисляется xf1 ⊗ xf2. Это формирует Transformed Feature Vector Space.
6. Организация слоев (Layers): Трансформированное пространство организуется в иерархические слои. Слой 1 содержит результаты для {f1}, {f2}, {f3}. Слой 2 для {f1, f2}, {f1, f3}, {f2, f3}. Слой 3 для {f1, f2, f3}.
7. Оптимизация и определение весов (Weight Vector): Система определяет вектор весов (w) путем минимизации Loss Function с применением регуляризации и строгого иерархического ограничения: вес любого элемента должен быть не больше веса элементов на предыдущем слое, которые его включают. Это гарантирует, что более сложные взаимодействия штрафуются сильнее.

Какие данные и как использует

Данные на входе

Патент фокусируется на методологии машинного обучения, но приводит конкретные примеры данных, используемых в контексте поиска (особенно видео/документов):

• Запрос (Query): Текст запроса, введенный пользователем.
• История пользователя (User History):
  • Ранее просмотренные видео или документы.
  • Известные предпочтения пользователя.
  • Ранее введенные запросы.
• Контекст (Context): (Взаимодействие пользователя с сайтом в момент запроса)
  • Видео или документ, который пользователь только что просмотрел.
  • Запрос, который пользователь использовал для нахождения последнего просмотренного контента.

Какие метрики используются и как они считаются

Патент описывает математическую основу для обучения модели.

• Loss Function (Функция потерь): Используется для измерения ошибки модели. В патенте приводится пример (Claim 8, 13, 18), похожий на Hinge Loss: $l(w;(x,y)) = max(0, 1-y(w·x))$, где w — вектор весов, x — трансформированное пространство признаков, y — истинная метка (ground truth label).
• Tensor Product (Тензорное произведение): Используется для вычисления взаимодействий (Claim 7, 12, 17): $x_{p_i} = ⊗_{k∈p_i(Φ)} x_{f_k}$xfk​​.
• Optimization Objective (Цель оптимизации): Модель стремится минимизировать сумму регуляризованных потерь по всем элементам трансформированного пространства (Claim 9, 14, 19). Ключевым является использование функции регуляризации (D), которая обеспечивает иерархическое ограничение весов между слоями.

Выводы

1. Инфраструктурный характер патента: Патент описывает не конкретный алгоритм ранжирования, а математическую технику машинного обучения (ML infrastructure). Он объясняет, *как* Google может обучать свои модели, а не *какие именно* факторы они используют.
2. Приоритет надежности над сложностью: Основная цель изобретения — обеспечить надежную работу прогнозных моделей в условиях разреженности данных (sparsity). Это критически важно для персонализации, так как история пользователя часто бывает неполной.
3. Иерархическое взвешивание и штраф за сложность: Ключевая особенность — ограничение весов. Более простые комбинации признаков (например, только соответствие запросу) должны иметь вес больший или равный, чем более сложные взаимодействия (например, запрос + история + контекст).
4. Доминирование базовой релевантности: Для SEO это означает, что система спроектирована так, чтобы отдавать приоритет фундаментальной релевантности контента запросу. Сигналы персонализации и контекста действуют как модификаторы, но из-за ограничений на веса они вряд ли смогут компенсировать слабую базовую релевантность.
5. Подтверждение использования сигналов: Патент подтверждает, что Query, User History и Context (текущая сессия) являются ключевыми входными данными для моделей прогнозирования релевантности в поиске и рекомендательных системах (например, YouTube).

Практика

Best practices (это мы делаем)

Хотя патент носит инфраструктурный характер, он подтверждает важность фундаментальных принципов SEO:

• Фокус на фундаментальной релевантности запросу: Поскольку модель иерархически взвешивает признаки и отдает предпочтение более простым комбинациям (вероятно, соответствию запросу), обеспечение высокой степени релевантности контента основному интенту запроса остается первостепенной задачей. Это самый надежный сигнал.
• Построение Topical Authority: Создание контента, который всесторонне отвечает на запрос, обеспечивает сильные сигналы в базовом слое модели (Query Template), что дает наибольший вес при ранжировании.
• Оптимизация под контекст пользователя (User Journey): Понимание того, как пользователи перемещаются по сайту и какой контент они потребляют последовательно (Context), может помочь в оптимизации внутренней перелинковки и рекомендательных блоков, чтобы соответствовать моделям, которые используют контекст сессии.

Worst practices (это делать не надо)

• Ставка на гиперперсонализацию в ущерб релевантности: Не следует предполагать, что можно манипулировать ранжированием, оптимизируя контент под узкие комбинации истории и контекста, игнорируя общий интент. Модель спроектирована так, чтобы штрафовать сложные взаимодействия (более высокие слои), если они не дают значительного прироста точности по сравнению с базовой релевантностью.
• Игнорирование пользователей без истории: Не стоит создавать контент, который понятен только «посвященным». Описанная техника гарантирует, что система может эффективно ранжировать контент даже для пользователей, о которых ничего не известно (sparsity), полагаясь на базовые слои модели.

Стратегическое значение

Патент демонстрирует уровень сложности инфраструктуры машинного обучения Google, направленной на масштабируемую и надежную персонализацию. Стратегически он подтверждает, что Google придерживается консервативного подхода к взвешиванию сложных сигналов: базовая релевантность является основой, а персонализация и контекст — это улучшения, которые не должны нарушать эту основу. Это подчеркивает важность долгосрочной стратегии построения авторитетности и качества контента.

Практические примеры

Патент не дает прямых примеров для SEO, но описывает сценарий применения в рекомендательных системах (например, YouTube).

Сценарий: Рекомендация следующего видео на YouTube

1. Событие: Пользователь заканчивает смотреть видео о «Пайке микросхем» (Видео А).
2. Входные данные для модели:
   • Context: Видео А («Пайка микросхем»).
   • User History: Пользователь ранее смотрел много видео о ретро-компьютерах.
   • Query (если применимо): Запрос, который привел к Видео А (например, «как паять SMD компоненты»).
3. Работа модели: Модель вычисляет взаимодействия: (Context), (History), (Query), (Context ⊗ History), и т.д.
4. Взвешивание: Вес (Context) ≥ Вес (Context ⊗ History).
5. Результат (Надежность): Если история пользователя скудная (новый пользователь), модель все равно сможет дать релевантную рекомендацию, опираясь в основном на Context (Видео А) и Query, так как их веса гарантированно выше, чем у сложных взаимодействий. Если история богатая, модель учтет взаимодействие Context ⊗ History, но только если это значительно улучшит прогноз.

Вопросы и ответы