Как Google использует машинное обучение для прогнозирования желаемого типа контента (Web, Images, News) и формирования смешанной выдачи (Universal Search)

Термины и определения

Feature (Признак)

Извлеченная характеристика экземпляра данных (u, q, r), используемая моделью машинного обучения. Примеры включают страну пользователя, язык запроса, время суток или агрегированные статистические данные (например, общий CTR для репозитория).

Instance (Экземпляр)

Единица данных, используемая для обучения модели. В контексте патента это тройка (u, q, r).

Label (Метка)

Целевая переменная для обучения модели. Указывает, желал ли пользователь u информацию из репозитория r при запросе q. Обычно определяется фактом выбора (клика) пользователем результата из этого репозитория.

Log Data (Лог данные)

Исторические данные о прошлых поисковых сессиях, используемые для обучения модели.

Model (Модель)

Статистическая или ML модель, обученная на исторических данных для прогнозирования вероятности того, что пользователь желает информацию из определенного репозитория.

Repository (Репозиторий)

Хранилище определенного типа данных или вертикаль поиска. Примеры: Web Page Repository, Image Repository, Product Repository, News Repository.

Score (Оценка)

Выходное значение модели. Может быть вероятностью (probability) или значением уверенности (confidence value), отражающим вероятность того, что пользователь желает информацию из данного репозитория.

Triple (u, q, r) (Тройка (u, q, r))

Представление данных журнала поиска. 'u' — информация о пользователе, 'q' — информация о запросе, 'r' — информация о репозитории.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает комплексный процесс, включающий обучение модели и ее применение в поиске (вариант с поиском по всем репозиториям).

1. Хранение данных журнала (log data), связанных с прошлыми поисками.
2. Генерация правил для модели на основе этих данных. Модель принимает на вход информацию о конкретном запросе и пользователе и выдает Score, отражающий вероятность того, что конкретный репозиторий содержит желаемую информацию.
3. Получение нового поискового запроса от пользователя.
4. Выполнение поиска по нескольким репозиториям для идентификации наборов результатов.
5. Определение Score для каждого репозитория путем ввода информации о запросе и пользователе в модель.
6. Выбор одного из репозиториев на основе рассчитанного Score.
7. Генерация и предоставление документа с результатами поиска на основе набора результатов из выбранного репозитория.

Claim 4 (Зависимый): Детализирует процесс обучения модели, фокусируясь на маркировке данных.

Генерация правил модели включает определение метки (Label) для каждой тройки данных (u, q, r). Метка содержит информацию о том, содержит ли репозиторий r информацию, которая удовлетворяет запросу q, предоставленному пользователем u (т.е. был ли результат желаемым/кликнутым).

Claim 7, 8, 9 (Зависимые): Описывают логику смешивания (Blending) и отображения результатов из нескольких репозиториев.

Генерация документа с результатами поиска включает выбор наборов результатов из двух или более репозиториев на основе их Scores. Эти наборы результатов располагаются в документе на основе их Scores. Результаты из репозитория с более высоким Score размещаются на более заметном месте (more prominent location), чем результаты из репозитория с более низким Score.

Claim 11 (Зависимый): Описывает оптимизацию эффективности поиска (вариант с выборочным поиском).

Система выбирает группу репозиториев для поиска на основе их Scores (рассчитанных до поиска). Поиск выполняется только по этой выбранной группе репозиториев, а не по всем доступным.

Где и как применяется

Изобретение является ключевым компонентом для реализации Универсального поиска и затрагивает несколько этапов.

QUNDERSTANDING – Понимание Запросов
На этом этапе происходит офлайн-обучение модели на основе анализа логов. В режиме реального времени запрос и контекст пользователя обрабатываются для извлечения признаков (Features), которые подаются на вход модели. Это форма классификации интента, сфокусированная на определении желаемого типа контента.

RANKING – Ранжирование / METASEARCH – Метапоиск и Смешивание
Основное применение патента. Система должна решить, какие вертикали (репозитории) активировать (Triggering) и как их объединить (Blending). Патент описывает два основных варианта реализации:

1. Оптимизация отображения (Path A): Поиск выполняется во всех репозиториях. Модель используется *после* поиска для определения того, какие результаты отображать и как их смешивать.
2. Оптимизация поиска (Path B): Модель используется *до* выполнения поиска для прогнозирования Scores. Поиск выполняется только в репозиториях с высокими оценками. Это экономит ресурсы.

Патент также упоминает гибридный подход: использование «приблизительной основной модели» (approximate main model) с дешевыми признаками для выбора репозиториев для поиска (Path B), а затем использование «полной основной модели» (full main model) с дорогими признаками (включая анализ полученных документов) для финального смешивания.

Входные данные:

• Информация о пользователе (u).
• Информация о запросе (q).
• Характеристики репозиториев (r).
• (Опционально для полной модели) Документы, полученные в результате поиска.

Выходные данные:

• Scores для каждого репозитория, прогнозирующие желание пользователя.
• Решение о том, какие репозитории искать.
• Решение о том, как смешивать и отображать результаты (макет SERP).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы с четким интентом по типу контента. Например, визуально-ориентированные запросы (активация Image Repository), запросы, связанные с покупками (Product Repository), или запросы о текущих событиях (News Repository).
• Все типы контента: Влияет на видимость стандартных веб-страниц, так как они могут быть вытеснены блоками из специализированных репозиториев, если модель предсказывает более высокую вероятность желания специализированного контента.

Когда применяется

• Триггеры активации: Алгоритм применяется для определения оптимальной композиции SERP для большинства запросов. Активация поиска в конкретной вертикали и отображение ее результатов происходят, когда Score для этой вертикали превышает определенный порог или является наивысшим среди всех репозиториев.
• Особые случаи (Exploration Policy): Патент упоминает «политику исследования», при которой система может намеренно показывать результаты из субоптимального репозитория небольшому проценту пользователей для сбора дополнительных данных для обучения модели.

Пошаговый алгоритм

Процесс А: Офлайн-обучение модели

1. Сбор данных: Накопление журналов поиска (Log Data).
2. Представление данных: Представление данных журнала как наборов экземпляров (Instances) в виде троек (u, q, r).
3. Определение меток: Для каждого экземпляра определяется метка (Label) — желал ли пользователь u информацию из репозитория r при запросе q (например, был ли клик).
4. Определение признаков: Для каждого экземпляра извлекаются признаки (Features) — контекстуальные, пользовательские, запрос-зависимые и агрегированные.
5. Генерация модели: Обучение модели (например, логистической регрессии) на основе экземпляров, меток и признаков для прогнозирования P(desire | u, q, show_r).

Процесс Б: Онлайн-применение (Вариант 1: Поиск по всем репозиториям)

1. Получение запроса и информации о пользователе.
2. Выполнение поиска: Поиск выполняется параллельно по всем (или многим) репозиториям.
3. Расчет оценок: Информация о пользователе и запросе (и, возможно, о полученных результатах для полной модели) подается на вход модели. Рассчитывается Score для каждого репозитория.
4. Предоставление результатов: Система решает, какие результаты включить в выдачу и как их расположить (Blending), основываясь на Scores. Например, показывать только репозиторий с наивысшей оценкой или смешивать несколько.

Процесс В: Онлайн-применение (Вариант 2: Выборочный поиск)

1. Получение запроса и информации о пользователе.
2. Идентификация репозиториев для поиска: Информация о пользователе и запросе подается на вход модели (возможно, приблизительной). Модель рассчитывает Score для каждого репозитория. Выбираются репозитории для поиска (например, Топ-2 или те, что выше порога).
3. Выполнение поиска: Поиск выполняется только в идентифицированных репозиториях.
4. Предоставление результатов: Полученные результаты предоставляются пользователю. Макет отображения также может зависеть от рассчитанных Scores (например, порядок блоков).

Какие данные и как использует

Данные на входе

Патент детализирует признаки (Features), используемые для обучения модели, которые основаны на тройке (u, q, r).

Пользовательские факторы (u):

• Страна пользователя.
• Язык пользователя или язык страны пользователя.
• Идентификатор cookie.
• IP-адрес (используется для геолокации).
• Предыдущие запросы пользователя (упомянуты в описании Log Data).

Временные факторы (u/q):

• Время суток, когда пользователь отправил запрос.
• День недели.

Запрос-зависимые факторы (q):

• Язык запроса.
• Каждый термин в запросе q.

Контентные факторы (r) (Опционально):

Эти признаки требуют выполнения поиска и являются вычислительно дорогими (computationally expensive). Используются в «полной модели».

• Документы из репозитория r, которые были показаны пользователю u.
• Каждый из терминов в этих документах.
• Каждый из терминов в заголовках этих документов.

Поведенческие факторы (Агрегированные статистики):

Эти данные критически важны для обучения и используются как признаки.

• Доля запросов, которые были отправлены в интерфейс репозитория r.
• Доля запросов, содержащих термин из запроса q, которые были отправлены в интерфейс репозитория r.
• Общий уровень кликов (Click Rate / CTR) для запросов, отправленных в интерфейс репозитория r.
• CTR для запросов в интерфейс репозитория r для конкретного пользователя u.
• CTR для запросов в интерфейс репозитория r для пользователей из той же страны, что и u.
• CTR для конкретного запроса q, отправленного в интерфейс репозитория r.

Какие метрики используются и как они считаются

• Метка (Label): Бинарная переменная, указывающая на желание пользователя. Рассчитывается на основе того, выбрал ли (кликнул) пользователь документ из данного репозитория.
• Оценка (Score): Выход модели. Вероятность того, что пользователь u желает информацию из репозитория r при запросе q: