Как Google использует нейронные сети (Pairwise Learning-to-Rank) для предсказания, какой документ пользователь откроет следующим в Google Drive или Workspace

Термины и определения

Client-suggested document (Документ, предложенный клиентом)

Документ, выбранный локально на устройстве пользователя (например, самый последний открытый файл) для немедленного отображения в интерфейсе, пока ожидается ответ от сервера. Используется для снижения видимой задержки (latency).

Feature Vector (Вектор признаков)

Численное представление документа и его контекста. Включает множество признаков, описывающих историю взаимодействия пользователя (и других лиц) с этим документом, временные метки, частоту доступа и т.д.

Motive / Potential Motive (Мотив / Потенциальный мотив)

Объяснение, предоставляемое пользователю, почему система рекомендует данный документ (например, «Редактировали вчера» или «Открывали на прошлой неделе в это время»).

Pairwise Learning-to-Rank (Парное обучение ранжированию)

Подход в машинном обучении, где модель обучается определять, какой из двух документов более релевантен (или, как в данном патенте, более вероятно будет открыт).

Siamese Network (Сиамская нейронная сеть)

Архитектура нейронной сети (подразумевается в патенте, см. FIG. 7), состоящая из двух или более идентичных подсетей с общими весами. Используется для сравнения двух разных входных векторов.

Specific Context (Специфический контекст)

Состояние системы и пользователя в момент совершения действия (открытия документа). Включает время, день недели, недавно открытые документы и другие ситуативные факторы.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методе обучения нейронной сети для задачи рекомендации документов.

Claim 1 (Независимый пункт): Описывает метод обучения нейронной сети для определения оценок документов.

1. Определение первой оценки (Score 1) для первого вектора (Vector 1), представляющего документ, который БЫЛ выбран пользователем в специфическом контексте. Вектор включает индикацию того, редактировал ли пользователь документ.
2. Процесс включает подачу Vector 1 через специфическую архитектуру NN: Входной эндпоинт (n измерений) -> Скрытый слой (m измерений) -> Агрегирующий слой (1 измерение).
3. Определение второй оценки (Score 2) для второго вектора (Vector 2), представляющего документ, который НЕ был выбран в том же контексте.
4. Процесс использует ту же архитектуру для Vector 2.
5. Определение значения ошибки (Error Value) на основе функции, включающей обе оценки (Score 1 и Score 2).
6. Модификация нейронной сети на основе значения ошибки.

Claim 6 (Зависимый от 1): Определяет функцию ошибки как $\delta=1/(1+exp(S_{W}-S_{L}))$, где $S_{W}$ — оценка «победителя» (открытого документа), а $S_{L}$ — оценка «проигравшего» (не открытого документа). Это вариант функции логистических потерь, используемый для оптимизации ранжирования (похож на RankNet).

Claim 17 (Независимый пункт): Аналогичен Claim 1, но добавляет ключевую деталь к шагу определения ошибки: функция сравнивает векторы дважды, меняя их порядок во втором сравнении. Это технический прием для устранения «сбоев комплементарности» (complementarity failures), когда результат сравнения A>B не гарантирует, что при обратном сравнении будет B

Где и как применяется

Изобретение применяется в системах рекомендации документов (например, Google Drive, Workspace) и не относится к архитектуре веб-поиска Google. Однако, если адаптировать этапы поиска к системе рекомендаций:

INDEXING (Индексирование и извлечение признаков)
На этом этапе происходит сбор и обработка данных о взаимодействии пользователей с документами. Система логирует все события (открытия, редактирования, комментарии, шеринг) и контекст этих событий (время). Из этих логов офлайн генерируются Feature Vectors для каждого документа в различных контекстах.

RANKING (Ранжирование)
Это основной этап применения патента в режиме реального времени. Когда поступает запрос на рекомендацию, система использует обученную нейронную сеть для оценки (скоринга) документов пользователя. Нейронная сеть выступает в роли функции ранжирования, определяя вероятность открытия каждого документа в текущем контексте.

RERANKING / Presentation (Переранжирование и Представление)
На этом этапе происходит несколько действий:

1. Сортировка: Документы сортируются по полученным оценкам.
2. Выбор мотивов: Система выбирает Motive для каждого из Топ-N документов. Выбор мотива может быть основан на эвристиках или оптимизирован для максимизации вовлеченности.
3. Смешивание (Blending): Результаты от сервера объединяются с Client-suggested document (если он был сгенерирован локально для снижения задержки).

Входные данные:

• Запрос от клиентского устройства.
• Текущий контекст пользователя (время, день недели).
• Feature Vectors документов, связанных с аккаунтом пользователя.

Выходные данные:

• Отсортированный список рекомендуемых документов.
• Motive для каждого рекомендованного документа.

На что влияет

• Типы контента и ниши: Влияет на все типы документов, хранящихся в системе (текстовые файлы, таблицы, презентации, изображения).
• Специфические запросы: Применяется не к поисковым запросам, а к ситуации доступа к хранилищу (например, открытие главной страницы Google Drive).

Когда применяется

• Триггеры активации: Запуск пользователем приложения для доступа к документам или переход на главную страницу сервиса.
• Условия работы: Наличие достаточного количества синхронизированных документов и истории взаимодействия для генерации надежных предсказаний.

Пошаговый алгоритм

Процесс А: Обучение модели (Офлайн)

1. Сбор данных: Агрегация исторических данных о доступе к документам (Historical input data).
2. Генерация примеров: Извлечение событий и определение контекста. Генерация Feature Vectors для документов.
3. Маркировка: Присвоение меток документам: 1 (открыт в данном контексте) или 0 (не открыт).
4. Формирование пар: Создание пар векторов (Vector 1, Vector 2) в одном контексте, где один документ был открыт (Winner, W), а другой нет (Loser, L).
5. Итеративное обучение (Training Loop):
   1. Подача Vector W на первую башню нейронной сети (Input 1 -> Hidden 1 -> Aggregation 1) для получения оценки $S_{W}$.
   2. Подача Vector L на вторую башню нейронной сети (Input 2 -> Hidden 2 -> Aggregation 2) для получения оценки $S_{L}$. (Веса между башнями общие).
   3. Вычисление ошибки: $\delta=1/(1+exp(S_{W}-S_{L}))$.
   4. Модификация сети: Обратное распространение ошибки (Backpropagation). Ошибка +δ идет через башню W, ошибка -δ идет через башню L.
6. Валидация: Проверка модели на тестовых данных (Test Examples).

Процесс Б: Генерация рекомендаций (Онлайн)

1. Запрос: Клиент отправляет запрос на сервер.
2. Локальное предложение (Опционально): Клиент немедленно определяет Client-suggested document (например, самый последний файл) и показывает его.
3. Генерация признаков: Сервер генерирует Feature Vectors для документов пользователя с учетом текущего контекста.
4. Скоринг: Сервер использует обученную модель (только одну башню сети) для расчета оценки вероятности открытия для каждого вектора.
5. Ранжирование: Документы сортируются по оценкам.
6. Выбор мотивов: Для Топ-N документов выбирается наилучший Motive из списка приоритетов.
7. Ответ: Сервер отправляет список документов и мотивов клиенту.
8. Отображение: Клиент обновляет интерфейс, показывая полученные рекомендации и мотивы.

Какие данные и как использует

Данные на входе

Система использует детальные данные о взаимодействии пользователя с его документами для формирования Feature Vectors. Патент не использует традиционные SEO-факторы (ссылки, контент веб-страниц).

• Поведенческие факторы (User Interaction):
  • Открытие/доступ к документу.
  • Редактирование документа пользователем (явно указано в Claim 1).
  • Комментирование документа пользователем.
  • Создание или загрузка (upload) документа пользователем.
  • Частота доступа к документу.
• Временные факторы (Temporal Context):
  • Время последнего доступа/редактирования (Recency).
  • Временные паттерны: доступ в определенное время дня, день недели, день месяца.
  • Периодичность доступа (например, каждую неделю в одно и то же время).
• Контекстуальные факторы (Context/Social):
  • Действия других пользователей: шеринг документа с пользователем, упоминания, редактирование или комментирование другими.
  • Наличие неразрешенных (outstanding) комментариев.
  • Связь документа с предстоящими событиями в календаре пользователя.
  • Связь документа с другими недавно использованными документами.
• Общая активность пользователя:
  • Количество созданных документов/папок за период.
  • Количество соавторов (collaborators).

Какие метрики используются и как они считаются

• Labels (Метки): Бинарные значения (1 или 0), указывающие, был ли документ открыт пользователем в Specific Context. Используются для обучения.
• Ranking Score (Оценка ранжирования): Числовое значение (например, от 0 до 1), генерируемое нейронной сетью, указывающее на вероятность того, что пользователь откроет документ следующим.
• Error Value (Значение ошибки $\delta$): Рассчитывается во время обучения на основе разницы оценок между «победителем» и «проигравшим» в паре. Формула (Claim 6): $\delta=1/(1+exp(S_{W}-S_{L}))$.
• Алгоритмы машинного обучения: Используется нейронная сеть с архитектурой, напоминающей Siamese Network, обученная с помощью Pairwise Learning-to-Rank. Упоминаются слои ReLU (Rectified Linear Unit) и линейные слои.

1. Патент не относится к веб-поиску: Описанные механизмы предназначены для систем управления документами (Google Drive/Workspace) и не применимы к ранжированию сайтов в интернете. Практических выводов для SEO, направленных на улучшение позиций сайта в поиске, из этого патента сделать нельзя.
2. Продвинутые методы ML для ранжирования: Патент демонстрирует использование сложных архитектур машинного обучения (Siamese Networks) и методологии Pairwise Learning-to-Rank для задач ранжирования. Это подтверждает, что Google применяет LTR для определения порядка элементов, основываясь на предсказании поведения пользователя.
3. Детальное профилирование поведения: Для предсказания намерений Google использует очень гранулярные данные о поведении пользователя. Feature Vectors включают не только факт взаимодействия, но и его тип (редактирование, комментарий), точное время, частоту и социальный контекст (действия соавторов).
4. Важность временных паттернов: Система активно использует временные сигналы (время дня, день недели, периодичность) для предсказания релевантности документа в конкретный момент.
5. «Мотивы» как фактор вовлечения: Google не просто ранжирует контент, но и предоставляет объяснения (Motives) своим рекомендациям. Это важно для повышения доверия к системе и увеличения вероятности клика (engagement).

Best practices (это мы делаем)

Патент описывает внутренние процессы системы рекомендаций документов и не дает прямых рекомендаций для SEO-специалистов, работающих с веб-поиском. Практических действий для улучшения ранжирования сайтов на основе этого патента нет.

Worst practices (это делать не надо)

Не применимо. Патент не описывает механизмы борьбы со спамом или манипуляциями в веб-поиске.

Стратегическое значение

Стратегическое значение патента для SEO минимально. Он важен для понимания того, как работают рекомендательные системы внутри экосистемы Google (Drive, Workspace), и дает представление об уровне сложности моделей машинного обучения, которые Google использует для задач ранжирования и предсказания поведения. Он подтверждает общий тренд на персонализацию и использование AI для интерпретации сложных поведенческих сигналов.

Практические примеры

Практических примеров для SEO нет, так как патент не относится к веб-поиску. Ниже приведен пример работы системы в контексте Google Drive.

Сценарий: Рекомендация отчета в Google Drive

1. Контекст: Пользователь открывает Google Drive в понедельник в 9:00 утра.
2. Анализ (Сервер): Нейронная сеть анализирует Feature Vectors документов пользователя. Вектор документа «Еженедельный отчет» имеет высокие значения в признаках, связанных с понедельником утром, недавним редактированием соавторами и наличием новых комментариев.
3. Скоринг: Модель присваивает «Еженедельному отчету» наивысшую оценку вероятности открытия.
4. Выбор мотива: Система проверяет список мотивов. Условие «Новые комментарии» выполняется и имеет высокий приоритет.
5. Результат: Пользователь видит «Еженедельный отчет» на первом месте в блоке рекомендаций с подписью (Motive) «Новые комментарии».