Как Google анализирует личные данные (Email, Календарь, Контакты) для определения скрытого интента и персонализации выдачи

Термины и определения

Annotations (Аннотации)

Контекстные метки, присваиваемые терминам в User Model. Указывают на тип сущности или контекст использования в исходном документе (например, Person, Location, Date, Sender). Критически важны для устранения неоднозначности (disambiguation).

Freshness (Свежесть)

Метрика актуальности n-граммы, основанная на возрасте исходного контента. Используется для определения текущего интента и для очистки модели от устаревших данных при превышении порога (threshold freshness).

Implicit Intent (Неявное намерение)

Истинная цель пользователя, не выраженная явно в запросе. В контексте патента — различие между Personal Intent (поиск в личных данных) и General/Web-based Intent (поиск в вебе).

Implicit Intent Trigger

Компонент системы, который анализирует запрос и User Model для определения неявного намерения. Рассчитывает Intent Score.

Intent Score (Оценка намерения)

Агрегированная оценка, определяющая вероятность того, что запрос имеет персональный интент. Учитывает совпадения, свежесть, окно интереса.

Interest Window (Окно интереса)

Период времени до или после события (например, авиарейса), в течение которого связанный запрос с высокой вероятностью указывает на персональный интент.

N-grams (N-граммы)

Последовательности терминов, извлеченные из User-Generated Content, представляющие потенциальные интересы пользователя.

Query Annotator

Компонент, который модифицирует исходный запрос, добавляя аннотации из User Model для улучшения точности персонального поиска (создает Personal Query).

User-Generated Content (UGC)

Все личные данные пользователя из различных сервисов (computer-implemented services): письма, посты в социальных сетях, контакты, события календаря, документы.

User Model (Модель пользователя)

Специфичная для пользователя структура данных, содержащая аннотированные n-граммы, извлеченные из его UGC.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методе создания и поддержания User Model.

Claim 1 (Независимый пункт): Описывает основной метод создания User Model. Это ядро изобретения.

1. Система получает множество документов, связанных с пользователем и сгенерированных в различных компьютерных сервисах.
2. Определяется информация из этих документов, представляющая потенциальный интерес.
3. Создается специфичная для пользователя User Model, включающая n-grams.
4. Термины в n-граммах ассоциируются с Annotations.
5. Аннотации указывают на контекст использования термина, основанный на информации из исходного документа.

Claim 2, 3, 4 (Зависимые): Детализируют динамическое обновление модели.

• Модель обновляется на основе активности пользователя (событий).
• Обновление включает добавление или удаление n-грамм.
• Ключевой момент: Удаление n-граммы происходит, если пользователь удаляет исходный документ (например, письмо).

Claim 5 (Зависимый): Перечисляет источники данных.

• Включают социальные сети, календарь, электронную почту, чат, управление контактами, обмен документами.

Claim 6 (Зависимый): Описывает механизм устаревания данных.

Система определяет, что Freshness n-граммы превысила пороговое значение (устарела), и удаляет ее из User Model.

Где и как применяется

Изобретение является ключевым элементом инфраструктуры персонализации и затрагивает несколько этапов поиска.

INDEXING – Индексирование (Персональных данных)
Происходит офлайн или в фоновом режиме. User Model Generator обрабатывает User-Generated Content из различных источников (Gmail, Calendar и т.д.). Извлекаются признаки (n-grams) и контекст (Annotations), которые сохраняются в базе данных User Models. Это аналог индексирования и извлечения признаков для личных данных.

QUNDERSTANDING – Понимание Запросов
Основной этап применения в реальном времени. Когда аутентифицированный пользователь вводит запрос:

1. Implicit Intent Trigger использует User Model для анализа запроса и расчета Intent Score (определения, является ли интент личным или общим).
2. Если интент личный, Query Annotator использует контекстные данные из модели для уточнения и переписывания запроса (Disambiguation), создавая Personal Query.

METASEARCH – Метапоиск и Смешивание
На основе решения этапа QUNDERSTANDING система определяет, какие индексы использовать: общий веб-индекс (Search Index) и/или индекс личного контента (User Content Index). Результаты смешиваются (Blending), причем при высокой уверенности в Personal Intent личные результаты получают приоритет.

Входные данные:

• User-Generated Content (письма, контакты, события) (Офлайн).
• Запрос пользователя (Онлайн).
• User Model пользователя (Онлайн).

Выходные данные:

• Определение Implicit Intent и Intent Score.
• Аннотированный запрос (Personal Query).

На что влияет

• Специфические запросы: Наибольшее влияние на неоднозначные запросы, которые пересекаются с личным контекстом пользователя (имена людей, названия компаний, с которыми он взаимодействовал, предстоящие события).
• Типы контента: Влияет на отображение личного контента (письма, документы, события) в основной поисковой выдаче.
• Пользовательские факторы: Влияет только на выдачу аутентифицированных пользователей.

Когда применяется

• Условия работы: Применяется только для аутентифицированных пользователей, у которых построена User Model.
• Триггеры активации (Персональный интент): Активируется, когда Intent Score превышает порог. Это происходит при выполнении условий:
  • Термины запроса совпадают с n-grams в User Model.
  • Совпадающие данные имеют высокую Freshness (недавние).
  • Запрос попадает в Interest Window (близость по времени к событию, например, рейсу).

Пошаговый алгоритм

Процесс А: Построение и поддержка User Model (Фоновый/Непрерывный)

1. Сбор данных: Получение документов (UGC) из различных сервисов (почта, календарь и т.д.).
2. Извлечение информации: Определение потенциально интересной информации (например, сущностей). Фильтрация стоп-слов. Извлечение n-grams.
3. Анализ контекста и Аннотирование: Определение контекста использования терминов на основе источника (например, поле "Отправитель" письма). Присвоение Annotations (Person, Location, Date).
4. Создание/Обновление модели: Сохранение n-грамм и аннотаций в User Model. Присвоение метрики Freshness.
5. Управление актуальностью: Удаление n-грамм, если исходный документ удален пользователем или если Freshness превысила пороговое значение (данные устарели).

Процесс Б: Обработка запроса (Реальное время)

1. Получение запроса: Получение запроса от аутентифицированного пользователя.
2. Доступ к User Model: Загрузка соответствующей модели.
3. Определение неявного интента (Implicit Intent Trigger):
   • Сравнение запроса с n-grams в модели.
   • Расчет Intent Score на основе качества совпадения, Freshness и Interest Window.
4. Принятие решения: Сравнение Intent Score с порогами для классификации интента (Web-based, Personal или смешанный).
5. Аннотирование запроса (Query Annotator): Если определен Personal Intent, термины в запросе аннотируются на основе контекста из User Model для устранения неоднозначности (например, [Max] -> [Max (Person)]). Создается Personal Query.
6. Выполнение поиска: Выполнение поиска по соответствующим индексам (Веб и/или Личный контент).
7. Смешивание результатов: Объединение и ранжирование результатов в зависимости от уверенности в интенте.

Какие данные и как использует

Данные на входе

Система использует широкий спектр персональных данных пользователя для построения User Model.

• Контентные факторы (Личные): Текст электронных писем (тема, тело), описания событий календаря, имена и данные контактов, содержание личных документов, посты в социальных сетях.
• Структурные факторы (Контекст источника): Метаданные и структура документов (например, поля "Отправитель", "Получатель" в письме; "Местоположение", "Время" в календаре). Эти данные критичны для создания Annotations.
• Временные факторы: Дата создания/получения контента (для Freshness). Даты запланированных событий (для Interest Window).
• Поведенческие факторы: История кликов пользователя (упоминается, что предпочтение личных или публичных результатов в прошлом может влиять на определение текущего интента). Активность пользователя в сервисах (создание/удаление контента).

Какие метрики используются и как они считаются

• Freshness Score: Оценка, основанная на возрасте исходного документа. Чем новее контент, тем выше оценка.
• Threshold Freshness (Порог свежести): Пороговое значение времени, после которого n-грамма удаляется из модели. Порог может зависеть от типа данных (например, бронирование ужина устаревает быстрее, чем имя контакта).
• Interest Window (Окно интереса): Предопределенный период времени, зависящий от типа события (например, 24 часа для рейса).
• Intent Score: Агрегированная оценка для определения Implicit Intent. Рассчитывается как взвешенная комбинация:
  • Качества совпадения запроса с n-граммами (точное совпадение оценивается выше синонимичного).
  • Freshness Score совпадающих n-грамм.
  • Попадания запроса в Interest Window.
  • Исторических поведенческих данных.

1. Глубокая персонализация на основе экосистемы: Google активно строит детализированные User Models, агрегируя данные из всех доступных личных сервисов (Email, Calendar, Contacts). Это позволяет понимать контекст пользователя далеко за пределами его истории поиска.
2. Неявный интент как ключевой триггер выдачи: Система спроектирована для распознавания ситуаций, когда пользователь ищет личную информацию без явного указания. Implicit Intent Trigger является центральным компонентом, определяющим логику поиска (личный vs публичный индекс).
3. Контекст и Аннотации (Структурирование личных данных): Модель пользователя — это не набор ключевых слов, а структурированный набор сущностей с контекстными Annotations. Это позволяет системе устранять неоднозначность (например, отличать контакт "Max" от функции "max").
4. Временные факторы критичны (Freshness и Interest Window): Актуальность данных имеет решающее значение. Freshness определяет, хранится ли информация в модели, а Interest Window определяет, актуален ли личный интент в данный момент времени. Данные удаляются при устаревании или удалении источника.
5. Персонализация может переопределять веб-релевантность: Если система с высокой уверенностью определяет Personal Intent, личные результаты могут получить приоритет над стандартными органическими результатами, что стратегически важно для SEO.

Best practices (это мы делаем)

Хотя напрямую оптимизировать публичный сайт под личную модель пользователя нельзя, можно стратегически адаптироваться к этому механизму и оптимизировать каналы, формирующие User Model.

• Использование структурированных данных в коммуникациях (Email Optimization): Это ключевая возможность влияния. Внедряйте микроразметку (например, Schema.org actions в Gmail) для транзакционных писем (заказы, билеты, регистрации, бронирования). Это напрямую поставляет структурированные данные в User Model пользователя, облегчая их обработку (Annotations) и улучшая видимость в персонализированном поиске в нужный момент (Interest Window).
• Оптимизация сущностей (Entity Optimization): Убедитесь, что ваш бренд, продукты и услуги четко определены как сущности в публичном контенте и коммуникациях. Это поможет Google корректно интерпретировать контекст, когда они появляются в личных данных пользователя.
• Присутствие в экосистеме пользователя (Email/CRM): Качественное взаимодействие с пользователем через email или календарь увеличивает вероятность того, что ваш бренд станет частью его User Model с корректными аннотациями.
• Анализ персонализированного интента: При анализе семантики учитывайте, какие запросы могут иметь сильный Personal Intent (путешествия, недавние покупки). Понимайте, что реальная выдача у лояльных клиентов может сильно отличаться от выдачи в режиме инкогнито.

Worst practices (это делать не надо)

• Игнорирование качества прямой коммуникации: Отправка неструктурированных писем или важных данных в виде изображений (например, билетов) без микроразметки. Это затрудняет парсинг и не позволяет Google эффективно добавить информацию в User Model.
• Оценка эффективности только по неперсонализированной выдаче: Делать выводы о релевантности сайта или эффективности SEO-стратегии на основе выдачи, в которой активировались механизмы подмешивания персональных результатов. Это приведет к искаженному восприятию реальности.

Стратегическое значение

Патент подтверждает стратегию Google на переход от универсального поиска к роли глубоко персонализированного ассистента (что также видно в развитии SGE). Конкуренция в SERP происходит не только между публичными сайтами, но и между публичными сайтами и личными данными пользователя. Долгосрочная SEO-стратегия должна учитывать весь путь пользователя, включая пост-конверсионные коммуникации (Email), чтобы интегрироваться в User Model и оставаться видимыми.

Практические примеры

Сценарий 1: Оптимизация E-commerce для User Model

1. Задача: Обеспечить видимость информации о доставке в поиске пользователя.
2. Действие: Внедрить микроразметку Schema.org (Parcel Delivery) в письма о статусе доставки.
3. Механизм (по патенту): User Model Generator обрабатывает письмо, извлекает дату доставки и номер отслеживания (n-grams) и точно определяет их контекст (Annotations) благодаря разметке. Данные добавляются в User Model с высокой Freshness.
4. Результат: Когда пользователь вводит [когда доставка из Магазин X], Implicit Intent Trigger распознает личный интент. Google предоставляет прямой ответ о статусе заказа, приоритизируя его над общими ссылками.

Сценарий 2: Дисамбигуация и Interest Window

1. Контекст: У пользователя есть контакт "Jinan" и запланирована встреча с ним завтра в ресторане "Весна".
2. User Model: Содержит "Jinan" (Annotation: Person) и "Весна" (Annotation: Location/Restaurant), связанные событием (Event) с датой завтра.
3. Запрос: Пользователь ищет [весна].
4. Анализ: Система видит совпадение. Так как событие близко (Interest Window), Intent Score высок. Query Annotator понимает, что ищется ресторан, а не время года (Disambiguation).
5. Результат: В выдаче приоритет отдается информации о ресторане и предстоящей встрече, а не общей информации о весне.