Как Google использует персональные данные пользователя (календарь, фото, историю) для понимания контекстных запросов о местах

Термины и определения

Semantic Query (Семантический запрос)

Запрос, введенный пользователем, часто в форме естественного языка, который опирается на контекст, а не только на ключевые слова. В данном патенте это запросы о местах, ссылающиеся на личный опыт.

User Specific Context (Специфический для пользователя контекст)

Информация, уникальная для пользователя, часто связанная с его прошлыми или запланированными действиями, отношениями или событиями (например, «моя годовщина», «день рождения Тома»).

Semantic Identifiers (Семантические идентификаторы)

Ключевые слова или фразы, извлеченные из запроса, которые идентифицируют параметры поиска, такие как место, местоположение, время, ценность, человек, вид деятельности или тип события.

Priority Order of Data Types (Приоритетный порядок типов данных)

Определяемый системой порядок, в котором она обращается к различным источникам данных пользователя (например, Календарь, Фото, Сообщения). Этот порядок взвешивается на основе предпочтений и привычек пользователя.

Level of Confidence / Confidence Score (Уровень уверенности / Оценка уверенности)

Метрика, указывающая на вероятность того, что идентифицированная информация или результирующее местоположение корректно соответствуют запросу пользователя.

Recommendation Score (Оценка рекомендации)

Метрика, основанная на Level of Confidence, используемая для ранжирования и представления результатов пользователю.

Semantic Query Engine (Механизм обработки семантических запросов)

Компонент системы (часто в контроллере устройства), который получает, анализирует и обрабатывает семантические запросы.

Place Embeddings (Векторные представления мест)

Численные представления мест, сгенерированные нейронными сетями, которые фиксируют семантические характеристики места. Используются для оценки сходства между запросом и местом.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации мест на основе контекста.

1. Система получает семантический запрос от пользователя.
2. Идентифицируются semantic identifiers, относящиеся к user specific context (прошлые/планируемые действия; идентификация места, времени, человека, события и т.д.).
3. Определяется priority order of data types. Каждый тип данных взвешивается на основе предпочтений и привычек пользователя.
4. Система получает доступ к данным пользователя из двух или более источников в соответствии с этим приоритетным порядком.
5. В доступных данных идентифицируется информация, коррелирующая с user specific context на основе semantic identifiers.
6. Определяется level of confidence для одного или нескольких результатов запроса, указывающий на корреляцию между идентификаторами и найденной информацией.
7. Результаты предоставляются на основе этого level of confidence.

Claim 2, 3 (Зависимые): Уточняют механизм оценки.

Система генерирует recommendation score на основе level of confidence и предоставляет этот счет вместе с результатами.

Claim 4 (Зависимый): Перечисляет типы используемых данных.

Идентифицируемая информация включает (но не ограничивается): текстовые сообщения, телефонные звонки, электронные письма, фотографии, видео, события календаря, социальные сети, контактную информацию, имена друзей, локальные паттерны трафика, посещенные места или отмеченные местоположения на карте.

Claim 9, 10 (Зависимые): Описывают использование машинного обучения.

Определение результатов включает обработку идентифицированной информации с использованием нейронных сетей. Это может включать генерацию place embeddings или векторных представлений коррелированных данных и запроса (query embedding) с помощью нейронной сети.

Claim 11 (Зависимый): Описывает обучение на основе поведения.

Система обнаруживает паттерн пользователя (user pattern) на основе доступных данных и сохраняет его.

Claim 12, 13, 14 (Зависимые): Детализируют процесс корреляции.

Идентификация информации включает корреляцию посещенных мест с semantic identifiers. Далее, информация о событии коррелируется с посещенными местами и идентификаторами. Наконец, временные метки (timestamps) коррелируются с событием, посещенными местами и идентификаторами.

Где и как применяется

Изобретение в первую очередь относится к этапам понимания запроса и генерации персонализированных результатов, используя данные, хранящиеся локально на устройстве пользователя или в его облачном профиле.

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Система должна интерпретировать запрос на естественном языке, который по своей сути является контекстуальным и персонализированным. Semantic Query Engine анализирует запрос для извлечения semantic identifiers.

RANKING / RERANKING (Персонализированное)
Вместо традиционного ранжирования веб-документов, эта система ранжирует потенциальные места (сущности) на основе персональных данных пользователя. Она использует level of confidence и recommendation score, вычисленные путем корреляции запроса с данными из календаря, фотографий и т.д. Система также применяет машинное обучение (например, place embeddings) для оценки релевантности.

Входные данные:

• Семантический запрос пользователя (текст или аудио).
• Персональные данные пользователя (с разрешения): Календарь, Фото (включая метаданные и результаты распознавания изображений), Сообщения, Email, Контакты, История местоположений/Навигации, Данные социальных сетей.
• Данные о привычках пользователя (user patterns), используемые для определения priority order of data types.

Выходные данные:

• Один или несколько идентифицированных мест (результатов запроса).
• Recommendation scores для каждого результата.
• Сопутствующая информация (например, фотография с события, данные из календаря).

На что влияет

• Специфические запросы: Влияет на информационные и навигационные запросы, сформулированные контекстуально (например, «отвези меня в тот ресторан...», «где находится магазин, в котором я был вчера?»).
• Конкретные типы контента: Влияет на ранжирование локальных сущностей (рестораны, магазины, достопримечательности) в персонализированной выдаче, особенно в интерфейсах Карт и Ассистента.
• Пользовательские устройства: Наиболее применимо на мобильных устройствах и устройствах с ассистентами, где хранится большой объем персональных контекстных данных.

Когда применяется

• Триггеры активации: Активируется, когда пользователь вводит запрос на естественном языке, содержащий user specific context, указывающий на то, что ответ может находиться в его личных данных, а не в публичном веб-индексе.
• Условия работы: Требуется предварительное разрешение пользователя на доступ к его персональным данным (Календарь, Фото и т.д.). Эффективность зависит от наличия и качества этих данных.

Пошаговый алгоритм

1. Получение запроса: Система получает семантический запрос на естественном языке.
2. Извлечение идентификаторов: Natural Language Processing Module и Context Analysis Module обрабатывают запрос для извлечения semantic identifiers (например, время, люди, тип события).
3. Определение приоритетов источников данных: Система определяет priority order of data types, основываясь на изученных паттернах и привычках пользователя (например, пользователь чаще использует Календарь, чем Сообщения для планирования).
4. Доступ к данным: Система последовательно обращается к источникам данных (например, Calendar Module, Photo Module, Message Module) в установленном порядке приоритета.
5. Идентификация и Корреляция: Система ищет информацию в данных, соответствующую извлеченным идентификаторам. Происходит многоуровневая корреляция:
   • Корреляция мест с идентификаторами.
   • Корреляция событий с местами и идентификаторами.
   • Корреляция временных меток с событиями, местами и идентификаторами.
6. Вычисление уверенности (Confidence Calculation): Для найденных кандидатов вычисляется level of confidence. Это может включать использование нейронных сетей для сравнения query embedding и place embeddings.
7. Генерация оценок рекомендаций: На основе уровня уверенности генерируются Recommendation Scores.
8. Предоставление результатов: Результаты ранжируются по оценкам и предоставляются пользователю (например, на карте или в виде списка), часто с указанием контекста, который привел к этому результату.
9. Обратная связь и обучение (Неявно): Выбор пользователя может быть использован для обновления user patterns и корректировки будущих приоритетов источников данных.

Какие данные и как использует

Данные на входе

Система в первую очередь использует персональные данные пользователя (при наличии разрешения).

• Контентные факторы (в персональных данных): Текст событий календаря, заголовки писем, текст сообщений, теги к фотографиям.
• Мультимедиа факторы: Фотографии и видео. Используется распознавание изображений (image recognition technique) для идентификации сцен, объектов, текста (например, вывесок) и людей (распознавание лиц).
• Временные факторы: Временные метки (timestamps) фотографий, даты событий в календаре, время отправки сообщений/писем.
• Географические факторы: Геотеги фотографий, адреса, указанные в событиях календаря или письмах, история местоположений (navigation history), отмеченные места на карте.
• Пользовательские факторы: Изученные привычки и предпочтения пользователя (user habits, preferences), используемые для взвешивания надежности различных источников данных. Контактная информация и имена друзей.

Какие метрики используются и как они считаются

• Text Extraction Confidence (Уверенность в извлечении текста): Метрика, оценивающая, насколько корректно semantic identifiers были извлечены из запроса на естественном языке.
• Place Correlation Confidence (Уверенность в корреляции места): Метрика, оценивающая, насколько тесно извлеченный контекст соответствует конкретному посещенному месту.
• Level of Confidence (Уровень уверенности): Агрегированная метрика, определяющая общую вероятность того, что результат соответствует запросу.
• Recommendation Score (Оценка рекомендации): Финальная оценка, используемая для ранжирования результатов, основанная на Level of Confidence.
• Метрики сходства (Similarity Metrics): Патент упоминает использование нейронных сетей и векторных представлений (embeddings). Для оценки сходства между запросом и местом может использоваться дистанционная функция, такая как косинусное сходство (cosine similarity) между query embedding и place embedding.
• Веса источников данных (Data Source Weights): Весовые коэффициенты, применяемые к различным типам данных (Календарь, Фото и т.д.) на основе анализа привычек пользователя.

1. Глубокая персонализация локального поиска: Патент описывает механизм, который ставит личный контекст пользователя во главу угла при интерпретации запросов о местах. Это не просто учет местоположения, а анализ личной истории событий, связей и предпочтений.
2. Использование приватных данных как индекса: Система рассматривает Календарь, Фото, Сообщения и Email пользователя как персональный индекс для поиска ответов на контекстные запросы. Это требует явного разрешения пользователя.
3. Адаптивная приоритизация источников: Ключевой особенностью является не просто доступ ко всем данным, а определение priority order of data types. Система учится, какие источники данных наиболее релевантны и надежны для конкретного пользователя.
4. Многофакторная корреляция: Для точной идентификации места система проводит сложную корреляцию между временем, событием, людьми (контакты, распознанные лица) и местоположением (геотеги, адреса в тексте).
5. Применение ML и Embeddings: Патент подтверждает использование нейронных сетей для понимания семантики мест и запросов через place embeddings и query embeddings, что позволяет оценивать релевантность на концептуальном уровне.
6. Значение для SEO в эру сущностей: Для SEO это подчеркивает важность того, чтобы сущность (место/бизнес) была четко и последовательно представлена во всех точках взаимодействия с пользователем, включая те, которые становятся частью его приватных данных.

Best practices (это мы делаем)

• Оптимизация транзакционных коммуникаций (Email/SMS): Убедитесь, что электронные письма с подтверждением бронирования, билетами или заказами содержат полную и точную информацию о месте (название, полный адрес, дата, время). Используйте структурированные данные (Schema.org) в электронных письмах, чтобы помочь системам (таким как Gmail) автоматически извлекать эту информацию и добавлять ее в Календарь пользователя.
• Стимулирование создания пользовательского контента (UGC) с гео-контекстом: Поощряйте пользователей делать фотографии и отмечать (tag) местоположение вашего бизнеса. Поскольку система анализирует метаданные фотографий (геотеги, время) и использует распознавание изображений, наличие вашего бизнеса в фотоальбоме пользователя увеличивает шансы на его идентификацию по контекстным запросам.
• Четкое позиционирование событий: При продвижении мероприятий четко связывайте название мероприятия, его тематику и место проведения. Это увеличивает вероятность того, что в календаре пользователя будет создана четкая ассоциация, которую система сможет использовать позже (например, запрос «ресторан, где проходил винный мастер-класс»).
• Укрепление идентификации сущности (Entity Optimization): Поддерживайте абсолютную согласованность NAP (Name, Address, Phone) во всех источниках (сайт, Google Business Profile, социальные сети, каталоги). Это гарантирует, что система сможет однозначно связать информацию из персональных данных пользователя с вашей бизнес-сущностью.

Worst practices (это делать не надо)

• Предоставление неполной информации в подтверждениях: Отправка подтверждений бронирования без указания точного адреса или с неоднозначным названием локации. Это затрудняет системам извлечение данных и их сохранение в календаре пользователя.
• Игнорирование микроразметки для писем и событий: Отказ от использования разметки Schema.org для событий (Event) и бронирований (Reservation) снижает способность Google автоматически обрабатывать эту информацию для пользователя.
• Частая смена названий или брендинга для одного и того же места: Это может запутать систему, которая пытается сопоставить прошлые события в данных пользователя с текущей идентификацией сущности.

Стратегическое значение

Этот патент подтверждает стратегический курс Google на создание высоко персонализированного и контекстуально-зависимого поиска. Для SEO это означает, что оптимизация не заканчивается на публичном веб-сайте. Необходимо думать о полном цикле взаимодействия с клиентом (Customer Journey), включая пост-конверсионные коммуникации. Стратегия должна включать обеспечение того, чтобы информация о бизнесе была легко усваиваемой системами машинного обучения во всех форматах, поскольку любая точка контакта может стать источником данных для будущих персонализированных поисковых запросов.

Практические примеры

Сценарий: Оптимизация email-подтверждения для ресторана

1. Задача: Увеличить вероятность того, что ресторан будет найден по запросу «ресторан, который я забронировал на день рождения жены».
2. Действие: Внедрить микроразметку FoodEstablishmentReservation в шаблон электронного письма с подтверждением бронирования. Убедиться, что в теме и теле письма четко указаны название ресторана, полный адрес, дата и время бронирования, а также имя бронирующего.
3. Ожидаемый результат: Gmail обрабатывает письмо, автоматически создает событие в Календаре пользователя с точными данными о местоположении и времени. Когда пользователь вводит контекстный запрос, Semantic Query Engine обращается к Календарю (высокоприоритетный источник), находит событие, коррелирующее с запросом, и точно идентифицирует ресторан.

Сценарий: Использование фотографий для идентификации магазина

1. Задача: Помочь пользователю найти магазин по запросу «магазин кроссовок, где я был в прошлую субботу».
2. Действие (Со стороны пользователя): Пользователь посетил магазин, сделал фотографию кроссовок внутри. На его телефоне включена геолокация для камеры.
3. Действие (Со стороны SEO/Бизнеса): Магазин имеет четкую вывеску и узнаваемый интерьер. Бизнес стимулирует фотографировать внутри (например, фотозона).
4. Ожидаемый результат: Система анализирует запрос, определяет временной промежуток («прошлая суббота»). Она обращается к Photo Module, находит фотографии, сделанные в это время. Анализируя геотеги и, возможно, используя распознавание изображений (например, распознав логотип магазина на фото), система идентифицирует местоположение магазина с высоким Recommendation Score.