Как Google использует контекст и историю пользователя для понимания голосовых команд и запуска неявных поисковых запросов

Термины и определения

Action (Действие)

Определенное намерение пользователя, извлеченное из речевого ввода. Может быть командой (Command) или поисковым запросом (Search Request).

Context (Контекст)

Состояние или среда, окружающая систему или пользователя. Определяется на основе Context Signals и истории действий.

Context Signals (Сигналы контекста)

Любые сигналы или информация, относящиеся к контексту. Примеры включают время, местоположение, погоду, данные календаря, социальные сети, данные датчиков, а также историю доступа к документам.

Disambiguation (Устранение неоднозначности)

Процесс определения точного значения неоднозначных слов или фраз в речевом вводе, часто с использованием контекста, предпочтений пользователя (Preference Information) или путем запроса уточнения.

Historical Context Database (База данных исторического контекста)

Хранилище данных о прошлых действиях пользователя, доступе к контенту и связанных с ними контекстных сигналах. Используется для определения текущего контекста и изучения предпочтений пользователя.

Implicit Search Request (Неявный поисковый запрос)

Ключевой термин. Поисковый запрос, сгенерированный устройством автоматически, без явного голосового ввода пользователя, контролирующего содержание этого запроса. Может быть инициирован на основе контекста или действий пользователя (например, при редактировании документа).

Speech Evaluation Module (Модуль оценки речи)

Компонент, который анализирует текст и контекст для определения действия (Action) и объекта (Object), а также управляет процессом Disambiguation.

Voiceprint (Голосовой отпечаток)

Шаблон голоса пользователя (в патенте упоминается как пример speech-related characteristics). Используется для идентификации говорящего, авторизации команд и определения количества говорящих.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки голосового ввода на носимом устройстве.

1. Получение голосового ввода и генерация соответствующего текста (speech-related text).
2. Определение контекста на основе истории доступа к документам и базам данных.
3. Определение действия (Action) на основе оценки текста и контекста. Действие может быть командой (Command) ИЛИ неявным поисковым запросом (Implicit Search Request).
4. Ключевое определение: Implicit Search Request генерируется устройством без голосового ввода, который контролирует содержание этого запроса.
5. Выполнение действия:
   • Если это команда — генерация вывода на основе команды.
   • Если это неявный запрос — отправка его поисковой системе, получение результатов и генерация вывода.
6. Определение количества людей, предоставляющих голосовой ввод.
7. Выбор компонента вывода (например, аудио или видео) на основе определенного количества людей и предоставление вывода.

Claim 3 (Зависимый от 1): Уточняет, что Implicit Search Request может включать запрос на поиск в пределах определенного контекста.

Claim 6 (Зависимый от 1): Уточняет механизм определения количества говорящих. Это делается путем определения количества различных наборов характеристик, связанных с речью (например, Voiceprints).

Claim 7 и 8 (Зависимые от 1): Описывают персонализацию. Система определяет пользователя, связанного с голосовым вводом, и предоставляет вывод на основе сохраненных предпочтений этого пользователя.

Где и как применяется

Изобретение применяется в системах голосового управления (ассистентах) и носимых устройствах и затрагивает следующие этапы поиска:

QUNDERSTANDING – Понимание Запросов
Это основная область применения патента. Система выполняет глубокую интерпретацию голосового ввода в реальном времени на стороне клиента:

1. Преобразование речи в текст.
2. Контекстуализация: Использование массива Context Signals (история, документы, сенсоры, окружение) для понимания текущей ситуации пользователя.
3. Устранение неоднозначности (Disambiguation): Разрешение того, к чему именно относятся термины в команде.
4. Классификация интента: Определение того, хочет ли пользователь выполнить команду или ищет информацию.
5. Генерация неявных запросов: Автоматическое формирование Implicit Search Requests на основе контекста.

RANKING – Ранжирование
Система напрямую не участвует в ранжировании, но она инициирует этот этап, отправляя сформированный (явный или неявный) и точно интерпретированный поисковый запрос в поисковую систему.

Входные данные:

• Аудиоданные речевого ввода.
• Context Signals (данные сенсоров, время, местоположение).
• Данные из Historical Context Database (история действий, документы).
• Базы данных (контакты, календари, социальные сети).
• Voiceprints авторизованных пользователей и Preference Information.

Выходные данные:

• Выполненная команда на устройстве.
• Search Request или Implicit Search Request, отправленный в поисковую систему.
• Результаты поиска или информация о выполнении команды, представленная пользователю в аудио- или видеоформате.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на голосовые запросы, особенно неоднозначные команды (например, «Позвони маме») и информационные запросы, требующие контекста (например, «Покажи карту ресторана, где я был в прошлую субботу»).
• Персонализация: Механизм глубоко персонализирован, так как опирается на личную историю документов, контакты и предпочтения пользователя.
• Форматы контента: Влияет на предпочтение форматов, которые легко потреблять через голосовые интерфейсы (краткие ответы, структурированные данные).

Когда применяется

• Триггеры активации: Алгоритм активируется при получении любого голосового ввода на устройстве.
• Условия для Implicit Search: Implicit Search Request генерируется, когда система обнаруживает потенциальную потребность в информации на основе контекста или действий пользователя (например, при редактировании документа и вводе нового термина).
• Условия для Disambiguation: Активируется, когда система идентифицирует Action (действие), но Object (объект действия) неясен или имеет несколько вариантов.

Пошаговый алгоритм

Процесс А: Обработка голосового ввода

1. Получение ввода: Устройство получает аудиоданные через микрофон.
2. Преобразование в текст: Модуль Speech-To-Text генерирует Speech-related text.
3. Анализ говорящих (Параллельный процесс):
   • Система анализирует аудиоданные для определения количества говорящих путем выявления различных наборов речевых характеристик.
   • Сравнение характеристик с Voiceprints для авторизации пользователя. При конфликтах применяются правила приоритета.
4. Определение контекста: Модуль Context Evaluation анализирует Context Signals и данные из Historical Context Database.
5. Определение действия (Action Determination): Модуль Speech Evaluation анализирует текст в связке с контекстом. Выполняется поиск известных слов-действий.
6. Устранение неоднозначности (Disambiguation Loop):
   • Если действие или объект неоднозначны, система пытается разрешить их с помощью контекста или сохраненных предпочтений (Preference Information).
   • Если не удается, система генерирует уточняющий запрос пользователю (User Prompt).
   • Получение ответа и обновление понимания действия/объекта.
7. Классификация действия: Система определяет финальное действие как Command или Search Request.
8. Выполнение действия:
   • Если Command: Устройство выполняет команду.
   • Если Search Request: Запрос отправляется поисковой системе.
9. Генерация и Выбор формата вывода: Система генерирует вывод и выбирает компонент вывода (аудио, дисплей) на основе количества обнаруженных говорящих (определено на шаге 3) или предпочтений пользователя.
10. Предоставление вывода: Вывод предоставляется пользователю.

Процесс Б: Генерация неявного поиска (Implicit Search Request)

1. Мониторинг контекста: Система постоянно отслеживает действия пользователя (например, редактирование документа).
2. Обнаружение триггера: Пользователь вводит новый термин или сущность.
3. Генерация запроса: Система автоматически генерирует Implicit Search Request на основе этого термина без явной команды пользователя.
4. Выполнение поиска и вывод: Запрос отправляется в поисковую систему, а полученная информация проактивно предоставляется пользователю.

Какие данные и как использует

Данные на входе

Патент описывает использование чрезвычайно широкого спектра данных для определения контекста (особенно в разделе [0071] описания):

• Поведенческие и Пользовательские факторы:
  • История доступа к документам (history of accessed documents).
  • Preference Information (предпочтения пользователя).
  • Historical context (прошлые действия и команды).
  • Данные календаря и социальных сетей (статусы, связи, коммуникации).
  • Состояние здоровья пользователя (например, температура, сон).
• Временные факторы: Текущее время, дата, день недели, сезон; время/дата прошлых и будущих событий.
• Географические факторы: Текущее местоположение пользователя; местоположения прошлых и будущих событий.
• Внешние данные и Среда (Context Signals):
  • Прогнозы погоды.
  • Данные с датчиков устройства (температура, освещенность, уровень шума, движение, GPS, компас, барометр).
  • Обнаруженные объекты в окружении.
• Контентные факторы: Содержание текущих или недавно просмотренных документов (используется для определения Document Context).
• Биометрические данные: Voiceprints (речевые характеристики) для идентификации и авторизации пользователей.

Какие метрики используются и как они считаются

Патент фокусируется на механизмах интерпретации, а не на расчете числовых метрик ранжирования. Основные методы вычисления связаны с классификацией и сравнением:

• Сравнение с образцом (Voiceprint Matching): Сравнение характеристик входящего аудио с сохраненными голосовыми отпечатками для авторизации пользователя и определения количества говорящих.
• Анализ текста (NLP) и Поиск по словарю (Action Lookup): Разделение текста на Actions и Objects. Сравнение слов с известными словами-действиями.
• Контекстная корреляция и Поиск (Contextual Search): Поиск в Historical Context Database и других базах данных для устранения неоднозначности объектов. Оценка корреляции между текущим контекстом и историческими данными для прогнозирования намерений.
• Классификация действия: Определение, является ли ввод Командой или Поисковым запросом на основе анализа текста и контекста.

1. Контекст — ядро понимания голосовых запросов: Патент демонстрирует, что для интерпретации голосового ввода Google полагается не только на текст запроса, но и на обширный набор контекстуальных сигналов (Context Signals), включая личную историю пользователя, время, место и окружающую среду.
2. Проактивный поиск (Implicit Search) и Ambient Computing: Внедрение концепции Implicit Search Request указывает на стремление Google предоставлять информацию проактивно, предвосхищая потребности пользователя на основе его действий, без ожидания явной команды «поиск». Это ключевой элемент Ambient Computing.
3. История пользователя как фактор Disambiguation: История доступа к документам и прошлые взаимодействия являются ключевыми для устранения неоднозначности сущностей (например, идентификации конкретного человека) в коротких голосовых командах.
4. Персонализация и адаптация ввода/вывода: Система адаптирует не только интерпретацию ввода, но и формат вывода, основываясь на предпочтениях пользователя (Preference Information) и ситуативном контексте (например, количестве присутствующих людей, определяемом по Voiceprints).
5. Значение сущностей и связей: Эффективная работа системы зависит от способности Google распознавать сущности (людей, места, документы) и понимать их связи в личном контексте пользователя.

Best practices (это мы делаем)

• Оптимизация под сущности (Entity Optimization) и структурирование данных: Поскольку система полагается на контекст и связи для понимания запросов, необходимо убедиться, что контент четко определяет ключевые сущности и их взаимосвязи (используя Schema.org). Это помогает поисковой системе легче сопоставить ваш контент с контекстуализированным запросом пользователя.
• Построение тематического авторитета (Topical Authority) для Implicit Search: Концепция Implicit Search предполагает, что поиск может быть инициирован автоматически на основе контекста. Авторитетные ресурсы, глубоко покрывающие тему, имеют больше шансов быть выбранными в качестве результата для таких неявных запросов, возникающих в их нише.
• Создание контента, отвечающего на ситуативные запросы: Разрабатывайте контент, который учитывает потенциальный контекст пользователя (время, местоположение, предыдущие действия). Фокусируйтесь на естественных формулировках и вопросно-ответном формате (Voice Search Optimization).
• Улучшение локальных сигналов (Local SEO): Учитывая, что местоположение, время и календарь являются важными Context Signals, необходимо поддерживать актуальность и полноту информации в Google Business Profile. Это помогает системе точно интерпретировать локальные намерения.

Worst practices (это делать не надо)

• Изолированная оптимизация под ключевые слова: Стратегии, игнорирующие контекст и намерения пользователя, будут неэффективны. Система ищет ответы, релевантные ситуации пользователя, а не просто совпадения по тексту.
• Игнорирование структурированных данных: Отсутствие микроразметки усложняет для Google извлечение сущностей и понимание контекста вашего контента, что снижает шансы на видимость в результатах голосового поиска или неявных запросов.
• Создание неоднозначного или поверхностного контента: Контент, который не имеет четкого фокуса или не устанавливает связи с релевантными сущностями, будет плохо работать в системах, стремящихся к точному Disambiguation и контекстной релевантности.

Стратегическое значение

Этот патент подтверждает движение Google от реактивного поиска к проактивному (Ambient Computing). Стратегическое значение для SEO заключается в понимании того, что запросы становятся все более контекстуальными и персонализированными. Долгосрочная стратегия должна быть направлена на построение семантически богатого, структурированного контента, который может служить ответом не только на явные запросы, но и соответствовать потенциальным Implicit Search Requests, возникающим в ходе повседневной деятельности пользователя.

Практические примеры

Сценарий 1: Генерация Implicit Search Request при создании контента

(Основано на примере из патента [0140])

1. Действие пользователя: Пользователь редактирует статью о средневековой истории и добавляет фразу «фехтование на мечах» (sword fighting).
2. Активация механизма: Устройство, использующее описанную технологию, определяет изменение в документе (контекст) и новый термин.
3. Генерация Implicit Search: Система автоматически генерирует Implicit Search Request по термину «фехтование на мечах» без команды пользователя.
4. Результат: Система проактивно отображает релевантную информацию (исторические справки, авторитетные источники).
5. Польза для SEO: Авторитетный сайт по истории фехтования, оптимизированный под эту сущность, получит показ и потенциальный переход благодаря этому неявному поиску.

Сценарий 2: Контекстное устранение неоднозначности в Local SEO

1. Контекст: Пользователь находится в центре города, время 12:00, в его календаре есть запись «Обед с Анной».
2. Голосовая команда: Пользователь говорит ассистенту: «Проложи маршрут до “Ромашки”».
3. Disambiguation: В городе есть три заведения с названием «Ромашка»: магазин цветов, стоматология и кафе.
4. Применение контекста: Система анализирует Context Signals: время (обед) и запись в календаре (Обед). На основе этого контекста она определяет, что наиболее вероятным объектом является кафе «Ромашка».
5. Результат: Система автоматически строит маршрут до кафе, не задавая уточняющих вопросов.