Как Google интегрирует предсказание и выполнение поиска непосредственно в клавиатуру (Gboard) на основе контекста ввода

Термины и определения

Contextual Information (Контекстуальная информация)

Информация, определяющая окружение устройства и пользователя в конкретный момент времени. Включает местоположение, данные сенсоров и, что критически важно, историю текущего электронного разговора (предыдущие сообщения).

Curated Phrase (Курируемая фраза)

Предварительно определенная или сгенерированная фраза для использования в качестве поискового запроса. Например, преобразование обсуждения ужина в запрос «рестораны рядом со мной».

Global Model (Глобальная модель)

Модель, хранящаяся на устройстве, для идентификации поисковых сущностей, общих для различных геолокаций (например, международные бренды, знаменитости).

Keyboard Application (Клавиатурное приложение)

Программное обеспечение (например, Gboard), предоставляющее функциональность графической клавиатуры. Может быть отдельным приложением или службой, вызываемой другими приложениями.

Local Model (Локальная модель)

Модель, хранящаяся на устройстве, для идентификации сущностей, специфичных для текущего местоположения (например, местные бизнесы). Может динамически обновляться при смене локации.

Machine Learned Model (Модель машинного обучения)

Модели (упоминаются LSTM – Long Short-Term Memory, рекуррентные нейронные сети), обученные на данных чат-переписок. Используются для анализа контекста и повышения уверенности в том, что пользователь пишет о конкретной сущности.

On-device Annotators (Аннотаторы на устройстве)

Механизмы анализа текста, выполняющиеся локально на устройстве пользователя для быстрого обнаружения поискового контента.

Searchable Entity (Поисковая сущность)

Слово, фраза или имя (например, название ресторана, фильма, бренда), которое может быть использовано как основа для поиска.

Trigger Phrase (Триггерная фраза)

Общая фраза, указывающая на намерение поиска без упоминания конкретной сущности (например, «давай поужинаем» или «какой счет в игре»).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы клавиатурного приложения.

1. Keyboard Application (которое вызывается другими приложениями) отображает графическую клавиатуру с областью подсказок (suggestion region).
2. Определяется текст, вводимый пользователем.
3. На основе текста идентифицируется searchable entity (включая trigger phrases).
4. Генерируется поисковый запрос.
5. Система отображает индикацию запроса (текст запроса) в search region (поисковой области), которая заменяет стандартную suggestion region. Эта область находится между клавишами и полем ввода текста.
6. Инициируется поиск (локальный или удаленный) на основе этого запроса.

Ядро изобретения — интеграция процесса предсказания поиска в интерфейс клавиатуры путем динамической замены областей.

Claim 2 и 3 (Зависимые): Уточняют момент активации предсказания.

Запрос генерируется после определения «конца текста». Это происходит, если последним введенным символом является знак пунктуации (Claim 2) или если была нажата клавиша отправки сообщения (Claim 3).

Claim 8, 9, 10 (Зависимые): Детализируют процесс идентификации сущностей с использованием моделей.

Идентификация использует Local Model (Claim 8) или Global Model (Claim 10). Модель вычисляет оценку (score) релевантности сущности. Если оценка превышает порог, сущность идентифицируется. Local Models динамически обновляются при смене местоположения устройства (Claim 9).

Claim 11 (Зависимый): Описывает усовершенствованный процесс оценки с помощью ML.

Система получает базовую оценку от Local/Global Models. Затем эта оценка модифицируется с использованием Machine Learned Model и Contextual Information. Это позволяет повысить точность идентификации в контексте разговора.

Claim 15 (Независимый пункт): Описывает взаимодействие между приложениями.

Первое приложение (например, чат) вызывает приложение клавиатуры. Клавиатура генерирует и отображает запрос. При выборе запроса пользователем, приложение клавиатуры инициирует поиск через Search Application.

Где и как применяется

Изобретение функционирует на клиентском устройстве, затрагивая этап формирования намерения пользователя.

QUNDERSTANDING – Понимание Запросов
Это основная область применения. Клавиатурное приложение действует как слой «предварительного понимания запросов» (Pre-Query Understanding). Оно анализирует неструктурированный разговорный текст on-device до того, как формальный запрос будет отправлен в поисковую систему. Используются NLP и ML (LSTM) для извлечения сущностей и намерений и формулирования их в виде структурированных запросов (Curated Phrases).

Входные данные:

• Текст, набираемый пользователем в реальном времени.
• Contextual Information: местоположение устройства, история переписки (предыдущие сообщения).
• Локальные данные: Local Models, Global Models, Machine Learned Models.

Выходные данные:

• Предсказанный поисковый запрос, отображаемый в интерфейсе клавиатуры.
• Результаты поиска (после активации), отображаемые в интерфейсе клавиатуры.

На что влияет

• Специфические запросы: Влияет на информационные и локальные запросы, возникающие спонтанно в ходе общения. Система преобразует неявные интенты в явные запросы.
• Конкретные типы контента: Максимальное влияние на видимость структурированных данных, которые можно отобразить в виде карточек (Local Packs, Knowledge Graph facts, расписания).
• Конкретные ниши или тематики: Сильное влияние на локальный бизнес (рестораны, услуги), развлечения, путешествия и бренды.

Когда применяется

• Условия работы: Алгоритм активен во время ввода текста через соответствующее клавиатурное приложение.
• Триггеры активации: Идентификация Searchable Entity или Trigger Phrase с оценкой уверенности (score) выше установленного порога.
• Момент активации: Предсказание может быть активировано после завершения ввода предложения (обнаружение знака пунктуации) или после нажатия кнопки «Отправить».

Пошаговый алгоритм

Процесс А: Обработка ввода и предсказание запроса

1. Инициализация: Стороннее приложение вызывает клавиатурное приложение.
2. Сбор данных и анализ (On-device): Клавиатурное приложение получает вводимый текст и передает его локальным аннотаторам.
3. Применение моделей и расчет оценок:
   • Текст обрабатывается Local Model и Global Model для поиска потенциальных сущностей и генерации базовых оценок (scores).
   • Текст и контекст (предыдущие сообщения, локация) обрабатываются Machine Learned Model (LSTM) для уточнения и модификации базовых оценок.
4. Идентификация и выбор: Выбираются кандидаты, чьи итоговые оценки превышают порог уверенности.
5. Генерация запроса: Для выбранных кандидатов генерируются поисковые запросы, возможно, с использованием Curated Phrases.
6. Проверка триггеров активации: Система может ожидать завершения ввода (пунктуация или отправка).
7. Обновление UI: Клавиатурное приложение заменяет стандартную область подсказок (suggestion region) на поисковую область (search region) и отображает сгенерированный запрос.

Процесс Б: Выполнение поиска

1. Выбор запроса: Пользователь выбирает предложенный запрос.
2. Инициация поиска: Клавиатурное приложение инициирует поиск через Search Application (локально или удаленно).
3. Отображение результатов: Полученные результаты отображаются в интерфейсе клавиатуры (например, в виде карточек).

Процесс В: Управление локальными моделями

1. Мониторинг местоположения: Система отслеживает геолокацию устройства.
2. Обновление модели: При смене местоположения система запрашивает с удаленного сервера и загружает актуальную Local Model для новой локации, заменяя старую.

Какие данные и как использует

Данные на входе

Патент фокусируется на данных, доступных локально на устройстве.

• Контентные факторы: Текст, набираемый пользователем в данный момент.
• Контекстуальные факторы:
  • История переписки: Предыдущие отправленные и полученные сообщения в текущем разговоре. Критически важно для Machine Learned Model для понимания контекста.
• Географические факторы: Текущее местоположение устройства. Используется для выбора/обновления Local Model и для генерации локализованных Curated Phrases.

Какие метрики используются и как они считаются

• Оценка уверенности (Score): Метрика, указывающая на вероятность того, что введенный текст относится к конкретной Searchable Entity или Trigger Phrase.
• Расчет оценки:
  • Базовая оценка вычисляется с помощью Local Model и Global Model.
  • Финальная оценка получается путем модификации базовой оценки с помощью Machine Learned Model (LSTM), учитывающей контекст.
• Пороговые значения (Thresholds): Используются для фильтрации предложений. Запрос генерируется, только если оценка уверенности превышает порог.
• Методы анализа текста и ML: Используются NLP-техники для аннотирования и модели машинного обучения, в частности, рекуррентные нейронные сети (RNN) и Long Short-Term Memory (LSTM), обученные на данных чат-переписок.

1. Переход к проактивному и контекстному поиску: Патент демонстрирует стратегию Google по внедрению поиска в повседневную активность (ambient computing). Система не ждет явного запроса, а предсказывает его на основе контекста общения.
2. Приоритет On-Device обработки: Для обеспечения скорости и конфиденциальности анализ текста и генерация предсказаний выполняются локально на устройстве с использованием предустановленных моделей (Global, Local, ML).
3. Гибридный подход к NLP: Система комбинирует статические модели для быстрого распознавания сущностей и сложные ML-модели (LSTM) для глубокого понимания контекста диалога и намерений.
4. Критичность локального контекста: Активное использование и динамическое обновление Local Models в зависимости от местоположения подчеркивает важность геолокации для мобильного поиска.
5. От неявных триггеров к структурированным запросам: Система активно преобразует неформальные разговорные триггеры (Trigger Phrases) в оптимизированные поисковые запросы (Curated Phrases), влияя на то, как формулируется спрос.

Best practices (это мы делаем)

Хотя патент не описывает ранжирование, он дает инсайты о том, как генерируются запросы пользователей.

• Усиление оптимизации под сущности (Entity Optimization): Критически важно обеспечить, чтобы ваш бренд, продукты и локации были четко определены как сущности в Knowledge Graph. Система генерирует предложения на основе распознанных Searchable Entities. Четкое понимание вашей сущности Google повышает шансы на ее использование в проактивных предложениях.
• Приоритет локального SEO (Local SEO): Патент подчеркивает использование Local Models и генерацию локализованных Curated Phrases («рядом со мной»). Для бизнесов с физическим присутствием необходимо иметь максимально оптимизированный профиль в Google Business Profile и сильные локальные сигналы для видимости в этих результатах.
• Оптимизация под разговорные интенты и триггеры: Анализируйте, как пользователи обсуждают вашу нишу в естественной манере. Создавайте контент, отвечающий на эти разговорные интенты (Trigger Phrases), чтобы соответствовать запросам, которые система генерирует автоматически.
• Оптимизация под быстрые ответы и структурированные данные: Результаты часто отображаются в виде карточек в интерфейсе клавиатуры. Используйте Schema.org для разметки информации (часы работы, адреса, факты), которая может быть легко извлечена и представлена в таком формате.

Worst practices (это делать не надо)

• Фокус только на ключевых словах без привязки к сущностям: Стратегии, игнорирующие Entity SEO, будут менее эффективны, так как система в первую очередь ищет Searchable Entities для генерации предложений.
• Игнорирование локального контекста: Недооценка важности геолокации и локальных сигналов приведет к потере видимости, так как система активно использует Local Models для персонализации предложений.
• Создание контента только для формальных запросов: Игнорирование неформальных способов выражения потребностей (Trigger Phrases) снижает релевантность контента запросам, сгенерированным в контексте общения.

Стратегическое значение

Патент подтверждает стратегию Google по интеграции поиска во все аспекты взаимодействия пользователя с устройством. Точка входа в поиск смещается из поисковой строки в контекст других приложений. Это усиливает роль Google как интерпретатора намерений. Стратегически важно быть видимым в Графе Знаний и локальном поиске, чтобы попадать в результаты по этим автоматически сгенерированным, контекстуальным запросам.

Практические примеры

Сценарий: Оптимизация ресторана для предсказаний в клавиатуре

1. Ситуация: Пользователь пишет в чате: «Давай поужинаем сегодня вечером?».
2. Работа системы (по патенту): Клавиатура идентифицирует «поужинаем» как Trigger Phrase. Учитывая локальный контекст и время, она генерирует Curated Phrase: «Рестораны рядом открыты сейчас».
3. Отображение: Запрос отображается в Search Region клавиатуры после знака вопроса.
4. Действия SEO-специалиста:
   • Убедиться, что ресторан имеет заполненный Google Business Profile с актуальными часами работы и геолокацией.
   • Оптимизировать контент под локальные интенты, связанные со временем работы.
5. Результат: При нажатии пользователем на подсказку, оптимизированный ресторан имеет высокие шансы появиться в карточках результатов, отображаемых в интерфейсе клавиатуры.