Как Google использует камеру, микрофон и GPS смартфона для понимания контекстуальных запросов типа «Что это?»

Термины и определения

Ambiguous Query Term (Неоднозначный термин запроса)

Слово или фраза в запросе, которые не имеют конкретного референта без дополнительного контекста. В патенте особо выделяются местоимения (pronoun), такие как «этот», «тот», «он».

Image Signature / Audio Signature (Сигнатура изображения / Аудиосигнатура)

Цифровые отпечатки или наборы признаков, извлеченные из изображения или аудиофайла. Используются для эффективного сравнения входящих сенсорных данных с базой данных известных объектов или звуков.

Incomplete Search Query (Неполный поисковый запрос)

Запрос, который не может быть эффективно обработан из-за наличия Ambiguous Query Terms.

Mobile Computing Device (Мобильное вычислительное устройство)

Устройство пользователя (смартфон, планшет, носимое устройство типа очков), оснащенное датчиками (камера, микрофон, GPS).

Query Disambiguation Module (Модуль устранения неоднозначности запросов)

Компонент на стороне сервера, который анализирует Sensor Data и использует результаты распознавания для уточнения Ambiguous Query Terms.

Recognition Process (Процесс распознавания)

Анализ сенсорных данных для идентификации конкретных элементов. Включает распознавание изображений, аудио и определение локации.

Sensor Data (Сенсорные данные)

Данные, захваченные датчиками мобильного устройства, описывающие контекст пользователя. Включают Image Data (фото, видео), Audio Data (звук, музыка) и Location Data (GPS).

Ключевые утверждения (Анализ Claims)

Claim 1, 11, 21 (Независимые пункты): Описывают основной метод, программное обеспечение и систему для обработки поискового запроса.

1. Система получает первый поисковый запрос от мобильного устройства. Этот запрос характеризуется как «неполный» (incomplete search query) из-за наличия «неоднозначных терминов» (ambiguous query terms), которые включают «местоимение» (pronoun).
2. Система получает Sensor Data, захваченные датчиком устройства.
3. Выполняется Recognition Process на Sensor Data для идентификации как минимум одного элемента.
4. Этот идентифицированный элемент используется для «завершения» первого запроса путем «разрешения местоимения» (resolving the pronoun).
5. Система принимает решение о дальнейших действиях:
• Сценарий A (Идентификация): Если завершенный запрос является запросом на идентификацию элемента (например, «Что это?»), система передает данные, идентифицирующие этот элемент, в качестве ответа.
• Сценарий B (Поиск информации): Если завершенный запрос НЕ является запросом на идентификацию (например, «Расскажи мне об этом»), система передает результаты поиска по второму поисковому запросу (second search query), связанному с этим элементом.

Claim 3 (Зависимый): Уточняет Сценарий B. Если первый запрос запрашивает информацию, система создает второй поисковый запрос на основе идентифицированного элемента.

Claim 4 (Зависимый): Уточняет обработку голосовых запросов. Выполняется распознавание речи для идентификации неоднозначных терминов, которые затем заменяются идентифицированным элементом при создании второго запроса.

Claims 5, 6, 7 (Зависимые): Определяют типы используемых сенсорных данных: Image data и Image signature (Claim 5), Audio data и Audio signature (Claim 6), Location data (Claim 7).

Где и как применяется

Это изобретение является ключевым компонентом систем понимания запросов при работе с мультимодальным вводом.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Система должна интерпретировать ввод, состоящий из явного запроса (текст/голос) и неявного контекста (сенсорные данные).

1. Мультимодальная обработка: Система получает и синхронизирует запрос и Sensor Data.
2. Анализ неоднозначности: Запрос анализируется на наличие Ambiguous Query Terms или местоимений.
3. Распознавание контекста: Запускаются процессы распознавания (визуального, аудио, геолокационного) для идентификации сущностей в Sensor Data.
4. Разрешение референций (Disambiguation): Идентифицированные сущности связываются с неоднозначными терминами. Это может включать анализ предыдущих запросов в сессии для разрешения местоимений.
5. Формулирование запроса (Query Formulation): Система решает, является ли целью идентификация или поиск информации, и при необходимости формулирует второй, уточненный запрос.

INDEXING – Индексирование и извлечение признаков
Система полагается на индексы, содержащие Image Signatures и Audio Signatures, а также данные Knowledge Graph для идентификации сущностей.

RANKING – Ранжирование
На этом этапе выполняется стандартное ранжирование для второго, уточненного запроса (Сценарий B).

Входные данные:

• Первый (неоднозначный) поисковый запрос (текст или аудио).
• Sensor Data (изображения, видеопоток, аудиосэмплы, данные GPS).
• Данные о сессии пользователя (для контекстуального разрешения местоимений).

Выходные данные:

• Идентификация распознанного элемента (Сценарий A).
• ИЛИ: Результаты поиска по второму, уточненному запросу (Сценарий B).

На что влияет

• Типы контента и ниши: Влияет на видимость контента, связанного с реальными объектами: товары (E-commerce), локальные страницы (места, здания), медиа (музыка, искусство).
• Специфические запросы: Напрямую влияет на обработку информационных и коммерческих запросов, инициированных из реального мира (поиск товара по фото, запрос информации о достопримечательности).
• Устройства: Наибольшее влияние на поиск с мобильных устройств и носимых компьютеров (например, умные очки).

Когда применяется

• Триггеры активации: Наличие неоднозначного запроса (часто содержащего местоимения) в сочетании с доступными сенсорными данными (активная камера или микрофон во время запроса).
• Условия работы: Система должна быть способна успешно выполнить Recognition Process. Если распознавание не удалось, механизм не сработает.
• Временные рамки: Сенсорные данные должны быть захвачены примерно в то же время, что и запрос. Патент также описывает возможность использования контекста предыдущих запросов, если новый запрос подан в течение определенного порогового времени.

Пошаговый алгоритм

Процесс обработки мультимодального запроса

1. Получение ввода (Клиент): Мобильное устройство получает запрос от пользователя и захватывает сопутствующие Sensor Data. Данные передаются на сервер.
2. Прием данных (Сервер): Сервер получает запрос и Sensor Data.
3. Анализ запроса на неоднозначность: Система определяет, содержит ли запрос Ambiguous Query Terms.
4. Инициация распознавания: Если запрос неоднозначен, запускается Recognition Process на соответствующих Sensor Data. Например, если запрос «Что я слушаю?», анализируется аудио.
5. Идентификация элементов: Система пытается идентифицировать объекты, песни, места путем сравнения сигнатур (image/audio signatures) с базой данных.
6. Проверка распознавания: Определяется, было ли распознавание успешным (Positive Recognition).
   • Если НЕТ: Поиск не выполняется или возвращается ошибка.
   • Если ДА: Переход к шагу 7.
7. Ассоциация и разрешение: Распознанные элементы ассоциируются с неоднозначными терминами в запросе, разрешая местоимения.
8. Определение типа ответа: Система анализирует завершенный запрос.
• Сценарий А: Если запрос на идентификацию, результатом является идентифицированный элемент.
• Сценарий Б: Если запрос на информацию, система генерирует второй, уточненный поисковый запрос.
9. Выполнение поиска: Выполняется поиск по уточненному запросу (Сценарий Б).
10. Предоставление результатов: Результаты (идентификация или результаты поиска) отправляются на устройство пользователя.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных, описывающих контекст пользователя в реальном мире, для уточнения запроса.

• Мультимедиа факторы (Sensor Data):
  • Image Data: Цифровые изображения (фото, видеокадры, прямой эфир), захваченные камерой. Используются для визуального распознавания объектов, людей, мест.
  • Audio Data: Аудиосэмплы, захваченные микрофоном. Используются для распознавания музыки, речи, известных звуковых сигнатур.
• Географические факторы (Sensor Data):
  • Location Data: Данные о местоположении устройства (GPS, триангуляция вышек). Используются для ограничения области поиска и идентификации локальных объектов.
• Пользовательские факторы:
  • User Query: Исходный запрос пользователя (текст, аудио).
  • История сессии: Предыдущие запросы и результаты могут использоваться для разрешения местоимений в последующих запросах (контекстуальный поиск).

Какие метрики используются и как они считаются

Патент не детализирует конкретные алгоритмы ранжирования, но описывает следующие ключевые элементы обработки данных:

• Image Signatures и Audio Signatures: Цифровые представления медиаданных. Генерируются из Sensor Data и используются для сопоставления с базой данных известных объектов/звуков.
• Speech Recognition (Распознавание речи): Используется для преобразования голосовых запросов в текст и идентификации Ambiguous Query Terms.
• Positive Recognition (Успешное распознавание): Пороговое значение уверенности, при котором система считает, что объект в Sensor Data был успешно идентифицирован.
• Временные пороги: Используются для определения того, следует ли учитывать предыдущие запросы при разрешении неоднозначности текущего запроса.

1. Мультимодальный поиск как основной способ ввода: Патент подтверждает, что Google рассматривает данные с датчиков (камера, микрофон) как равноправный способ ввода поискового запроса. Это не просто поиск по картинке, а использование картинки (или звука) для понимания намерения пользователя.
2. Контекст реального мира для устранения неоднозначности: Ключевым механизмом является использование окружения пользователя (визуального, звукового, географического) для разрешения неоднозначных терминов, особенно местоимений.
3. Два типа ответов: Идентификация vs. Информация: Система четко разделяет запросы на идентификацию (где результатом является сам распознанный объект) и запросы на получение информации (где распознанный объект используется для запуска нового, уточненного поиска).
4. Важность распознавания сущностей (Entity Recognition): Успех этого метода напрямую зависит от способности Google распознавать сущности реального мира (продукты, места, искусство, музыку). Для SEO это означает, что оптимизация визуального представления сущностей становится фактором их обнаружения.
5. Последовательный контекстуальный поиск: Система может использовать результаты предыдущего поиска для интерпретации последующих запросов (например, разрешение местоимения «он» на основе сущности из предыдущего ответа), что указывает на важность поддержания контекста в рамках сессии.

Best practices (это мы делаем)

Хотя патент описывает механизмы понимания запросов, а не ранжирования, он дает важные инсайты для стратегий, направленных на повышение видимости в эпоху мультимодального поиска (Google Lens, Circle to Search).

• Оптимизация изображений для машинного зрения: Обеспечьте наличие высококачественных, четких и не загроможденных изображений продуктов, логотипов и ключевых объектов на сайте. Системы визуального распознавания (Recognition Process) должны легко идентифицировать объект по этим изображениям, чтобы сформировать правильную Image Signature.
• Использование структурированных данных (Schema.org): Размечайте сущности (Product, Place, LocalBusiness). Это помогает поисковой системе связать визуально распознанный объект с конкретной сущностью в Knowledge Graph, что критично для формирования точного второго запроса (second search query).
• Усиление связи Сущность-Изображение: Убедитесь, что изображения на вашем сайте семантически связаны с описываемыми сущностями (используя alt-текст, подписи, окружающий текст). Это укрепляет ассоциацию между визуальным представлением и сущностью.
• Оптимизация для локального поиска: Для физического бизнеса критически важно иметь точные данные и качественные фотографии в Google Business Profile. Патент использует Location Data и Image Data для идентификации мест. Хорошо оптимизированный профиль увеличивает вероятность правильной идентификации при контекстуальных запросах.

Worst practices (это делать не надо)

• Использование стоковых или нерелевантных изображений: Использование изображений, которые плохо представляют ваш продукт или услугу, снижает вероятность их правильной идентификации системами визуального поиска.
• Блокировка важных изображений от индексации: Если изображения, критичные для идентификации продукта или бренда, закрыты от индексации, Google не сможет использовать их для обучения своих моделей распознавания и идентификации.
• Игнорирование мультимодального поиска: Рассматривать поиск только как текстовый ввод. Стратегии, не учитывающие визуальный и голосовой поиск, будут терять трафик от пользователей, взаимодействующих с поиском через камеры и микрофоны.

Стратегическое значение

Этот патент имеет высокое стратегическое значение, так как описывает фундамент для перехода от «поиска по ключевым словам» к «поиску по контексту реального мира». Он показывает, как Google стирает грань между онлайн и офлайн мирами. Для SEO это означает, что оптимизация должна выходить за рамки веб-страницы и включать в себя то, как сущности (бренды, продукты) представлены визуально и как они связаны в Knowledge Graph. Видимость зависит от способности быть распознанным мультимодальными системами.

Практические примеры

Сценарий 1: Оптимизация карточки товара для визуального распознавания (E-commerce)

1. Ситуация: Пользователь видит кроссовки на улице и спрашивает у Google Assistant (используя камеру): «Сколько стоят эти кроссовки?».
2. Работа механизма (по патенту):
   • Запрос содержит неоднозначный термин «эти кроссовки».
   • Система использует Image Data с камеры (Sensor Data).
   • Recognition Process идентифицирует модель (например, Nike Air Max 270).
   • Система формирует второй запрос: «Сколько стоит Nike Air Max 270».
3. Действия SEO-специалиста:
   • Разместить на карточке товара четкие фотографии модели с разных ракурсов.
   • Использовать микроразметку Product, указав gtin, brand и ссылки на изображения (image).
4. Результат: Google успешно идентифицирует модель и показывает результаты поиска, где оптимизированная карточка товара имеет высокие шансы на ранжирование.

Сценарий 2: Локальный поиск (Идентификация)

1. Ситуация: Турист направляет камеру на здание и спрашивает: «Что это за здание?».
2. Работа механизма (по патенту): Система получает запрос, Image Data и Location Data. Используя комбинацию данных, система идентифицирует здание (например, «Эмпайр-стейт-билдинг»). Поскольку запрос был на идентификацию (Сценарий А), система возвращает название объекта.
3. Действия SEO-специалиста (для локального бизнеса): Обеспечить наличие качественных фотографий фасада в Google Business Profile и точные координаты для облегчения идентификации.