Как Google использует камеру и микрофон для понимания неоднозначных голосовых запросов (типа "что это?")

Термины и определения

Ambiguity (Неоднозначность)

Элемент в поисковом вводе, который не имеет конкретного значения без дополнительного контекста. В патенте чаще всего подразумеваются местоимения (pronouns), такие как "it," "he," "she," "them," "that," "this," или "here".

Feature Vector (Вектор признаков)

Количественное представление объекта, обнаруженного в изображении. Используется для характеристики формы, цвета, текстуры и паттернов объекта. Применяется для поиска визуально похожих объектов в индексе.

Image Analysis (Анализ изображения)

Процесс обработки входящего изображения для обнаружения объектов, их классификации и/или идентификации.

Label (Метка)

Текстовое описание или идентификатор, присвоенный Object of Interest. Используется для замены неоднозначности в запросе (например, название картины, модель продукта).

NLP Logic (Логика обработки естественного языка)

Компонент, использующий правила и логику для анализа текстовой строки (например, распознанной речи), построения структуры запроса и идентификации неоднозначностей (Ambiguity).

Object of Interest (Объект интереса)

Конкретный объект в сцене, запечатленной камерой, на который ссылается пользователь в своем запросе.

Query Processor (Обработчик запросов)

Компонент, который формулирует окончательный поисковый запрос, используя данные от различных сенсоров. Он выполняет замену местоимений метками.

Recognition Information (Информация о распознавании)

Данные, сгенерированные в результате анализа изображения. Могут включать классификацию объекта, его идентификацию или Feature Vector.

Sensor Inputs (Сенсорные входы)

Необработанные данные, полученные от датчиков устройства (камера, микрофон, GPS, акселерометр и т.д.).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод мультимодального разрешения неоднозначности.

1. Система получает входное изображение (image input) сцены с камеры устройства.
2. Определяется объект интереса (object of interest) в этой сцене.
3. Определяется метка (label) для этого объекта.
4. Система получает поисковый ввод (search input) от другого механизма (не камеры, например, микрофона).
5. В поисковом вводе идентифицируется неоднозначность (ambiguity).
6. Формируется поисковый запрос, который дополняет или заменяет неоднозначность на основе полученной метки.
7. Предоставляется результат поиска на основе этого запроса.

Claim 4 (Зависимый от 3): Детализирует метод определения метки через визуальное сходство.

1. Для объекта интереса определяется вектор признаков (feature vector).
2. Вектор признаков используется для идентификации набора похожих объектов (в индексе).
3. Метка для объекта интереса определяется на основе этого набора похожих объектов.

Это ключевой механизм, лежащий в основе систем типа Google Lens: объект идентифицируется не только по классификации, но и по сравнению его визуальной сигнатуры с индексом известных изображений.

Claim 7 (Зависимый от 6): Уточняет тип ввода и неоднозначности.

1. Поисковый ввод является голосовым вводом (voice input), соответствующим произнесенному вопросу или фразе.
2. Идентификация неоднозначности заключается в идентификации местоимения (pronoun) в этой фразе.

Claim 8 (Зависимый от 1): Описывает механизм выбора при наличии нескольких объектов в сцене.

1. Анализ изображения определяет несколько объектов.
2. Система получает ввод от контекстного механизма, отличного от основной камеры (например, данные о направлении взгляда, GPS или другие сенсоры).
3. Объект интереса выбирается из нескольких объектов на основе этого дополнительного контекстного ввода.

Где и как применяется

Изобретение функционирует на стыке обработки сырых данных и формирования поискового намерения.

INDEXING – Индексирование и извлечение признаков
Для работы системы необходимо, чтобы Google предварительно проиндексировал огромное количество изображений (в патенте упоминается Index 172). На этом этапе вычисляются и сохраняются Feature Vectors и связанные с ними Labels для продуктов, произведений искусства, достопримечательностей, логотипов и т.д. Это позволяет системе быстро распознавать объекты в реальном времени.

QUNDERSTANDING – Понимание Запросов (Основное применение)
Это основная область применения патента. Процесс происходит в реальном времени при получении мультимодального запроса.

1. Sensor Analysis: Необработанные данные (аудио, видео/изображения) обрабатываются для извлечения текста и информации о распознавании.
2. Query Processing: Query Processor использует NLP Logic для обнаружения неоднозначности в тексте и одновременно использует Recognition Information для определения визуальной метки (Label).
3. Query Rewriting: Происходит ключевая трансформация: неоднозначный запрос (например, "Цена этого") превращается в конкретный, основанный на сущности запрос (например, "Цена [Label]").

RANKING – Ранжирование
Система ранжирования получает на вход уже уточненный, недвусмысленный запрос и обрабатывает его стандартным образом, используя соответствующие индексы (текстовый Index 162 или индекс объектов/изображений Index 172).

Входные данные:

• Изображение или видеопоток сцены (Image Input).
• Аудиосигнал голосового запроса (Audio Input).
• Дополнительные сенсорные данные для контекста (GPS, данные о направлении взгляда с фронтальной камеры).

Выходные данные:

• Уточненный поисковый запрос (Search Query), в котором местоимения заменены конкретными сущностями (Labels).

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на E-commerce (распознавание продуктов), Локальный поиск (распознавание достопримечательностей, витрин магазинов), Искусство и Образование (распознавание картин, книг).
• Специфические запросы: Влияет на информационные и коммерческие запросы, заданные в естественной форме с использованием местоимений ("Что это?", "Где купить такое?", "Как туда добраться?").

Когда применяется

• Триггеры активации: Активируется, когда система получает ввод от нескольких сенсоров (камера + микрофон/клавиатура) в течение короткого промежутка времени и обнаруживает неоднозначность (Ambiguity) в текстовой/голосовой части ввода.
• Условия работы: Требуется наличие распознаваемого объекта в поле зрения камеры, который может быть сопоставлен с данными в индексе изображений Google.

Пошаговый алгоритм

Процесс обработки мультимодального запроса:

1. Сбор данных: Получение входных данных от сенсоров вычислительного устройства (камера и микрофон).
2. Параллельная обработка вводов:
   • Обработка аудио: Распознавание голосового ввода в текст.
   • Обработка изображения: Анализ изображения для определения критериев поиска. Это включает обнаружение объектов (Object Detection) и генерацию информации о распознавании (Recognition Information), например, Feature Vector.
3. Определение Объекта Интереса: Если обнаружено несколько объектов, система может использовать дополнительный контекст (например, направление взгляда пользователя или контекстную логику) для выбора основного объекта.
4. Определение Метки: Определение Label для объекта интереса. Это может включать сравнение Feature Vector с индексом для поиска похожих объектов и извлечения их меток (согласно Claim 4).
5. Обнаружение Неоднозначности: Анализ распознанного текста для определения неоднозначности, в частности, поиск местоимений (Pronoun).
6. Формирование Запроса: Определение итогового запроса из текста.
7. Резолюция Неоднозначности: Замена местоимения на определенную Label.
8. Выполнение Поиска: Инициирование поиска с использованием сформированного уточненного запроса.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Image Input (изображения или видеокадры) с камеры, направленной на сцену. Используются для визуального распознавания объектов.
• Аудио факторы: Audio Input (голосовой сигнал) с микрофона. Используется для распознавания речи и извлечения текста запроса.
• Пользовательские и Географические факторы: Упоминаются дополнительные контекстные устройства ввода, такие как GPS, акселерометры, датчики освещенности, а также фронтальная камера (для отслеживания взгляда). Эти данные могут использоваться для уточнения контекста и выбора объекта интереса.

Какие метрики используются и как они считаются

Патент фокусируется на процессе обработки запроса, но упоминает ключевые метрики для анализа изображений:

• Feature Vector (Вектор признаков) или Signature (Сигнатура): Количественная метрика, представляющая визуальные характеристики объекта (форма, соотношение сторон, цвет, текстура, паттерн).
• Distance measurements (Измерения расстояния): Используются для определения визуального сходства (visual similarity) между Feature Vector входящего изображения и векторами изображений в индексе.
• Object category (Категория объекта): Результат классификации объекта.

Методы анализа текста (NLP):

• Pronoun Identification (Идентификация местоимений): Использование языковых правил для обнаружения местоимений в тексте запроса (например, правило, что местоимение после вопросительного слова является субъектом, который нужно заменить).

1. Визуальный контекст как ключ к пониманию языка: Патент демонстрирует, как Google использует визуальные данные для разрешения лингвистических неоднозначностей. Это фундаментальный принцип мультимодального поиска: то, что видит пользователь, определяет значение того, что он говорит.
2. Трансформация запросов: от неоднозначных к сущностным: Система активно преобразует общие запросы с местоимениями в конкретные запросы, основанные на сущностях (Entities). Запрос "Что это?" становится "Что такое [Распознанный Объект]?".
3. Критичность индекса изображений и распознавания: Эффективность системы напрямую зависит от полноты индекса изображений Google и точности алгоритмов распознавания (Image Recognition). Способность Google идентифицировать конкретный продукт или место по его Feature Vector является ключевой.
4. Обработка сложных сцен: Система предусматривает механизмы для работы со сценами, содержащими несколько объектов, используя дополнительные контекстные сигналы (например, отслеживание взгляда) для определения намерения пользователя.
5. Основа для Визуального Поиска (Visual Search): Этот патент описывает ядро технологий типа Google Lens и Circle to Search, где физический мир становится интерфейсом для поиска информации.

Best practices (это мы делаем)

• Оптимизация изображений для распознавания: Используйте четкие, высококачественные, хорошо освещенные изображения продуктов, логотипов и объектов. Изображения должны быть легко распознаваемыми и выделяться на фоне. Это увеличивает вероятность того, что Google точно определит Label при визуальном поиске.
• Обеспечение точности данных о сущностях: Убедитесь, что ваши сущности (продукты, локации) корректно представлены в индексах Google (Image Search, Merchant Center, Google Business Profile). Метки (Labels), связанные с изображениями, должны быть точными, так как они станут терминами запроса.
• Использование структурированных данных для связи Изображение-Сущность: Активно используйте Schema.org (например, Product, ImageObject, LocalBusiness) для явного указания связи между изображениями на ваших страницах и соответствующими им сущностями и их названиями. Это помогает Google формировать корректные Labels.
• Фокус на Entity SEO: Укрепляйте авторитет и узнаваемость ваших брендов и продуктов как сущностей. Чем известнее сущность, тем вероятнее, что она присутствует в индексе изображений с корректной меткой.

Worst practices (это делать не надо)

• Использование нечетких или стоковых изображений: Применение низкокачественных, темных или слишком общих стоковых фотографий для представления конкретных продуктов затрудняет генерацию точного Feature Vector и распознавание объекта.
• Несоответствие изображений и контента: Размещение изображений, которые не соответствуют окружающему тексту или метаданным. Это может привести к некорректной индексации и ошибкам в определении Label.
• Игнорирование оптимизации Product Feeds: Для E-commerce критически опасно иметь неточные или неполные данные в Merchant Center. Если изображение продукта связано с неверным названием, система уточнит запрос пользователя неверной меткой.
• Блокировка индексации изображений: Закрытие важных изображений от сканирования Googlebot-Image не позволит им попасть в индекс и участвовать в визуальном поиске.

Стратегическое значение

Патент подтверждает стратегический сдвиг Google в сторону мультимодальности и визуального поиска. Поиск больше не ограничивается текстовым вводом; окружающая среда пользователя становится интерфейсом запроса. Для SEO это означает, что оптимизация должна выходить за рамки традиционных ключевых слов и включать оптимизацию визуального представления сущностей. Стратегии должны учитывать, как продукты, бренды и контент обнаруживаются пользователями визуально через инструменты типа Google Lens или Circle to Search.

Практические примеры

Сценарий: Оптимизация карточки товара для визуального коммерческого поиска

Пользователь видит кроссовки на улице, наводит камеру смартфона и спрашивает: "Где купить такие?"

1. Действия SEO/Владельца магазина:
   • Разместить на сайте магазина высококачественные фотографии этих кроссовок с разных ракурсов, включая вид сверху и сбоку, а также фото коробки и логотипа крупным планом.
   • Обеспечить передачу этих изображений и точного названия модели (например, "Adidas Samba OG Cloud White") через Merchant Center Feed и Sitemap для изображений.
   • Внедрить разметку Product Schema с указанием image, name, sku, brand.
2. Механизм работы Google:
   • Google получает изображение и голосовой запрос.
   • Система анализирует изображение, генерирует Feature Vector и сравнивает его с индексом.
   • Благодаря качественным фото и точным данным в индексе, Google распознает объект и определяет Label: "Adidas Samba OG Cloud White".
   • Система идентифицирует местоимение "такие" и заменяет его меткой.
   • Уточненный запрос: "Где купить Adidas Samba OG Cloud White".
3. Ожидаемый результат: Google предоставляет результаты из Google Shopping, где присутствует карточка товара оптимизированного магазина, увеличивая вероятность конверсии через визуальный поиск.