Как Google объединяет изображение с камеры и одновременный аудиовход (речь и звуки) для выполнения сложных мультимодальных поисковых запросов

Термины и определения

Audio Data / Audio Input (Аудиоданные / Аудиовход)

Данные, полученные с микрофона пользовательского устройства, связанные с Image Data. Могут включать речь пользователя или окружающие звуки.

Audio Signature (Аудиосигнатура)

Звуковой отпечаток или характеристика аудиоданных. Используется для идентификации или сравнения звуков (например, для диагностики проблемы по характерному шуму устройства), а не только для распознавания речи.

Generative Results (Генеративные результаты)

Ответы, сгенерированные с помощью Large Language Models (LLMs) в ответ на мультимодальный запрос, часто в ответ на запросы, требующие выполнения действий (Action seeking queries).

Image Data / Image Input (Изображение / Визуальный ввод)

Визуальные данные, полученные с камеры пользовательского устройства.

Image Embeddings (Эмбеддинги изображения)

Низкоразмерное векторное представление визуальных признаков изображения. Используется для задач классификации и поиска похожих изображений.

Multimodal Input/Output (Мультимодальный ввод/вывод)

Ввод или вывод, использующий несколько модальностей одновременно (в данном патенте — изображение и аудио).

Plurality of Words (Транскрибированный текст)

Текстовое представление речи, полученное в результате обработки Audio Data.

Query Refinement (Уточнение запроса)

Процесс переформулирования исходного запроса. Включает интеграцию данных из разных модальностей, например, замену слов в тексте на основе визуальных данных или комбинирование эмбеддингов.

Search Terms (Поисковые термины)

Итоговый набор терминов или данных (включая эмбеддинги), сгенерированный после Query Refinement, который используется для выполнения поиска.

Visual Features (Визуальные признаки)

Характеристики, извлеченные из Image Data. Могут включать Image Embeddings, названия объектов, данные о местоположении и т.д.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод мультимодального поиска с использованием аудиосигнатур.

1. Система получает Image Data (с камеры) и связанный Audio Data (с микрофона).
2. Обрабатывает Image Data для генерации Visual Features.
3. Обрабатывает Audio Data для генерации ДВУХ элементов: Plurality of Words (транскрипция) И Input Audio Signature (звуковой отпечаток), связанный с объектом на изображении.
4. Генерирует Search Terms. Это включает механизм замены: слово в тексте заменяется на Updated Word, полученное из визуальных признаков.
5. Определяет результаты поиска, основываясь на сгенерированных Search Terms И на Input Audio Signature.
6. Предоставляет результаты.

Ядро изобретения по Claim 1 — это не просто комбинация изображения и речи, а специфический механизм обработки, включающий замену слов на основе визуального контекста, и, что критически важно, использование Input Audio Signature (анализ самого звука, а не только транскрипции) для определения результатов поиска. Это указывает на сценарии диагностики или идентификации по звуку.

Claim 2 (Зависимый от 1): Детализирует использование аудиосигнатур для повышения эффективности.

Для определения результатов система выполняет:

1. Доступ к базе данных аудиосигнатур для получения набора известных сигнатур (Known Audio Signatures). Этот доступ фильтруется на основе извлеченного Visual Feature.
2. Выбор совпадающей сигнатуры (Matching Audio Signature), если оценка сравнения (Comparison Score) между входной и известной сигнатурой превышает порог.

Это описывает механизм оптимизации: система использует изображение, чтобы сузить область поиска в базе звуков (например, идентифицирует модель устройства), а затем сравнивает звук, записанный пользователем, только с известными звуками для этой конкретной модели.

Claim 4, 5, 6 (Зависимые): Описывают сценарий поиска по изображениям.

Если аудио является уточняющим запросом (Refinement/Pivot query), система генерирует Text Embeddings и Image Embeddings. Эти эмбеддинги комбинируются и вводятся в модели поиска изображений для получения результатов в виде изображений.

Claim 7 (Зависимый от 1): Описывает сценарий информационного поиска.

Если аудио является информационным запросом (Information seeking query), система обрабатывает Search Terms с помощью веб-поисковой системы (Web Search Engine) для получения веб-результатов.

Claim 10 (Зависимый от 1): Описывает сценарий запроса на действие.

Если аудио является запросом на действие (Action seeking query), система обрабатывает Search Terms с помощью Больших Языковых Моделей (LLMs) для получения генеративных результатов.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поиска, интегрируя обработку ввода и понимание запроса с выполнением поиска.

CRAWLING & INDEXING (Сканирование и Индексирование)
Система должна иметь доступ к обширным индексам, которые поддерживают мультимодальный поиск. Это включает индексацию изображений с генерацией Image Embeddings и, что важно, индексацию Audio Signatures, связанных с конкретными объектами или сущностями (как описано в Claim 2), для поддержки функций диагностики.

QUNDERSTANDING (Понимание Запросов)
Это основной этап применения патента. Система выполняет сложную обработку мультимодального ввода в реальном времени:

• Извлечение признаков: Параллельная обработка изображения (Visual Features) и аудио (Transcribed Text, Audio Signature).
• Классификация интента: Определение категории запроса на основе аудиоввода (Refinement, Pivot, Information seeking, Action seeking).
• Query Refinement: Ключевой процесс слияния модальностей. Система использует ML-модели для интеграции визуального контекста в текстовый запрос (замена слов) или для генерации комбинированных эмбеддингов.

RANKING & METASEARCH (Ранжирование и Метапоиск)
Уточненный запрос направляется в соответствующую поисковую вертикаль или систему генерации:

• Image Search: Если интент связан с поиском похожих изображений или товаров.
• Web Search: Если интент информационный или диагностический.
• LLMs: Если интент связан с выполнением действия или генерацией контента.

Система действует как метапоисковый механизм, определяя, какой источник лучше всего ответит на мультимодальный запрос.

Входные данные:

• Image Data (с камеры).
• Audio Data (с микрофона).
• Метаданные (например, местоположение пользователя).

Выходные данные:

• Мультимодальный вывод (Image Results, Web Results, или Generative Results).

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент, где визуальная составляющая критична: товары (eCommerce), локальные объекты, инструкции (DIY), контент по устранению неполадок (Troubleshooting).
• Специфические запросы: Трансформирует подход к поиску по длинному хвосту (long-tail queries), которые сложно сформулировать текстом, но легко показать и спросить. Также влияет на запросы, связанные с диагностикой (по звуку и виду).
• Конкретные ниши или тематики: eCommerce, Ремонт и обслуживание (диагностика техники, автомобилей), Кулинария (идентификация ингредиентов и поиск рецептов), Садоводство, Локальный бизнес.

Когда применяется

• Триггеры активации: Активируется пользователем при запуске режима мультимодального поиска на устройстве (например, через приложение камеры или поискового ассистента), когда одновременно поступают и визуальные, и аудио данные.
• Условия работы алгоритма: Система должна успешно извлечь Visual Features и обработать Audio Data. Эффективность зависит от качества входных данных и способности системы связать аудио и визуальный контекст.

Пошаговый алгоритм

Процесс обработки мультимодального запроса

1. Получение входных данных: Система получает Image Data, захваченные камерой, и Audio Data, захваченные микрофоном.
2. Параллельная обработка изображения: Image Data обрабатывается для генерации Visual Features (например, Image Embeddings, идентификация объектов).
3. Параллельная обработка аудио: Audio Data обрабатывается для генерации Plurality of Words (транскрибированного текста). В некоторых реализациях также генерируется Input Audio Signature.
4. Уточнение запроса (Query Refinement): Система генерирует итоговые Search Terms на основе визуальных признаков и обработанного аудио. Это может включать:
   • Замена слов: Идентификация слов в тексте (например, «это») и их замена на термины, полученные из Visual Features (например, название объекта).
   • Генерация эмбеддингов: Создание Text Embeddings из текста и комбинирование их с Image Embeddings.
5. Классификация интента и маршрутизация: Система определяет категорию запроса (например, Information seeking, Action seeking, Refinement) для выбора механизма поиска.
6. Определение результатов поиска:
   • Для веб-поиска: Search Terms направляются в Web Search Engine.
   • Для поиска изображений: Комбинированные эмбеддинги направляются в Image Search System.
   • Для генеративных ответов: Search Terms направляются в LLMs.
   • С использованием аудиосигнатуры: Если используется Audio Signature, система сначала использует Visual Features для доступа к релевантному подмножеству Known Audio Signatures в базе данных, затем сравнивает входную сигнатуру с известными (проверяя превышение Comparison Score порога) для уточнения результатов.
7. Предоставление вывода: Система предоставляет один или несколько результатов (Web Results, Image Results, Generative Results) пользователю.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Изображения): Image Data, полученные с камеры. Это основной источник для извлечения Visual Features и Image Embeddings.
• Мультимедиа факторы (Аудио): Audio Data, полученные с микрофона. Используются для транскрибации речи и генерации Audio Signature.
• Географические факторы: Патент упоминает, что Visual Features могут включать данные о местоположении (Location Data), которые могут быть использованы для уточнения локальных запросов.
• Пользовательские факторы: Исторические данные пользователя (Historical Data) могут использоваться на этапе Query Refinement для лучшего понимания интента.

Какие метрики используются и как они считаются

Патент не детализирует конкретные формулы ранжирования, но описывает следующие ключевые метрики и процессы обработки:

• Векторные представления (Embeddings): Используются Image Embeddings и Text Embeddings. Генерируются с использованием ML-моделей (например, CNN, Трансформеры).
• Комбинированные Эмбеддинги: Система комбинирует Text Embeddings и Image Embeddings для выполнения поиска в общем семантическом пространстве.
• Comparison Score (Оценка сравнения аудиосигнатур): Метрика схожести между входной Input Audio Signature и известными Known Audio Signatures.
• Пороговые значения (Threshold Value): Используется при сравнении аудиосигнатур. Если Comparison Score превышает порог, сигнатура считается совпадающей. Патент упоминает, что порог может динамически обновляться.
• Методы анализа текста (NLP): Используются для транскрибации аудио в текст (Speech-to-Text) и для понимания интента запроса.
• Алгоритмы машинного обучения: Используются на всех этапах: для обработки изображений, аудио/текста, классификации интента и генерации ответов (LLMs).

1. Мультимодальность как новый стандарт поиска: Патент подтверждает, что будущее поиска лежит в интеграции различных типов ввода (изображение + аудио). Это не просто две отдельные функции, а единая система, где одна модальность дополняет и уточняет другую.
2. Визуальный контекст для голосовых запросов: Ключевой механизм — использование изображения для понимания контекста голосового запроса. Система буквально «видит», о чем говорит пользователь, что позволяет ей заменять неопределенные термины (например, «этот») конкретными названиями объектов из кадра (Механизм замены слов в Claim 1).
3. Использование звука (Audio Signature) помимо речи: Патент описывает продвинутый сценарий, где анализируется не только речь, но и характеристики звука (Audio Signature). Это позволяет решать задачи, ранее недоступные для поиска, например, диагностику неисправностей по звуку и внешнему виду устройства (Claims 1, 2).
4. Классификация интента определяет источник ответа: Система динамически определяет интент пользователя (найти похожее изображение, получить информацию, выполнить действие) и на основе этого выбирает источник для ответа: поиск по картинкам, веб-поиск или генеративную модель (LLM) (Claims 4, 7, 10).
5. Эффективность за счет фильтрации: Система оптимизирует анализ Audio Signature, сужая базу данных сравнения только до звуков, релевантных визуально идентифицированному объекту. Это позволяет проводить диагностику быстро.

Best practices (это мы делаем)

• Комплексная оптимизация изображений (Visual Search Optimization): Обеспечьте высокое качество, четкость и разнообразие изображений товаров и объектов. Оптимизация должна быть нацелена на то, чтобы ML-модели могли легко извлекать корректные Visual Features. Используйте структурированные данные (Schema.org) для предоставления атрибутов (цвет, бренд, модель), которые пользователи могут запрашивать голосом.
• Оптимизация под визуально-голосовые интенты: Анализируйте, как пользователи могут спрашивать о вашем контенте, видя его. Создавайте контент, отвечающий на запросы типа «Как это использовать?», «Где купить это рядом?», «Какого ухода это требует?». Убедитесь, что ваш контент является релевантным ответом на такие мультимодальные запросы.
• Развитие контента для диагностики и решения проблем (Troubleshooting): Учитывая способность системы анализировать звук и изображение для диагностики проблем (например, шум техники), создание качественного контента (включая видео) по устранению неполадок для конкретных моделей становится критически важным для ниш ремонта и обслуживания.
• Локальное SEO и доступность товаров: Для eCommerce и локального бизнеса важно поддерживать актуальность данных о наличии товаров в локальных точках, так как система поддерживает запросы типа «[Фото товара] + где купить это рядом?», используя Location Data.

Worst practices (это делать не надо)

• Игнорирование Image SEO: Рассматривать изображения только как элемент дизайна, а не как точку входа для поиска. Использование стоковых, нерелевантных или некачественных изображений снизит вероятность их идентификации системой.
• Фокус только на текстовых ключевых словах: Стратегии, основанные исключительно на текстовом поиске, будут терять эффективность по мере роста популярности мультимодального поиска. Нельзя игнорировать оптимизацию под интенты, выраженные через изображение и голос.
• Усложнение визуальной идентификации: Использование изображений с сильным брендингом, водяными знаками или множеством отвлекающих объектов может затруднить извлечение Visual Features основного объекта.
• Создание поверхностного контента: Если пользователь ищет решение проблемы, диагностированной системой (например, по звуку неисправности), поверхностный контент не будет соответствовать его интенту и не будет ранжироваться высоко.

Стратегическое значение

Этот патент имеет огромное стратегическое значение, так как он описывает интерфейс и механизм поиска будущего. Он подтверждает переход от «поиска по ключевым словам» к «поиску по контексту» (визуальному и звуковому). Для SEO это означает необходимость глубокого понимания технологий компьютерного зрения и обработки естественного языка. Долгосрочная стратегия должна включать создание богатого мультимедийного контента, оптимизированного для распознавания и интерпретации мультимодальными системами Google, фокусируясь на решении реальных задач пользователя.

Практические примеры

Сценарий 1: eCommerce (Refinement Query)

• Действие пользователя: Пользователь делает фото понравившегося стула в кафе и говорит: «Найди такой же, но зеленого цвета».
• Работа системы: Система идентифицирует стул (Visual Feature), транскрибирует речь. Query Refinement генерирует комбинированные эмбеддинги, где Image Embedding стула сочетается с Text Embedding «зеленого цвета». Система выполняет Image Search.
• SEO-действие: Оптимизировать карточки товаров, имея качественные изображения стула во всех доступных цветах и указывая цвета в метаданных и структурированных данных (Product Schema), чтобы соответствовать этому интенту.

Сценарий 2: Ремонт и обслуживание (Information Seeking с Audio Signature)

• Действие пользователя: Пользователь направляет камеру на свою кофемашину и записывает странный шипящий звук, спрашивая: «Почему она так шумит?».
• Работа системы: Система идентифицирует модель кофемашины (Visual Feature). Она генерирует Input Audio Signature шума. Система обращается к базе данных звуков для этой модели (Known Audio Signatures) и находит совпадение, соответствующее «засорению фильтра». Система выполняет Web Search.
• SEO-действие: Создать страницу или видео на сайте поддержки с заголовком «Устранение шипящего звука в кофемашине [Модель]», демонстрируя проблему и решение. Это позволит сайту ранжироваться по результатам такого диагностического поиска.

Сценарий 3: Генеративный ответ (Action Seeking Query)

• Действие пользователя: Пользователь фотографирует страницу книги и говорит: «Резюмируй эту страницу».
• Работа системы: Система распознает текст на странице (Visual Feature через OCR), транскрибирует команду. Интент классифицируется как Action Seeking. Система направляет распознанный текст и команду в LLM.
• SEO-действие: Это напрямую не влияет на ранжирование сайта, но показывает, как Google использует контент для генерации прямых ответов. Важно создавать авторитетный контент, который может быть использован LLM в качестве источника.