Как Google использует мультимодальный поиск (изображение + голос) для более точного понимания запросов и ранжирования результатов

Термины и определения

Annotation Pair (Аннотационная пара)

Набор данных для обучения модели, состоящий из изображения и связанного с ним текста или аудио. Используется для обучения модели распознаванию связей между модальностями.

Audio Feature Data (Признаки аудиоданных)

Данные, извлеченные из аудиокомпонента запроса. Чаще всего это текст, полученный в результате распознавания речи, и его NLP-интерпретация.

Embedding Space (Пространство представлений)

В контексте патента — многомерное векторное пространство, в котором расстояние между элементами (изображениями, текстом, ресурсами) обозначает их семантическую близость. Используется в некоторых вариантах модели релевантности.

Image Feature Data (Признаки изображения)

Числовые значения, представляющие визуальные характеристики изображения или его части (цвет, текстура, края, SIFT и т.д.).

Joint Image-Audio Query (Совместный Изображение-Аудио запрос)

Мультимодальный поисковый запрос, состоящий из двух компонентов: данных изображения и аудиоданных (обычно речи).

Joint Image-Audio Relevance Model (Совместная модель релевантности Изображение-Аудио)

Обученная модель, которая принимает на вход признаки изображения и аудио и вычисляет оценку релевантности для ресурсов.

Relevance Score (REL) (Оценка релевантности)

Числовая оценка, генерируемая моделью, показывающая степень соответствия ресурса совместному Изображение-Аудио запросу.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки мультимодального запроса.

1. Система получает от клиентского устройства Joint Image-Audio Query, который включает файл изображения и файл аудиозаписи речи. Важно: объединение (pairing) происходит на клиентском устройстве перед отправкой.
2. Система определяет признаки изображения (query image feature data).
3. Система определяет признаки аудио (query audio feature data), включая текст, полученный из аудиозаписи речи.
4. Эти признаки передаются в Joint Image-Audio Relevance Model.
5. Модель обучена генерировать Relevance Scores для ресурсов на основе комбинированной релевантности: (Признаки изображения запроса к Признакам изображения ресурса) И (Текст запроса к Тексту ресурса).
6. Система идентифицирует релевантные ресурсы, упорядочивает их по полученным оценкам и предоставляет результаты поиска клиенту.

Ядром изобретения является использование единой обученной модели для оценки релевантности на основе комбинации двух разных модальностей входного запроса (изображение и аудио/текст) по отношению к двум модальностям ресурса (изображение и текст).

Claim 2, 3 (Зависимые): Уточняют роль аудио. Аудио может описывать объект интереса (query object) на изображении, в том числе указывать его позицию (например, "объект справа").

Claim 4 (Зависимый): Уточняет, что аудио может содержать ограничения (restrictions) на результаты поиска (например, "только синий цвет", "дешевле 10 долларов").

Где и как применяется

Изобретение применяется на нескольких этапах поисковой архитектуры для обеспечения мультимодального поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе система анализирует ресурсы (например, карточки товаров, веб-страницы) и извлекает из них как визуальные признаки (resource image feature data), так и текстовые данные (resource text data). Эти данные сохраняются для последующего сравнения.

QUNDERSTANDING – Понимание Запросов
Основной этап применения. Когда поступает Joint Image-Audio Query, система должна интерпретировать обе его части. Это включает распознавание речи (Speech-to-Text), применение NLP для понимания намерений, ограничений и пространственной информации в аудио, а также анализ визуальных признаков изображения.

RANKING – Ранжирование
На этом этапе активируется Joint Image-Audio Relevance Model. Она использует интерпретированные данные запроса для вычисления Relevance Scores ресурсов из индекса. Патент предлагает несколько математических моделей для этого вычисления.

Входные данные:

• Joint Image-Audio Query (файл изображения, аудиофайл).
• База данных ресурсов (с предварительно извлеченными визуальными и текстовыми признаками).

Выходные данные:

• Список ранжированных результатов поиска с соответствующими Relevance Scores.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на E-commerce и поиск товаров, где комбинация визуального образца и голосового уточнения критична. Также влияет на локальный поиск (фотография места + голосовой вопрос).
• Специфические запросы: Влияет на запросы, где пользователю проще показать и сказать, чем сформулировать текстом (например, поиск запчастей, идентификация объектов).

Когда применяется

• Условия применения: Алгоритм применяется, когда пользователь явно отправляет мультимодальный запрос, состоящий из изображения и аудио. Это характерно для поиска через мобильные приложения, поддерживающие ввод с камеры и микрофона (например, функциональность, аналогичная Google Lens с голосовым вводом).

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени

1. Получение запроса: Система получает Joint Image-Audio Query от пользовательского устройства.
2. Извлечение визуальных признаков: Изображение обрабатывается для генерации Image Feature Data (цвет, текстуры, формы и т.д.).
3. Извлечение аудио признаков: Аудио обрабатывается с помощью Speech-to-Text. Полученный текст анализируется с помощью NLP для извлечения ключевых слов, намерений, ограничений (например, цена, цвет) и пространственной информации (например, "слева").
4. Передача в модель релевантности: Оба набора признаков передаются в Joint Image-Audio Relevance Model.
5. Вычисление релевантности: Модель сравнивает признаки запроса с признаками ресурсов в базе данных, используя одну из заложенных функций релевантности (например, линейную комбинацию или модель пространства представлений).
6. Генерация оценок: Для каждого ресурса вычисляется Relevance Score (REL).
7. Ранжирование и выдача: Ресурсы упорядочиваются по оценкам REL, формируется страница результатов поиска (SERP).

Процесс Б: Обучение модели (Офлайн)

1. Сбор данных: Система получает доступ к Annotation Pairs (изображения + связанный текст/аудио) и ресурсам с известной степенью релевантности к этим парам.
2. Извлечение признаков из обучающих данных: Из Annotation Pairs и ресурсов извлекаются признаки.
3. Обучение модели: Веса модели корректируются итеративно, чтобы минимизировать разницу между вычисленными оценками релевантности и известными (целевыми) значениями релевантности.
4. Валидация: Модель проверяется на тестовом наборе данных.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Изображение): Визуальные характеристики. Патент упоминает цветовые гистограммы, обнаружение текстур, SIFT (scale-invariant feature transform), обнаружение краев, углов и геометрическое размытие.
• Контентные факторы (Аудио): Текст, полученный из речи. Применяется NLP для парсинга контента, определения пространственных областей интереса на изображении и выявления ограничений или предпочтений (sentiments).
• Поведенческие факторы (Для обучения): Патент предлагает использовать данные о выборе пользователей (selection data) из поиска по картинкам, поиска товаров и общего веб-поиска для генерации Annotation Pairs. Например, текст запроса пользователя и изображение, на которое он кликнул, формируют пару для обучения.

Какие метрики используются и как они считаются

Ключевая метрика — Relevance Score (REL), рассчитываемая функцией $f(S, I, R)$, где S — аудио/текст запроса, I — изображение запроса, R — ресурс. Патент предлагает несколько вариантов реализации этой функции:

1. Линейная комбинация (Linear Combination):

$f(S, I, R) = c*f_s(S,R) + (1-c)*f_I(I,R)$
Комбинация оценок текстовой релевантности и визуальной релевантности с настраиваемым весом c.

2. Фильтрация (Restricted Set):

$f(S, I, R) = f_I(I,R) * f(S,R)$
Где $f(S,R)=1$, если текст S присутствует в ресурсе R, и 0 в противном случае. Аудио используется для фильтрации набора ресурсов, а ранжирование внутри набора происходит по визуальной схожести.

3. Обучение весов признаков для каждого S:

$f(S, I, R) = W_S \cdot \Phi(I,R)$
Для каждого варианта аудиоввода (S) изучается отдельная матрица весов (W_S).

4. Модели пространства представлений (Embedding Space Models):

Например, $f(S, I, R) = (W_{SI} \cdot \Phi_{SI}(S,I)) \cdot (W_R \cdot \Phi_R(R))$
Запрос (S+I) и ресурс (R) проецируются в общее низкоразмерное пространство представлений, где оценивается их близость.

1. Мультимодальность устраняет неоднозначность: Ключевая идея патента — использование второй модальности (аудио/голос) для уточнения интента первой модальности (изображение). Это позволяет системе понять, какой именно объект на фото интересует пользователя и какие у него требования.
2. Интеграция сигналов в единую модель: В отличие от систем, которые могут обрабатывать модальности раздельно, патент фокусируется на Joint Relevance Model, которая оценивает релевантность на основе комбинации всех входных данных одновременно.
3. Гибкость в комбинировании модальностей: Патент предлагает различные математические подходы к комбинированию сигналов. Аудио может выступать как жесткий фильтр (модель Restricted Set), как взвешенный фактор (Linear Combination) или быть глубоко интегрированным через векторные представления (Embedding Space). Это дает системе гибкость в обработке разных типов запросов.
4. Зависимость обучения от реальных данных: Эффективность модели зависит от качества Annotation Pairs. Использование логов поиска и кликов для генерации этих пар подчеркивает, что Google учится понимать связь между изображениями и словами на основе того, как их описывают пользователи и вебмастера.
5. Фокус на E-commerce и мобильный поиск: Описанные сценарии (поиск товаров, уточнение цвета, цены) явно указывают на применение технологии в мобильном контексте и электронной коммерции.

Best practices (это мы делаем)

• Обеспечение максимального соответствия изображения и текста: Критически важно, чтобы визуальные активы (особенно изображения товаров) и их текстовый контекст (заголовки, описания, alt-текст, подписи) были семантически тесно связаны. Модель оценивает релевантность обеих частей.
• Оптимизация визуальной ясности (Visual Clarity): Изображения должны быть высокого качества, с четко выделенным основным объектом. Это облегчает извлечение признаков (Image Feature Extraction) и повышает вероятность того, что система правильно сопоставит ваше изображение с мультимодальным запросом.
• Использование описательного и вариативного языка: Описывайте продукт так, как пользователи могут его искать голосом. Включайте в текст характеристики, которые могут быть использованы как ограничения (restrictions) в голосовом запросе: цвет, размер, цена, бренд, сценарии использования.
• Оптимизация под "Describability": Убедитесь, что контент страницы соответствует тому, как пользователь может вербально описать свою визуальную потребность. Анализируйте данные голосового поиска для понимания формулировок.

Worst practices (это делать не надо)

• Семантическое расхождение (Mismatching): Использование изображений, которые слабо связаны с текстом страницы (например, общие стоковые фото в статьях или несоответствующие изображения товаров). Это снижает комбинированную релевантность.
• Использование зашумленных или некачественных изображений: Размещение ключевых товаров на cluttered (зашумленном) фоне или в низком разрешении затрудняет извлечение признаков и может привести к неверной интерпретации визуального контента.
• Игнорирование текстового контекста изображений: Фокус только на визуальной привлекательности изображений без проработки окружающего текста (включая alt-text). Система не сможет эффективно использовать текстовую часть мультимодального запроса для оценки ресурса.

Стратегическое значение

Патент подтверждает стратегический курс Google на мультимодальное понимание контента и запросов. Для SEO это означает необходимость выхода за рамки традиционной текстовой оптимизации. Необходимо учитывать, как визуальные и текстовые элементы взаимодействуют для передачи смысла. Эта технология является основой для современных интерфейсов поиска (таких как Google Lens) и критически важна для долгосрочной стратегии в e-commerce и мобильном SEO.

Практические примеры

Сценарий: Оптимизация карточки товара (E-commerce)

Задача: Продажа красной спортивной куртки Nike.

1. Визуальная оптимизация: Разместить качественные фотографии куртки на нейтральном фоне, а также в контексте использования. Убедиться, что цвет и логотип четко видны.
2. Текстовая оптимизация: В описании товара использовать фразы: "Красная спортивная куртка Nike", "Ветровка для бега", "Доступна в красном, синем и черном цветах", указать цену.
3. Ожидаемый результат: Пользователь фотографирует похожую куртку на улице и говорит: "Найти эту куртку Nike дешевле 150 долларов".
   • Система извлекает визуальные признаки (форма куртки, цвет, логотип).
   • Система извлекает текст: "Nike", "дешевле 150 долларов".
   • Joint Relevance Model ищет ресурсы, которые соответствуют и визуальным признакам, и текстовым ограничениям. Оптимизированная карточка товара получит высокий Relevance Score, так как соответствует всем условиям.