Как Google использует визуальные цитаты и обратную связь для генерации и уточнения ответов в мультимодальном поиске

Термины и определения

Attribution Element / Selectable Attribution Element (Элемент атрибуции / Выбираемый элемент атрибуции)

Интерфейсный элемент, функционирующий как Visual Citation. Включает Result Image (или его миниатюру) и информацию, идентифицирующую Source Document (например, URL). Может быть выбран пользователем для исключения источника из процесса генерации.

Derived Unit of Text / Second Unit of Text (Производная / Вторая единица текста)

Сгенерированный ответ на запрос пользователя. Создается LLM на основе текста, извлеченного из одного или нескольких Source Documents. Может быть выдержкой, суммаризацией или синтезом информации.

Intermediate Representation (Промежуточное представление)

Результат обработки изображения моделью визуального поиска. В патенте это синоним эмбеддинга (Embedding). Используется для измерения визуального сходства.

Machine-Learned Language Model (LLM) (Машинно-обученная языковая модель)

Модель (например, большая языковая модель), используемая для обработки извлеченного текста и промпта с целью генерации ответа.

Machine-Learned Visual Search Model (Машинно-обученная модель визуального поиска)

Модель (часто Embedding Model), используемая для генерации Intermediate Representations изображений и поиска визуально похожих результатов.

Multimodal Query (Мультимодальный запрос)

Запрос, сформулированный с использованием нескольких типов данных. В контексте патента — это комбинация Query Image и Prompt.

Query Image (Изображение-запрос)

Изображение, предоставленное пользователем как часть мультимодального запроса.

Result Image (Результирующее изображение)

Изображение, найденное системой как визуально похожее на Query Image.

Source Document (Исходный документ)

Документ (веб-страница, статья, PDF и т.д.), который содержит Result Image и связанный с ним текст. Является источником информации для генерации ответа.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод ответа на мультимодальный запрос с визуальной цитатой.

1. Извлечение Result Image на основе сходства с Query Image.
2. Получение первого блока текста (First Unit of Text) из Source Document, содержащего это изображение.
3. Определение второго блока текста (ответ, Second Unit of Text) в ответ на Prompt. Ответ является либо частью первого блока, либо производным от него.
4. Предоставление ответа и Result Image для отображения.

Claim 2 и 3 (Зависимые): Уточняют механизм поиска. Поиск осуществляется путем сравнения Intermediate Representations (эмбеддингов), сгенерированных с помощью Machine-Learned Visual Search Model.

Claim 8, 9, 10 (Зависимые): Уточняют механизм генерации. Ответ определяется с помощью Machine-Learned Language Model (LLM). Результатом может быть выдержка (subset) или суммаризация (summarization) исходного текста.

Claim 21 (Независимый пункт, Системный): Описывает систему, которая синтезирует ответ из нескольких источников.

1. Извлекается множество Result Images на основе сходства эмбеддингов.
2. Извлекаются соответствующие блоки текста из множества Source Documents.
3. Набор текстовых входов (несколько блоков текста + промпт) обрабатывается LLM для получения единого ответа.
4. Ответ и соответствующие Result Images предоставляются пользователю.

Claim 41 (Независимый пункт, Метод): Описывает механизм итеративного уточнения ответа (Feedback Loop).

1. После генерации и отображения ответа (на основе нескольких источников) система получает информацию от пользователя о том, что первый Result Image визуально не похож на запрос.
2. Система удаляет текст, связанный с источником этого изображения, из набора входных данных.
3. Обновленный набор входов повторно обрабатывается LLM для получения уточненного ответа (Refined Language Output).
4. Уточненный ответ предоставляется пользователю.

Где и как применяется

Изобретение охватывает несколько этапов поисковой архитектуры, фокусируясь на интеграции визуального поиска и генерации ответов.

INDEXING – Индексирование и извлечение признаков
На этом этапе система индексирует изображения, генерирует их эмбеддинги (Intermediate Representations) и сохраняет их в Image Search Space. Критически важно сохранение связи между изображением и его Source Document (включая текст документа) в Document Indexing Information.

QUNDERSTANDING – Понимание Запросов
Система получает и обрабатывает Multimodal Query, разделяя его на визуальный (Query Image) и текстовый (Prompt) компоненты.

RANKING – Ранжирование (Визуальный поиск)
На этапе отбора кандидатов (L1 Retrieval) Image Evaluation Module использует эмбеддинг Query Image для быстрого поиска визуально похожих Result Images.

METASEARCH / RERANKING (Генерация и Уточнение)
Основное применение патента происходит здесь. Это процесс генерации и смешивания ответа:

1. Извлечение контента: Document Content Selection Module извлекает текст из источников, найденных на этапе Ranking.
2. Генерация ответа: Text Determination Module (используя LLM) генерирует ответ.
3. Смешивание (Blending): Система формирует интерфейс, объединяющий сгенерированный ответ и визуальные цитаты.
4. Переранжирование (Refinement): Обработка обратной связи пользователя (Result Image Selection Information) и запуск регенерации ответа.

На что влияет

• Конкретные типы контента и Ниши: Наибольшее влияние на контент, где визуальная составляющая является ключевой для идентификации: товары (e-commerce), природа, инструкции (how-to), искусство, путешествия, дизайн.
• Специфические запросы: Влияет на информационные и коммерческие запросы, заданные через интерфейсы мультимодального поиска (Google Lens, Circle to Search).

Когда применяется

• Триггеры активации (Основной процесс): Активируется при получении Multimodal Query (комбинации изображения и промпта).
• Триггеры активации (Уточнение): Механизм уточнения активируется, когда пользователь взаимодействует с Selectable Attribution Element, чтобы указать на нерелевантность визуального источника.

Пошаговый алгоритм

Алгоритм разделен на две фазы: генерация первоначального ответа и итеративное уточнение.

Фаза 1: Генерация первоначального ответа (Время T1)

1. Получение ввода: Система получает Query Image и Prompt.
2. Генерация эмбеддинга: Query Image обрабатывается Machine-Learned Visual Search Model для создания эмбеддинга.
3. Визуальный поиск: Эмбеддинг используется для поиска ближайших соседей в Image Search Space. Идентифицируется набор Result Images.
4. Идентификация источников: Система определяет Source Documents для каждого Result Image.
5. Извлечение текста: Document Content Selection Module извлекает релевантные блоки текста (Units of Text) из этих документов (например, текст, расположенный рядом с изображением).
6. Генерация ответа (LLM): Text Determination Module обрабатывает набор текстовых входов (все извлеченные блоки текста + Prompt) с помощью LLM для создания ответа (Derived Unit of Text).
7. Формирование интерфейса: Система генерирует Interface Data, включающие ответ и Selectable Attribution Elements (визуальные цитаты) для каждого источника.

Фаза 2: Итеративное уточнение (Время T2)

8. Получение обратной связи: Система получает Result Image Selection Information, указывающее, что пользователь отклонил конкретный Selectable Attribution Element.
9. Уточнение входов: Система удаляет блок текста, связанный с отклоненным источником, из набора текстовых входов.
10. Регенерация ответа (LLM): Уточненный набор текстовых входов повторно обрабатывается LLM для генерации нового ответа (Second Derived Unit of Text).
11. Обновление интерфейса: Новый ответ и оставшиеся визуальные цитаты предоставляются пользователю.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Изображения):
  • Query Image: Исходное изображение от пользователя.
  • Result Images: Индексированные изображения, найденные по визуальному сходству.
• Контентные факторы (Текст):
  • Текстовый контент из Source Documents: Текст, извлеченный со страниц, где размещены Result Images. Система отдает приоритет тексту, релевантному изображению (например, расположенному рядом с ним).
• Пользовательские факторы:
  • Prompt: Текстовый запрос пользователя.
  • Обратная связь: Взаимодействие пользователя с Selectable Attribution Elements для исключения источников.

Какие метрики используются и как они считаются

• Визуальное сходство (Visual Similarity): Основная метрика для поиска изображений. Рассчитывается на основе сходства или расстояния между Intermediate Representations (эмбеддингами) в векторном пространстве.
• Алгоритмы машинного обучения:
  • Machine-Learned Visual Search Model (Embedding Model): Используется для кодирования визуальной информации.
  • Machine-Learned Language Model (LLM): Используется для понимания промпта, анализа извлеченного текста и генерации/суммаризации ответа.
• Методы анализа текста и Структурные факторы: Используются для определения того, какие части текста в Source Document релевантны изображению. Патент упоминает эвристики, основанные на структуре документа (например, выбор текста до и после изображения), или использование моделей для оценки релевантности.

1. Изображения как анкоря для поиска текстовой информации: Патент подтверждает сдвиг к мультимодальному поиску, где визуальное сходство используется как первичный механизм для поиска релевантной текстовой информации (RAG через визуальный поиск). Система полагается на предположение, что страница, содержащая визуально похожее изображение, содержит релевантный текст.
2. Критичность текстового контекста изображения: Качество и релевантность сгенерированного ответа напрямую зависят от текста, который система извлекает из Source Document, особенно текста, расположенного вблизи изображения.
3. LLM как механизм синтеза и суммаризации: LLM играют центральную роль в объединении информации из нескольких визуально подтвержденных источников для формирования ответа на промпт пользователя.
4. Визуальные цитаты для "заземления" (Grounding) и доверия: Представление Result Images вместе с ответом служит для "заземления" ответа LLM и позволяет пользователям быстро верифицировать релевантность источников по визуальному сходству.
5. Интерактивное уточнение ответа (Feedback Loop): Ключевая инновация — возможность пользователя напрямую влиять на корпус входных данных для LLM путем исключения нерелевантных визуальных источников, что запускает мгновенную регенерацию ответа.

Best practices (это мы делаем)

• Оптимизация синергии Изображение-Текст: Это ключевая рекомендация. Убедитесь, что текст, физически окружающий изображение на странице (подписи, абзацы до и после), точно, подробно и ясно описывает то, что изображено. Этот текст является основным источником для LLM при генерации ответа в мультимодальном поиске.
• Использование высококачественных и уникальных изображений: Используйте четкие, релевантные изображения, которые точно представляют объект или концепцию. Это повышает вероятность того, что изображение будет найдено через визуальный поиск и что пользователь подтвердит его релевантность как Visual Citation.
• Стратегическое размещение изображений: Размещайте ключевые изображения в тех разделах документа, где содержится наиболее важная и авторитетная информация по теме. Например, размещайте изображение продукта рядом с его характеристиками и подробным описанием.
• Повышение качества контента страницы (E-E-A-T): Поскольку LLM использует текст страницы для формирования ответа, общая авторитетность, точность и полнота контента на странице (Source Document) имеют решающее значение для качества сгенерированного ответа.

Worst practices (это делать не надо)

• Использование стоковых фото без контекста: Размещение общих или декоративных стоковых фотографий, которые слабо связаны с основным содержанием страницы. Текст вокруг них не будет релевантен содержанию изображения, что снижает ценность страницы как источника для этой системы.
• Несоответствие изображения и текста (Кликбейт): Использование привлекательных, но нерелевантных изображений. Если такое изображение появится как Visual Citation, пользователь, скорее всего, исключит его через механизм обратной связи, так как оно не соответствует его запросу или сгенерированному ответу.
• Размещение важных изображений рядом с "тонким" контентом: Если качественное изображение окружено текстом низкого качества, спамом или неинформативным контентом, это ограничивает информацию, которую LLM может извлечь, или приводит к генерации низкокачественного ответа.
• Размещение текста внутри изображения: Патент полагается на извлечение текста из документа (HTML), а не на распознавание текста на изображении (OCR) для генерации ответа.

Стратегическое значение

Этот патент сигнализирует о значительном сдвиге в сторону информационного поиска, основанного на визуальных данных. SEO-стратегии должны более тесно интегрировать оптимизацию изображений и контент-стратегию. Способность страницы отвечать на вопросы, связанные с ее изображениями, становится ключевым фактором ранжирования в ландшафте мультимодального поиска (Google Lens, Circle to Search). Это подчеркивает важность не только того, что вы показываете, но и того, что вы говорите об этом рядом с изображением.

Практические примеры

Сценарий: Оптимизация страницы товара E-commerce (Кроссовки)

1. Действие: Вместо размещения всех фотографий кроссовок в верхней галерее, распределите детальные фотографии конкретных частей (например, подошвы, системы шнуровки) по тексту страницы.
2. Реализация: Разместите фотографию подошвы непосредственно рядом с абзацем, подробно описывающим технологию амортизации (название пены, тип резины, рисунок протектора).
3. Ожидаемый результат (по патенту): Пользователь делает фото подошвы кроссовка (Query Image) и спрашивает: "Какая технология амортизации здесь используется?" (Prompt).
4. Работа системы: Google находит вашу фотографию подошвы как Result Image. Document Content Selection Module извлекает соседний абзац о технологии амортизации. LLM использует этот текст для генерации точного ответа. Ваша фотография отображается как Visual Citation со ссылкой на вашу страницу.