Как Google использует интерактивные визуальные цитаты для генерации и уточнения ответов в мультимодальном поиске (SGE/Lens)

Термины и определения

Attribution Element / Selectable Attribution Element (Элемент Атрибуции / Визуальная Цитата)

Интерактивный элемент интерфейса. Включает миниатюру Result Image и информацию об источнике (Attribution Information). Пользователь может выбрать его, чтобы указать на нерелевантность источника.

Intermediate Representation (Промежуточное представление)

Числовое представление (как правило, эмбеддинг или вектор) изображения, сгенерированное моделью визуального поиска. Используется для оценки визуального сходства.

Language Output (Языковой вывод)

Текстовый ответ, сгенерированный Machine-Learned Language Model на основе промпта и извлеченного текста.

Machine-Learned Language Model (LLM)

Языковая модель, используемая для синтеза ответа из набора текстовых входных данных.

Multimodal Query (Мультимодальный запрос)

Запрос, состоящий из изображения (Query Image) и текста (Prompt).

Query Image (Изображение запроса)

Изображение, предоставленное пользователем.

Refined Language Output (Уточненный языковой вывод)

Перегенерированный ответ после того, как пользователь исключил один или несколько нерелевантных источников.

Result Image (Результирующее изображение)

Изображение из индекса, найденное как визуально похожее на Query Image.

Set of Textual Inputs (Набор текстовых входных данных)

Корпус текста, подаваемый в LLM. Включает Prompt и текст, извлеченный из Source Documents.

Source Document (Исходный документ)

Документ (например, веб-страница), который содержит Result Image и связанный с ним текст.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод интерактивного уточнения генеративного ответа в мультимодальном поиске.

1. Система извлекает два или более Result Images на основе сходства Intermediate Representations (эмбеддингов) с Query Image.
2. Система обрабатывает Set of Textual Inputs (текст из источников Result Images + Prompt) с помощью Machine-Learned Language Model для получения Language Output.
3. Система предоставляет Language Output и Result Images пользователю.
4. Система получает от пользователя индикацию, что первое Result Image визуально не похоже (visually dissimilar) на Query Image.
5. Система удаляет текст, связанный с Source Document этого первого изображения, из Set of Textual Inputs.
6. Система повторно обрабатывает обновленный набор входных данных с помощью LLM для получения Refined Language Output.
7. Система предоставляет Refined Language Output пользователю.

Ядро изобретения — это цикл обратной связи, позволяющий пользователю управлять источниками данных для LLM путем визуальной оценки релевантности, что приводит к динамическому уточнению ответа.

Claim 6 (Зависимый от 4): Детализирует интерфейс пользователя.

Система предоставляет данные для генерации интерфейса, включающего: (a) элемент с Language Output и (b) два или более Selectable Attribution Elements (визуальные цитаты). Каждый элемент включает миниатюру (thumbnail) Result Image и информацию об источнике (Attribution Information).

Claim 7 (Зависимый от 6): Связывает интерфейс и механизм обратной связи.

Индикация о визуальном несходстве (из п.1) получается через данные о том, что пользователь выбрал (кликнул) соответствующий Selectable Attribution Element.

Где и как применяется

Изобретение интегрирует визуальный поиск, обработку естественного языка и генерацию интерфейса, затрагивая несколько этапов поисковой архитектуры.

INDEXING – Индексирование и извлечение признаков
На этом этапе система индексирует изображения и их Source Documents. Генерируются и сохраняются Intermediate Representations (эмбеддинги) изображений. Устанавливается связь между изображениями и окружающим их текстом (Document Indexing Information).

RANKING – Ранжирование (Визуальный поиск)
При получении Query Image система генерирует его эмбеддинг и выполняет быстрый поиск ближайших соседей в пространстве эмбеддингов (Image Search Space) для получения списка Result Images.

METASEARCH / RERANKING (Генерация и Уточнение)
Основное применение патента. Происходит после визуального поиска:

1. Извлечение Текста: Система извлекает текст из Source Documents, связанных с топовыми Result Images.
2. Генерация Ответа (LLM): Извлеченный текст и Prompt передаются в Machine-Learned Language Model.
3. Формирование Интерфейса: Создается выдача, объединяющая Language Output и Visual Citations (Attribution Elements).
4. Уточнение (Refinement Loop): При получении обратной связи от пользователя система модифицирует входные данные для LLM и перегенерирует ответ в реальном времени.

Входные данные:

• Query Image и Prompt от пользователя.
• Индекс эмбеддингов изображений.
• Индекс исходных документов и их текстового контента.
• Обратная связь пользователя (выбор нерелевантной цитаты).

Выходные данные:

• Language Output (сгенерированный ответ).
• Attribution Elements (визуальные цитаты с миниатюрами и ссылками).
• Refined Language Output (уточненный ответ).

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент, где изображения несут ключевую информацию: страницы товаров (E-commerce), инструкции (How-to), образовательные материалы, обзоры техники, контент о природе или путешествиях.
• Специфические запросы: Мультимодальные запросы, направленные на идентификацию («Что это?»), получение характеристик («Какие у этого параметры?») или инструкций («Как это использовать?»).
• Конкретные ниши: E-commerce, DIY, образование, техническая поддержка.

Когда применяется

• Условия активации алгоритма: Получение мультимодального запроса (Image + Prompt) через интерфейсы типа Google Lens или Circle to Search.
• Триггеры активации: Система должна найти достаточное количество визуально похожих изображений (Result Images) с доступным текстовым контекстом для генерации ответа.
• Триггер уточнения: Активируется в реальном времени, когда пользователь взаимодействует с Selectable Attribution Element, указывая на визуальное несходство (visually dissimilar).

Пошаговый алгоритм

Фаза 1: Генерация первичного ответа

1. Получение запроса: Система получает Query Image и Prompt.
2. Генерация эмбеддинга: Query Image обрабатывается для создания Intermediate Representation.
3. Визуальный поиск: Система извлекает набор Result Images на основе сходства эмбеддингов.
4. Идентификация и Извлечение: Определяются Source Documents для Result Images, и из них извлекается релевантный текст (First Units of Text).
5. Подготовка данных для LLM: Формируется Set of Textual Inputs (извлеченный текст + Prompt).
6. Генерация ответа: LLM обрабатывает входные данные и генерирует Language Output.
7. Формирование интерфейса: Создаются Selectable Attribution Elements (визуальные цитаты).
8. Предоставление результата: Интерфейс отображается пользователю.

Фаза 2: Цикл уточнения (Refinement Loop)

1. Получение обратной связи: Пользователь выбирает Selectable Attribution Element, указывая на нерелевантность.
2. Фильтрация входных данных: Текст, связанный с этим источником, удаляется из Set of Textual Inputs.
3. Перегенерация ответа: LLM обрабатывает обновленный набор данных и генерирует Refined Language Output.
4. Обновление интерфейса: Пользователю предоставляется уточненный ответ, а исключенный элемент атрибуции удаляется.

Какие данные и как использует

Данные на входе

• Контентные факторы (Текст): Текст, извлеченный из Source Documents. Критически важен текст, окружающий Result Image или связанный с ним на странице (подписи, описания, параграфы). Этот текст является фактической базой для генерации ответа LLM.
• Мультимедиа факторы (Изображения): Query Image и Result Images. Используются их визуальные характеристики, закодированные в Intermediate Representations (эмбеддингах), для оценки сходства.
• Пользовательские факторы (Взаимодействие): Текстовый Prompt, определяющий интент. Активная обратная связь пользователя (отклонение визуальных цитат) используется для управления процессом уточнения ответа.

Какие метрики используются и как они считаются

• Visual Similarity (Визуальное Сходство): Метрика для поиска Result Images. Рассчитывается на основе расстояния между Intermediate Representations (эмбеддингами) в векторном пространстве (например, с использованием k-nearest neighbor search).
• Алгоритмы машинного обучения:
  • Модель визуального поиска (Machine-Learned Visual Search Model): Используется для генерации эмбеддингов изображений.
  • Языковая модель (Machine-Learned Language Model): Используется для обработки текста и генерации Language Output (например, суммаризация, ответ на вопрос).
• Методы анализа текста: Система может использовать эвристики (например, близость текста к изображению) или модели для определения, какие части Source Document наиболее релевантны Result Image.

1. Визуальное сходство как основа для поиска информации: В мультимодальном поиске первичный отбор источников (Retrieval) опирается на визуальное сходство изображений (через эмбеддинги), а не на текстовые совпадения.
2. Критическая важность связи «Изображение-Текст»: Система предполагает, что текст, окружающий изображение на странице, является его релевантным описанием. Качество и точность этого текста напрямую определяют качество сгенерированного ответа LLM.
3. Визуальные цитаты как механизм верификации и атрибуции: Патент вводит Visual Citations как способ для пользователя быстро проверить источники, использованные LLM, и как метод атрибуции контента в генеративном поиске.
4. Интерактивное уточнение генеративных ответов: Ключевая инновация — возможность пользователя в реальном времени корректировать источники данных для LLM путем исключения визуально нерелевантных результатов. Это повышает точность финального ответа (Refined Language Output).
5. Новые требования к SEO-оптимизации контента: Успех в мультимодальном поиске требует синергии между качеством визуальных активов и качеством их текстового контекста на странице.

Best practices (это мы делаем)

• Обеспечение тесной связи между изображением и текстом: Размещайте ключевые изображения в непосредственной близости к точному и подробному тексту, описывающему изображенное. Этот текст является сырьем для LLM. Убедитесь, что подписи (captions) и ближайшие абзацы максимально релевантны изображению.
• Оптимизация изображений для визуального поиска (VSEO): Используйте высококачественные, четкие изображения с хорошо различимым основным объектом. Это улучшает качество Intermediate Representation и повышает вероятность точного визуального сопоставления.
• Использование уникальных изображений: Отдавайте предпочтение оригинальным фотографиям и иллюстрациям вместо стоковых. Это гарантирует, что при визуальном сопоставлении будет извлечен именно ваш уникальный контекст, а не текст с другого сайта, использующего то же изображение.
• Структурирование контента для извлечения: Организуйте контент так, чтобы система могла легко извлечь информацию, связанную с изображением. Это особенно важно для страниц товаров (E-commerce), инструкций и обзоров, где характеристики и описания должны быть рядом с фото.

Worst practices (это делать не надо)

• Использование нерелевантных или общих стоковых фото: Размещение изображений, которые слабо связаны с окружающим текстом. Если такое изображение будет выбрано в качестве Result Image, извлеченный текст будет нерелевантен запросу, что приведет к неточному ответу LLM или исключению источника пользователем.
• Несоответствие контента (Image-Text Mismatch): Использование кликбейтных изображений или изображений, противоречащих тексту статьи. Это прямой путь к тому, что пользователь отклонит ваш контент через механизм визуальной верификации.
• Тонкий контент вокруг важных изображений: Размещение изображений без достаточного текстового описания. В этом случае LLM не получит достаточного контекста для генерации качественного ответа.
• Изолирование изображений от текста: Размещение изображений в галереях или слайдерах вдали от основного контента может затруднить системе установление связи между изображением и релевантным текстом.

Стратегическое значение

Этот патент подтверждает стратегический вектор Google на развитие мультимодального и генеративного поиска. Он демонстрирует механизм «обоснования» (grounding) ответов LLM в веб-источниках, используя визуальное сходство как первичный сигнал. Для SEO это означает переход к комплексной оптимизации визуального и текстового контента как единого целого. Видимость будет зависеть от способности сайта служить надежным, верифицируемым источником для генеративных ответов, что требует фокуса на «Оптимизации под цитирование» (Citation Optimization).

Практические примеры

Сценарий: Оптимизация карточки товара в E-commerce

1. Задача: Продажа определенной модели кофемашины.
2. Оптимизация: Размещаются уникальные фото кофемашины. Непосредственно рядом размещен блок с техническими характеристиками (давление, объем бака, тип капсул).
3. Запрос пользователя: Пользователь фотографирует эту кофемашину (Query Image) и спрашивает: «Какое давление у этой модели?» (Prompt).
4. Работа системы: Google находит ваше изображение как Result Image, извлекает блок с характеристиками. LLM генерирует ответ: «Давление этой модели составляет 19 бар». Ваше фото используется как визуальная цитата.
5. Результат: Ваш сайт получает видимость и атрибуцию в генеративном ответе.

Сценарий: Уточнение ответа пользователем (Refinement)

1. Запрос пользователя: Пользователь фотографирует пассажирский самолет (Query Image) и спрашивает: «Какая дальность полета?» (Prompt).
2. Ошибка системы: Система находит три похожих изображения. Два из них — верные пассажирские самолеты, но третье — истребитель (ошибка визуального поиска).
3. Генерация: LLM смешивает информацию из всех трех источников. Ответ содержит данные и о пассажирском самолете, и об истребителе.
4. Взаимодействие: Пользователь видит три визуальные цитаты. Он замечает истребитель и исключает его как нерелевантный (visually dissimilar).
5. Результат: Система удаляет текст об истребителе и перегенерирует ответ (Refined Language Output), используя только релевантные источники о пассажирском самолете.