Как Google использует генеративный ИИ для создания и модификации визуальных запросов в поиске товаров

Описание

Какую задачу решает

Патент решает проблему сложности формулирования запросов для визуально сложных концепций или специфических товаров, когда пользователь не может точно описать желаемое словами или не имеет примера изображения. Он устраняет разрыв между намерением пользователя и возможностями текстового поиска, особенно в E-commerce. Также патент адресует сценарий «почти идеального результата», позволяя модифицировать найденные товары для уточнения поиска, и упрощает взаимодействие с генеративными моделями (prompt engineering).

Что запатентовано

Запатентована система, интегрирующая генеративные модели ИИ (Image Generation Model, например, Diffusion Models) в процесс формирования поискового запроса. Суть изобретения — позволить пользователю создать или модифицировать визуальное представление своего поискового намерения (Model-Generated Image), а затем использовать это сгенерированное изображение в качестве визуального запроса для поиска реальных товаров или контента.

Как это работает

Система функционирует в двух основных режимах:

• Генерация с нуля (описано в Description): Пользователь формирует Prompt Input, используя текст или выбирая предопределенные атрибуты (стиль, материал, цвет) через элементы интерфейса (Chips/Tiles). Генеративная модель создает изображения. Лучшее из них используется для визуального поиска.
• Модификация результатов (основной фокус Claims): Пользователь выбирает существующее изображение из результатов поиска и дает инструкцию по его изменению (например, удалить деталь). Система использует Multi-modal Prompt Input (изображение + текст) для генерации модифицированного изображения, которое затем используется для повторного поиска.

Актуальность для SEO

Крайне высокая. Патент опубликован недавно и находится на пересечении ключевых направлений развития Google: генеративного ИИ и мультимодального визуального поиска (Google Lens, MUM). Описанные механизмы представляют собой вероятное будущее пользовательского опыта в E-commerce и соответствуют стратегии создания более интуитивных способов взаимодействия с поиском.

Важность для SEO

Влияние на SEO для E-commerce значительное (8.5/10). Патент не меняет базовые алгоритмы ранжирования, но радикально меняет процесс обнаружения товаров (Product Discovery). Это смещает фокус с текстовой релевантности на визуальное соответствие (Visual Similarity). Критически важным становится качество и оптимизация изображений товаров для алгоритмов визуального сопоставления, так как запросом выступает сгенерированное ИИ изображение.

Детальный разбор

Термины и определения

Diffusion Model (Диффузионная модель)

Тип генеративной модели машинного обучения, часто используемый для создания высококачественных изображений. Упоминается как реализация Image Generation Model.

Image Generation Model / Data Generation Model

Машинно-обученная модель (например, диффузионная модель или трансформер), обученная генерировать новые наборы данных (изображения, аудио) на основе Prompt Input.

Model-Generated Image / Dataset

Изображение или набор данных, созданный генеративной моделью. Используется в качестве визуального запроса для поиска.

Multi-modal Prompt Input (Мультимодальный входной промпт)

Входные данные для генеративной модели, сочетающие разные типы данных. В патенте это комбинация Prompt Image (существующее изображение) и Prompt Text (инструкции по модификации).

Prompt Input (Входной промпт)

Инструкции (текст, набор выбранных терминов, изображения), предоставляемые генеративной модели для создания контента.

Descriptor User-Interface Elements (Элементы интерфейса дескрипторов)

Интерактивные элементы (Chips, Tiles), представляющие конкретные термины (атрибуты, стили). Используются для структурированного создания промпта и упрощения prompt engineering.

Ключевые утверждения (Анализ Claims)

US20240394768A1 — это публикация заявки (A1). Важно отметить, что хотя общее описание (Description) патента широко охватывает генерацию изображений с нуля на основе атрибутов, ключевые независимые Claims (1, 11, 17) сфокусированы на конкретном механизме: модификации существующих результатов поиска путем удаления деталей.

Claim 1 (Независимый пункт): Описывает метод уточнения поиска через модификацию (исключение).

1. Система получает первый поисковый запрос и определяет первые результаты поиска.
2. Результаты отображаются в интерфейсе.
3. Система получает текстовый ввод И выбор одного image search result (который отображает объект с определенными деталями).
4. Генерируется multi-modal prompt input, состоящий из: Prompt Image (выбранный результат) и Prompt Text (текстовый ввод, интерпретируемый как запрос на рендеринг объекта БЕЗ этих деталей).
5. Image generation model (генеративная модель) обрабатывает этот мультимодальный промпт.
6. Генерируется model-generated image, отображающее объект БЕЗ указанных деталей.
7. Система обрабатывает это сгенерированное изображение для определения вторых (уточненных) результатов поиска.
8. Вторые результаты отображаются.

Ядро изобретения, защищенное этим Claim, — использование генеративного ИИ для реализации «отрицательного визуального ограничения» (Negative Visual Constraint) в поиске.

Claim 10 (Зависимый): Детализирует технический процесс модификации.

Текст обрабатывается embedding model для создания текстового эмбеддинга. Затем diffusion model обрабатывает эмбеддинг и prompt image для генерации замещающих пикселей (predicted replacement pixels) в области, содержащей удаляемые детали. Это технически соответствует процессу инпеинтинга (inpainting).

Claims 18, 19 (Зависимые): Уточняют, что удаляемые детали могут включать аксессуары, тип материала, цвет, стиль, атрибут или форму.

Где и как применяется

Изобретение меняет этап ввода запроса и влияет на выполнение поиска в визуальных вертикалях.

QUNDERSTANDING – Понимание Запросов
Система вводит новый способ формирования запроса. Вместо интерпретации текста система помогает пользователю сконструировать точный визуальный запрос с помощью ИИ. Это происходит через управляемый интерфейс (guided prompt engineering) или через мультимодальное уточнение (текст + изображение).

RANKING – Ранжирование (Визуальный поиск)
После генерации изображения оно используется как запрос для системы визуального поиска (например, Google Lens/Shopping). Эта система выполняет поиск, используя алгоритмы визуального сопоставления (сравнение Embeddings) для нахождения похожих товаров в индексе.

METASEARCH – Метапоиск и Смешивание / Интерфейс
Механизм интегрирован в различные точки входа (Entry Points): стандартный SERP, интерфейс камеры (Lens), видеоплатформы. Пользователь взаимодействует с этими интерфейсами для инициации генерации или модификации.

Входные данные:

• Текстовые дескрипторы (свободный ввод или выбор Chips).
• Существующие изображения (из поиска или галереи).
• Инструкции по модификации (Prompt Text).
• Данные о персонализации (Personalization) и трендах (Trends).

Выходные данные:

• Model-Generated Image (используется как новый запрос).
• Результаты визуального поиска (товары/ресурсы).

На что влияет

• Конкретные ниши: Наибольшее влияние на E-commerce, особенно в визуально-ориентированных нишах: мода, декор, искусство.
• Типы контента: Изображения товаров и страницы продуктов (PDP).
• Специфические запросы: Запросы, связанные с поиском стилей, эстетики и конкретных вариаций товаров, которые сложно описать текстом.

Когда применяется

Алгоритм применяется по инициативе пользователя в двух сценариях:

1. Обнаружение (Discovery): Когда пользователь активирует функцию генерации (например, «Dream it» или «Imagine») для создания концепта товара с нуля, используя атрибуты.
2. Уточнение (Refinement): Когда пользователь хочет модифицировать существующий результат поиска (например, убрать элемент) и найти товары, соответствующие модифицированному виду.

Пошаговый алгоритм

Сценарий А: Генерация на основе атрибутов (по мотивам Description)

1. Инициализация интерфейса: Система предоставляет интерфейс генерации с категориями и дескрипторами (Chips).
2. Сбор входных данных: Пользователь выбирает категорию и дескрипторы.
3. Формирование промпта: Система компилирует выбранные данные в Prompt Input.
4. Генерация изображений: Image Generation Model обрабатывает промпт и создает варианты Model-Generated Images.
5. Выбор пользователя: Пользователь выбирает одно изображение из сгенерированных.
6. Выполнение визуального поиска: Выбранное изображение используется как запрос к Search Engine.
7. Предоставление результатов: Отображаются найденные похожие товары.

Сценарий Б: Уточнение поиска с исключением (по мотивам Claim 1)

1. Первичный поиск: Пользователь выполняет поиск и получает результаты.
2. Выбор результата для модификации: Пользователь выбирает изображение из результатов.
3. Ввод исключения: Пользователь вводит текст, описывающий детали для удаления.
4. Создание мультимодального промпта: Система формирует Multi-modal Prompt Input (изображение + текст исключения).
5. Генерация модифицированного изображения: Image Generation Model создает новое изображение без указанных деталей (например, через inpainting).
6. Выполнение вторичного поиска: Новое изображение используется как визуальный запрос.
7. Предоставление результатов: Отображаются товары, соответствующие модифицированному виду.

Какие данные и как использует

Данные на входе

• Контентные факторы (Атрибуты и Текст): Термины, описывающие визуальные характеристики (цвет, материал, стиль). Текстовые инструкции пользователя для модификации (Prompt Text).
• Мультимедиа факторы (Изображения): Изображения из результатов поиска, используемые как основа для модификации (Prompt Image). Сгенерированные изображения (Model-Generated Images), используемые как поисковый запрос.
• Пользовательские факторы: Упоминается использование Personalization, Historical Data (история поиска, покупок) для персонализации предложений атрибутов и результатов генерации.
• Внешние данные: Trends (тренды в соцсетях, поиске) используются для формирования набора предлагаемых дескрипторов.

Какие метрики используются и как они считаются

Патент не детализирует метрики ранжирования, но подразумевает использование стандартных метрик и технологий визуального поиска:

• Visual Similarity (Визуальное сходство): Основной механизм поиска заключается в нахождении реальных товаров, которые визуально похожи на model-generated image.
• Эмбеддинги (Embeddings): Сгенерированное изображение обрабатывается моделью для создания эмбеддинга, который затем используется для поиска ближайших соседей в базе данных продуктовых изображений. Claim 10 упоминает embedding model для кодирования текста.
• Алгоритмы машинного обучения: Используются Image Generation Models. В описании упоминаются Diffusion Models и Трансформеры (например, T5-XXL encoder). Для обработки мультимодальных запросов упоминается возможное использование Multitask Unified Model (MUM).

Выводы

1. Генеративный ИИ как новый интерфейс формирования запроса: Ключевая идея — использование ИИ не для ранжирования, а для помощи пользователю в конструировании сложного визуального запроса. Это переход от понимания текстового запроса к созданию визуального интента.
2. Визуальный поиск становится основным для E-commerce Discovery: В этой парадигме финальный этап поиска полностью зависит от алгоритмов визуального сопоставления. Текстовая релевантность уступает место визуальному сходству (Visual Similarity).
3. Поддержка итеративного и негативного поиска: Патент описывает механизмы уточнения. Claims особо выделяют возможность поиска с исключением нежелательных атрибутов («покажи мне это, но без X») с помощью генеративного ИИ (inpainting).
4. Важность управляемого промпт-инжиниринга: Использование структурированных интерфейсов (Chips, Tiles) для выбора атрибутов снижает порог входа для пользователей и повышает качество генерации, направляя модель.
5. Приоритет мультимодальности: Система основана на обработке multi-modal prompt input (изображение + текст), что подтверждает стратегическое направление Google на глубокое понимание взаимодействия между разными типами данных.

Практика

Best practices (это мы делаем)

• Приоритет оптимизации под визуальный поиск (Visual Search Optimization — VSO): Это становится критически важным для e-commerce. Необходимо обеспечить максимальное качество и информативность изображений товаров для алгоритмов визуального сопоставления.
• Качество, чистота и разнообразие изображений: Используйте высококачественные фотографии товаров на чистом фоне, с разных ракурсов и с детализацией текстур. Это увеличивает вероятность визуального совпадения со сгенерированным пользователем изображением и облегчает модификацию, если ваше изображение используется как основа.
• Индексация всех вариаций товара: Убедитесь, что каждая вариация товара (цвет, комплектация, материал) имеет уникальное изображение и доступна для индексации. Это критично для сценария, когда пользователь ищет конкретную модификацию (например, удалив деталь с базовой модели).
• Детальные структурированные данные (Schema.org/Product): Максимально подробно размечайте атрибуты товара. Это помогает поисковой системе лучше понять компоненты изображения, что важно как для первичного ранжирования, так и для финального сопоставления.

Worst practices (это делать не надо)

• Игнорирование визуальных активов: Стратегия, фокусирующаяся только на текстовом контенте в e-commerce, будет терять трафик от пользователей, использующих генеративный визуальный поиск.
• Использование перегруженных или некачественных изображений: Изображения с низким разрешением, сложным фоном, водяными знаками или перекрытием товара другими объектами будут плохо распознаваться алгоритмами визуального поиска и плохо поддаваться модификации.
• Ограничение каталога одной версией товара: Не предоставлять доступ к различным вариантам продукта снижает шансы на совпадение с уточненными визуальными запросами пользователей.

Стратегическое значение

Патент подтверждает стратегический сдвиг Google в сторону визуального, интерактивного и ассистируемого ИИ шоппинга. Для SEO-специалистов это означает необходимость глубокого понимания механизмов визуального поиска и машинного зрения. Конкурентоспособность будет зависеть от качества и структурированности визуального каталога. Технология может привести к увеличению доли «длинного хвоста» визуальных запросов, так как пользователи смогут генерировать очень специфические комбинации атрибутов.

Практические примеры

Сценарий 1: Поиск нишевого товара через генерацию атрибутов

1. Задача: Пользователь хочет найти «зеленое пальто из искусственного меха с кожаными вставками».
2. Действие: Вместо ввода текста он использует интерфейс генерации. Выбирает чипы: «Пальто», Цвет «Зеленый», Материалы «Искусственный мех» и «Кожа».
3. Генерация и Поиск: ИИ создает изображение пальто. Пользователь выбирает лучший вариант, и система выполняет визуальный поиск.
4. Результат для SEO: Чтобы товар магазина попал в выдачу, его фотографии должны четко отображать все эти атрибуты, чтобы алгоритм Visual Similarity счел его релевантным сгенерированному изображению.

Сценарий 2: Поиск с исключением (по Claim 1)

1. Задача: Пользователь ищет «вечернее платье» и находит подходящее, но ему не нравится большой бант на поясе.
2. Действие: Он выбирает это платье в результатах поиска и вводит инструкцию «без банта на поясе».
3. Генерация и Поиск: ИИ перерисовывает платье, удаляя бант (inpainting). Система ищет реальные платья, похожие на модифицированное изображение.
4. Результат для SEO: Наличие в ассортименте схожих товаров с вариациями дизайна и их качественная визуальная презентация увеличивают шансы на показ в таких уточненных запросах.

Вопросы и ответы