Как Google выбирает, какие товары выделить в интерактивной рекламе (Shoppable Ads) внутри изображений

Описание

Какую задачу решает

Патент решает задачу повышения эффективности и релевантности интерактивной рекламы в изображениях (Shoppable Advertisements). Основная проблема заключается в том, что изображение может быть в целом релевантно запросу (например, «идеи для гостиной»), но отдельные товары внутри него могут не соответствовать конкретному интересу пользователя. Изобретение улучшает точность таргетинга, гарантируя, что выделенные (сделанные интерактивными) товары внутри изображения релевантны исходному поисковому запросу и контексту пользователя.

Что запатентовано

Запатентована система для динамического выбора подмножества товаров внутри составного изображения для показа в качестве интерактивной рекламы. Система анализирует изображение, содержащее несколько покупаемых товаров (purchasable products), и определяет, какие из них наиболее релевантны запросу. Для этого рассчитываются две ключевые метрики: Product Relevance Score (релевантность товара запросу) и Prominence Score (заметность товара на изображении). На основе этих оценок выбирается подмножество товаров для отображения интерактивных элементов.

Как это работает

Система работает в несколько этапов:

• Выбор изображения: В ответ на запрос система выбирает релевантное изображение-кандидат (Candidate Image), содержащее несколько товаров, на основе Image Relevance Score.
• Анализ товаров: Для каждого товара внутри изображения рассчитывается Product Relevance Score (насколько товар соответствует запросу, используя ML и данные пользователя) и Prominence Score (насколько товар визуально заметен).
• Ранжирование и выбор: Товары ранжируются на основе комбинации этих оценок.
• Фильтрация: Выбирается Топ-N товаров. При этом учитывается «мера визуальной привлекательности» (measure of visual appeal), чтобы избежать перекрытия интерактивных элементов и перегруженности интерфейса.
• Отображение: На устройстве пользователя отображается изображение с интерактивными индикаторами (Indicators) или «пузырями предложений» (Offer Bubbles) только для выбранного подмножества товаров.

Актуальность для SEO

Высокая. Shoppable Ads являются ключевым форматом рекламы в E-commerce и активно используются в Google Images, Google Shopping и лентах рекомендаций. Точное таргетирование предложений внутри составных (lifestyle) изображений критически важно для повышения конверсии и улучшения пользовательского опыта в визуальном поиске. Данный патент является продолжением (continuation) заявки от 2019 года.

Важность для SEO

Патент имеет значительное влияние на SEO для E-commerce, Google Shopping и оптимизацию изображений. Он раскрывает механизм, как Google анализирует составные изображения на гранулярном уровне. Для попадания в блок Shoppable Ads недостаточно иметь релевантное изображение; необходимо, чтобы отдельные товары на нем были релевантны запросу (Product Relevance) и были хорошо видны (Prominence). Это напрямую влияет на стратегию создания визуального контента и оптимизации товарных фидов.

Детальный разбор

Термины и определения

Advertisement Server (Рекламный сервер)

Сервер, отвечающий за выбор изображений, расчет релевантности товаров и отображение Shoppable Ads.

Association Database (База данных ассоциаций)

База данных, хранящая связи (маппинг) между изображениями, товарами на них, текстовыми ключевыми словами, данными пользователей и данными о товарах.

Candidate Image (Изображение-кандидат)

Изображение, выбранное системой как релевантное поисковому запросу и содержащее несколько доступных для покупки товаров.

Image Relevance Score (Оценка релевантности изображения)

Метрика, определяющая релевантность всего изображения поисковому запросу. Используется для выбора Candidate Image.

Indicators (Индикаторы)

Интерактивные элементы (например, точки), привязанные к товарам на изображении, указывающие на возможность взаимодействия. Могут мигать для привлечения внимания.

Measure of visual appeal (Мера визуальной привлекательности)

Метрика для определения оптимального количества и расположения Offer Bubbles, чтобы избежать перекрытия и визуального шума. Учитывает размер элементов и расстояние между товарами.

Offer Bubble (Пузырь предложения)

Всплывающий блок. Содержит динамическую информацию о товаре: название, цену, аннотацию (скидки, доставка, отзывы) и ссылку на покупку.

Product Relevance Score (Оценка релевантности товара)

Ключевая метрика. Определяет релевантность конкретного товара *внутри* изображения поисковому запросу и контексту пользователя. Рассчитывается с использованием Машинного Обучения (ML).

Prominence Score (Оценка заметности)

Оценка визуальной видимости (visibility) товара на изображении. Может быть предоставлена продавцом или рассчитана системой.

Shoppable Advertisements (Рекламные объявления с возможностью покупки)

Формат интерактивной рекламы, позволяющий взаимодействовать с отдельными товарами внутри изображения.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс отображения покупаемых товаров на основе поискового запроса.

1. Система получает поисковый запрос.
2. Из базы данных извлекается изображение, связанное с запросом и содержащее несколько покупаемых товаров.
3. Для *каждого* товара на изображении рассчитывается Product Relevance Score на основе поискового запроса.
4. Товары ранжируются на основе этого Product Relevance Score.
5. Выбирается подмножество (subset) товаров на основе ранжирования.
6. На устройстве пользователя отображается извлеченное изображение.
7. На изображении в определенных местах отображаются Indicators, соответствующие выбранному подмножеству товаров.

Claim 2 (Зависимый от 1): Вводит понятие Prominence Score.

Система рассчитывает Prominence Score для каждого товара. Отображение Indicators основывается, по крайней мере частично, на рассчитанном Prominence Score. Это означает, что заметность товара является фактором для его выбора в качестве интерактивного элемента.

Claim 3 и 4 (Зависимые): Детализируют расчет Product Relevance Score.

Для расчета Product Relevance Score используется машинное обучение (machine learning) (Claim 3). Расчет основывается на одном или нескольких источниках данных: пользовательские данные (user data), данные изображения (image data), данные продавца (merchant data) или данные о товаре (product data) (Claim 4).

Claim 5 и 6 (Зависимые): Описывают механизм взаимодействия.

Indicators привязаны (anchored) к местоположению соответствующих товаров на изображении (Claim 5). При взаимодействии пользователя с индикатором отображается дополнительная информация: название товара, цена и/или аннотация (Claim 6).

Где и как применяется

Изобретение применяется в системах показа рекламы (Advertisement Server) и тесно интегрировано с поисковой системой (Search Engine), в частности, в контексте визуального или товарного поиска (Google Images, Google Shopping).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка данных. Система анализирует изображения (Image Database) и данные о товарах (Product Database), полученные от продавцов. Происходит аннотирование товаров внутри изображений. Может рассчитываться или сохраняться Prominence Score для каждого товара. Также компилируются ассоциативные данные (Association Database), связывающие изображения, товары и текстовые ключевые слова.

RANKING – Ранжирование (в контексте рекламы)
На этом этапе происходит отбор контента в ответ на запрос. Процесс двухуровневый:

1. Ранжирование изображений: Image Relevance Engine рассчитывает Image Relevance Score для выбора наиболее подходящих Candidate Images.
2. Ранжирование товаров: Для выбранных изображений Product Relevance Engine рассчитывает Product Relevance Score для каждого товара, используя данные, связанные с запросом и пользователем. Товары внутри изображения ранжируются на основе Product Relevance Score и Prominence Score.

RERANKING / METASEARCH (Формирование выдачи)
На финальном этапе определяется, как именно будет выглядеть рекламный блок.

• Система выбирает подмножество товаров на основе их ранга.
• Применяются правила measure of visual appeal, чтобы избежать перегруженности и перекрытия элементов.
• Формируется итоговый блок Shoppable Advertisement с интерактивными элементами.

Входные данные:

• Поисковый запрос пользователя.
• User data (история запросов, взаимодействия, местоположение).
• Image data (изображения с аннотациями товаров и Prominence Scores, сигналы компьютерного зрения).
• Product/Merchant data (фиды продавцов: цены, наличие, описания).

Выходные данные:

• Сформированный блок Shoppable Advertisement: изображение с наложенными интерактивными индикаторами (Indicators или Offer Bubbles) для выбранного подмножества товаров.

На что влияет

• Конкретные типы контента: Составные изображения, lifestyle-фотографии, фотографии интерьеров, подборки товаров в рекламных блоках.
• Специфические запросы: Коммерческие запросы и запросы, направленные на поиск идей или вдохновения (например, «идеи для прачечной», «мебель в стиле модерн»).
• Конкретные ниши или тематики: E-commerce, особенно в нишах моды (Fashion), мебели и товаров для дома (Home & Garden), электроники.

Когда применяется

• Условия применения: Алгоритм применяется, когда система идентифицирует коммерческий интент и решает показать формат Shoppable Advertisement в ответ на поисковый запрос.
• Триггеры активации: Наличие в базе данных подходящего Candidate Image, которое содержит несколько (plurality) аннотированных и доступных для покупки товаров, релевантных запросу.

Пошаговый алгоритм

Процесс А: Выбор изображения (Image Selection)

1. Получение запроса: Система получает поисковый запрос от пользователя.
2. Получение данных: Извлекаются связанные с запросом данные из Association Database.
3. Расчет релевантности изображений: Для множества изображений в базе рассчитывается Image Relevance Score.
4. Ранжирование изображений: Изображения ранжируются по Image Relevance Score.
5. Выбор кандидатов: Выбирается одно или несколько Candidate Images на основе ранжирования.

Процесс Б: Выбор товаров и отображение (Product Selection & Display)

1. Анализ товаров в Candidate Image: Система идентифицирует все покупаемые товары на выбранном изображении.
2. Расчет оценок товаров: Для каждого товара рассчитывается:
   • Product Relevance Score (используя ML на основе запроса, данных пользователя, данных товара и т.д.).
   • Prominence Score (извлекается из базы или рассчитывается на лету).
3. Ранжирование товаров: Товары внутри изображения ранжируются на основе комбинации Product Relevance Score и Prominence Score.
4. Выбор подмножества: Выбирается подмножество товаров на основе ранга. При выборе учитывается measure of visual appeal для определения оптимального количества и расположения интерактивных элементов (избегание перекрытия).
5. Отображение рекламы: Система отображает Candidate Image с Shoppable Advertisements (Indicators или Offer Bubbles) для выбранного подмножества товаров.

Процесс В: Взаимодействие (User Interaction)

1. Взаимодействие с элементом: Пользователь нажимает на Offer Bubble, Indicator, текст с URL или само изображение.
2. Перенаправление: В зависимости от элемента, пользователь перенаправляется на страницу конкретного товара (specific product page) или на страницу категории товаров (product category page) на сайте продавца.

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных для расчета релевантности и заметности.

• Товарные факторы (Product Data): Информация из товарных фидов. Название и описание товара, цена, наличие скидок/акций, доступность товара у разных продавцов и в разных локациях, отзывы и рейтинги пользователей.
• Мультимедиа факторы (Image Data): Сами изображения (полученные от продавцов или найденные в сети), сигналы компьютерного зрения (computer vision signals), данные о похожих изображениях. Также включает Prominence Scores для каждого товара.
• Пользовательские и Поведенческие факторы (User Data): История запросов (query history), история взаимодействий (interaction history – клики, скроллинг, свайпы по предыдущим товарам/изображениям/ссылкам), местоположение пользователя (location).
• Коммерческие факторы (Merchant Data): Информация о продавце, ассортимент товаров, локации магазинов, информация о скидках и распродажах.
• Ассоциативные данные (Association Data): Предварительно скомпилированные связи между изображениями, товарами на них и текстовыми ключевыми словами.

Какие метрики используются и как они считаются

• Image Relevance Score: Оценка релевантности всего изображения запросу. Основывается на запросе и ассоциативных данных.
• Product Relevance Score: Оценка релевантности отдельного товара запросу. Патент явно указывает на использование машинного обучения (machine learning) для ее расчета. Является функцией от поискового запроса и четырех типов данных: User Data, Image Data, Merchant Data и Product Data.
• Prominence Score: Оценка видимости товара на изображении.
  Расчет: Может быть предоставлена продавцом (например, магазин техники укажет высокий score для стиральной машины на фото прачечной). Если не предоставлена, система рассчитывает ее самостоятельно на основе Image data, User data, Product data и/или Merchant data (например, анализируя композицию или учитывая историю интересов пользователя).
• Measure of visual appeal (Мера визуальной привлекательности): Метрика для определения финального набора отображаемых интерактивных элементов. Учитывает размер Offer Bubbles, размер товаров, расстояние между товарами на изображении, чтобы минимизировать перекрытие и визуальный шум.

Выводы

1. Гранулярный анализ изображений: Google анализирует составные (lifestyle) изображения не как единое целое, а как набор отдельных объектов (товаров). Это критически важно для понимания работы визуального поиска в E-commerce.
2. Двухуровневая релевантность: Для успеха в Shoppable Ads необходима как релевантность изображения в целом (Image Relevance), так и релевантность конкретного товара запросу (Product Relevance).
3. Визуальная заметность как фактор ранжирования: Prominence Score является явным фактором, влияющим на то, будет ли показан оффер для товара. Товары, которые хорошо видны и занимают центральное место на изображении, имеют преимущество.
4. Баланс между полнотой и чистотой интерфейса: Система не стремится показать офферы для всех товаров на картинке. Она выбирает только лучшее подмножество, чтобы избежать визуальной перегруженности (clutter) и перекрытия элементов (используя measure of visual appeal).
5. Персонализация на уровне товара: При расчете Product Relevance Score и даже Prominence Score активно используются данные о пользователе (история поиска, интересы). Это означает, что для разных пользователей могут быть выделены разные товары на одном и том же изображении.
6. Критичность структурированных данных (Фидов): Эффективность механизма напрямую зависит от качества Product Data в товарных фидах, которые используются для расчета релевантности с помощью ML и для заполнения Offer Bubbles.

Практика

Практическое применение в SEO

Хотя патент описывает работу Advertisement Server, он имеет критическое значение для E-commerce SEO в части управления видимостью товаров в Google Images и Google Shopping, что требует оптимизации контента и товарных фидов.

Best practices (это мы делаем)

• Максимальная оптимизация товарных фидов (Google Merchant Center): Качество Product Data (названия, описания, атрибуты, цены, наличие) критически важно. Эти данные напрямую используются для расчета Product Relevance Score с помощью машинного обучения и для заполнения Offer Bubbles. Чем точнее данные, тем выше шанс соответствия запросу.
• Создание качественных составных изображений (Lifestyle Photos): Разрабатывайте и загружайте изображения, показывающие товары в контексте использования. При этом убедитесь, что ключевые товары хорошо видны и занимают выгодное положение. Это повышает Prominence Score и увеличивает вероятность выбора товара системой.
• Анализ видимости товаров: При подготовке изображений для сайта или рекламы проводите аудит визуальной заметности. Убедитесь, что товары легко идентифицируются как человеком, так и алгоритмами компьютерного зрения.
• Обеспечение семантической связи Изображение-Товар-Ключ: Убедитесь, что существует четкая тематическая связь между общим сюжетом изображения, товарами на нем и целевыми ключевыми запросами. Это повышает как Image Relevance Score, так и Product Relevance Score.

Worst practices (это делать не надо)

• Использование перегруженных изображений (Visual Clutter): Попытка показать слишком много мелких или плохо различимых товаров на одном изображении. Это снижает Prominence Score отдельных товаров и увеличивает вероятность того, что система отфильтрует большинство из них из-за низкого measure of visual appeal.
• Игнорирование качества данных в фиде: Полагаться только на визуальную привлекательность изображения, не предоставляя точных данных о товаре. Без качественных данных система не сможет точно рассчитать Product Relevance Score или предоставить актуальную информацию в Offer Bubbles.
• Размещение ключевых товаров на периферии или заднем плане: Использование изображений, где основные продвигаемые товары частично скрыты или не находятся в фокусе. Это снижает Prominence Score.

Стратегическое значение

Патент подтверждает стратегическую важность визуального поиска в E-commerce и необходимость комплексного подхода к оптимизации. SEO-стратегия должна объединять работу над товарными фидами (структурированные данные) и создание визуального контента (изображения). Визуальный контент должен быть не только привлекательным для пользователя, но и оптимизированным для алгоритмического анализа: легкость идентификации товаров, высокая визуальная заметность (Prominence) и четкая релевантность контексту запроса.

Практические примеры

Сценарий: Оптимизация изображения «Прачечная» для разных продавцов

Имеется одно изображение интерьера прачечной, на котором видны: стиральная машина, сушилка, корзина для белья, полки и моющие средства.

Кейс 1: Магазин бытовой техники

• Цель: Продать стиральную и сушильную машины.
• Действия: Убедиться, что машины занимают центральное место на фото (высокий Prominence Score). В товарном фиде предоставить максимально полное описание этих моделей (высокий Product Relevance Score для запросов о технике).
• Результат: По запросу «купить стиральную машину» система может выбрать это изображение и поставить Offer Bubbles именно на технику, игнорируя полки и корзину, так как их Product Relevance Score для данного запроса ниже.

Кейс 2: Магазин товаров для дома

• Цель: Продать полки и корзину для белья.
• Действия: Использовать изображение, где фокус смещен на систему хранения (более высокий Prominence Score для полок). В фиде детализировать информацию о полках и корзинах.
• Результат: По запросу «системы хранения для прачечной» система может выбрать это изображение и поставить Offer Bubbles на полки и корзину. Стиральная машина также присутствует на фото, но менее релевантна данному запросу (ниже Product Relevance Score).

Вопросы и ответы