Как Google использует визуальный поиск и анализ изображений для рекомендации похожих товаров

Система использует технологию визуального поиска для анализа изображения товара или рекламы («seed content item»), извлекая его визуальные характеристики (цвет, форма, текстура) и генерируя «визуальную подпись» (Signature). Затем выполняется поиск по сходству для нахождения похожих товаров, которые отображаются в дополнительном окне или оверлее, предлагая альтернативы (в том числе при отсутствии товара на складе) или сопутствующие товары из других категорий.

Описание

Какую задачу решает

Патент решает задачу предоставления пользователю высокорелевантных рекомендаций на основе визуальных характеристик контента, который его заинтересовал (например, товара в E-commerce или рекламного объявления). Система улучшает пользовательский опыт, предлагая визуально похожие объекты, часто не уводя пользователя с текущей страницы. Конкретно для E-commerce, патент предлагает решение для ситуаций, когда товар отсутствует на складе (out-of-stock), путем показа визуально схожих альтернатив.

Что запатентовано

Запатентована система, которая использует элемент контента (seed supplemental content item) как входные данные для визуального поиска по сходству. При взаимодействии пользователя с этим элементом система извлекает критерии поиска, основанные на его изображении (image data), тексте и метаданных. Затем выполняется сравнение по сходству (similarity-type comparison) для нахождения других релевантных элементов, которые отображаются пользователю в secondary presentation (например, в оверлее).

Как это работает

Ключевой механизм основан на анализе изображений и поиске по сходству:

Индексация: Изображения в базе данных предварительно обрабатываются для генерации signatures (визуальных подписей), кодирующих цвет, форму, текстуру.
Триггер: Пользователь взаимодействует (кликает, наводит курсор) с элементом контента (seed), или система обнаруживает статус out-of-stock.
Поиск по сходству: Система сравнивает signature исходного элемента с signatures в базе данных для поиска визуально похожих объектов, в том числе в других категориях.
Отображение: Результаты отображаются в secondary presentation одновременно (concurrently) с исходным контентом.
Итерация: Пользователь может кликнуть на один из результатов, который становится новым seed-элементом, обновляя результаты поиска.

Актуальность для SEO

Высокая. Патент (изначально от Like.com, приобретенной Google) описывает фундаментальные технологии визуального поиска, которые являются ядром современных продуктов Google, таких как Google Lens, рекомендации в Google Images и Google Shopping. Механизмы поиска визуально похожих товаров крайне актуальны для E-commerce.

Важность для SEO

Патент имеет высокое значение для E-commerce SEO. Он не влияет напрямую на традиционное органическое ранжирование веб-документов, но описывает механизмы, лежащие в основе визуального поиска и товарных рекомендаций. Понимание этих принципов критически важно для оптимизации изображений товаров и метаданных, чтобы эффективно попадать в блоки «похожие товары» и ранжироваться в Google Shopping и Google Images.

Детальный разбор

Термины и определения

Criteria (Критерии): Набор данных, используемый для поиска похожих элементов. Включает Image data, текст и метаданные, извлеченные из Seed supplemental content item.
Image Data (Данные изображения): Данные, соответствующие дискретным частям изображения (пикселям), а также производные данные, такие как Signatures, глобальные или локальные визуальные признаки (цвет, форма, текстура).
Secondary Presentation / Landing Presentation (Вторичная презентация / Целевая презентация): Интерфейс (например, оверлей, всплывающее окно, интегрированный блок), который отображает результаты поиска по сходству. Отображается одновременно (concurrently) с исходным контентом.
Seed Supplemental Content Item (Исходный дополнительный элемент контента / «Семя»): Элемент контента (например, рекламный баннер, изображение товара), взаимодействие с которым запускает процесс поиска похожих элементов. Служит источником Criteria.
Signature (Сигнатура / Визуальная подпись): Нетекстовые данные, представляющие собой числовое описание множества характеристик объекта на изображении (включая форму, цвет, узор). Используется для сравнения и идентификации визуального сходства.
Similarity-type comparison/search (Сравнение/поиск по сходству): Процесс выбора объектов на основе их визуального сходства с исходным объектом, а не точного совпадения. Может включать кросс-категорийный поиск.
Suggestion Engine (Механизм рекомендаций): Компонент системы, работающий на сайтах E-commerce для предложения альтернативных или дополнительных товаров на основе визуального сходства, особенно в ситуациях отсутствия товара на складе (out-of-stock).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод предоставления дополнительного контента.

Предоставление seed supplemental content item как части сетевого ресурса.
Обнаружение выбора пользователем этого seed-элемента.
В ответ на это — идентификация результата поиска, основанного на критериях, связанных с seed-элементом.
Генерация secondary presentation, включающей результат поиска, которая отображается одновременно (concurrently) с исходным контентом.

Claim 3 и 4 (Зависимые от 1): Детализируют механизм визуального поиска.

Критерии основаны на содержании изображения (image content) seed-элемента (Claim 3). Определение критериев включает определение signature изображения, а поиск включает сравнение этой signature с signatures других элементов в библиотеке (Claim 4).

Claim 8 (Зависимый от 1): Описывает итеративный процесс поиска.

Пользователю предоставляется возможность выбрать элемент в secondary presentation. В ответ на этот выбор secondary presentation обновляется (refreshing), включая новые элементы, которые удовлетворяют критериям только что выбранного элемента (который становится новым seed).

Claim 11 (Независимый пункт): Альтернативное описание метода, акцентирующее внимание на триггере и изображении как основе поиска.

Предоставление seed-элемента с изображением.
Обнаружение триггера (взаимодействия пользователя).
В ответ на триггер: Определение критериев поиска, основанных по крайней мере частично на изображении; Идентификация результата поиска.
Представление результата в secondary presentation.

Claim 17 (Независимый пункт): Описывает метод предложения товаров на сайте E-commerce (Suggestion Engine).

Мониторинг выбора потребителем товара.
Определение критериев по крайней мере из изображения этого товара.
Предложение других товаров путем сравнения этих критериев с коллекцией. Сравнение обязательно включает сопоставление критериев с изображениями товаров из коллекции.

Claim 19 (Зависимый от 17): Уточняет, что предложенные товары могут иметь другую категорию (кросс-категорийный визуальный поиск).

Claim 22 (Зависимый от 17): Уточняет, что предложение других товаров выполняется в ответ на то, что выбранный товар отсутствует на складе (out-of-stock).

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, с сильным акцентом на обработку визуальных данных и генерацию рекомендаций (например, в Google Shopping, Google Images, Google Lens).

INDEXING – Индексирование и извлечение признаков
Это критически важный офлайн-этап.

Извлечение визуальных признаков: Система анализирует изображения товаров для определения типа объекта и извлечения визуальных характеристик (цвет, форма, текстура).
Генерация Signatures: На основе извлеченных признаков генерируются Signatures (визуальные подписи) для каждого элемента контента.
Анализ текста и метаданных: Извлечение атрибутов (категория, цена, бренд) для обогащения данных об элементе.

RANKING – Ранжирование (Retrieval)
На этом этапе происходит быстрый отбор кандидатов на основе визуального сходства в реальном времени.

Similarity Search: Когда система получает Criteria (включая Signature) от seed-элемента, она выполняет сравнение этой Signature с базой данных индексированных Signatures для поиска наиболее похожих элементов.

METASEARCH / RERANKING (Генерация презентации)
Этот этап отвечает за формирование финального отображения рекомендаций.

Генерация Secondary Presentation: Система генерирует интерфейс (оверлей, блок рекомендаций) для отображения найденных похожих элементов.
Итеративное уточнение: Система отслеживает взаимодействие пользователя с результатами и использует эти данные (click history) для обновления рекомендаций, запуская новый цикл поиска с новым seed-элементом.

На что влияет

Конкретные типы контента: Изображения товаров (E-commerce), рекламные баннеры (advertisement media).
Конкретные ниши или тематики: Критически важно для ниш, где визуальные характеристики являются основными при выборе: одежда, обувь, аксессуары, мебель, декор.
Определенные форматы контента: Товарные галереи, блоки рекомендаций («похожие товары»).

Когда применяется

Триггеры активации: Клик пользователя по seed-элементу (‘Click Through’), наведение курсора (hovering).
Сценарии E-commerce: Активация Suggestion Engine при просмотре карточки товара (point-of-sale).
Специфические условия: Особый триггер — когда товар, выбранный пользователем, отсутствует на складе (out-of-stock) или недоступен в нужном варианте.

Пошаговый алгоритм

Процесс А: Предварительная обработка (Офлайн / Индексация)

Сбор данных: Получение библиотеки контента (инвентаря товаров).
Анализ изображений: Обработка каждого изображения для извлечения визуальных признаков (цвет, форма, текстура).
Генерация Signatures: Создание компактных визуальных подписей (Signatures) для каждого элемента.
Анализ текста/метаданных: Извлечение атрибутов (категории, бренды, цены).
Индексация: Сохранение Signatures и атрибутов в базе данных (Content Datastore).

Процесс Б: Обработка в реальном времени (Онлайн)

Отображение контента: Пользователю отображается веб-страница с элементами контента (seed items).
Обнаружение триггера: Система обнаруживает взаимодействие пользователя с seed item или статус out-of-stock.
Определение критериев: Система идентифицирует Criteria для поиска (в первую очередь предварительно рассчитанную Signature исходного элемента).
Выполнение поиска по сходству (Similarity Search): Comparator использует Criteria для сравнения с индексом и находит визуально похожие элементы. Поиск может быть кросс-категорийным.
Генерация презентации: Presenter генерирует Secondary Presentation (например, оверлей), отображающую результаты поиска.
Отображение результатов: Secondary Presentation отображается пользователю одновременно с исходной страницей.
Итерация (Опционально): Если пользователь кликает на результат, этот элемент становится новым seed item, и процесс повторяется с шага 3. История кликов (click history) также может использоваться для уточнения критериев.

Какие данные и как использует

Данные на входе

Мультимедиа факторы (Изображения): Критически важные данные. Используются изображения seed-элемента и изображения в библиотеке контента. Анализируются пиксельные данные для извлечения визуальных характеристик.
Контентные/Текстовые факторы: Текст, сопровождающий seed-элемент (описание товара, текст рекламы). Используется для уточнения контекста и категории.
Технические факторы (Метаданные): Атрибуты товара (цена, бренд, категория, теги), URL-адреса, статус наличия на складе (out-of-stock).
Пользовательские факторы (Поведенческие): Взаимодействие пользователя (клик, наведение курсора) служит триггером. История кликов (click history), включая прошлые сессии (идентифицированные через web browser cookies), может использоваться для уточнения критериев поиска (предпочтения по стилю, цвету, ценовому диапазону).

Какие метрики используются и как они считаются

Signature (Визуальная подпись): Основная метрика для визуального сравнения. Представляет собой числовое описание множества характеристик объекта (форма, цвет, узор). Рассчитывается путем анализа Image Data.
Визуальные характеристики: Конкретные атрибуты, такие как доминирующие цвета, форма объекта, текстура или узор.
Сходство (Similarity Score): Метрика, определяющая степень визуального соответствия между двумя элементами. Рассчитывается путем сравнения их Signatures и/или визуальных характеристик.

Выводы

Визуальное сходство как основа рекомендаций: Патент описывает систему, где визуальные атрибуты (цвет, форма, текстура), инкапсулированные в Signature, являются основными критериями для поиска и рекомендации товаров.
Анализ изображений — ключевая технология: Эффективность системы напрямую зависит от качества анализа изображений и точности генерации Signatures на этапе индексации.
Итеративный поиск и поведенческая обратная связь: Система разработана для итеративного уточнения результатов. Клик пользователя по рекомендации делает ее новым seed-элементом, что позволяет системе обучаться на предпочтениях пользователя (используя click history).
Кросс-категорийный визуальный поиск: Система способна находить визуально похожие объекты в разных категориях (например, рекомендовать сумку, подходящую по стилю к обуви), что критически важно для cross-selling в E-commerce.
Контекстное отображение (Secondary Presentation): Результаты отображаются в оверлеях или интегрированных блоках одновременно с основным контентом, обеспечивая бесшовный пользовательский опыт.
Решение бизнес-задач E-commerce: Патент явно описывает использование технологии для предложения альтернатив при отсутствии товара (out-of-stock).

Практика

Best practices (это мы делаем)

Рекомендации направлены на обеспечение качественных входных данных для систем визуального анализа (Google Shopping, Google Images, Google Lens).

Оптимизация качества и разнообразия изображений: Предоставляйте высококачественные, четкие изображения товаров с разных ракурсов на чистом фоне. Это критически важно для генерации точных Signatures и корректного распознавания визуальных характеристик (цвет, форма, текстура).
Насыщение метаданных и структурированных данных: Используйте подробную разметку Schema.org/Product и полные фиды Google Merchant Center. Текст и метаданные (категория, цвет, материал) используются в сочетании с визуальным анализом для фильтрации и кросс-категорийных рекомендаций.
Обеспечение точности данных о наличии: Поддерживайте актуальность статуса наличия товара (availability). Статус out-of-stock может служить триггером для показа визуально похожих альтернатив, что помогает удерживать конверсии.
Обеспечение согласованности визуального стиля: Поддерживайте согласованность в фотографиях (освещение, фон) внутри коллекций, чтобы система могла точнее идентифицировать схожие по стилю товары.

Worst practices (это делать не надо)

Использование низкокачественных или «зашумленных» изображений: Изображения с низким разрешением, плохим освещением, водяными знаками или сложным фоном затрудняют извлечение точных визуальных признаков и генерацию качественных Signatures, снижая видимость в визуальном поиске.
Игнорирование атрибутов в фидах данных: Отсутствие детальных атрибутов (цвет, материал и т.д.) ограничивает возможности системы по поиску кросс-категорийных совпадений и точных альтернатив.
Несоответствие изображений и метаданных: Если изображение показывает красный товар, а в метаданных указан синий, это приведет к некорректной работе механизмов поиска по сходству.

Стратегическое значение

Этот патент лежит в основе современных систем визуального поиска Google. Для SEO-стратегии в E-commerce это подтверждает, что оптимизация изображений является критически важным направлением, а не просто дополнением к текстовой оптимизации. Видимость товара все больше зависит от того, насколько хорошо его визуальные характеристики могут быть интерпретированы и сопоставлены с другими товарами в индексе Google (через Signatures).

Практические примеры

Сценарий 1: Поиск похожих товаров в Google Images/Shopping

Действие пользователя: Пользователь ищет «синее бархатное платье» и кликает на одно из изображений в Google Shopping.
Механизм патента: Выбранное изображение становится seed content item. Google использует его предварительно рассчитанную Signature.
Выполнение: Система выполняет similarity search и генерирует блок «Похожие товары» (Secondary Presentation).
Результат: Пользователь видит другие синие платья с похожей текстурой и фасоном. Если он кликнет на одно из них, оно станет новым seed, и результаты обновятся (итерация).

Сценарий 2: Кросс-категорийные рекомендации

Действие пользователя: Пользователь просматривает «красные кожаные туфли».
Механизм патента: Suggestion Engine определяет Criteria (визуальные признаки + метаданные).
Выполнение: Система выполняет кросс-категорийный поиск (Claim 19), ища объекты с похожими визуальными признаками (красный цвет, кожаная текстура) в совместимых категориях (например, сумки).
Результат: В блоке рекомендаций (Secondary Presentation) пользователю предлагаются красные кожаные сумки, подходящие к туфлям.

Сценарий 3: Обработка отсутствия товара (Out-of-Stock)

Действие пользователя: Пользователь пытается выбрать размер для понравившихся кроссовок, но его размера нет в наличии.
Механизм патента: Система обнаруживает статус out-of-stock (Claim 22). Кроссовки становятся seed item.
Выполнение: Suggestion Engine немедленно запускает поиск визуально похожих альтернатив, доступных в нужном размере.
Результат: Пользователю отображается оверлей или блок с альтернативными кроссовками очень похожего дизайна.

Вопросы и ответы

Что такое «Signature» (визуальная подпись) в контексте этого патента и почему это важно для SEO?

Signature — это компактное числовое представление визуальных характеристик изображения (цвет, форма, текстура, узор). Это не текст, а результат анализа пикселей. Для SEO это критически важно, потому что Signature является основой для всех механизмов визуального поиска и рекомендаций Google (Images, Shopping, Lens). Чем точнее Google может сгенерировать Signature вашего товара, тем лучше он будет попадать в блоки похожих товаров.

Как этот патент связан с Google Lens или Google Shopping?

Патент описывает базовую технологию, которая используется в этих продуктах. Google Shopping использует этот механизм для отображения визуально похожих товаров, когда пользователь просматривает конкретный продукт. Google Lens применяет аналогичный подход для анализа изображений (делая их seed item) и поиска похожих объектов или товаров в интернете.

Патент упоминает кросс-категорийный поиск. Как это работает и как это использовать?

Система может найти визуально похожие объекты в разных категориях. Например, если seed item — это туфли с уникальным узором, система может предложить сумку с таким же узором. Чтобы использовать это, необходимо обеспечить очень точную категоризацию и указание атрибутов (цвет, материал) в метаданных и фидах. Это позволяет Google понять, какие категории совместимы и эффективно предлагать ваши товары для cross-selling.

Что означает «итеративный поиск» (Claim 8)?

Итеративный поиск означает, что процесс поиска не заканчивается на первом наборе результатов. Если пользователь кликает на один из рекомендованных товаров, этот товар становится новым seed, и система мгновенно обновляет рекомендации на основе его характеристик. Это создает вовлекающий опыт непрерывного визуального исследования, позволяя пользователю уточнять свои предпочтения через клики.

Какие требования к изображениям товаров следуют из этого патента?

Изображения должны быть высокого качества, четкими и хорошо освещенными. Объект должен быть хорошо виден и занимать значительную часть кадра. Желательно предоставлять несколько ракурсов и использовать чистый или контрастный фон. Это дает лучшие результаты при генерации Signatures.

Использует ли система только изображения или текст тоже важен?

Ядром изобретения является анализ изображений и генерация Signatures. Однако патент упоминает, что текст и метаданные также используются в качестве Criteria. Текст помогает определить контекст, категорию товара, бренд и другие атрибуты, которые используются для фильтрации результатов и обеспечения релевантности.

Что такое «Secondary Presentation» и почему важно, что она отображается «concurrently» (одновременно)?

Secondary Presentation — это интерфейс, где отображаются результаты (например, блок похожих товаров или всплывающий оверлей). Отображение «одновременно» с исходным контентом означает, что пользователя не перенаправляют на новую страницу при активации поиска. Это ключевой момент для удержания пользователя и обеспечения бесшовного опыта покупок.

Как система использует историю кликов (click history)?

История кликов используется для уточнения критериев поиска. Отслеживая, какие типы товаров пользователь выбирает в рамках итеративного поиска, система может лучше понять его предпочтения (например, определенный стиль, ценовой диапазон или предпочтительный цвет) и скорректировать последующие рекомендации для повышения релевантности.

Может ли эта система помочь, если товар отсутствует на складе (out-of-stock)?

Да, это одно из ключевых применений, описанных в патенте (Claim 22). Если выбранный товар недоступен, система может автоматически использовать его как seed для поиска и немедленно предложить наиболее визуально похожие альтернативы, которые есть в наличии. Это помогает ритейлерам не терять клиентов.

Выполняется ли анализ изображений в реальном времени?

Патент предполагает, что основная часть анализа (извлечение Signature и характеристик) выполняется заранее, на этапе индексирования товаров (офлайн). В реальном времени, при взаимодействии пользователя, происходит быстрое сопоставление (similarity comparison) уже вычисленных сигнатур в базе данных.