Как Google конвертирует визуальные характеристики изображений в текстовые ключевые слова для визуального поиска

Термины и определения

Visual Query (Визуальный запрос)

Изображение (фотография, скан, кадр видео), отправленное в поисковую систему в качестве запроса.

Image Feature Values (Значения признаков изображения)

Числовые представления визуальных характеристик изображения. В патенте упоминаются color histogram values (значения цветовой гистограммы), intensity values (значения интенсивности), edge statistic (статистика границ) и texture values (текстурные значения).

Image Features Vector (Вектор признаков изображения)

Структурированный набор Image Feature Values, представляющий изображение в числовом формате для анализа.

Image Relevance Model (IRM) / Image Relevance Vector (Модель/Вектор релевантности изображения)

Обученная модель для конкретного текстового термина. Представляет собой вектор весов, определяющий относительную важность различных Image Features для этого термина.

Matrix of Image Relevance Models (Матрица моделей релевантности изображений)

Коллекция Image Relevance Models для большого количества предопределенных текстовых терминов (например, Топ N популярных запросов). Используется для эффективного сопоставления входного изображения с множеством терминов.

Textual Terms / Query Terms (Текстовые термины / Запросы)

Слова или фразы, которые система пытается сопоставить с визуальным запросом.

PAMIR (Passive-Aggressive Model for Image Retrieval)

Конкретный алгоритм машинного обучения, упомянутый в описании как возможный метод для обучения Image Relevance Models.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации текстовых терминов по изображению.

1. Получение изображения запроса (query image).
2. Получение набора признаков изображения и формирование вектора их значений (vector of image feature values).
3. Получение набора текстовых запросов (set of query terms).
4. Для каждого запроса: получение веса (оценки релевантности) путем применения вектора признаков изображения к соответствующему вектору релевантности изображения (image relevance vector) этого запроса.
5. Ключевой аспект: каждый компонент image relevance vector указывает на относительную важность соответствующего компонента в векторе признаков изображения для определения релевантности запроса.
6. Выбор подмножества запросов на основе их весов.
7. Предоставление одного или нескольких выбранных запросов.

Ядром изобретения является использование предопределенных Image Relevance Vectors, которые специфичны для каждого текстового термина и определяют, какие визуальные признаки важны для этого термина. Это позволяет системе оценить, насколько хорошо визуальные характеристики входного изображения соответствуют ожиданиям для данного термина.

Claim 4 (Зависимый от 1): Детализирует механизм сопоставления.

1. Идентификация матрицы векторов релевантности (matrix of the image relevance vectors).
2. Умножение вектора признаков изображения на эту матрицу. Каждая строка матрицы соответствует определенному текстовому запросу.

Это определяет математическую операцию для эффективной реализации. Вместо последовательного сравнения изображения с каждой моделью, используется матричное умножение для одновременного сравнения признаков входного изображения с тысячами моделей релевантности, что обеспечивает высокую скорость работы.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, разделяясь на офлайн-обучение и онлайн-обработку запросов.

INDEXING – Индексирование и извлечение признаков (Офлайн-обучение и подготовка данных)
На этом этапе происходит построение Matrix of Image Relevance Models. Система анализирует логи поисковых запросов изображений (logs of textual queries), определяет популярные запросы (Топ N), находит для них репрезентативные изображения (на основе кликов пользователей) и обучает Image Relevance Models (IRM).

QUNDERSTANDING – Понимание Запросов (Онлайн-обработка визуального запроса)
Это основное применение патента в реальном времени. Когда пользователь отправляет визуальный запрос (например, через Google Lens):

1. Feature Extraction: Из изображения извлекаются Image Feature Values и формируется вектор.
2. Mapping: Происходит умножение этого вектора на подготовленную матрицу IRM.
3. Результат: Система переводит визуальный ввод в структурированное семантическое представление — ранжированный список Textual Terms.

RANKING / METASEARCH (Онлайн)
Полученные Textual Terms могут быть использованы для запуска стандартных текстовых поисковых процессов. Результаты этих поисков затем ранжируются и смешиваются для формирования ответа на исходный визуальный запрос.

Входные данные (Онлайн):

• Визуальный запрос (изображение).
• Matrix of Image Relevance Models (предварительно рассчитанная).

Выходные данные (Онлайн):

• Ранжированный список текстовых терминов с соответствующими весами (оценками релевантности).
• Опционально: изображения, ассоциированные с этими терминами, или интерактивный документ с результатами.

На что влияет

• Типы контента и форматы: В первую очередь влияет на обработку изображений (фотографии, графика). Критически важно для визуального поиска (Google Lens, Google Images).
• Специфические запросы: Запросы, связанные с идентификацией объектов, продуктов, достопримечательностей — всего, что имеет отличительные визуальные признаки.
• Ниши и тематики: Наибольшее влияние в E-commerce (идентификация товаров), локальном поиске (идентификация мест) и информационных нишах, где важна визуальная составляющая.

Когда применяется

Алгоритм применяется каждый раз, когда система обрабатывает визуальный запрос. Это базовый механизм для понимания содержания изображения и его перевода в текстовый формат, понятный остальной поисковой инфраструктуре.

Пошаговый алгоритм

Процесс А: Обработка визуального запроса в реальном времени

1. Получение запроса: Система получает визуальный запрос от клиента.
2. Извлечение признаков (Feature Extraction): Генерируется набор Image Feature Values (гистограммы цветов, интенсивность, статистика краев).
3. Формирование вектора: Значения признаков структурируются в Image Features Vector.
4. Сопоставление (Mapping): Вектор признаков умножается на Matrix of Image Relevance Models.
5. Вычисление весов: В результате матричного умножения получается набор весов (оценок релевантности) для множества предопределенных текстовых терминов.
6. Ранжирование: Текстовые термины ранжируются в соответствии с их весами.
7. Формирование ответа: Один или несколько топовых ранжированных терминов отправляются клиенту.
8. Дополнительные действия (Опционально): Система может инициировать текстовый поиск по выбранному термину или создать интерактивный документ с визуальными идентификаторами (метками) для частей изображения, связанными с текстовыми терминами.

Процесс Б: Офлайн-обучение моделей (Подготовка данных)

1. Анализ логов: Доступ к логам текстовых запросов для поиска изображений.
2. Идентификация Топ N запросов: Определение N наиболее популярных текстовых запросов (в патенте упоминается диапазон N от 5000 до 30000).
3. Выбор репрезентативных изображений: Для каждого из Топ N запросов определяются изображения, которые чаще всего выбирались пользователями или ранжировались высоко.
4. Извлечение признаков: Извлечение Image Feature Values для каждого репрезентативного изображения.
5. Машинное обучение: Применение ML (например, PAMIR) для генерации Image Relevance Model (вектора весов) для каждого из Топ N запросов. Модель учится определять важность признаков для запроса.
6. Сборка матрицы: Комбинирование всех Image Relevance Models в единую матрицу для использования в Процессе А.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные данные): Это основные данные для онлайн-обработки. Анализируются пиксели изображения для извлечения Image Feature Values. В патенте явно упомянуты:
  • Color histogram values (Значения гистограммы цветов).
  • Intensity values (Значения интенсивности).
  • Edge statistic (Статистика краев).
  • Texture values (Текстурные значения).
• Поведенческие факторы (Для офлайн-обучения): Логи текстовых поисков по изображениям (logs of textual searches for images). Критически важны данные о том, какие изображения пользователи выбирали (images that were selected by the users) в ответ на конкретные текстовые запросы.

Какие метрики используются и как они считаются

• Image Relevance Model (IRM) / Vector: Вектор весов, определяющий важность каждого визуального признака для конкретного текстового термина. Обучается офлайн.
• Weights/Scores (Веса/Оценки Релевантности): Числовая мера релевантности между визуальным запросом и текстовым термином.
• Метод расчета (Онлайн): Матричное умножение. Image Features Vector (входного изображения) умножается на Matrix of Image Relevance Models. Результатом является набор весов для текстовых терминов.
• Алгоритмы машинного обучения (Офлайн): Используются для генерации IRM. Упомянут PAMIR (Passive-Aggressive Model for Image Retrieval).

1. Понимание изображений на основе визуальных признаков: Патент подтверждает способность Google интерпретировать содержание изображения исключительно на основе его визуальных характеристик (цвет, текстура, края), независимо от текстового контекста (ALT-теги, окружающий текст).
2. Связь между поведением пользователей и визуальным поиском: Механизм напрямую использует поведение пользователей в традиционном поиске по картинкам для обучения визуального поиска. Модели (IRM) строятся на том, какие изображения пользователи считали релевантными для текстовых запросов в прошлом.
3. Важность визуальной отличительности (Visual Distinctiveness): Чтобы изображение было правильно идентифицировано, его визуальные признаки должны четко соответствовать обученной модели релевантности (IRM) для целевого термина. Изображения с четкими, недвусмысленными визуальными характеристиками имеют преимущество.
4. Масштабируемость и эффективность: Использование матричного умножения позволяет системе эффективно сравнивать входное изображение с тысячами предопределенных текстовых терминов (до 30000) в реальном времени.
5. Визуальный поиск как переводчик: Система функционирует как переводчик, преобразуя пиксели (Image Feature Vector) в семантику (Textual Terms) через посредничество Image Relevance Models.

Best practices (это мы делаем)

• Обеспечение визуальной четкости и качества: Используйте высококачественные, четкие изображения, где основной объект хорошо освещен и занимает центральное место. Это обеспечивает точное извлечение Image Feature Values и корректное сопоставление с IRM.
• Фокус на отличительных признаках: Убедитесь, что визуальные характеристики объекта на изображении (цвет, форма, текстура) строго соответствуют целевому ключевому слову. Анализируйте выдачу Image Search по целевым запросам, чтобы понять, какие визуальные паттерны Google уже ассоциирует с ними (т.е. понять обученную модель).
• Оптимизация под Визуальный Поиск (Google Lens): Регулярно анализируйте ключевые изображения вашего сайта с помощью Google Lens. Это позволит увидеть, какие Textual Terms Google извлекает из ваших изображений. Если интерпретация неверна, рассмотрите возможность замены изображения на более репрезентативное.
• Оптимизация изображений товаров (E-commerce): Предоставляйте чистые изображения продуктов, предпочтительно на нейтральном фоне. Это помогает системе изолировать признаки объекта и минимизирует шум при извлечении Image Feature Values, улучшая идентификацию товара.

Worst practices (это делать не надо)

• Использование низкокачественных или размытых изображений: Это ухудшает точность извлечения визуальных признаков (особенно edge statistic и текстуры) и может привести к неправильной идентификации.
• Применение абстрактных или вводящих в заблуждение изображений: Использование стоковых или чрезмерно художественных изображений, где визуальные признаки не соответствуют реальному объекту или теме контента. Система может ассоциировать их с нерелевантными текстовыми терминами.
• Перегруженные композиции: Изображения, содержащие слишком много объектов или сложный фон, затрудняют выделение признаков основного объекта, снижая вероятность его правильной идентификации.
• Игнорирование визуальной составляющей: Фокусироваться только на ALT-тегах и окружающем тексте, игнорируя качество самого изображения. Патент показывает, что визуальные данные анализируются напрямую.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google в области распознавания объектов и сущностей, выходя за рамки анализа ключевых слов. Для SEO это означает, что визуальное представление контента является самостоятельным и важным сигналом, особенно с ростом популярности визуального поиска. Долгосрочная стратегия должна включать оптимизацию самих визуальных активов (изображений продуктов, логотипов, инфографики), а не только их метаданных.

Практические примеры

Сценарий: Оптимизация изображения товара в интернет-магазине (Кроссовки)

1. Проблема: Текущее изображение — это "lifestyle" фотография, где кроссовки показаны на ногах модели в парке. Визуальный поиск идентифицирует их как общие "кроссовки для бега", а не конкретную модель.
2. Применение патента: Необходимо предоставить изображение, чей Image Feature Vector будет максимально соответствовать Image Relevance Model конкретной модели кроссовок.
3. Действие: Добавить на страницу товара четкое изображение кроссовка на белом фоне (студийное фото).
4. Механизм в действии: Система извлекает чистые данные о статистике краев (форма кроссовка) и гистограмме цветов (конкретная расцветка) без фонового шума.
5. Ожидаемый результат: Image Feature Vector нового изображения получает высокий вес при сопоставлении с IRM для точного названия модели (например, "Adidas Ultraboost 21"), обеспечивая правильную идентификацию и повышая видимость в визуальном поиске по этому товару.