Как Google обучает модели компьютерного зрения для оценки визуального сходства изображений

Описание

Какую задачу решает

Патент решает задачу создания точных моделей визуального сходства (Image Similarity Model), чьи оценки максимально приближены к человеческому восприятию. Он адресует проблему определения того, какие визуальные признаки (цвет, форма, текстура) наиболее важны для оценки сходства, и позволяет эффективно использовать большие объемы неразмеченных данных (unlabeled images) для обучения, снижая зависимость от дорогостоящей ручной разметки.

Что запатентовано

Запатентован метод обучения метрик (Metric Learning) для оценки сходства изображений. Суть изобретения — в двухэтапном процессе генерации взвешенного вектора признаков (Weighted Feature Vector). Сначала модель обучается на основе расстояний между векторами признаков неразмеченных изображений. Затем она итеративно корректируется с использованием размеченных изображений (labeled images) и обратной связи от пользователей (Similarity Feedback).

Как это работает

Система работает следующим образом:

• Извлечение признаков: Из изображений извлекаются векторы признаков (Feature Vectors), описывающие визуальные характеристики. Для этого используются нейронные сети, например, Автоэнкодеры (Autoencoder).
• Обучение на неразмеченных данных: Изображения группируются в тройки (триплеты): Референс R, Изображение A, Изображение B. Система ранжирует A и B на основе того, чей вектор признаков ближе к R. Это используется для генерации начального Weighted Feature Vector (модели).
• Уточнение на размеченных данных: Модель тестируется на размеченных триплетах, для которых известно мнение пользователей (Similarity Feedback).
• Корректировка: Если ранжирование модели не совпадает с обратной связью пользователей, веса в Weighted Feature Vector корректируются, чтобы модель лучше соответствовала человеческому восприятию.

Актуальность для SEO

Высокая. Визуальный поиск (Google Lens, Google Images) является критически важным компонентом современного поиска. Описанные методы (использование глубокого обучения для извлечения признаков и обучение с частичным привлечением учителя) являются фундаментальными для современных систем компьютерного зрения. Участие Andrew Ng (один из пионеров Deep Learning) подчеркивает значимость этой технологии.

Важность для SEO

Патент имеет высокое стратегическое значение (7/10) для Image SEO и оптимизации под визуальный поиск. Он описывает фундаментальный механизм, с помощью которого Google интерпретирует визуальное содержание и определяет сходство. Хотя он не предлагает конкретных SEO-тактик, понимание этого процесса критически важно для оптимизации изображений в e-commerce и контентных проектах, зависящих от визуального трафика.

Детальный разбор

Термины и определения

Autoencoder (Автоэнкодер)

Тип нейронной сети, используемый для извлечения Feature Vectors из изображений. Он учится кодировать изображение в компактное представление. Активации скрытых слоев (hidden activations) используются как значения признаков (feature values).

Feature Vector (Вектор признаков)

Числовое представление визуальных характеристик изображения (цвет, текстура, края, формы). Извлекается из пиксельных данных.

Image Similarity Model (Модель сходства изображений)

Модель, которая вычисляет меру сходства между двумя изображениями. В данном патенте она представлена Weighted Feature Vector.

Image Triplet (Триплет изображений)

Набор из трех изображений, используемый для обучения: одно референсное изображение (Reference Image) и два других (A и B), которые сравниваются с ним.

Labeled Image (Размеченное изображение)

Изображение, для которого доступна Similarity Feedback. Используется на этапе уточнения (корректировки) модели.

Similarity Feedback (Обратная связь по схожести)

Данные, основанные на оценках пользователей (user specified visual similarity), указывающие, какое из двух изображений более похоже на референсное.

Unlabeled Image (Неразмеченное изображение)

Изображение, используемое на начальном этапе обучения, для которого обратная связь пользователей не учитывается. Сходство оценивается на основе дистанции между векторами признаков.

Weighted Feature Vector (Взвешенный вектор признаков)

Ядро модели сходства. Содержит весовые значения (weight values), каждое из которых указывает на важность (importance) соответствующего визуального признака для определения общей схожести.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод создания и корректировки модели сходства изображений (Metric Learning).

1. Система ранжирует unlabeled images на основе первой меры визуальной схожести с первым референсным изображением.
2. Генерируется Weighted Feature Vector на основе визуальных признаков неразмеченных изображений и этого ранжирования (Этап 1).
3. Идентифицируется подмножество labeled images, включающее второе референсное изображение.
4. Определяется вторая мера визуальной схожести между размеченными изображениями и вторым референсным изображением. Эта мера основана на Weighted Feature Vector и вычисляется независимо от Similarity Feedback data на этом шаге.
5. Размеченные изображения ранжируются на основе этой второй меры схожести.
6. Система определяет, что это ранжирование не совпадает со вторым ранжированием (которое основано на Similarity Feedback data).
7. В ответ на это несовпадение Weighted Feature Vector корректируется на основе Similarity Feedback data (Этап 2).

Ядром изобретения является двухэтапный процесс обучения. Сначала модель пытается определить важность признаков (веса) на неразмеченных данных, используя расстояние как прокси для сходства. Затем она проверяет и уточняет эти веса, сравнивая свои результаты с данными, размеченными человеком, чтобы лучше соответствовать человеческому восприятию.

Claim 4 (Зависимый): Уточняет, что генерация Weighted Feature Vector (на Этапе 1) включает определение весовых значений, указывающих на важность каждого признака, и что это происходит независимо от Similarity Feedback.

Claim 5 (Зависимый): Детализирует, что определение весов на Этапе 1 включает инициализацию базовыми значениями (baseline value) и их корректировку на основе классификации неразмеченных изображений.

Где и как применяется

Изобретение описывает офлайн-процесс обучения моделей машинного обучения (Model Training Pipeline), которые затем применяются в инфраструктуре поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит извлечение признаков (Feature Extraction). Система использует методы, такие как Autoencoders, для анализа пиксельных данных и генерации Feature Vectors для всех индексируемых изображений. Эти векторы сохраняются в индексе.

RANKING – Ранжирование (в контексте Image/Visual Search)
Обученная Image Similarity Model (т.е. финальный Weighted Feature Vector) используется на этапе ранжирования. При обработке визуального запроса (например, Google Lens или Поиск по картинке) модель применяется для вычисления меры сходства между изображением в запросе и изображениями-кандидатами в индексе.

Входные данные (для процесса обучения):

• Наборы неразмеченных и размеченных изображений (сформированные в Image Triplets).
• Feature Vectors, извлеченные из этих изображений.
• Similarity Feedback для размеченных изображений.

Выходные данные (результат обучения):

• Скорректированная Image Similarity Model (финальный Weighted Feature Vector).

На что влияет

• Конкретные типы контента: Влияет исключительно на визуальный контент (изображения, графика). Особенно критично для e-commerce (схожесть товаров), поиска объектов и распознавания дубликатов.
• Специфические запросы: Влияет на запросы визуального поиска (image-as-query) и ранжирование в вертикали Google Images.

Когда применяется

Описанный алгоритм — это процесс обучения модели.

• Временные рамки и частота применения: Обучение происходит офлайн и периодически повторяется для обновления моделей при накоплении новых данных и обратной связи.
• Условия работы алгоритма: Применение обученной модели происходит в реальном времени на этапе RANKING при обработке поисковых запросов, связанных с изображениями.

Пошаговый алгоритм

Процесс обучения Image Similarity Model.

Фаза 0: Извлечение признаков

1. Обучение механизма извлечения: Обучение Autoencoder (или другого метода, упомянуты PCA, SIFT) для извлечения визуальных признаков. Может включать предобработку данных, например, ZCA Whitening.
2. Генерация Feature Vectors: Применение обученного механизма к каждому изображению для получения его Feature Vector. Может включать Spatial Pooling (mean pooling или max pooling) для уменьшения размерности.

Фаза 1: Начальное обучение (Неразмеченные данные)

3. Формирование триплетов: Выбор триплетов неразмеченных изображений (Референс R, Изображение A, Изображение B).
4. Вычисление расстояний: Расчет дистанции между векторами признаков (Расстояние R-A и R-B).
5. Ранжирование: Ранжирование A и B относительно R. Изображение с меньшей дистанцией считается более похожим.
6. Генерация начальной модели: Инициализация и генерация начального Weighted Feature Vector. Веса корректируются с использованием машинного обучения на основе полученных ранжирований (независимо от обратной связи).

Фаза 2: Уточнение модели (Размеченные данные)

7. Выбор размеченных триплетов: Выбор триплетов, для которых известно Similarity Feedback (например, пользователи указали, что A похож на R больше, чем B).
8. Предсказание модели: Использование текущего Weighted Feature Vector для расчета мер сходства и ранжирования A и B.
9. Сравнение и валидация: Сравнение ранжирования модели с Similarity Feedback.
10. Корректировка: Если ранжирования не совпадают, система корректирует веса в Weighted Feature Vector, чтобы повысить соответствие человеческому восприятию.
11. Итерация: Повторение шагов 7-10 для множества размеченных триплетов для тонкой настройки модели.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные признаки): Основной вход — пиксельные данные изображений. Анализируются визуальные характеристики: цвет, текстура, яркость, края (color, texture, brightness, or edge location). Указывается, что признаки могут извлекаться на разных масштабах (two or more image scales).
• Пользовательские факторы (Обратная связь): Similarity Feedback – явная обратная связь от пользователей о визуальном сходстве в рамках триплетов.

Какие метрики используются и как они считаются

• Feature Vectors (Векторы признаков): Вычисляются из пиксельных данных. Патент упоминает использование Autoencoder (где активации скрытых слоев служат признаками), а также альтернативы: PCA, SIFT, edge detection, corner detection, geometric blur.
• Distance Measures (Меры расстояния): Используются как показатель схожести. Упоминаются Euclidean distance, Manhattan distance, cosine distance.
• Взвешенная дистанция: Патент приводит конкретную формулу (Relationship 1) для расчета дистанции, включающую весовые коэффициенты:
  d(IR,Ix) = Σᵢ zᵢ² √(vᵢᴵᴿ — vᵢᴵˣ)² + k
  Где d(IR,Ix) – дистанция; zᵢ – весовой фактор (weight factor) для i-го признака (вес, который обучается); vᵢ – значение i-го признака (feature value); k – константа.
• Weighted Feature Vector (Взвешенный вектор признаков): Ключевая структура данных, которая обучается (определяются zᵢ). Веса определяют относительную важность каждого визуального признака.
• Техники обработки: Упоминаются ZCA Whitening (для предобработки) и Spatial Pooling (для уменьшения размерности).

Выводы

1. Сходство — это обучаемая метрика (Learned Metric): Google не использует фиксированный алгоритм для определения сходства. Система активно обучается тому, как измерять расстояние между изображениями, чтобы оно соответствовало человеческому восприятию (Metric Learning).
2. Комбинированный подход к обучению (Semi-Supervised): Система эффективно использует огромные массивы неразмеченных данных для изучения базовых визуальных паттернов, а затем использует ограниченные, но ценные размеченные данные (Similarity Feedback) для калибровки и тонкой настройки модели.
3. Глубокое обучение для понимания изображений: Использование Autoencoders для извлечения Feature Vectors подтверждает опору на нейронные сети для глубокого анализа визуального контента на уровне пикселей, а не метаданных.
4. Динамическая важность признаков: Weighted Feature Vector позволяет системе понять, что некоторые признаки (например, форма объекта) могут быть важнее других (например, текстуры фона) при определении сходства.
5. Критичность визуальных характеристик для SEO: Для успеха в визуальном поиске и Image Search решающее значение имеют именно визуальные характеристики изображения, интерпретируемые через эти сложные модели.

Практика

Best practices (это мы делаем)

• Приоритет качества и визуальной четкости: Поскольку признаки извлекаются из пикселей с помощью Autoencoder, необходимо использовать высококачественные, четкие и хорошо освещенные изображения. Это обеспечивает извлечение точных Feature Vectors.
• Фокус на главном объекте (для E-commerce): Убедитесь, что товар на изображении хорошо виден и занимает центральное место. Использование нейтрального фона помогает модели сфокусироваться на признаках самого объекта, улучшая точность сопоставления в визуальном поиске (Google Lens).
• Предоставление визуального разнообразия: Используйте несколько изображений продукта с разных ракурсов. Это создает различные Feature Vectors для одного объекта, увеличивая вероятность совпадения с разнообразными визуальными запросами пользователей.
• Создание уникального визуального контента: Модель сходства эффективно определяет дубликаты через близость Feature Vectors. Уникальные изображения имеют больший потенциал для ранжирования в Image Search по сравнению с широко распространенными стоковыми фото.

Worst practices (это делать не надо)

• Использование низкокачественных или зашумленных изображений: Размытость, артефакты сжатия или плохое освещение приводят к извлечению неточных Feature Vectors, что ухудшает способность системы находить релевантные совпадения.
• Визуальное «засорение» (Visual Clutter): Наложение агрессивных водяных знаков, текста или посторонних графических элементов поверх основного объекта искажает Feature Vector и может снизить оценку визуальной схожести с исходным объектом.
• Игнорирование визуальной составляющей: Полагаться исключительно на ALT-текст и имена файлов. Патент доказывает, что Google анализирует пиксели для определения сходства в визуальном поиске.
• Манипуляции для псевдо-уникализации: Незначительные изменения (зеркальное отражение, минимальный кроппинг, изменение оттенка) могут быть неэффективны. Модели, основанные на глубоких признаках, устойчивы к таким изменениям; если основной Feature Vector остается близким к оригиналу, система распознает изображение как копию.

Стратегическое значение

Патент подтверждает стратегический приоритет Google в области компьютерного зрения и мультимодального поиска. Для SEO это означает, что оптимизация изображений смещается от анализа метаданных к анализу самих пикселей. Долгосрочные стратегии должны учитывать, что Google разрабатывает сложные Image Similarity Models, обучаемые имитировать человеческое восприятие, для интерпретации и ранжирования визуального контента.

Практические примеры

Сценарий: Оптимизация изображений для интернет-магазина мебели

1. Цель: Увеличить вероятность того, что товары будут найдены через визуальный поиск (Google Lens) или в блоке «Похожие товары».
2. Действия на основе патента:
   • Создать высококачественные фотографии дивана на нейтральном фоне (для четкого извлечения Feature Vectors формы и цвета).
   • Добавить детализированные фото текстуры ткани (для извлечения признаков текстуры).
   • Добавить «lifestyle» фотографии дивана в интерьере (для соответствия запросам пользователей в похожем контексте).
3. Обоснование: Система извлечет разнообразные Feature Vectors. Если пользователь сфотографирует похожий диван у себя дома или в шоуруме, обученная Image Similarity Model сможет определить высокое сходство между Feature Vector запроса и Feature Vectors фотографий магазина, используя взвешенные признаки (например, придавая больший вес форме и текстуре, чем фону).

Вопросы и ответы