Как Google использует механизм внимания для выбора ключевых визуальных элементов на изображениях для улучшения поиска по картинкам

Термины и определения

Attention Score (Оценка внимания)

Числовое значение, присваиваемое моделью каждому local feature descriptor. Отражает значимость или релевантность данного признака для задачи поиска изображений. Используется для отбора keypoint descriptors.

Deep Local Feature Descriptor (Глубокий локальный дескриптор признака)

Local feature descriptor, извлеченный с помощью модели глубокого обучения (например, глубокой нейронной сети).

Dimensionality Reduction (Снижение размерности)

Процесс уменьшения количества переменных (размерности) в наборе данных. В патенте используется для сжатия keypoint descriptors с целью повышения эффективности поиска. Упоминаются методы PCA (метод главных компонент) и L2 normalization.

Geometric Verification (Геометрическая верификация)

Этап постобработки в поиске изображений. Проверяет пространственное соответствие между найденными признаками на изображении запроса и изображении из базы данных для отсеивания ложных совпадений.

Image Pyramid (Пирамида изображений)

Набор версий одного и того же изображения в разных масштабах. Используется для обеспечения инвариантности к масштабу, позволяя обнаруживать объекты разного размера.

Keypoint Descriptor (Дескриптор ключевой точки)

Выбранное подмножество local feature descriptors, которые получили наивысшие Attention Scores. Используются для финального представления изображения в индексе.

Local Feature Descriptor (Локальный дескриптор признака)

Векторное представление, описывающее локальную область (патч) изображения. Модель обычно генерирует плотную сетку таких дескрипторов.

Machine-learned Image Descriptor Model (Обученная модель дескрипторов изображений)

Модель машинного обучения (в патенте подразумевается нейронная сеть, например, CNN), обученная извлекать дескрипторы из изображений и оценивать их важность.

Nearest Neighbor Search (Поиск ближайших соседей)

Алгоритм, используемый для нахождения в индексе дескрипторов, наиболее близких (похожих) к дескрипторам изображения запроса.

Receptive Field (Рецептивное поле)

Область входного изображения, которая влияет на активацию определенного нейрона или на вычисление определенного дескриптора. Используется для локализации признака на изображении.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод поиска изображений.

1. Система получает изображение запроса (query image).
2. Определяется множество локальных дескрипторов признаков (local feature descriptors).
3. Для каждого локального дескриптора определяется оценка внимания (attention score).
4. Определяется набор дескрипторов ключевых точек (set of keypoint descriptors). Это подмножество локальных дескрипторов, выбранное на основе оценок внимания.
5. Снижается пространственная размерность (spatial dimensionality) набора дескрипторов ключевых точек.
6. Выполняется поиск одного или нескольких изображений, соответствующих запросу, на основе этого набора дескрипторов.

Ядро изобретения — использование Attention Score для фильтрации локальных дескрипторов перед этапом поиска.

Claim 8 (Независимый пункт): Описывает применение обученной модели.

1. Система получает доступ к обученной модели (machine-learned image descriptor model). Модель обучена определять локальные дескрипторы, вычислять для них attention score и выводить набор keypoint descriptors на основе этих оценок.
2. Изображение запроса вводится в модель.
3. На выходе модели получается набор keypoint descriptors, каждый из которых был выбран на основе соответствующей оценки внимания, сгенерированной моделью.
4. Этот набор предоставляется приложению для обработки изображений (например, системе поиска).

Этот пункт защищает использование специализированной модели, которая интегрирует механизм внимания для выбора ключевых точек.

Claim 15 (Зависимый от 8): Уточняет архитектуру модели.

Модель включает множество общих слоев (plurality of shared layers), которые используются как минимум частично и для определения локальных дескрипторов, и для определения оценки внимания для каждого из них. Это указывает на высокую эффективность архитектуры, где обе задачи решаются совместно.

Claim 19 (Независимый пункт): Описывает архитектуру системы поиска изображений.

Система включает:

1. Обученную модель, настроенную на прием изображения, определение локальных дескрипторов, вычисление attention scores и вывод набора keypoint descriptors (выбранного подмножества на основе оценок).
2. Индекс keypoint descriptors, полученный путем обработки множества изображений базы данных этой моделью.
3. Процессор и память, выполняющие операции: прием запроса, ввод его в модель, получение keypoint descriptors запроса, определение совпадающих признаков путем сравнения с индексом и поиск как минимум одного совпадающего изображения.

Где и как применяется

Изобретение применяется в системах визуального поиска (Image Retrieval) и затрагивает этапы индексирования и ранжирования (поиска).

INDEXING – Индексирование и извлечение признаков
Это основная область применения для построения базы данных. Система обрабатывает большой корпус изображений (database images) в офлайн-режиме. Для каждого изображения применяется Machine-learned Image Descriptor Model для извлечения Deep Local Feature Descriptors, вычисления Attention Scores и выбора финального набора Keypoint Descriptors. Эти дескрипторы сохраняются в крупномасштабном индексе.

RANKING – Ранжирование (в контексте поиска изображений)
При получении изображения запроса (query image) система в реальном времени применяет ту же модель для извлечения его Keypoint Descriptors. Затем выполняется поиск этих дескрипторов в индексе (например, с помощью Nearest Neighbor Search) для нахождения совпадающих признаков (matching features).

RERANKING – Переранжирование (в контексте поиска изображений)
Найденные совпадения проходят этап Geometric Verification для подтверждения пространственного соответствия между запросом и изображениями-кандидатами, что позволяет отфильтровать ложные срабатывания и уточнить ранжирование.

Входные данные:

• Изображения (пиксельные данные) — как для индексации, так и для запросов.
• Обученная модель дескрипторов изображений.

Выходные данные:

• Для индексации: Индекс, содержащий сжатые (с пониженной размерностью) Keypoint Descriptors для корпуса изображений.
• Для поиска: Список совпадающих изображений, отсортированных по релевантности (количеству и качеству верифицированных совпадений).

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, где требуется точное визуальное сопоставление: изображения товаров (e-commerce), достопримечательности (landmarks), логотипы, произведения искусства.
• Специфические запросы: Влияет на визуальные запросы (поиск по изображению, Google Lens), а не на текстовые запросы в обычном веб-поиске.
• Конкретные ниши или тематики: E-commerce (распознавание продуктов), Локальный поиск (распознавание мест и ориентиров).

Когда применяется

• При каких условиях работает алгоритм: Алгоритм применяется при каждом индексировании нового изображения и при каждом выполнении визуального поискового запроса.
• Триггеры активации: Механизм внимания интегрирован в модель и активируется всегда при обработке изображения (во время прямого прохода через нейронную сеть). Он не является отдельным модулем, который включается при определенных условиях.

Пошаговый алгоритм

Процесс А: Извлечение дескрипторов (Индексирование и Обработка запроса)

1. Получение изображения: Система получает входное изображение.
2. Построение пирамиды изображений (Опционально): Создается Image Pyramid — несколько версий изображения в разных масштабах для обеспечения устойчивости к изменению размера объектов. Каждая версия обрабатывается независимо.
3. Извлечение локальных признаков: Изображение подается на вход Machine-learned Image Descriptor Model (например, CNN). Модель генерирует плотную сетку Local Feature Descriptors.
4. Вычисление оценок внимания: Одновременно с извлечением признаков (используя shared layers) модель вычисляет Attention Score для каждого локального дескриптора.
5. Выбор ключевых точек: Система отбирает подмножество локальных дескрипторов, основываясь на их Attention Scores. Например, выбирается фиксированное количество дескрипторов с наивысшими оценками. Они становятся Keypoint Descriptors.
6. Снижение размерности: К выбранным Keypoint Descriptors применяются методы Dimensionality Reduction (например, L2 normalization, затем PCA, затем снова L2 normalization) для сжатия представления.
7. Индексирование / Передача для поиска: Полученные дескрипторы либо сохраняются в индексе (при индексации), либо передаются в систему поиска (при обработке запроса).

Процесс Б: Поиск изображений (Retrieval)

1. Получение дескрипторов запроса: Система получает Keypoint Descriptors запроса (результат Процесса А).
2. Поиск в индексе: Выполняется Nearest Neighbor Search для поиска похожих дескрипторов в индексе базы данных.
3. Определение совпадений: Идентифицируются совпадающие дескрипторы (matching descriptors) между запросом и изображениями из базы.
4. Геометрическая верификация: Выполняется Geometric Verification для проверки пространственного соответствия совпадений и отсеивания ложных результатов.
5. Ранжирование и выдача: Изображения ранжируются на основе верифицированных совпадений и предоставляются в качестве результата поиска.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на обработке визуальных данных.

• Мультимедиа факторы: Пиксельные данные изображений. Это единственный тип входных данных, который обрабатывает описанная модель.

Патент не упоминает использование контентных (текстовых), ссылочных, поведенческих или иных традиционных SEO-факторов в рамках этого конкретного механизма извлечения дескрипторов.

Какие метрики используются и как они считаются

• Attention Score: Вычисляется внутренними слоями нейронной сети для оценки значимости каждого локального признака. Конкретная формула не приводится, но она является результатом обучения модели.
• Методы снижения размерности:
  • L2 Normalization: Нормализация векторов дескрипторов.
  • PCA (Principal Component Analysis): Метод главных компонент, используемый для сжатия дескрипторов.
• Алгоритмы машинного обучения: Используются нейронные сети, в частности, сверточные нейронные сети (Convolutional Neural Networks, CNN).
• Функции потерь (Loss Functions) при обучении: Патент упоминает обучение модели с использованием функций потерь, которые сравнивают выход модели с эталонными данными (ground-truth data). В описании упоминается возможность использования cross-entropy loss function для первого этапа обучения (извлечение признаков) и второй функции потерь для обучения механизма внимания.

1. Приоритет значимости над количеством признаков: Google стремится не просто извлечь как можно больше визуальных признаков, а идентифицировать наиболее важные (salient) из них. Механизм внимания (Attention Mechanism) является ключевым инструментом для этой фильтрации.
2. Игнорирование визуального шума: Система спроектирована так, чтобы игнорировать фон, помехи и отвлекающие объекты (clutter). Этим элементам присваиваются низкие Attention Scores, и они исключаются из финального набора Keypoint Descriptors.
3. Эффективность за счет интеграции: Извлечение признаков и оценка их важности происходят одновременно (в рамках одного прохода через нейронную сеть) и используют общие слои (shared layers). Это значительно повышает скорость обработки по сравнению с последовательными методами.
4. Обучение на крупномасштабных данных: Модель обучается на больших наборах данных (например, достопримечательностей) с использованием только меток на уровне изображения (image-level labels), без необходимости детальной разметки объектов внутри изображений.
5. Инфраструктура визуального поиска: Патент описывает базовую инфраструктуру для систем компьютерного зрения Google (Images, Lens). Он не имеет прямого отношения к ранжированию текстового контента или веб-страниц, но критичен для Image SEO.

Best practices (это мы делаем)

Хотя патент описывает внутренние механизмы компьютерного зрения Google, он дает важные ориентиры для оптимизации изображений (Image SEO и Visual Search Optimization).

• Оптимизация композиции изображения: Размещайте главный объект так, чтобы он был визуально доминирующим. Механизм внимания сфокусируется на четких, контрастных и узнаваемых объектах. Убедитесь, что объект хорошо освещен и находится в фокусе.
• Минимизация визуального шума (Clutter): Избегайте перегруженных фонов и большого количества отвлекающих объектов. Чем чище фон, тем выше вероятность, что Attention Mechanism присвоит высокие оценки признакам основного объекта.
• Использование высококачественных изображений: Используйте четкие изображения с высоким разрешением. Это позволяет модели извлекать более точные Deep Local Feature Descriptors.
• Стратегия для E-commerce: Предоставляйте чистые фотографии продукта на нейтральном фоне. Это гарантирует, что извлеченные Keypoint Descriptors будут относиться именно к продукту, что критично для поиска через Google Lens или поиска похожих товаров.
• Стратегия для Локального SEO: Используйте качественные фотографии фасадов и интерьеров. Система обучена на распознавании ориентиров (landmarks), и четкие изображения помогут Google идентифицировать местоположение.

Worst practices (это делать не надо)

• Использование перегруженных изображений: Размещение важных объектов на сложном, пестром фоне или среди множества других объектов. Это может привести к тому, что механизм внимания "отвлечется" и не выделит нужный объект как ключевой.
• Сокрытие или перекрытие объекта (Occlusion): Использование изображений, где главный объект частично скрыт или перекрыт другими элементами (например, водяными знаками, текстом). Это затрудняет извлечение качественных дескрипторов.
• Использование некачественных, размытых изображений: Низкое качество затрудняет извлечение надежных визуальных признаков.
• Игнорирование визуальной составляющей: Фокусироваться только на атрибутах ALT и окружающем тексте, игнорируя композицию и качество самого изображения.

Стратегическое значение

Патент подтверждает высокий уровень развития технологий компьютерного зрения Google. Система не просто классифицирует изображение целиком, а проводит детальный анализ локальных признаков и их значимости. Это подчеркивает стратегическую важность визуального поиска как самостоятельного канала трафика, особенно для e-commerce и контента, ориентированного на объекты. SEO-стратегия должна учитывать, что для успешного ранжирования в Google Images или обнаружения через Google Lens изображение должно быть понятным для механизма внимания.

Практические примеры

Сценарий: Оптимизация карточки товара для поиска через Google Lens

1. Задача: Увеличить вероятность того, что пользователи, фотографирующие товар в офлайне, найдут его на нашем сайте через Google Lens.
2. Действие (на основе патента): Разместить на сайте фотографию товара крупным планом на белом или нейтральном фоне, без аксессуаров и отвлекающих элементов.
3. Обоснование: Machine-learned Image Descriptor Model проанализирует это изображение. Благодаря отсутствию шума, Attention Mechanism присвоит максимальные Attention Scores признакам самого товара. Эти чистые Keypoint Descriptors попадут в индекс.
4. Ожидаемый результат: Когда пользователь сделает фото товара (даже в более сложных условиях), модель Google Lens извлечет дескрипторы товара. Вероятность успешного сопоставления (Nearest Neighbor Search) с чистыми дескрипторами в индексе будет выше, что приведет пользователя на наш сайт.