Как Google определяет главный объект на изображении, анализируя его размер, центральное положение и видимость

Термины и определения

Accuracy Score (Оценка точности) / Measure of Quality (Мера качества)

Метрика, измеряющая уверенность (confidence) системы в том, что идентифицированный объект действительно принадлежит к указанному классу. Используется как модификатор для Rank Score.

Area (Площадь)

Размер ограничивающей области объекта. Фактор ранжирования, предполагающий, что более крупные объекты более важны.

Bounded Region (Ограниченная область)

Область на изображении. First bounded region — все изображение. Second bounded region — область, в которой расположен конкретный объект (например, Bounding Box).

Centroid (Центроид)

Геометрический центр области. Система сравнивает центроид объекта с центроидом изображения.

Image Processing Apparatus (Аппарат обработки изображений)

Компонент системы, отвечающий за распознавание объектов и определение их границ.

Image Ranking Apparatus (Аппарат ранжирования изображений)

Компонент системы, который ранжирует идентифицированные объекты на основе характеристик их Bounded Regions.

Object Class (Класс объекта)

Категория, которую система обучена распознавать (например, лица, животные, логотипы).

Overlap (Перекрытие)

Степень, в которой объект перекрыт другими распознанными объектами. Используется как фактор понижения (demotion).

Rank Score (Оценка ранжирования)

Итоговая оценка, определяющая важность объекта на изображении, рассчитанная на основе Area, Centroid Distance, Overlap и Accuracy Score.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования объектов с акцентом на центральное положение.

1. Система получает изображение (first bounded region).
2. Система получает результаты поиска объектов, каждый из которых идентифицирует класс объекта и его местоположение (second bounded region).
3. Для каждого результата вычисляется Rank Score на основе характеристик second bounded region. Конкретно в Claim 1 описан следующий процесс:
   • Определение центроида всего изображения (first centroid).
   • Определение центроида области объекта (second centroid).
   • Вычисление расстояния между этими центроидами.
   • Определение Rank Score на основе этого расстояния.
4. Результаты ранжируются по их Rank Scores.
5. Ранжированные результаты (фрагменты исходного изображения) предоставляются пользовательскому устройству.

Claim 2 (Зависимый от 1): Дополняет, что Rank Score также может определяться на основе площади (Area) ограничивающей области объекта.

Claim 3 (Зависимый от 1): Уточняет, что Rank Score рассчитывается в обратной пропорции (inverse proportion) к расстоянию до центра. Ближе к центру — выше ранг.

Claim 5 (Зависимый от 1): Дополняет, что Rank Score также может определяться на основе перекрытия (Overlap) с другими ограничивающими областями.

Claim 7 (Зависимый от 1): Описывает комбинированный подход. Rank Score определяется на основе оценки площади (Area Score), оценки перекрытия (Overlap Score), а также оценки расстояния до центра (как требуется в Claim 1).

Claim 10 (Зависимый от 1): Уточняет, что Rank Score также основывается на оценке точности (Accuracy Score) распознавания объекта.

Где и как применяется

Изобретение применяется в системах обработки и интерпретации визуального контента (Google Images, Google Lens).

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Когда Google индексирует изображение:

1. Распознавание объектов (Feature Extraction): Image Processing Apparatus анализирует изображение, распознает объекты, определяет их границы и рассчитывает Accuracy Score.
2. Определение важности объектов: Image Ranking Apparatus применяет описанный алгоритм для ранжирования этих объектов по важности.
3. Аннотирование и Индексация: Объект с наивысшим Rank Score определяется как основной предмет изображения. Эта информация используется для аннотирования и индексации изображения, влияя на его связь с сущностями и темами.

RANKING – Ранжирование (в контексте Image Search)
Информация о главном объекте изображения, полученная на этапе индексирования, используется как сильный сигнал релевантности при ранжировании изображений в ответ на запрос пользователя.

QUNDERSTANDING (в контексте Визуального Поиска)
В Google Lens, когда изображение является запросом, этот механизм используется для определения, на каком объекте сфокусироваться для дальнейшего поиска.

Входные данные:

• Исходное изображение.
• Список Object Search Results от Image Processing Apparatus, включающий: Класс объекта, Координаты Bounded Region, Accuracy Score (опционально).

Выходные данные:

• Отсортированный список объектов с рассчитанными Rank Scores.
• Идентификация основного предмета изображения.

На что влияет

• Конкретные типы контента: Влияет на любые изображения, но особенно критично для изображений со сложной композицией (групповые фото, сцены) и коммерческого контента (фотографии товаров в E-commerce).
• Специфические запросы: Влияет на ранжирование в Image Search. Система предпочтет изображение, где объект, соответствующий запросу, имеет высокий Rank Score (т.е. является главным).

Когда применяется

• Условия работы алгоритма: Алгоритм применяется во время индексации или анализа изображения, когда система распознавания идентифицирует один или более объектов.
• Триггеры активации: Необходимость определить относительную важность объектов, особенно когда их несколько.

Пошаговый алгоритм

Этап 1: Предварительная обработка и Распознавание

1. Получение изображения (First bounded region).
2. Анализ изображения с помощью Image Processing Apparatus.
3. Генерация списка Object Search Results: идентификация объектов, определение их границ (Second bounded region) и расчет Accuracy Score.

Этап 2: Ранжирование объектов (Image Ranking)

1. Инициализация: Определение центроида всего изображения (First centroid).
2. Итерация по объектам: Для каждого идентифицированного объекта выполняются расчеты:
3. Расчет оценки площади (Area Score):
   • Определение площади Second bounded region (например, высота * ширина).
   • Вычисление оценки, пропорциональной площади.
4. Расчет оценки центральности (Centroid Score):
   • Определение центроида объекта (Second centroid).
   • Вычисление расстояния (d) между центроидом объекта и центроидом изображения.
   • Вычисление оценки, обратно пропорциональной расстоянию. Может использоваться функция: