Как Google использует визуальное сходство и графовый анализ (VisualRank) для валидации и ранжирования меток изображений

Термины и определения

Degree of Similarity / Similarity Score (Степень сходства)

Числовая метрика, определяющая, насколько два изображения визуально похожи друг на друга на основе сравнения их признаков.

Features (Global/Local) (Признаки изображения)

Визуальные характеристики изображения. Глобальные относятся ко всему изображению (например, общая цветовая гистограмма), локальные — к его частям или объектам (например, SIFT-дескрипторы ключевых точек). Включают цвет, интенсивность, текстуру, края.

Image Quality Metric (Метрика качества изображения)

Оценка технического качества изображения (например, фокус, насыщенность, цветовая глубина), которая может влиять на вероятность перехода к нему.

Image Term Ranking Function (TRA/TRB)

Функции ранжирования, описанные в патенте. Представляют собой вероятностное распределение (на основе модели случайного блуждания), оценивающее релевантность изображения I по отношению к термину Q.

Relationship Metrics / Relationship-based similarity (Метрики взаимосвязей)

Метрика сходства, основанная не на визуальном контенте, а на контексте размещения изображений (например, изображения с одного сайта, блога или связанные структурно, например, через SimRank).

Transitional Probability (Вероятность перехода/навигации $P(A->B)$)

Ключевая метрика патента. Вероятность того, что пользователь перейдет к изображению B, если в данный момент он просматривает изображение A. Рассчитывается на основе Similarity Score и других факторов.

Beta Distribution (Бета-распределение)

Предлагаемый способ моделирования Transitional Probability. Вероятность достигает пика при высоком сходстве, но падает близко к 1.0 (почти дубликаты).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы.

1. Система определяет оценку (score) для изображения по отношению к терминам.
2. Система идентифицирует и ассоциирует с изображением термины, удовлетворяющие критерию.
3. Ключевой механизм: Определение оценки включает определение вероятностей навигации (probabilities of navigating) между изображениями и расчет оценки на основе этих вероятностей.

Ядро изобретения — использование вероятностей переходов между изображениями для определения релевантности меток.

Claim 2 и 3 (Зависимые от 1): Уточняют происхождение вероятностей навигации.

Вероятности навигации определяются с использованием степеней сходства (degrees of similarity) (Claim 2), которые, в свою очередь, определяются путем сравнения признаков (features) изображений (Claim 3).

Claims 4, 5, 6, 7 (Зависимые от 2): Описывают дополнительные факторы, влияющие на вероятность перехода.

Вероятность навигации может базироваться не только на визуальном сходстве, но и на:

• Quality metrics (метрики качества изображения, такие как фокус, насыщенность) (Claims 4, 5).
• Relationship metrics (метрики связи между страницами, на которых размещены изображения) (Claim 6).
• Комбинации всех трех факторов (Claim 7).

Это критически важно: качество изображения и контекст его размещения влияют на его вес в графе.

Claim 11 (Зависимый от 1): Описывает итеративный характер расчета оценки (механизм VisualRank).

Определение оценки для изображения (Target) включает комбинирование оценок других изображений (Other), умноженных на вероятность перехода от Other к Target (probability adjusted scores).

Это математическое описание итеративного алгоритма распространения релевантности по графу, аналогичного PageRank.

Где и как применяется

Изобретение применяется преимущественно на этапе индексирования для обработки и анализа изображений.

CRAWLING – Сканирование и Сбор данных
Система получает изображения и исходный контент (метаданные, окружающий текст), используемый для генерации начальных меток.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента:

1. Извлечение признаков: Image Features Module анализирует пиксели и извлекает визуальные признаки (Features). Также рассчитываются Image Quality Metrics.
2. Расчет сходства: Image Similarity Module сравнивает признаки и строит граф визуального сходства.
3. Расчет вероятностей: Probabilities Module определяет Transitional Probabilities между изображениями в графе, используя сходство, качество и контекст.
4. Ранжирование меток: Scoring and Ranking Module выполняет итеративный расчет (VisualRank, используя TRA/TRB) для определения финальных оценок релевантности меток.
5. Индексирование: Image Indexing Module сохраняет изображения в Image Repository/Index, индексируя их по валидированным и взвешенным меткам.

RANKING – Ранжирование
Image Search Server использует индекс с валидированными метками. Когда поступает запрос, система ищет и ранжирует изображения, используя эти уточненные данные.

На что влияет

• Типы контента: Влияет на все типы изображений (фотографии, иллюстрации, графика) в Поиске по Картинкам.
• Специфические запросы: Наибольшее влияние на запросы, где визуальное содержание является ключевым. Помогает уточнить выдачу и отфильтровать изображения, попавшие в топ из-за текстовых манипуляций.
• Ниши: Критично для E-commerce, моды, дизайна, где точность соответствия изображения запросу имеет первостепенное значение.

Когда применяется

• Временные рамки: Алгоритм применяется в процессе индексирования и обработки изображений (офлайн или в пакетном режиме). Расчет визуального сходства и итеративное ранжирование являются вычислительно затратными и выполняются до момента поступления запроса пользователя.

Пошаговый алгоритм

Этап 1: Подготовка данных

1. Получение данных: Сбор изображений и извлечение исходных меток (из метаданных, текста и т.д.).
2. Извлечение признаков: Для каждого изображения идентифицируются визуальные признаки (SIFT, гистограммы) и рассчитываются метрики качества (фокус, насыщенность).

Этап 2: Построение графа сходства

3. Расчет степени сходства: Для пар изображений определяется Similarity Score путем сравнения визуальных признаков.
4. Определение вероятностей перехода (Transitional Probability): Для пар изображений рассчитывается $P(A->B)$. Эта вероятность является функцией от Similarity Score, Image Quality Metric и Relationship Metrics. Используется Бета-распределение для снижения вероятности перехода к почти дубликатам.

Этап 3: Итеративное ранжирование меток (VisualRank)

5. Инициализация оценок: Для конкретной метки Q всем изображениям присваивается начальная оценка релевантности (например, на основе частоты или TF-IDF).
6. Итеративный пересчет (Random Walk): Оценки релевантности пересчитываются итеративно (используя формулы TRA или TRB) до сходимости. Оценка изображения A обновляется на основе оценок других изображений (B, C...), умноженных на вероятность перехода от них к A.

Этап 4: Финализация

7. Выбор и ассоциация: Идентифицируются метки, удовлетворяющие критерию (например, самая высокая оценка или выше порога), и эти метки ассоциируются с изображением в индексе.

Какие данные и как использует

Данные на входе

• Контентные факторы (Текстовые): Исходные метки изображений. Извлекаются из имен файлов, EXIF-метаданных, окружающего текста, анкорного текста ссылок на изображение.
• Мультимедиа факторы (Визуальные): Пиксельные данные. Используются для извлечения Global/Local Features (интенсивность, цвет, края, текстура, ключевые точки SIFT).
• Технические факторы (Качество): Производные метрики качества изображения (Image Quality Metrics): цветовая глубина, уровень фокуса, насыщенность.
• Структурные факторы (Контекст размещения): Информация о том, где размещены изображения (URL, хост). Используется для расчета Relationship Metrics (например, изображения с одного сайта).
• Поведенческие факторы (Опционально): В патенте упоминается возможность использования данных о кликах (co-click data) для уточнения оценки Transitional Probability.

Какие метрики используются и как они считаются

• Similarity Score: Рассчитывается путем сравнения визуальных признаков двух изображений.
• Transitional Probability $P(A->B)$: Функция от Similarity Score, Image Quality Metric и Relationship Metrics. Предлагается использовать Бета-распределение от сходства.
• Image Term Ranking Score (TRA/TRB): Итоговая оценка релевантности. Рассчитывается итеративно.

TRA (Стандартное случайное блуждание):

$TR_A(M_i, Q) = \sum (P(M_j -> M_i) * TR_A(M_j, Q))$

TRB (Случайное блуждание с телепортацией): Аналогично стандартному PageRank, включает коэффициент затухания (d) и возможность телепортации к любому изображению, связанному с запросом Q.

$TR_B(M_i, Q) = [\text{Teleportation}] + d * \sum (P(M_j -> M_i) * TR_B(M_j, Q))$

1. Визуальное содержание определяет релевантность: Текстовые сигналы (alt-text, имена файлов) рассматриваются как исходные гипотезы о содержании. Эти гипотезы затем валидируются или опровергаются на основе визуального анализа и сходства с другими изображениями в индексе.
2. Контекст визуального графа (VisualRank): Изображения не оцениваются изолированно. Применяется модель, аналогичная PageRank, где релевантность распространяется по графу визуально похожих изображений. "Ссылками" в этом графе являются вероятности перехода (Transitional Probabilities).
3. Техническое качество изображения влияет на ранжирование: Метрики качества (Image Quality Metrics, такие как фокус, насыщенность) напрямую влияют на Transitional Probability (Claims 4, 5). Более качественные изображения получают преимущество.
4. Контекст размещения влияет на ранжирование: Система может учитывать связь между источниками изображений (Relationship Metrics, Claim 6). Изображения с авторитетных или тематически связанных ресурсов могут получать преимущество.
5. Умеренное поощрение разнообразия (Борьба с дубликатами): Механизм расчета Transitional Probability (использование Бета-распределения) предполагает, что пользователи реже переходят к почти идентичным изображениям. Система предпочитает похожие, но не идентичные результаты.

Best practices (это мы делаем)

• Использование высококачественных и четких изображений: Поскольку Image Quality Metrics (фокус, насыщенность) влияют на Transitional Probability, технически качественные изображения получают преимущество в алгоритме VisualRank и лучше ранжируются.
• Обеспечение визуальной релевантности контенту: Убедитесь, что изображение строго соответствует теме страницы и тексту (включая alt-text). Если изображение визуально не соответствует текстовым меткам, система может их девальвировать.
• Создание уникального визуального контента: Из-за использования Бета-распределения для вероятности перехода, система может понижать интерес к точным копиям (дубликатам). Используйте уникальные ракурсы или оригинальный дизайн, сохраняя при этом визуальное сходство с темой.
• Поддержание визуальной консистентности в нише: Размещайте изображения, которые визуально схожи с другими авторитетными изображениями в вашей тематике. Это помогает системе правильно классифицировать ваше изображение и включить его в нужный визуальный кластер, что способствует валидации ваших ключевых меток.

Worst practices (это делать не надо)

• Манипуляции с метаданными (Keyword Stuffing): Перечисление множества ключевых слов в alt-text или имени файла, если они не отражают визуальное содержание. Алгоритм VisualRank отфильтрует эти метки, если они не подтверждаются визуальным графом.
• Использование нерелевантных или декоративных изображений: Размещение изображений, которые визуально не связаны с основной темой контента. Текстовая оптимизация не поможет, так как визуальный анализ не подтвердит эти метки.
• Использование размытых или низкокачественных изображений: Изображения с низкими Image Quality Metrics будут иметь низкую Transitional Probability, что снизит их эффективность в поиске по картинкам.
• Чрезмерное использование популярных стоковых фото без изменений: Они могут быть классифицированы как дубликаты и иметь сниженную ценность по сравнению с уникальным контентом.

Стратегическое значение

Этот патент подчеркивает, что для Google Image Search визуальное содержание первично, а текст вторичен. Стратегия SEO должна фокусироваться на качестве и содержании самого визуального актива. Google способен кластеризовать изображения по визуальному сходству и определять канонические метки для всего кластера. Если оптимизированное изображение не попадает в релевантный визуальный кластер, оно не будет хорошо ранжироваться, независимо от текстовой оптимизации.

Практические примеры

Сценарий: Оптимизация карточки товара в E-commerce

Задача: Продвинуть изображение нового смартфона «Pixel 9» в поиске по картинкам.

1. Анализ (на основе патента): Система Google будет сравнивать ваше изображение с другими изображениями Pixel 9. Чтобы метка «Pixel 9» была признана релевантной, ваше изображение должно быть визуально похоже на них (попасть в кластер) и быть высокого качества (высокая Transitional Probability).
2. Действия:
   • Сделать уникальные, высококачественные фотографии смартфона с разных ракурсов (не используя стандартные фото производителя).
   • Убедиться, что объект на фото легко идентифицируется и визуально соответствует кластеру Pixel 9.
   • Оптимизировать alt-text и имя файла под «Pixel 9».
3. Результат: Уникальность избегает пессимизации за дубликаты. Визуальное сходство с кластером и высокое качество приводят к высокой оценке VisualRank для метки «Pixel 9». Изображение хорошо ранжируется.
4. Анти-паттерн: Использование рендера низкого качества или стандартного фото от производителя. В первом случае низкое качество снизит ранг; во втором случае изображение будет конкурировать с тысячами дубликатов и может быть пессимизировано.