Как Google использует визуальное сходство для определения и уточнения ключевых слов изображений (VisualRank)

Термины и определения

Degree of Similarity / Similarity Score (Степень сходства / Оценка сходства)

Числовое значение, определяющее, насколько два изображения визуально похожи друг на друга. Рассчитывается путем сравнения Image Features.

Image Features (Признаки изображения)

Визуальные характеристики изображения, используемые для сравнения. Могут быть глобальными (например, общая цветовая гистограмма) или локальными (например, дескрипторы вокруг Keypoints).

Injector Node (Узел-инжектор)

Вспомогательный узел в Similarity Graph, который хранит исходные термины, ассоциированные с изображением. Он «внедряет» эти термины с начальным весом в соответствующий узел изображения.

Keypoints / Points of Interest (Ключевые точки / Точки интереса)

Особые точки на изображении (например, углы, перепады яркости), используемые для вычисления локальных признаков и нахождения соответствий между изображениями.

Random Walk (Случайное блуждание)

Альтернативный алгоритм распространения меток, упомянутый в патенте. Используется для оценки важности терминов путем моделирования случайных переходов по графу до достижения Injector Node.

SIFT (Scale-Invariant Feature Transform)

Конкретный алгоритм, упомянутый в патенте, для извлечения локальных признаков, устойчивых к изменениям масштаба и поворота изображения.

Similarity Graph (Граф сходства)

Взвешенный граф, где узлы представляют изображения, а вес ребра между двумя узлами отражает их Degree of Similarity.

Term Propagation (Распространение терминов)

Итеративный процесс, в ходе которого термины и их веса передаются между узлами в Similarity Graph. Вес термина корректируется весом ребра при передаче.

Term Weight (Вес термина)

Оценка релевантности термина конкретному изображению. Уточняется в процессе Term Propagation.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод ассоциации терминов с изображением.

1. Система получает множество изображений, часть из которых уже ассоциирована с терминами.
2. Определяются степени сходства (degrees of similarity) между парами изображений (включая первое изображение и другие).
3. Для первого изображения терминам присваивается вес (respective weight). Этот вес основан на степенях сходства между первым изображением и другими изображениями.
4. Система выбирает один или несколько терминов на основе их весов и ассоциирует их с первым изображением.

Claim 3 (Зависимый от 2 и 1): Уточняет, что сходство определяется путем идентификации и сравнения признаков (features) первого и второго изображений.

Claim 7 (Зависимый от 3): Уточняет тип признаков. Признаки являются масштабно-инвариантными (scale-invariant features), что соответствует методам типа SIFT.

Claim 8 (Зависимый от 1): Детализирует механизм присвоения весов через использование графа.

1. Генерируется взвешенная графовая структура (weighted graph data structure). Узлы соответствуют изображениям, ребра взвешены на основе степени сходства.
2. Термины распространяются (propagating) к первому узлу. Вес термина присваивается на основе весов ребер, соединенных с этим узлом.

Claim 16 (Независимый пункт): Описывает метод с явным акцентом на графовую структуру и процесс распространения (VisualRank).

1. Получение изображений и определение степеней сходства.
2. Генерация взвешенного графа.
3. Распространение терминов к узлам графа на основе весов ребер. Вес термина на узле зависит от веса ребер, подключенных к этому узлу.
4. Выбор терминов для изображения на основе присвоенных весов.

Claim 25 (Независимый пункт): Описывает использование системы для определения поисковых запросов.

1. Система идентифицирует сходства и представляет их как веса в Similarity Graph.
2. Система использует Similarity Graph (и веса сходства для конкретного изображения), чтобы идентифицировать набор терминов для поискового запроса.
3. Этот запрос специфичен для данного изображения и вернет результаты, включающие похожие изображения.

Где и как применяется

Изобретение применяется в инфраструктуре поисковой системы для улучшения качества индекса изображений.

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает изображения и связанный с ними контент (метаданные, окружающий текст), который используется для первоначальной ассоциации терминов (исходные данные для Injector Nodes).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента.

1. Извлечение признаков: Image Features Module анализирует пиксели и извлекает визуальные признаки (SIFT, гистограммы). Image Terms Module извлекает исходные текстовые термины.
2. Расчет сходства: Image Similarity Module вычисляет Similarity Scores между парами изображений.
3. Построение графа: Similarity Graph Module строит граф сходства.
4. Обработка графа (Term Propagation): Происходит итеративный расчет весов терминов (VisualRank). Это ресурсоемкий процесс, выполняемый в пакетном (batch) режиме.
5. Индексирование: Image Indexing Module сохраняет уточненные и взвешенные термины в индексе (Image Repository).

RANKING – Ранжирование
На этом этапе Image Search Module использует результаты работы алгоритма. Система сопоставляет запрос пользователя с уточненными терминами в индексе для поиска релевантных изображений.

Входные данные:

• Множество изображений (пиксельные данные).
• Исходные термины, ассоциированные с некоторыми изображениями.

Выходные данные:

• Уточненный набор терминов для каждого изображения с рассчитанными весами (Term Weights).

На что влияет

• Типы контента: Влияет на все типы изображений (фотографии, иллюстрации, графика). Особенно сильно влияет на изображения, для которых существует много визуальных вариантов (товары, достопримечательности, логотипы).
• Специфические запросы: Улучшает качество выдачи в Image Search по запросам, где важна визуальная идентификация объекта (например, модели техники, породы животных, конкретные места).

Когда применяется

• Условия применения: Алгоритм применяется для обработки корпуса изображений с целью улучшения их аннотаций.
• Временные рамки и частота: Применяется на этапе индексирования или при периодическом обновлении индекса изображений. Расчеты (особенно построение графа и итерации) выполняются офлайн или в пакетном режиме из-за высокой вычислительной сложности, а не в момент запроса пользователя.

Пошаговый алгоритм

Этап А: Подготовка данных и построение графа

1. Получение изображений и исходных терминов: Система собирает изображения и извлекает термины из доступных источников (метаданные, текст). Опционально может использоваться TF-IDF для фильтрации неинформативных терминов.
2. Извлечение визуальных признаков: Для каждого изображения вычисляются признаки (например, локальные дескрипторы SIFT, цветовые гистограммы).
3. Расчет попарного сходства: Система сравнивает признаки пар изображений и вычисляет Similarity Score для каждой пары.
4. Построение графа сходства: Создается граф, где изображения являются узлами. Пары узлов соединяются ребрами, вес которых равен Similarity Score. Ребра с низким весом могут быть удалены (elided) для оптимизации.
5. Добавление узлов-инжекторов: Для изображений с исходными терминами создаются Injector Nodes. Они соединяются с соответствующим узлом изображения однонаправленным ребром (например, с весом 1). Исходные термины помещаются в Injector Nodes.

Этап Б: Итеративное распространение терминов (VisualRank)

1. Инициализация весов: Веса всех терминов на узлах изображений устанавливаются в 0. Веса терминов на Injector Nodes нормализуются (например, чтобы их сумма на узле равнялась 1).
2. Итеративный цикл (Loop): Процесс повторяется определенное количество раз (например, 1000) или до стабилизации весов (когда изменения между итерациями меньше порога).
3. Распространение весов (Propagation): На каждой итерации t для каждого узла изображения N вес термина L пересчитывается. Он равен сумме весов термина L на всех связанных узлах M (включая Injector Nodes) в предыдущей итерации, умноженных на вес ребра между M и N. Формула: $n_{l, t+1} = \sum_{m} (w_{mn} * m_{l,t})$.
4. Нормализация: После расчета новых весов на узле изображения они нормализуются (например, чтобы сумма весов всех терминов на узле равнялась 1).
5. Завершение цикла.

Этап В: Финализация

1. Выбор терминов: Для каждого изображения система выбирает термины на основе их итогового веса (например, Топ-Y терминов или термины выше порога).
2. Индексирование: Выбранные термины ассоциируются с изображением в поисковом индексе.

Какие данные и как использует

Данные на входе

Система использует два основных типа данных: визуальные (для расчета сходства) и текстовые (для исходных меток).

• Мультимедиа факторы (Визуальные): Пиксельные данные изображения. Являются основой для расчета сходства. Из них извлекаются Image Features:
  • Интенсивность, Цвет (гистограммы в RGB, YIQ), Края, Текстура.
  • Локальные инвариантные признаки (явно упоминается SIFT).
  • Ключевые точки (Keypoints).
• Контентные факторы (Текстовые): Текст окружающий изображение, текст веб-страницы, анкорный текст ссылок на изображение. Используются для получения исходных терминов.
• Технические факторы / Метаданные: Имя файла изображения, данные Exif (title, description, keywords). Также используются для получения исходных терминов.

Какие метрики используются и как они считаются

• Similarity Score (Оценка сходства): Вычисляется путем сравнения Image Features. Патент упоминает различные методы: функции сравнения гистограмм (например, сумма абсолютных разностей бинов) или подсчет количества общих ключевых точек (shared keypoints), деленное на общее количество ключевых точек. Итоговая оценка может быть линейной комбинацией оценок по разным признакам.
• Edge Weight (Вес ребра): Соответствует Similarity Score между двумя изображениями в графе.
• Term Weight (Вес термина): Рассчитывается итеративно в процессе Term Propagation. Вес термина на узле зависит от весов этого термина на соседних узлах и весов соединяющих ребер.
• Нормализация: Применяется для калибровки весов. Веса терминов на узлах (как инжекторных, так и узлах изображений) нормализуются, чтобы их сумма равнялась 1.
• TF-IDF: Упоминается как возможный метод для предварительной фильтрации и взвешивания исходных терминов перед началом распространения.

1. Приоритет визуального контента над текстовым контекстом: Патент демонстрирует механизм, позволяющий Google определять содержание изображения на основе его визуальных характеристик, а не только окружающего текста или метаданных. Если визуальные сигналы сильны и консистентны, они могут переопределить или скорректировать текстовые данные.
2. Коллективная классификация (VisualRank): Релевантность изображения определяется не изолированно, а через его связь с другими похожими изображениями в Similarity Graph. Это подход, аналогичный PageRank, но основанный на визуальном сходстве, а не на ссылках.
3. Автоматическое подавление шума и спама: Алгоритм эффективно отфильтровывает нерелевантные термины. Термин получит высокий вес только в том случае, если он консистентно присутствует у множества визуально похожих изображений. Случайные или спамные термины теряют вес в процессе распространения.
4. Расширение покрытия (Label Expansion): Система позволяет автоматически находить метки для изображений, у которых изначально не было текстового контекста, если они визуально похожи на хорошо размеченные изображения.
5. Продвинутый визуальный анализ (SIFT): Использование сложных признаков, таких как SIFT, указывает на способность Google распознавать объекты независимо от масштаба, ракурса или освещения, что делает систему сходства очень точной.

Best practices (это мы делаем)

• Обеспечение визуальной четкости и ясности объекта: Используйте высококачественные изображения с четко выраженным основным объектом. Это помогает системе корректно извлекать визуальные признаки (Image Features, Keypoints) и находить релевантные визуальные соответствия в Similarity Graph.
• Соблюдение визуальной консистентности (особенно в E-commerce): Используйте консистентные изображения для продуктов. Поддержание схожего визуального стиля (фон, ракурс) помогает системе связать эти изображения в графе и укрепить общие релевантные термины во время Term Propagation.
• Оптимизация исходных сигналов (Injector Nodes): Обеспечьте максимально точные и релевантные исходные данные: оптимизированные имена файлов, alt-атрибуты и окружающий текст. Эти данные формируют начальные веса в Injector Nodes. Точные исходные данные повышают вероятность того, что система подтвердит и усилит эти метки.
• Использование уникальных изображений: Вместо использования стоковых фотографий, которые могут быть ассоциированы с множеством разных тем, создавайте уникальные изображения. Это помогает укрепить связь между визуальным контентом и вашими целевыми ключевыми словами и избежать наследования нерелевантных меток.

Worst practices (это делать не надо)

• Манипуляция метаданными (Keyword Stuffing в ALT): Переоптимизация ALT-текста ключевыми словами, которые не соответствуют визуальному содержанию. Система может игнорировать эти сигналы, если визуальный анализ (Term Propagation) присвоит им низкий Term Weight, так как они не подтверждаются метками визуально похожих изображений.
• Использование нерелевантных или популярных стоковых фото: Использование популярных стоковых изображений, не имеющих прямого отношения к теме статьи. Система может ассоциировать изображение с его доминирующей тематикой в интернете, а не с темой вашей страницы.
• Использование визуально неоднозначных или низкокачественных изображений: Использование изображений, где сложно выделить основной объект или извлечь качественные Image Features. Это снижает точность расчета сходства и эффективность аннотирования.
• Использование идентичных изображений для разных концепций: Если одно и то же изображение используется для иллюстрации разных тем, система может ассоциировать нерелевантные термины с вашими страницами.

Стратегическое значение

Патент подтверждает стратегию Google на понимание контента напрямую (в данном случае, визуально), а не только через текстовые посредники. В контексте Image SEO это означает, что оптимизация смещается от работы с тегами к работе с самим визуальным активом. Долгосрочная стратегия должна включать создание качественного, уникального и консистентного визуального контента, который помогает поисковой системе правильно классифицировать объекты на изображениях.

Практические примеры

Сценарий 1: Оптимизация карточки товара в E-commerce

1. Задача: Продвинуть в Image Search страницу с товаром «Красное вечернее платье модель X».
2. Действия: Загрузить высококачественные, четкие фотографии платья модели X с разных ракурсов. Обеспечить точный ALT-текст для главного фото.
3. Как работает система: Google извлекает визуальные признаки и сравнивает их с другими фото платьев. Ваши фото визуально похожи на изображения на авторитетных сайтах (например, сайт бренда), которые хорошо размечены.
4. Распространение терминов: Через Term Propagation термины «красное платье», «вечернее платье», «Модель X» с высоким весом переносятся на ваши изображения от авторитетных источников.
5. Результат: Изображение лучше ранжируется по целевым запросам, так как его визуальное содержание подтверждает релевантность.

Сценарий 2: Использование стокового фото в блоге (Негативный пример)

1. Задача: Проиллюстрировать статью о «Сложностях подачи налоговой декларации».
2. Действия: Использовать популярное стоковое фото человека за ноутбуком с ALT-текстом «Подача налоговой декларации».
3. Как работает система: Google анализирует это фото. В Similarity Graph оно сильно связано с сотнями других сайтов, использующих его в контексте «работа из дома», «фриланс», «онлайн-курсы».
4. Распространение терминов: Термины «работа из дома» и «фриланс» получают высокий вес. Термин «Подача налоговой декларации», введенный только вашим сайтом (слабый Injector Node), получает очень низкий вес.
5. Результат: Изображение не ранжируется по целевому запросу, так как система классифицировала его по доминирующей визуальной тематике.