Как Google комбинирует визуальное сходство и семантические метки для улучшения поиска по картинке (Visual Search)

Термины и определения

Candidate Image (Изображение-кандидат)

Изображение, отобранное для оценки его релевантности изображению-запросу, обычно на основе совпадения семантических меток.

Common Distinct Set of Image Feature Values (Общий набор отличительных значений признаков изображения)

Набор значений признаков (например, SIFT), указывающий на наличие одного и того же отличительного объекта (например, конкретного продукта или достопримечательности) в двух изображениях.

Dominant Image Characteristic (Доминирующая характеристика изображения)

Характеристика (например, цветность, наличие лица), присутствующая в пороговом количестве изображений в наборе результатов. Используется для фильтрации и обеспечения однородности выдачи.

Feature Distance (Расстояние между признаками)

Мера визуального различия между соответствующими значениями признаков (Image Feature Scores) двух изображений.

High Confidence Labels (Высокоточные метки)

Текстовые метки, с высокой вероятностью описывающие содержание изображения. Генерируются путем анализа меток, связанных с визуально похожими изображениями.

Image Feature Scores (Значения признаков изображения)

Числовые значения, представляющие визуальные характеристики изображения или его части (цвет, текстура, края, SIFT, и т.д.).

Image Similarity Model (Модель визуального сходства)

Модель (например, вектор весов признаков), используемая для расчета Visual Similarity Score. Обучается на основе Similarity Feedback Data.

Initial Labels / Low Confidence Labels (Исходные / Низкоточные метки)

Метки, изначально связанные с изображением (например, из метаданных, окружающего текста, anchor-текста). Используются как отправная точка для генерации High Confidence Labels.

Query Image (Изображение-запрос)

Изображение, используемое в качестве входных данных для поиска похожих или связанных картинок.

Ranking Refinement Rules (Правила уточнения ранжирования)

Правила постобработки (например, Dominant Characteristic, Nearest Neighbor Condition), используемые для фильтрации и повышения качества финального набора результатов.

Relevance Score (Оценка релевантности)

Итоговая оценка, используемая для ранжирования изображений-кандидатов. Основана на Visual Similarity Score и, возможно, других сигналах (например, Relevance Feedback).

Similarity Feedback Data (Данные обратной связи о сходстве)

Пользовательские оценки, указывающие, какое из двух тренировочных изображений более похоже на эталонное. Используются для обучения Image Similarity Model.

Visual Similarity Score (Оценка визуального сходства)

Числовая мера, показывающая, насколько визуально похожи два изображения. Рассчитывается на основе Image Feature Scores с помощью Image Similarity Model.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс поиска по изображению-запросу с использованием обученной модели и фильтрации.

1. Система получает метки (query labels) для изображения-запроса.
2. Отбираются изображения-кандидаты, соответствующие этим меткам.
3. Генерируются Visual Similarity Scores для кандидатов. Ключевой момент: модель сходства обучается на основе пользовательских оценок (user similarity feedback) — когда пользователи указывают, какое из двух изображений более похоже на эталонное — и расстояний между признаками (feature distances).
4. Генерируются Relevance Scores на основе визуального сходства.
5. Формируется ранжирование и выбирается лучший набор.
6. Применяется фильтрация (Refinement): Проверяется, имеет ли кандидат пороговое число общих "ближайших соседей" (nearest neighbors — наиболее визуально похожих изображений) с изображением-запросом.
7. Если нет, кандидат исключается из результатов.

Защищается система "Query by Image", которая использует семантические сигналы (метки) для первичного отбора и модель визуального сходства, обученную на человеческих оценках, для ранжирования. Также защищен механизм фильтрации по общим ближайшим соседям для обеспечения визуальной консистентности выдачи.

Claim 7 (Зависимый): Детализирует механизм повышения оценки (Boosting).

1. Система определяет, содержат ли изображение-кандидат и изображение-запрос общий набор отличительных значений признаков (common distinct set of image feature values), указывающий на наличие одного и того же объекта.
2. Если да, Visual Similarity Score кандидата усиливается (умножается на boost factor).

Система способна распознавать идентичные объекты (например, конкретные товары или достопримечательности) и агрессивно повышать такие результаты в выдаче.

Claim 8 (Зависимый): Детализирует механизм фильтрации по доминирующей характеристике.

1. Определяется доминирующая характеристика (dominant characteristic), присутствующая в изображении-запросе и пороговом числе топовых кандидатов (например, "черно-белое изображение").
2. Проверяется, обладает ли конкретный кандидат этой характеристикой.
3. Если нет, кандидат удаляется из набора результатов.

Это механизм для обеспечения однородности выдачи. Если запрос и большинство результатов черно-белые, цветное изображение может быть удалено, даже если оно похоже по содержанию.

Где и как применяется

Патент описывает работу вертикального поиска по изображениям (Image Search Vertical).

INDEXING – Индексирование и извлечение признаков
На этом этапе система вычисляет и сохраняет Image Feature Scores (цвет, текстура, SIFT и т.д.) для индексируемых изображений. Также извлекаются исходные метки (Initial Labels) из окружающего текста, метаданных и anchor-текстов.

RANKING (L1 Retrieval) – Ранжирование (Отбор кандидатов)
Процесс начинается с получения или генерации High Confidence Labels для Query Image. Эти метки используются как текстовые запросы для быстрого отбора семантически релевантных кандидатов из индекса изображений.

RANKING (L2/L3 Scoring) – Ранжирование (Оценка)
На этом этапе система использует Image Similarity Model (обученную офлайн на Similarity Feedback Data) для расчета Visual Similarity Scores отобранных кандидатов относительно Query Image. Применяется механизм Boosting, если обнаружены Common Distinct Set of Image Feature Values. Рассчитываются финальные Relevance Scores.

RERANKING – Переранжирование
Финальный этап, на котором применяются Ranking Refinement Rules для улучшения качества и однородности выдачи. Сюда входят фильтрация по Dominant Characteristic и проверка условий сходства (Similarity Conditions), таких как Nearest Neighbor Condition (Claim 1) или Co-distance Condition.

Входные данные:

• Изображение-запрос (Query Image).
• Индекс изображений с предварительно вычисленными Image Feature Scores и Labels.
• Обученная Image Similarity Model.

Выходные данные:

• Набор ранжированных и отфильтрованных изображений-результатов (Result Images).
• High Confidence Labels для изображения-запроса.

На что влияет

• Типы контента: Влияет на все типы изображений, индексируемых Google. Особенно сильно влияет на изображения с четко различимыми объектами (товары, логотипы, достопримечательности), где может сработать механизм Boosting (Claim 7).
• Форматы контента: Влияет на то, как система интерпретирует семантику изображений, используемых в статьях, карточках товаров и т.д.

Когда применяется

• Триггеры активации: Активируется при выполнении поиска по изображению (Reverse Image Search / Search by Image).
• Временные рамки: Обучение модели и генерация меток могут происходить офлайн (препроцессинг). Ранжирование и фильтрация происходят в реальном времени в ответ на запрос.

Пошаговый алгоритм

Процесс А: Обработка запроса (Ранжирование)

1. Получение меток запроса: Система получает или генерирует High Confidence Labels для Query Image (см. Процесс Б).
2. Отбор кандидатов: Метки используются как текстовые запросы для поиска Candidate Images.
3. Расчет визуального сходства: Для каждого кандидата извлекаются Image Feature Scores и с помощью Image Similarity Model рассчитывается Visual Similarity Score.
4. Применение Boosting: Проверяется наличие Common Distinct Set of Image Feature Values. Если найден, оценка визуального сходства усиливается.
5. Расчет релевантности: Генерируются Relevance Scores (на основе визуального сходства и, возможно, других сигналов).
6. Первичное ранжирование: Кандидаты сортируются по Relevance Scores.
7. Фильтрация (Refinement Rule 1 - Dominant Characteristic): Определяется доминирующая характеристика топа выдачи. Изображения без этой характеристики удаляются.
8. Фильтрация (Refinement Rule 2 - Similarity Condition): Проверяется выполнение условий сходства (например, Nearest Neighbor Condition или Co-distance Condition). Изображения, не удовлетворяющие условиям (аутлаеры), удаляются.
9. Финальная выдача: Отобранный и отранжированный набор Result Images предоставляется пользователю.

Процесс Б: Генерация High Confidence Labels (Может выполняться офлайн или онлайн)

1. Получение исходных меток: Для изображения извлекаются Initial Labels (из метаданных, окружающего текста, данных о похожих изображениях).
2. Поиск по исходным меткам: Исходные метки используются как запросы для поиска изображений.
3. Оценка визуального сходства: Рассчитывается Visual Similarity Score найденных изображений относительно исходного.
4. Визуальная фильтрация: Отбираются изображения, превышающие порог визуального сходства.
5. Извлечение кандидатов в метки: Собираются все метки, связанные с этими визуально похожими изображениями.
6. Оценка меток: Для каждой метки-кандидата рассчитывается Relevance Score (учитывая авторитетность источников, Relevance Feedback, визуальное сходство источника метки).
7. Выбор меток: Метки с наивысшими оценками выбираются как High Confidence Labels.

Процесс В: Обучение Image Similarity Model (Офлайн)

1. Сбор данных: Пользователям предоставляются триплеты изображений (Эталон, Изображение А, Изображение Б).
2. Получение обратной связи: Собираются данные (Similarity Feedback Data) о том, какое изображение (А или Б) пользователи считают более похожим на эталон.
3. Извлечение признаков: Для всех изображений в обучающем наборе извлекаются Image Feature Scores.
4. Расчет расстояний: Вычисляются Feature Distances между тренировочными изображениями и эталоном.
5. Обучение модели: Модель (вектор весов) итеративно корректируется на основе обратной связи и расстояний, чтобы научиться определять визуальное сходство так, как его воспринимают люди.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст, расположенный рядом с изображением, метаданные изображения (например, alt-атрибуты, хотя в патенте явно не указаны, но подразумеваются как metadata), заголовок веб-страницы. Используются для генерации Initial Labels.
• Ссылочные факторы: Anchor-текст ссылок, указывающих на изображение. Используется для генерации Initial Labels.
• Поведенческие факторы:
  • Relevance Feedback (например, CTR изображений в поиске). Используется при расчете Relevance Scores для меток и, возможно, для финального ранжирования изображений.
  • Similarity Feedback Data (человеческие оценки сходства триплетов). Критически важны для обучения Image Similarity Model.
• Мультимедиа факторы (Визуальные признаки): Image Feature Scores. Включают цвет (color histograms), текстуру, края (edges), SIFT (scale-invariant feature transform), geometric blur. Вычисляются на разных масштабах (image scales).

Какие метрики используются и как они считаются

• Visual Similarity Score: Рассчитывается как функция от Feature Distances между двумя изображениями с использованием Image Similarity Model (например, скалярное произведение вектора расстояний и вектора весов модели).
• Boost Factor: Множитель, применяемый к Visual Similarity Score, если обнаружен Common Distinct Set of Image Feature Values.
• Relevance Score (для изображений): Финальная оценка для ранжирования. Основана на Visual Similarity Score, может включать другие сигналы.
• Relevance Score (для меток): Оценка для выбора High Confidence Labels. Учитывает количество и авторитетность веб-страниц, использующих метку, Relevance Feedback, и Visual Similarity Score изображения, с которым связана метка.
• Confidence Measure (для меток): Метрика для выбора Initial Labels. Может основываться на авторитетности источника, количестве похожих изображений с такой же меткой, количестве различных кластеров изображений с этой меткой.

1. Синергия семантики и визуального анализа: Google не полагается только на визуальное сходство или только на текст. Система использует семантические метки (Labels) для первичного отбора кандидатов, а визуальное сходство (Visual Similarity Score) — для основного ранжирования.
2. Важность консенсуса для определения меток: Механизм генерации High Confidence Labels показывает, что Google определяет семантику изображения, анализируя, как это изображение (и визуально похожие на него) описывается на разных сайтах в интернете. Текст на одной конкретной странице может быть переопределен глобальным консенсусом.
3. Визуальное сходство основано на человеческом восприятии: Image Similarity Model обучается на прямых пользовательских оценках (Similarity Feedback). Это значит, что система стремится имитировать человеческое восприятие сходства.
4. Агрессивное повышение за идентичные объекты: Если система распознает идентичный объект (Common Distinct Set), она применяет Boost Factor. Это дает преимущество изображениям с четкими, узнаваемыми объектами (товары, логотипы).
5. Фильтрация для однородности выдачи: Система активно удаляет "аутлаеры" (выбросы) с помощью Ranking Refinement Rules. Изображение должно не только быть похожим на запрос, но и вписываться в общий набор результатов (по Dominant Characteristic и Similarity Conditions).

Best practices (это мы делаем)

• Обеспечение семантического контекста, соответствующего визуальному контенту: Убедитесь, что текст вокруг изображения (заголовки, подписи, основной контент, alt-текст) точно описывает то, что изображено. Этот текст должен соответствовать тому, как этот объект обычно описывается в интернете, чтобы Google мог корректно сформировать High Confidence Labels.
• Использование четких и высококачественных изображений: Поскольку система ищет Common Distinct Set of Image Feature Values для применения Boosting, использование четких изображений с хорошо различимыми объектами повышает шансы на высокое ранжирование при поиске по этому объекту.
• Анализ меток через Reverse Image Search: Используйте инструменты обратного поиска по изображению (например, Google Lens или Search by Image), чтобы понять, какие метки Google ассоциирует с вашими изображениями или похожими изображениями конкурентов. Если метки нерелевантны, необходимо скорректировать контекст на странице.
• Разнообразие визуального представления объекта: Если вы продвигаете товар, полезно иметь его изображения в разных ракурсах и контекстах. Это увеличивает охват в Image Search, так как разные изображения могут соответствовать разным Query Images, поданным пользователями.

Worst practices (это делать не надо)

• Использование вводящего в заблуждение текста (Clickbait): Размещение текста, не соответствующего изображению, в попытке получить трафик по нерелевантным запросам. Система генерации High Confidence Labels нивелирует эту тактику, так как она ищет консенсус среди визуально похожих изображений, игнорируя аномальные метки.
• Использование стоковых изображений без контекстуализации: Использование популярных стоковых фото, которые встречаются на сотнях сайтов в разных контекстах, затрудняет для Google определение точной семантики изображения на вашем сайте.
• Изображения низкого качества: Размытые, плохо освещенные изображения затрудняют извлечение Image Feature Scores и снижают вероятность обнаружения Common Distinct Set, что негативно сказывается на Visual Similarity Score.

Стратегическое значение

Этот патент подчеркивает стратегическую важность интеграции Image SEO в общую стратегию контент-маркетинга. Он демонстрирует, что для Google изображение и его текстовый контекст неразрывно связаны через механизм перекрестной валидации в вебе. Понимание того, как Google использует визуальное сходство для определения семантики, позволяет создавать более эффективный контент, который будет хорошо работать как в стандартном поиске, так и в вертикали по изображениям, а также в системах типа Google Discover и Lens.

Практические примеры

Сценарий: Оптимизация карточки товара (e-commerce)

1. Задача: Улучшить ранжирование изображения нового смартфона в Image Search.
2. Действие (Визуальное): Разместить высококачественные, четкие фотографии смартфона с разных ракурсов. Это помогает системе извлечь точные Image Feature Scores и повышает шанс активации Boost Factor, если пользователь ищет именно эту модель.
3. Действие (Семантическое): Убедиться, что в тексте страницы, заголовках и alt-тексте используется точное название модели (например, "Samsung Galaxy S25 Ultra Titanium Blue").
4. Проверка (Валидация меток): Загрузить фото в Google Image Search. Проверить, какие сайты появляются в результатах и какой "Best Guess" (наиболее вероятную метку) предлагает Google.
5. Ожидаемый результат: Google анализирует визуально похожие изображения на других авторитетных сайтах (обзоры, магазины). Если контекст совпадает, система генерирует High Confidence Label "Samsung Galaxy S25 Ultra Titanium Blue". Изображение получает высокие шансы ранжироваться по запросам, связанным с этой меткой, и при поиске по картинке этой модели.