Как Google связывает изображения с семантическими сущностями для устранения неоднозначности в поиске по картинкам

Термины и определения

Confidence Value (Значение уверенности)

Метрика, представляющая вероятность того, что изображение связано с конкретной семантической сущностью. Используется для ранжирования сущностей.

Image Document (Документ изображения)

Структура данных (например, текстовый файл, XML), создаваемая для изображения. Содержит все текстовые метки (labels), связанные с этим изображением, в том числе полученные путем распространения меток.

Image Labels (Метки изображения)

Текстовые строки, связанные с исходными изображениями. Могут быть получены из метаданных, окружающего текста, поисковых запросов, ручной разметки или OCR.

Label Propagation (Распространение меток)

Процесс агрегации меток между похожими изображениями. Если два изображения визуально похожи, их метки объединяются.

Semantic Entity (Семантическая сущность)

Концепция или тема, определенная в рамках конкретной онтологии (например, узел в Knowledge Graph, статья в Wikipedia или Freebase). Сущность имеет уникальный идентификатор и устраняет неоднозначность терминов (например, «Mona Lisa (Movie)» против «Mona Lisa (Painting)»).

Source Image / Reference Image (Исходное / Эталонное изображение)

Изображение, хранящееся в базе данных, которое предварительно обработано и связано с метками и семантическими сущностями. Используется для сравнения с целевым изображением.

Target Image / Input Image (Целевое / Входное изображение)

Изображение, предоставленное пользователем в качестве поискового запроса (например, загруженное в Google Images или снятое через Google Lens).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс онлайн-поиска по изображению.

1. Система получает входное изображение (input image) в качестве поискового запроса.
2. Определяются эталонные изображения (reference images, т.е. source images), которые соответствуют входному изображению. Каждое эталонное изображение уже связано с одной или несколькими сущностями.
3. Из множества сущностей, связанных с эталонными изображениями, выбираются конкретные сущности для ассоциации с входным изображением.
4. Идентифицируется итоговая сущность (particular entity) на основе *количества* эталонных изображений, которые связаны с ней (консенсус).
5. Текстовая информация этой итоговой сущности сконфигурирована так, чтобы устранять неоднозначность (disambiguate) по сравнению с другими сущностями, имеющими общий текст.
6. Сохраняются данные, связывающие входное изображение с идентифицированной итоговой сущностью.

Claim 3 (Зависимый от 1): Уточняет природу сущностей.

Выбранные сущности описывают концепцию или тему, связанную с определенной онтологией (подтверждает определение Semantic Entity).

Claim 4 (Зависимый от 1): Уточняет механизм выбора сущностей (шаг 3 в Claim 1).

Выбор сущности основывается на оценке уверенности (confidence score), представляющей вероятность того, что данная сущность связана с конкретным эталонным изображением.

Claim 5 (Зависимый от 1): Уточняет механизм выбора сущностей (шаг 3 в Claim 1).

Выбор сущности основывается на оценке схожести (similarity score), представляющей степень сходства эталонного изображения, связанного с сущностью, и входного изображения.

Где и как применяется

Изобретение охватывает как офлайн-процессы индексирования, так и онлайн-процессы ранжирования при обработке визуальных поисковых запросов.

CRAWLING и INDEXING (Сканирование и Индексирование)
На этом этапе собираются source images. Извлекаются визуальные признаки для последующего сравнения схожести. Также извлекаются и присваиваются исходные labels (например, из окружающего текста на веб-страницах, метаданных изображений, ALT-текстов или поисковых запросов, по которым кликали на изображение).

INDEXING (Офлайн-обработка)
Основная часть офлайн-процесса патента происходит здесь:

• Сравнение изображений: Система идентифицирует похожие source images.
• Распространение меток (Label Propagation): Метки агрегируются между похожими изображениями.
• Генерация документов: Создаются Image Documents.
• Ассоциация с сущностями: Система взаимодействует с базой данных сущностей (Entity Database, например, Knowledge Graph), чтобы связать документы изображений с Semantic Entities и рассчитать Confidence Values.

RANKING (Ранжирование – Визуальный Поиск)
Это начало онлайн-процесса. Система получает Target Image и выполняет быстрый поиск для нахождения визуально похожих Source Images (Retrieval).

RERANKING / METASEARCH (Переранжирование / Метапоиск)
Финальный этап онлайн-процесса. Система агрегирует Semantic Entities, связанные с найденными похожими изображениями. Происходит оценка (scoring) этих сущностей на основе Similarity Scores, Confidence Values и частоты (консенсуса). Выбирается лучшая сущность, которая используется для формирования ответа пользователю (например, показ панели знаний в Google Lens или уточнение запроса в Google Images).

На что влияет

• Типы контента: Влияет на любые изображения, где требуется устранение неоднозначности: продукты (конкретные модели), достопримечательности, произведения искусства, логотипы, известные личности.
• Специфические запросы: Критически важен для визуальных поисковых запросов (поиск по загруженному изображению или через камеру).
• Ниши: Особенно важно в e-commerce для точной идентификации товаров и в информационных нишах для идентификации объектов и мест.

Когда применяется

• Офлайн-процесс: Применяется периодически или постоянно при обработке и индексировании изображений для пополнения базы данных source images и их связей с сущностями.
• Онлайн-процесс: Активируется каждый раз, когда пользователь инициирует поиск, используя изображение в качестве запроса (Visual Search).

Пошаговый алгоритм

Процесс А: Офлайн-ассоциация изображений с сущностями

1. Присвоение меток: Исходным изображениям (source images) в базе данных присваиваются labels (из веб-контекста, запросов, OCR и т.д.).
2. Агрегация меток: Система идентифицирует похожие исходные изображения (используя визуальные признаки) и выполняет Label Propagation, объединяя метки между ними.
3. Генерация документов: Для каждого изображения создается Image Document, содержащий все ассоциированные с ним метки.
4. Идентификация сущностей: Документ анализируется для выявления одной или нескольких Semantic Entities. Это может включать генерацию поисковых запросов на основе меток и поиск в базе данных сущностей.
5. Извлечение дополнительных данных (Опционально): Из страниц, связанных с сущностями (например, Wikipedia), могут быть извлечены дополнительные метки.
6. Расчет уверенности: Для каждой пары (изображение, сущность) рассчитывается Confidence Value, указывающий на вероятность правильной ассоциации.
7. Сохранение: Ассоциации и значения уверенности сохраняются в базе данных.

Процесс Б: Онлайн-поиск по изображению

1. Получение запроса: Система получает Target Image от пользователя.
2. Идентификация похожих изображений: Система ищет в базе данных Source Images, которые визуально похожи на Target Image. Может рассчитываться Similarity Score.
3. Сбор сущностей: Идентифицируются Semantic Entities, связанные с найденными похожими изображениями, вместе с их Confidence Values.
4. Оценка сущностей (Scoring): Рассчитывается итоговая оценка для каждой сущности. Эта оценка учитывает:
   • Частоту появления сущности среди похожих изображений (консенсус, как указано в Claim 1).
   • Confidence Values ассоциаций (Claim 4).
   • Similarity Scores исходных изображений (Claim 5).
5. Выбор лучшей сущности: Выбирается сущность (или сущности) с наивысшей итоговой оценкой.
6. Предоставление результатов: Лучшая сущность используется для ответа на запрос. Это может быть прямая ссылка на страницу сущности или использование сущности для генерации нового, уточненного поискового запроса.

Какие данные и как использует

Данные на входе

Система использует следующие типы данных:

• Мультимедиа факторы (Визуальные признаки): Визуальное содержание изображений (пиксельные паттерны, формы, цвета, общие объекты). Это критически важно для определения схожести между Target Image и Source Images, а также для группировки Source Images при распространении меток.
• Контентные факторы (Текстовые метки): Image Labels. Патент указывает, что они могут быть получены из:
  • Поисковых запросов, в ответ на которые было показано изображение.
  • Ручной разметки пользователями.
  • Оптического распознавания символов (OCR).
  • Веб-документов (HTML), в которые встроены изображения (окружающий текст, ALT-тексты).
• Технические факторы (Метаданные): Метаданные изображений (например, местоположение, время, устройство) могут использоваться для идентификации похожих изображений.

Какие метрики используются и как они считаются

• Similarity Score (Оценка схожести): Метрика, определяющая, насколько визуально похожи два изображения. Рассчитывается на основе сравнения визуальных признаков.
• Confidence Value (Значение уверенности): Вероятностная оценка того, что Source Image правильно связан с конкретной Semantic Entity. Рассчитывается офлайн на основе анализа Image Document.
• Entity Score (Итоговая оценка сущности): Рассчитывается онлайн для определения лучшей сущности для Target Image. Является функцией от Similarity Scores похожих изображений, их Confidence Values и частоты встречаемости сущности. В патенте указано, что веса для этой оценки могут определяться динамически.

1. Переход от текста к сущностям в анализе изображений: Патент демонстрирует механизм, позволяющий Google понимать семантическое значение изображения, а не просто его визуальные характеристики или связанные с ним ключевые слова. Цель — связать картинку с узлом в Knowledge Graph.
2. Критическая роль контекста (Labels): Хотя система использует визуальное сравнение, процесс ассоциации с сущностями сильно зависит от качества и полноты исходных labels. Эти метки в значительной степени формируются из контекста, в котором изображение используется в вебе (окружающий текст, ALT-теги, заголовки).
3. Распространение меток как механизм обогащения данных: Label Propagation позволяет системе улучшать понимание изображения за счет объединения информации от всех его визуально похожих копий в индексе. Это повышает точность идентификации сущностей.
4. Устранение неоднозначности как главная цель: Основная задача системы — дисамбигуация. Система спроектирована так, чтобы отличать сущности с одинаковыми названиями (например, «Ягуар» машина от животного), анализируя весь набор меток.
5. Фундамент для Визуального Поиска: Описанная архитектура является базовой для работы сервисов визуального поиска, таких как Google Lens, где точность идентификации объекта критически важна для пользовательского опыта.

Best practices (это мы делаем)

• Обеспечение четкого и однозначного контекста: Размещайте изображения в релевантном текстовом окружении. Окружающий текст (абзацы, заголовки, подписи) служит основным источником labels для Google. Контекст должен помогать устранить неоднозначность (например, если это фото ягуара, убедитесь, что рядом есть слова «животное», «природа», а не «автомобиль»).
• Использование дескриптивных атрибутов: Продолжайте использовать описательные и точные ALT-тексты и имена файлов. Они также являются важными источниками labels.
• Применение структурированных данных (Schema.org): Используйте микроразметку для явного указания сущности, которую представляет изображение. Для товаров (Product), рецептов (Recipe), статей (Article) и т.д. указывайте свойство image. Это напрямую помогает Google установить связь между изображением и сущностью, вероятно, повышая Confidence Value.
• Качество и четкость изображений: Используйте высококачественные, четкие изображения, на которых главный объект хорошо виден. Это облегчает извлечение визуальных признаков и повышает точность сравнения (Similarity Score) с другими изображениями в индексе Google.

Worst practices (это делать не надо)

• Размещение изображений без контекста: Создание страниц, состоящих только из галерей изображений без сопроводительного текста или с минимальным контекстом. Это не дает системе достаточно labels для точной ассоциации с сущностями.
• Использование вводящих в заблуждение или неоднозначных меток: Применение неточных ALT-текстов или размещение изображения в нерелевантном контексте может привести к неправильной классификации сущности.
• Использование стоковых или слишком общих изображений в качестве основных: Если изображение слишком общее, оно может быть связано с общей сущностью (например, «Кот»), а не с конкретной темой статьи (например, «Бенгальская кошка»), что снижает его ценность в поиске. Использование популярных стоковых фото может привести к "размытию" сигналов из-за множества разных контекстов в вебе.
• Блокировка важных изображений от индексации: Это препятствует их использованию в качестве Source Images и не позволяет системе понять контент страницы.

Стратегическое значение

Патент подтверждает, что Image SEO является неотъемлемой частью стратегии семантического (entity-based) продвижения. Изображения — это не просто украшения, а носители данных, которые помогают Google идентифицировать основную сущность страницы и укреплять связи в Knowledge Graph. Стратегия должна быть направлена на то, чтобы помочь Google однозначно и с высокой степенью уверенности связать ваши изображения с правильными семантическими сущностями.

Практические примеры

Сценарий: Оптимизация изображения товара в E-commerce

Задача: Убедиться, что фотография кроссовка «Nike Air Max 90G NRG» будет связана с сущностью именно этой модели, а не с общим понятием «кроссовок» или другой моделью Nike.

1. Визуальная часть: Загрузить четкие фотографии кроссовка с разных ракурсов, включая фото логотипа и уникальных элементов дизайна. Это улучшит Similarity Score с другими фото этой модели в индексе Google.
2. Текстовый контекст (Labels): Убедиться, что на странице товара в заголовке H1, описании и ALT-тексте фотографии указано полное название модели «Nike Air Max 90G NRG».
3. Устранение неоднозначности: В тексте упомянуть характеристики, отличающие эту модель от других (например, «специальная версия для гольфа»).
4. Структурированные данные: Внедрить разметку Schema.org/Product, указав в ней URL этих фотографий в свойстве image, а также точное название в name, бренд в brand и идентификаторы (GTIN, SKU). Это явно свяжет изображение с сущностью продукта.
5. Ожидаемый результат: При поиске по этой картинке (например, через Google Lens) система с высокой вероятностью идентифицирует точную модель товара и покажет релевантные результаты (другие магазины, обзоры этой модели), а не общие результаты по кроссовкам.