Как Google переводит изображения в текстовые запросы, валидируя метки через веб-поиск

Термины и определения

Image Label (Текстовая метка изображения)

Текстовые данные, указывающие на предмет, к которому относится изображение. Метки могут генерироваться на основе текста рядом с изображением, имени файла, анкорного текста ссылок на изображение или с помощью моделей машинного обучения.

Image Label Apparatus / Image Annotator (Аппарат маркировки изображений / Аннотатор)

Компонент системы, который генерирует исходный набор кандидатов в текстовые метки для заданного изображения.

Image Similarity Apparatus (Аппарат определения сходства изображений)

Компонент, который идентифицирует другие изображения, визуально похожие на исходное (например, Near Duplicate Images или изображения в том же кластере).

Near Duplicate Images (Почти дубликаты изображений)

Изображения, которые идентичны исходному, за исключением различий в обработке (например, разное разрешение, яркость, обрезка).

Image Cluster (Кластер изображений)

Группа изображений в базе данных, объединенных на основе общих визуальных признаков (visual features) и удовлетворяющих определенному порогу сходства.

Text Search Apparatus (Аппарат текстового поиска)

Стандартная поисковая система, выполняющая поиск по текстовому запросу.

Text Label Ranking Score (Оценка ранжирования текстовой метки)

Итоговая оценка, присваиваемая метке-кандидату. Используется для выбора лучшей метки.

docs_matched

Количество результатов поиска (документов), возвращенных по запросу-метке, которые содержат исходное изображение или его аналог (дубликат/кластерный элемент).

median_score

Медианная оценка релевантности среди результатов поиска (search result scores), возвращенных по запросу-метке.

original_rank_position

Исходная позиция метки в списке кандидатов до этапа валидации через веб-поиск.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод выбора метки изображения.

1. Система получает данные, определяющие первое изображение.
2. Система получает текстовые метки для этого изображения.
3. Для каждой метки выполняется цикл:
   1. Выполняется веб-поиск с использованием метки в качестве запроса, получаются результаты поиска (каждый ссылается на веб-ресурс).
   2. Метке присваивается Text Label Ranking Score. Эта оценка основана на количестве ресурсов в результатах поиска, которые включают изображение, соответствующее (matching) первому изображению.
4. Текстовые метки ранжируются на основе присвоенных Text Label Ranking Scores.
5. Выбирается метка изображения на основе этого ранжирования.

Claim 2 (Зависимый): Уточняет, что получение текстовых меток может включать запрос меток, связанных с изображениями, идентифицированными как Near Duplicate Images первого изображения.

Claim 3 (Зависимый): Уточняет, что при присвоении оценки метке, оценка может быть увеличена для каждого случая, когда другая текстовая метка идентифицирована как почти дубликат (near duplicate text label) текущей метки (например, объединение "кот" и "коты").

Claim 4 и 5 (Зависимые): Определяют, что такое "соответствующее изображение" (image matching). Ресурсы, включающие соответствующее изображение, могут содержать либо Near Duplicate Image первого изображения (Claim 4), либо изображение, находящееся в том же кластере (Image Cluster) базы данных, что и первое изображение (Claim 5).

Claim 9 (Независимый): Описывает метод, аналогичный Claim 1, но детализирует компоненты расчета Text Label Ranking Score. Ранжирование меток включает расчет оценки для каждой метки на основе:

• Медианной оценки результатов поиска (median search result score).
• Количества результатов поиска, возвращенных веб-поиском.
• Исходной позиции ранжирования (original rank position) полученных текстовых меток.

Claim 10 (Зависимый): Определяет конкретную формулу для расчета Text Label Ranking Score (подробно описана в разделе Метрики).

Где и как применяется

Изобретение применяется на разных этапах поисковой архитектуры, связывая визуальный анализ с текстовым поиском.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка данных. Image Similarity Apparatus анализирует визуальные признаки изображений, формирует Image Database и группирует похожие изображения в кластеры и идентифицирует дубликаты. Image Label Apparatus может предварительно ассоциировать изображения с метками на основе контекста.

QUNDERSTANDING – Понимание Запросов
Это основная область применения патента. Когда система получает запрос, содержащий изображение (визуальный запрос, например, в Google Lens), активируется описанный механизм. Его цель — транслировать визуальный ввод в наиболее релевантное текстовое представление (Image Label). Это форма переписывания запроса, позволяющая использовать визуальный контент для поиска в текстовом индексе.

RANKING – Ранжирование
Система взаимодействует с этапом ранжирования через Text Search Apparatus. Она отправляет множество запросов (меток-кандидатов) и анализирует полученные результаты ранжирования (в частности, median_score и состав выдачи) для принятия решения о качестве метки.

Входные данные:

• Исходное изображение (Query Image).
• Набор кандидатов в текстовые метки (от Image Label Apparatus).
• Данные о визуальном сходстве и кластеризации (от Image Similarity Apparatus).
• Результаты веб-поиска и их оценки релевантности (от Text Search Apparatus).

Выходные данные:

• Оптимальная текстовая метка (Image Label) для исходного изображения.
• Text Label Ranking Score для этой метки.

На что влияет

• Типы контента: В первую очередь влияет на изображения. Особенно критично для продуктовых изображений в e-commerce, где точная идентификация модели или типа товара имеет решающее значение.
• Специфические запросы: Влияет на визуальный поиск (поиск по картинке, Google Lens) и гибридные запросы (текст + изображение). Также влияет на ранжирование в Google Images.
• Ниши: E-commerce, новости (идентификация людей/мест), искусство, любая ниша с большим объемом визуального контента.

Когда применяется

• Условия работы: Алгоритм применяется, когда поисковой системе необходимо найти текстовую информацию, релевантную входному изображению, и нужно выбрать наилучшее текстовое описание из нескольких вариантов.
• Триггеры активации: Получение поискового запроса, включающего изображение (query image). Может также использоваться в офлайн-режиме для аннотирования индекса.

Пошаговый алгоритм

1. Получение входных данных: Система получает исходное изображение.
2. Генерация первичных меток: Исходное изображение передается в Image Label Apparatus для получения первого набора меток-кандидатов.
3. Расширение набора меток (Опционально): Исходное изображение передается в Image Similarity Apparatus для идентификации Near Duplicate Images. Метки, связанные с этими дубликатами, добавляются в пул кандидатов.
4. Консолидация и предварительное ранжирование:
   1. Наборы меток объединяются.
   2. Система идентифицирует и объединяет почти дубликаты меток (near duplicate text labels), например, разные формы слова или наличие стоп-слов.
   3. Меткам присваиваются предварительные оценки (Label Scores), например, на основе частоты их появления в объединенном наборе.
   4. Метки ранжируются по этим оценкам, формируя original_rank_position.
5. Выполнение веб-поиска: Объединенный набор меток передается в Text Search Apparatus. Для каждой метки выполняется отдельный поисковый запрос.
6. Фильтрация результатов поиска: Полученные результаты поиска анализируются. Система фильтрует их, оставляя только те ресурсы, которые содержат исходное изображение, его Near Duplicate Image или изображение из того же Image Cluster.
7. Расчет метрик для ранжирования меток: Для каждой метки вычисляются:
   1. docs_matched: Количество отфильтрованных результатов.
   2. median_score: Медианная оценка релевантности этих результатов.
8. Расчет итоговой оценки метки: Для каждой метки рассчитывается Text Label Ranking Score с использованием формулы, учитывающей docs_matched, median_score и original_rank_position.
9. Финальное ранжирование и выбор: Метки ранжируются по Text Label Ranking Score. Метка с наивысшей оценкой выбирается как лучшая метка для исходного изображения.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные): Визуальные признаки (visual features) изображения (цвета, формы, края и т.д.). Они используются Image Similarity Apparatus для поиска дубликатов и определения принадлежности к кластерам. Также могут использоваться Image Label Apparatus для генерации меток на основе моделей релевантности (Relevance Models).
• Контентные и Структурные факторы: Патент явно указывает, что Image Label Apparatus может использовать следующие данные для генерации исходных меток:
  • Текст, расположенный рядом с изображением на веб-странице.
  • Текст, включенный в само изображение (визуально отображаемый, OCR).
  • Текст в имени файла изображения.
  • Местоположение ресурса (URL) изображения.
• Ссылочные факторы: Анкорный текст (anchor text) ссылок на изображение также упоминается как источник для генерации исходных меток.
• Пользовательские факторы: Упоминается возможность выбора меток на основе характеристик пользователя (Claim 7), например, предпочитаемого языка или местоположения (для выбора языка меток).

Какие метрики используются и как они считаются

Ключевой метрикой является Text Label Ranking Score.

Патент предлагает конкретную формулу для ее расчета (Claim 10):

$\text{Ranking Score} = \text{median\_score} \times \log(1 + \max(1, \text{docs\_matched})) \times \frac{\text{smoothing\_factor}}{\text{smoothing\_factor} + \text{original\_rank\_position}}$

Компоненты формулы:

• median_score: Отражает качество (релевантность) веб-страниц, где найдено изображение при поиске по данной метке.
• log(1 + max(1, docs_matched)): Отражает широту использования изображения в контексте данной метки (количество найденных документов). Логарифмическая шкала снижает влияние очень больших чисел (закон убывающей отдачи).
• smoothing_factor / (smoothing_factor + original_rank_position): Понижающий коэффициент, который учитывает исходную уверенность системы в метке. Чем ниже была исходная позиция (выше значение original_rank_position), тем сильнее пессимизация. smoothing_factor — это константа для настройки степени сглаживания.

Эта формула балансирует между качеством контекста, широтой использования и исходной уверенностью в метке.

1. Валидация через веб-консенсус: Google использует коллективный разум интернета для определения значения изображения. То, как владельцы сайтов используют и описывают изображение на своих страницах (контекст), напрямую определяет, какая метка будет ему присвоена.
2. Контекст критичен: Значение изображения неразрывно связано с контекстом, в котором оно появляется. Система отдает предпочтение меткам, которые соответствуют релевантным веб-страницам (высокий median_score), содержащим это изображение.
3. Важность визуального сходства: Система не ограничивается точными совпадениями изображения. Использование Near Duplicate Images и Image Clusters позволяет агрегировать данные о значении изображения, даже если используются его разные версии (разный размер, обрезка, качество).
4. Сбалансированная оценка меток: Формула ранжирования меток сложна и учитывает три ключевых аспекта: качество контекста (median_score), популярность использования (docs_matched) и исходную вероятность (original_rank_position). Ни один из этих факторов не является доминирующим сам по себе.
5. Традиционные факторы Image SEO как входные данные: Текст вокруг изображения, имена файлов и анкорные тексты явно упоминаются в патенте как источники для генерации исходных меток-кандидатов. Они являются отправной точкой для анализа.

Best practices (это мы делаем)

• Обеспечение консистентности контекста: Критически важно, чтобы визуальное содержание изображения строго соответствовало его текстовому окружению на странице (заголовки, окружающий текст, подписи). Это повышает вероятность того, что нужная вам метка получит высокий median_score при валидации.
• Оптимизация традиционных сигналов: Используйте релевантные и описательные имена файлов и анкорные тексты ссылок на изображение (как указано в патенте). Также используйте атрибуты alt и подписи, так как они коррелируют с окружающим текстом. Это увеличивает шансы, что нужные ключевые слова попадут в исходный набор кандидатов (высокий original_rank_position).
• Стратегия для продуктовых изображений (E-commerce): Убедитесь, что продуктовые изображения размещены на страницах с четкой и точной информацией о товаре (название, модель, бренд). Это поможет системе связать изображение с коммерчески ценными метками.
• Оптимизация под визуальную кластеризацию: Используйте высококачественные, четкие изображения. Это поможет Image Similarity Apparatus корректно идентифицировать дубликаты и кластеризовать ваше изображение с похожими изображениями в интернете, увеличивая объем данных для анализа (docs_matched).

Worst practices (это делать не надо)

• Размещение изображений в нерелевантном контексте: Использование изображений исключительно в декоративных целях на страницах, тематика которых не связана с изображением. Система не сможет валидировать релевантные метки, так как median_score будет низким или docs_matched будет нулевым для нужных запросов.
• Манипуляция метками (Keyword Stuffing): Попытки перечислить множество ключевых слов вокруг изображения, если они не поддержаны общим контекстом страницы. Хотя эти слова могут попасть в кандидаты, они не пройдут валидацию через веб-поиск, если остальной интернет не использует изображение в таком же контексте.
• Использование стоковых фото для иллюстрации специфичных концепций: Если используется общее стоковое фото, система, скорее всего, присвоит ему общую метку, основанную на его использовании на тысячах других сайтов в разных контекстах, игнорируя ваш специфический контекст.

Стратегическое значение

Патент подтверждает, что Image SEO — это не изолированная дисциплина. Понимание изображения поисковой системой напрямую зависит от его интеграции в общую структуру и контент сайта, а также от его использования в интернете в целом. Стратегия должна фокусироваться на создании сильной и однозначной связи между визуальным и текстовым контентом. Это также подчеркивает растущую важность оптимизации под системы визуального поиска, такие как Google Lens, где описанный механизм является ключевым для интерпретации запроса пользователя.

Практические примеры

Сценарий: Оптимизация изображения кроссовка в E-commerce

1. Задача: Гарантировать, что Google выберет метку "Nike Air Max 270 Black" для изображения товара, а не просто "черные кроссовки".
2. Действия согласно патенту:
   1. Генерация кандидатов: Разместить изображение на странице товара с Title "Nike Air Max 270 Black", H1 с тем же текстом, имя файла nike-air-max-270-black.jpg. Это обеспечит высокий original_rank_position для нужной метки.
   2. Визуальное сходство: Использовать официальное фото производителя. Image Similarity Apparatus свяжет его с тем же фото на сайте Nike и других ритейлеров (кластеризация).
   3. Валидация через поиск: Когда система тестирует метку "Nike Air Max 270 Black", она найдет множество релевантных страниц (включая вашу и конкурентов), содержащих это фото. docs_matched будет высоким. Так как эти страницы релевантны запросу, median_score также будет высоким.
   4. Тест альтернативы: При тесте метки "черные кроссовки" система также найдет много страниц, но median_score может быть ниже (так как запрос общий), а количество других изображений на этих страницах будет огромным.
3. Результат: Метка "Nike Air Max 270 Black" получает наивысший Text Label Ranking Score и выбирается системой для описания изображения.