Как Google использует клики пользователей в Поиске по Картинкам для определения реального содержания изображений

Термины и определения

Idea (Идея)

Исходный ввод пользователя, запускающий поиск. Как правило, это поисковый запрос (search query).

Concept (Концепт)

Смысловая единица (например, ключевое слово, тема, сущность), с которой система ассоциирует документ. Концепт является производным от исходных запросов пользователей (Ideas) и используется для маркировки содержания документа.

Electronic Document / Image Document (Электронный документ / Изображение)

Любой индексируемый контент. В контексте патента преимущественно подразумеваются изображения.

Idea-electronic document association (Ассоциация Идея-Документ)

Связь, устанавливаемая, когда пользователь взаимодействует с документом после ввода определенной идеи (запроса).

User performance criteria (Критерии эффективности пользователя)

Метрика взаимодействия пользователя с документом. В контексте патента это преимущественно выбор (клик) документа из набора результатов поиска.

Mining (Интеллектуальный анализ / Майнинг)

Процесс анализа больших объемов данных (поисковых логов и кликов) для выявления паттернов и создания ассоциаций.

Document Comparison Module (Модуль сравнения документов)

Компонент, определяющий степень схожести между двумя изображениями. Используется для распространения ассоциаций на похожие документы.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обучения системы на основе поведения пользователей для понимания содержания изображений.

1. Система получает поисковые запросы.
2. Для каждого запроса предоставляется набор изображений (результаты поиска).
3. Система получает индикацию выбора пользователем (клик) одного или нескольких изображений из этого набора.
4. Система автоматически идентифицирует концепты, производные от поискового запроса и выбранных изображений, основываясь на факте этого выбора (шаг обучения).
5. Создается и сохраняется ассоциация между выбранными изображениями и этими концептами.
6. Впоследствии, при получении нового, независимого запроса, система определяет его связь с сохраненным концептом.
7. Изображения, ассоциированные с этим концептом, идентифицируются как релевантные новому запросу.

Ядро изобретения — использование кликов на результатах поиска по картинкам как сигнала для маркировки (labeling) этих картинок концептами, извлеченными из запросов, которые привели к этим кликам.

Claim 6 (Зависимый от 5): Уточняет значение процесса ассоциации.

Процесс ассоциации приравнивается к идентификации фактического содержания изображения (identifying content of an image). Концепт, выведенный из агрегированных пользовательских ассоциаций, считается репрезентативным тому, что изображено на картинке.

Claim 10 (Зависимый от 1): Описывает механизм распространения ассоциаций (наследование концептов через сходство).

1. Система определяет, что неассоциированное изображение визуально похоже (substantially similar) на уже ассоциированное изображение.
2. Неассоциированное изображение наследует концепт похожего изображения.

Claim 19 и 20 (Зависимые от 1): Подчеркивают важность агрегации.

Ассоциация основывается на множестве взаимодействий (plurality of associations) между одним изображением и концептом. Идентификация содержания происходит на основе агрегированных данных, а не единичных кликов.

Где и как применяется

Изобретение применяется в рамках вертикали поиска по изображениям (Google Images) и функционирует как механизм обратной связи для улучшения качества индекса и ранжирования, затрагивая несколько этапов поисковой архитектуры.

INDEXING – Индексирование и извлечение признаков
Результаты работы описанного алгоритма (ассоциации Изображение-Концепт) сохраняются в индексе как дополнительные признаки (метки/labels) для каждого изображения. Эти данные агрегируются (вероятно, в офлайн режиме) на основе анализа логов поведения пользователей. Также здесь работает Document Comparison Module для распространения ассоциаций (Claim 10).

RANKING – Ранжирование
На этапе отбора кандидатов (Retrieval) и последующего ранжирования система использует эти выученные ассоциации как сильный сигнал релевантности. Изображения с сильными ассоциациями с концептом запроса получают преимущество.

RERANKING / Feedback Loop (Неявный этап сбора данных)
Основное применение патента происходит в процессе обработки обратной связи. Система собирает данные о кликах (User performance criteria) из реальных поисковых сессий после показа выдачи (post-SERP). Эти данные передаются обратно в фазу Индексирования для обновления признаков.

Входные данные:

• Журналы поисковых сессий: Поисковый запрос (Idea), набор показанных изображений, изображение, выбранное пользователем (Selected document).
• База данных изображений и данные о визуальной схожести изображений.

Выходные данные:

• Обновленные данные в индексе изображений с новыми метками (концептами).
• Улучшенное ранжирование изображений для будущих запросов.

На что влияет

• Типы контента: В первую очередь влияет на ранжирование изображений в Google Images. Также может влиять на отображение изображений в универсальной выдаче (Image Packs).
• Специфические запросы: Наибольшее влияние на запросы, где визуальный контент является основным интентом (названия продуктов, имена знаменитостей, места). Помогает разрешать неоднозначность (например, [jaguar] как животное или автомобиль) на основе предпочтений пользователей.

Когда применяется

• Триггеры активации: Алгоритм сбора данных работает постоянно во время сессий поиска по картинкам.
• Частота применения: Процесс анализа агрегированных данных и обновления ассоциаций происходит периодически. Применение обновленных ассоциаций происходит при каждом новом запросе к индексу изображений.
• Пороговые значения: Патент подразумевает необходимость накопления достаточного количества ассоциаций (plurality of associations, Claim 19) для надежной идентификации контента. Ассоциация устанавливается после достижения порога уверенности на основе агрегированных данных.

Пошаговый алгоритм

Алгоритм состоит из процессов Обучения (Mining/Analysis) и Применения (Ranking).

Процесс А: Сбор данных (Онлайн)

1. Получение запроса: Пользователь вводит поисковый запрос (Idea).
2. Предоставление результатов: Система генерирует и показывает набор релевантных изображений.
3. Получение выбора: Пользователь кликает на одно из изображений (Selected document).
4. Логирование ассоциации: Система записывает событие ассоциации Идея-Документ (Запрос-Клик).

Процесс Б: Анализ и Ассоциация (Офлайн/Пакетный режим)

1. Агрегация данных: Система обрабатывает логи и агрегирует ассоциации Идея-Документ.
2. Деривация концепта: Для конкретного изображения система анализирует все запросы (Ideas), которые привели к клику на него, и выводит обобщенный Концепт.
3. Установление связи: Если агрегированные данные превышают порог уверенности, система устанавливает сильную связь между Изображением и Концептом.
4. Распространение ассоциации (Опционально): Document Comparison Module идентифицирует визуально похожие изображения, которые наследуют этот Концепт (Claim 10).
5. Сохранение: Обновленные ассоциации сохраняются в индексе.

Процесс В: Использование ассоциаций (Онлайн Ранжирование)

1. Получение нового запроса: Пользователь вводит новый запрос.
2. Анализ запроса: Система определяет связь между новым запросом и существующими Концептами.
3. Ранжирование: При отборе и сортировке изображений система использует сохраненные ассоциации как сильный сигнал релевантности.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании поведенческих данных и данных о схожести для понимания контента.

• Поведенческие факторы (Критически важно): Данные о кликах (selection/User Performance Criteria) на изображения в результатах поиска. Анализируется связь между введенным запросом (Idea) и выбранным изображением.
• Мультимедиа факторы (Визуальная схожесть): Используются данные о схожести изображений (substantially similar), полученные с помощью Document Comparison Module, для распространения ассоциаций (Claim 10).
• Контентные факторы (Неявно): Для формирования первичной выдачи (до накопления кликов) система использует базовые факторы (текст, alt-атрибуты, имена файлов), хотя патент это детально не описывает.

Какие метрики используются и как они считаются

• User Performance Criteria (Частота выбора / CTR): Метрики, основанные на взаимодействии. В первую очередь, это частота клика на конкретное изображение для данного запроса или группы запросов.
• Strength of Association (Сила Ассоциации): Агрегированная метрика, показывающая, насколько сильно изображение связано с концептом. Она основана на частоте, объеме и консистентности пользовательских выборов (plurality of associations).
• Document Similarity (Схожесть документов): Метрика, вычисляемая Document Comparison Module, определяющая степень визуального сходства между двумя изображениями.

1. Пользовательское поведение как источник истины для содержания изображений: Патент демонстрирует фундаментальный механизм, позволяющий Google определять содержание изображения, не полагаясь только на визуальный анализ или метаданные. Агрегированные данные о кликах используются как способ маркировки контента и валидации релевантности.
2. Критичность CTR для ранжирования в Image Search: Для достижения высоких позиций в поиске по картинкам изображение должно не только быть показано, но и быть выбрано пользователями. Высокий CTR по целевым запросам напрямую усиливает ассоциацию изображения с этими запросами согласно описанному механизму.
3. Важность первичной оптимизации для запуска цикла: Чтобы начать собирать клики, изображение должно попасть в первичную выдачу. Это подчеркивает важность базовой SEO-оптимизации (alt-текст, контекст) для запуска процесса накопления поведенческих данных.
4. Автоматическое расширение семантики через схожесть: Механизм распространения ассоциаций на похожие изображения (Claim 10) позволяет системе масштабировать маркировку. Если одно изображение продукта помечено как релевантное, похожие изображения (например, другой ракурс) могут также получить эту ассоциацию.
5. Концепты против Ключевых слов: Система ассоциирует изображения с концептами, производными от запросов (ideas), что подразумевает уровень семантического понимания выше простого совпадения ключевых слов.

Best practices (это мы делаем)

• Оптимизация привлекательности и CTR изображений: Создавайте уникальные, высококачественные и визуально привлекательные изображения, которые выделяются в выдаче Google Images. Изображение должно максимально точно соответствовать визуальному интенту пользователя, чтобы стимулировать клик.
• Тщательная базовая оптимизация для инициации показов: Оптимизируйте все текстовые сигналы (Alt-атрибуты, заголовки изображений, окружающий текст, имена файлов). Это критически важно для того, чтобы изображение начало показываться и могло накапливать поведенческие данные (user performance criteria).
• Анализ выдачи Google Images и интента: Изучайте, какие типы изображений ранжируются по целевым запросам. Создавайте контент, который соответствует доминирующему визуальному интенту, чтобы максимизировать вероятность выбора вашего изображения пользователями.
• Создание вариаций ключевых изображений: Для важных товаров предоставляйте несколько высококачественных ракурсов. Если один из ракурсов накопит сильные ассоциации благодаря кликам, другие похожие изображения могут извлечь выгоду через механизм сравнения схожести (Claim 10).

Worst practices (это делать не надо)

• Использование кликбейтных или вводящих в заблуждение изображений: Изображения, которые не соответствуют интенту запроса. Хотя патент фокусируется на факте клика, современные системы учитывают удовлетворенность пользователя (например, быстрый возврат в выдачу), что может негативно повлиять на user performance criteria.
• Игнорирование качества и разрешения изображений: Низкокачественные или размытые изображения менее склонны привлекать клики, что препятствует формированию сильных ассоциаций согласно патенту.
• Переоптимизация текстовых атрибутов (Keyword Stuffing): Попытка манипулировать первичным ранжированием с помощью нерелевантных ключевых слов в alt-атрибутах. Если изображение не соответствует запросу визуально, оно не будет получать клики, и сильные ассоциации не сформируются.
• Использование стандартных стоковых фотографий: Стандартные стоковые фото, используемые на множестве сайтов, могут сливаться в выдаче и не привлекать клики, уступая более уникальным и качественным изображениям.

Стратегическое значение

Этот патент подтверждает, что Google Images функционирует как система, обучающаяся на поведении пользователей. Стратегия продвижения в поиске по картинкам должна рассматриваться как двухэтапный процесс: (1) Добиться видимости через техническую и контентную оптимизацию и (2) Добиться кликабельности через качество и релевантность визуального контента. Долгосрочный успех зависит от способности стабильно удовлетворять визуальный интент пользователя лучше, чем конкуренты.

Практические примеры

Сценарий: Оптимизация изображений для интернет-магазина кроссовок

1. Задача: Продвинуть изображение новой модели "Nike Air Max 2025 Blue" в Google Images.
2. Этап 1 (Добиться видимости): Разместить изображение на странице товара. Оптимизировать Alt-текст ("Кроссовки Nike Air Max 2025, синий цвет"), окружающий текст и добавить изображение в Image Sitemap.
3. Этап 2 (Добиться кликабельности): Использовать высококачественное, профессиональное фото на контрастном фоне. Убедиться, что превью (thumbnail) в выдаче выглядит привлекательно и четко передает суть товара.
4. Как работает механизм патента:
   • Пользователи ищут "Nike Air Max 2025 Blue". Благодаря Этапу 1, изображение появляется в выдаче.
   • Благодаря качеству на Этапе 2, пользователи предпочитают это изображение и кликают на него (высокий CTR).
   • Google фиксирует эти клики (user performance criteria).
   • Система агрегирует данные и формирует сильную ассоциацию между изображением и концептом "Nike Air Max 2025 Blue".
5. Результат: При последующих поисках это изображение ранжируется выше, так как система теперь "знает" (на основе поведения пользователей), что оно точно соответствует этому концепту.