Как Google использует поведение пользователей (Co-clicks и последующие запросы) для кластеризации изображений в поиске

Описание

Какую задачу решает

Патент решает проблему неоднозначности (ambiguity) в результатах поиска по изображениям. Когда запрос (например, «Paris») может относиться к разным сущностям или темам (человек, город, здание), стандартная выдача смешивает результаты, что затрудняет поиск. Изобретение направлено на автоматическое разделение этих результатов на семантически связанные тематические группы (кластеры) для улучшения пользовательского опыта и уточнения интента.

Что запатентовано

Запатентована система кластеризации изображений, использующая extrinsic image-related information (внешнюю информацию). Ядро изобретения, согласно защищенным Claims (1, 10, 19), заключается в использовании комбинации двух конкретных типов поведенческих данных: co-click data (данные о совместных кликах по разным изображениям в ответ на один и тот же запрос) и subsequent user-submitted queries (запросы, введенные пользователем после выбора конкретного изображения).

Как это работает

Система анализирует исторические данные о взаимодействии пользователей с поиском по картинкам:

• Co-clicks: Если пользователи часто кликают на изображение А и изображение Б в рамках одной сессии по запросу Q, это фиксируется как co-click data и усиливает связь между ними.
• Subsequent Queries: Если после клика на изображение А пользователь вводит новый запрос Q2, это фиксируется как subsequent query и связывает изображение А с интентом Q2.
• Дополнительные данные: Также учитываются контекст исходной страницы (Source Context Data), метки (Labels), CTR и время пребывания на сайте (Dwell Time).

На основе этих данных система группирует изображения в кластеры (используя алгоритмы типа K-means). При получении нового запроса система идентифицирует релевантные кластеры и предлагает их пользователю (Cluster results) для уточнения поиска или визуально группирует выдачу.

Актуальность для SEO

Высокая. Уточнение запросов (query refinement) и кластеризация результатов являются стандартными функциями Google Images. Использование поведенческих сигналов (co-click, subsequent queries, dwell time) для понимания семантики контента и взаимосвязей между документами остается фундаментальным подходом в современных системах информационного поиска (Information Retrieval).

Важность для SEO

Патент имеет высокое значение (7.5/10) для стратегий продвижения в Image Search. Он демонстрирует, что тематика и релевантность изображения определяются не только текстом на странице или визуальным контентом, но и тем, как пользователи ассоциируют его с другими изображениями (co-click) и запросами (subsequent queries). Это подчеркивает критическую важность точного соответствия интенту пользователя и оптимизации поведенческих факторов.

Детальный разбор

Термины и определения

Cluster Result (Результат кластера)

Элемент пользовательского интерфейса, который идентифицирует кластер, соответствующий запросу. Может включать описательный текст, ссылку, репрезентативное изображение или группу изображений из кластера.

Co-click Data (Данные о совместных кликах)

Исторические данные, фиксирующие совместные случаи выбора пользователями разных изображений из результатов поиска, предоставленных в ответ на один и тот же запрос. Например, если пользователь кликнул на результат А, вернулся и кликнул на результат Б по тому же запросу.

Dwell Time (Время пребывания)

Продолжительность времени, в течение которого пользователь просматривал веб-страницу после выбора результата поиска (упомянуто в Claim 9 как amount of time).

Extrinsic Image-related Information (Внешняя информация, связанная с изображением)

Данные, связанные с изображением, но не полученные из самого визуального контента. Включают Source Context Data, Co-click Data, Subsequent User-submitted Queries, CTR и Dwell Time.

Labels (Метки)

Текстовый контент или флаги данных, указывающие тему изображения. Могут быть получены от издателей, пользователей, выведены из запросов (relevance feedback) или сгенерированы системой распознавания объектов (Object Recognition Engine).

Source Context Data (Данные исходного контекста)

Текст из исходного ресурса (веб-страницы), в котором размещено изображение. Включает текст рядом с изображением, анкорный текст ссылок, текст в теге «alt», referring links.

Subsequent User-submitted Query (Последующий запрос, отправленный пользователем)

Запрос, который пользователь вводит после того, как выбрал (кликнул) результат поиска, идентифицирующий конкретное изображение.

Ключевые утверждения (Анализ Claims)

Анализ сосредоточен на независимых пунктах (Claims 1, 10, 19), которые определяют ядро изобретения в этом патенте (который является продолжением более ранней заявки).

Claim 1, 10, 19 (Независимые пункты): Описывают основной метод и систему кластеризации, основанную на поведении.

1. Система идентифицирует co-click data для каждого изображения. Эти данные показывают, какие другие изображения были выбраны тем же пользователем из результатов поиска по тому же запросу.
2. Система идентифицирует для каждого изображения subsequent user-submitted query — запрос, который был отправлен пользователем после выбора этого изображения.
3. Система назначает изображения в кластеры, основываясь на комбинации: (i) co-click data И (ii) subsequent user-submitted queries.

Ядро изобретения заключается в использовании совместных кликов и последующих запросов как основы для определения семантической близости изображений и их группировки.

Claim 2 (Зависимый): Описывает использование созданных кластеров в поиске.

1. Система получает запрос.
2. Идентифицирует один или несколько кластеров на основе запроса.
3. Предоставляет Cluster Result для каждого идентифицированного кластера. Каждый Cluster Result включает несколько индивидуальных результатов поиска, ссылающихся на изображения из этого кластера.

Claim 3 (Зависимый): Уточняет представление. Результаты поиска, ссылающиеся на изображения кластера, отображаются вместе в группе на странице результатов поиска.

Claim 7, 8, 9 (Зависимые): Уточняют, что процесс кластеризации может дополнительно основываться на других факторах:

• Claim 7: На основе одной или нескольких Labels, присвоенных изображениям.
• Claim 8: На основе количества выборов (number of selections / CTR) конкретного изображения в ответ на определенный запрос.
• Claim 9: На основе количества времени (Dwell Time), в течение которого пользователь просматривал веб-страницу после выбора результата.

Где и как применяется

Изобретение применяется в системе поиска по изображениям и затрагивает несколько этапов архитектуры поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе собираются и индексируются изображения и их исходные ресурсы. Извлекаются Source Context Data (текст, alt-теги). Также могут применяться Object Recognition Engines для генерации Labels.

INDEXING / QUNDERSTANDING (Офлайн-анализ данных)
Система анализирует исторические логи поисковых сессий (Historical Data). Вычисляются ключевые поведенческие метрики: Co-click Data, Subsequent User-submitted Queries, CTR и Dwell Time. На основе всех собранных данных (поведенческих, контекстных, меток) запускаются алгоритмы кластеризации для группировки изображений. Результаты сохраняются в индексе.

RANKING / METASEARCH – Ранжирование, Метапоиск и Смешивание
После получения запроса система находит индивидуальные изображения и идентифицирует релевантные кластеры. Система формирует финальную выдачу (Image SERP), объединяя индивидуальные результаты и Cluster Results (например, вкладки уточнения запроса или сгруппированные блоки).

Входные данные:

• Индексированные изображения и их URL.
• Source Context Data.
• Исторические данные о поисковых сессиях (для co-click, subsequent queries, CTR, Dwell Time).
• Labels (сгенерированные или присвоенные).

Выходные данные:

• Модель кластеризации (назначение изображений кластерам).
• Страница результатов поиска, включающая Cluster Results.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные (ambiguous) запросы, где один термин может относиться к разным концепциям (например, «Ягуар» — животное или автомобиль; «Paris» — город или человек).
• Типы контента: Влияет исключительно на поиск по изображениям (Google Images).

Когда применяется

Патент описывает два варианта реализации:

• Offline (Предварительная кластеризация): Изображения назначаются в кластеры заранее, до получения запроса, путем анализа исторических данных (наиболее вероятный сценарий для производительности).
• Online (Динамическая кластеризация): Система сначала получает запрос, идентифицирует соответствующие ему изображения, а затем кластеризует этот набор в реальном времени. Информация о кластерах для частых запросов может кэшироваться.

Пошаговый алгоритм

Этап А: Сбор данных и Кластеризация (Преимущественно Offline)

1. Сбор контекстных данных и меток: Извлечение Source Context Data при краулинге и генерация Labels (например, через распознавание объектов).
2. Сбор поведенческих данных: Анализ исторических логов поисковых сессий.
3. Извлечение поведенческих признаков:
   • Идентификация Co-click Data (какие изображения кликаются вместе по одному запросу).
   • Идентификация Subsequent User-submitted Queries (что ищут после клика).
   • Расчет CTR и Dwell Time.
4. Вычисление сходства (Similarity Calculation): Определение степени сходства (Similarity values) между изображениями на основе комбинации поведенческих, контекстных данных и меток.
5. Кластеризация: Применение алгоритмов кластеризации для группировки схожих изображений. Патент упоминает K-means, Spectral clustering, Hierarchical agglomerative clustering.
6. Генерация описаний кластеров: Анализ меток внутри кластера для выбора наиболее репрезентативных в качестве названия кластера.

Этап Б: Обработка запроса (Online)

1. Получение запроса: Система получает запрос от пользователя.
2. Идентификация индивидуальных результатов: Поиск изображений, индивидуально соответствующих запросу.
3. Идентификация кластеров: Определение кластеров, соответствующих запросу (например, если термины запроса совпадают с метками кластера или если значительная часть изображений кластера релевантна запросу).
4. Формирование выдачи: Генерация SERP, включающей индивидуальные результаты и Cluster Results (в виде групп или ссылок для уточнения).

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных, объединенных под термином Extrinsic Image-related Information, а также Labels.

Поведенческие факторы (Ключевые в Claims 1, 10, 19):

• Co-click Data: Данные о совместном выборе разных изображений в ответ на один и тот же запрос.
• Subsequent User-submitted Queries: Запросы, введенные пользователем сразу после просмотра изображения.

Поведенческие факторы (Дополнительные в Claims 8, 9):

• Number of selections (CTR): Общее количество выборов изображения в ответ на конкретный запрос.
• Dwell Time (Amount of time): Продолжительность времени просмотра исходной веб-страницы после выбора изображения.

Контентные и Контекстные факторы (Source Context Data):

• Текст рядом с изображением на исходной странице.
• Текст в теге «alt».
• Анкорный текст ссылок на изображение.

Мультимедиа факторы (через Labels):

• Labels: Метки, полученные из разных источников, включая системы распознавания объектов (Object Recognition Engine).

Какие метрики используются и как они считаются

• Similarity Values (Значения схожести): Метрика, рассчитываемая между двумя изображениями на основе их Extrinsic Information и Labels. Значение увеличивается, если изображения имеют высокую корреляцию по Co-click Data, ассоциированы с одинаковыми Subsequent Queries, имеют схожие Labels или схожий текстовый контекст.
• Алгоритмы кластеризации: В патенте упоминаются стандартные методы машинного обучения для группировки данных на основе метрик схожести: Spectral clustering, K-means clustering, Hierarchical agglomerative clustering.

Выводы

1. Поведение пользователя как основа семантики: Патент демонстрирует, как Google использует «мудрость толпы» для понимания смысла изображений. Co-click data и Subsequent Queries являются мощными сигналами для определения того, что два изображения семантически связаны или что изображение относится к определенной теме.
2. Приоритет поведенческих сигналов в кластеризации: Хотя контекст страницы (Source Context Data) и метки (Labels) учитываются, формула изобретения (Claim 1) делает основной акцент именно на Co-click Data и Subsequent Queries как на фундаменте для построения кластеров.
3. Важность комплексной оценки User Engagement: Система учитывает не только факт клика (CTR), но и качество взаимодействия: время просмотра страницы (Dwell Time) и последующие действия пользователя (Subsequent Queries). Это подчеркивает необходимость оптимизации под удовлетворенность пользователя (Intent Satisfaction).
4. Ранжирование в обход текстовой релевантности: В патенте описан важный механизм: изображение может появиться в Cluster Result, даже если оно само по себе не ранжировалось бы как индивидуальный результат по данному запросу (например, из-за отсутствия ключевых слов). Это происходит, если изображение имеет сильную поведенческую связь (co-click correlation) с другими изображениями релевантного кластера.
5. Решение проблемы неоднозначности: Основная цель механизма — разделение выдачи по неоднозначным запросам на четкие тематические группы, что улучшает навигацию и точность поиска по изображениям.

Практика

Best practices (это мы делаем)

• Оптимизация под интент и минимизация Pogo-Sticking: Критически важно, чтобы изображение и контент посадочной страницы точно соответствовали ожиданиям пользователя. Если пользователь быстро возвращается в выдачу (низкий Dwell Time) и меняет запрос (негативный Subsequent Query) или выбирает другое изображение (формируя Co-click Data с конкурентом), это негативно скажется на кластеризации вашего изображения.
• Создание сильного контекстуального окружения: Размещайте изображения в окружении релевантного, качественного текста. Source Context Data (текст вокруг, ALT-теги) остается важным компонентом Extrinsic Information и помогает системе правильно интерпретировать содержание изображения.
• Оптимизация под путь пользователя (Search Journey): Анализируйте, какие запросы пользователи могут вводить до и после взаимодействия с вашим контентом. Понимание потенциальных Subsequent Queries позволяет оптимизировать контент так, чтобы он естественно вписывался в поисковый путь пользователя, укрепляя его позицию в нужном кластере.
• Анализ кластеров в выдаче: Изучайте, какие кластеры (уточнения запроса) предлагает Google по вашим целевым запросам в Image Search. Оптимизируйте свои изображения так, чтобы они четко соответствовали тематике наиболее релевантных кластеров.

Worst practices (это делать не надо)

• Использование кликбейта в Image Search: Использование привлекательных, но нерелевантных изображений для генерации трафика. Это приведет к плохим поведенческим сигналам: низкому Dwell Time и последующим запросам, не связанным с тематикой вашего сайта. Система определит несоответствие интенту.
• Размещение изображений вне контекста: Публикация изображений на страницах, тематически не связанных с тем, что изображено, или полное отсутствие текстового сопровождения затрудняет для системы сбор качественных Source Context Data.
• Игнорирование качества посадочной страницы: Фокус только на оптимизации самого изображения без работы над качеством и релевантностью страницы, на которой оно размещено. Качество взаимодействия (Dwell Time) оценивается на уровне страницы.

Стратегическое значение

Патент подтверждает стратегическую важность поведенческих факторов в поиске по изображениям. Для Google важно не только то, что написано на странице, но и то, как реальные пользователи интерпретируют изображение и взаимодействуют с ним в контексте своей поисковой сессии. Успешная SEO-стратегия для Image Search должна быть направлена на максимальное удовлетворение интента пользователя, так как именно это формирует сигналы Co-click, Dwell Time и Subsequent Queries, которые лежат в основе кластеризации и определения релевантности.

Практические примеры

Сценарий: Кластеризация по запросу «Ягуар» (Jaguar)

1. Запрос пользователя: «Ягуар».
2. Анализ исторических данных (Система):
   • Группа А (Автомобили): Пользователи, кликающие на фото машин Jaguar, часто кликают и на другие фото этой марки (Co-click). После клика они часто ищут «Jaguar F-Pace цена» (Subsequent Query). Dwell Time на сайтах автодилеров высокий.
   • Группа Б (Животные): Пользователи, кликающие на фото животного, часто кликают на другие фото ягуаров в природе (Co-click). После клика они часто ищут «Ягуар ареал обитания» (Subsequent Query).
3. Кластеризация: Система разделяет изображения на два кластера на основе этих поведенческих различий, даже если на некоторых страницах текст нечеткий.
4. Результат в выдаче: Google показывает смешанную выдачу, но также предлагает Cluster Results в виде уточнений: «Автомобиль», «Животное», «Логотип».
5. Действие SEO-специалиста (Автодилер): Убедиться, что страница с фото Jaguar F-Pace содержит исчерпывающую информацию о цене и характеристиках, чтобы удержать пользователя (высокий Dwell Time) и удовлетворить его интент, тем самым укрепляя связь изображения с автомобильным кластером.

Вопросы и ответы