Как Google организует результаты поиска по картинкам в масштабируемый интерфейс с помощью кластеризации по сходству

Термины и определения

Canonical Image (Каноническое изображение)

Изображение, выбранное для представления целого кластера похожих изображений. Используется для создания "визуальной сводки" (visual summary) на более общих уровнях масштабирования.

Hierarchical Cluster (Иерархический кластер)

Структура данных, в которой изображения организованы в виде дерева (дендрограммы), где близкие по смыслу или визуально изображения объединяются в группы, которые, в свою очередь, объединяются в более крупные группы.

Image Feature Vector (Вектор признаков изображения)

Математическое представление изображения, содержащее информацию о его характеристиках (цвет, текстура, форма и т.д.). Используется для вычисления сходства.

KPCA (Kernelized Principal Component Analysis / Ядерный метод главных компонент)

Метод снижения размерности. В патенте используется для вычисления части вектора признаков на основе глобального набора данных изображений (из множества предыдущих запросов).

MDS (Multidimensional scaling / Многомерное шкалирование)

Метод снижения размерности и визуализации данных. Используется для вычисления части вектора признаков на основе набора изображений, релевантных текущему запросу.

Similarity Matrix (Матрица сходства)

Матрица размера N×N, где N – количество изображений. Каждая ячейка содержит значение сходства (similarity value) между парой изображений.

SOM (Self-Organizing Map / Самоорганизующаяся карта Кохонена)

Тип нейронной сети, используемый для кластеризации и отображения высокоразмерных данных в низкоразмерное (обычно двумерное) пространство.

Two dimensional grid (Двумерная сетка)

Способ организации интерфейса, в котором каждому изображению присваивается целочисленная координата (x, y) на основе его сходства с другими изображениями.

Zoom Level (Уровень масштабирования)

Определяет гранулярность представления изображений. Низкий уровень (zoomed-out) показывает меньше репрезентативных изображений, высокий уровень (zoomed-in) показывает больше детализированных изображений.

Ключевые утверждения (Анализ Claims)

Патент носит выраженный технический характер и фокусируется на реализации пользовательского интерфейса и методах группировки данных для этого интерфейса.

Claim 1 (Независимый пункт): Описывает метод представления изображений в ответ на поисковый запрос.

1. Представление пользовательского интерфейса с изображениями в двумерной сетке, где координаты назначены на основе групп сходства.
2. В ответ на получение ввода для уменьшения масштаба (zoom out):
   • Определение уровня масштабирования (image zoom level).
   • Модификация интерфейса.
3. Модификация включает:
   • Уменьшение гранулярности двумерной сетки (отображение меньшего количества изображений).
   • Замена множества изображений каждой группы меньшим подмножеством (smaller subset) из этой группы.
4. Подмножество включает предопределенное количество изображений (больше одного, но меньше общего числа в группе), определяемое уровнем масштаба.
5. Подмножество содержит репрезентативное изображение (representative image).
6. Репрезентативное изображение после модификации отображается в большем размере, чем до нее.

Ядро изобретения — это механизм динамического изменения детализации сетки изображений при масштабировании, где при уменьшении масштаба система агрегирует визуальную информацию, показывая меньше изображений, но большего размера, которые представляют целые группы.

Claim 18 (Зависимый от 17): Детализирует процесс группировки ресурсов (в контексте системы Клиент-Сервер, описанной в Claim 17).

1. Вычисление первых 'n' измерений вектора признаков с использованием KPCA на первом наборе изображений (из множества предыдущих запросов).
2. Вычисление вторых 'm' измерений вектора признаков с использованием MDS (multidimensional reduction) на втором наборе изображений (релевантных текущему запросу).
3. Кластеризация изображений второго набора на основе полученного вектора признаков для отображения их в двумерное пространство.
4. Определение для каждой позиции в сетке: (i) изображения с минимальным расстоянием до этой позиции в 2D пространстве и (ii) приоритета (priority indication) для остальных изображений относительно этой позиции.

Этот пункт описывает конкретную технику группировки, комбинирующую глобальный анализ (KPCA) и локальный анализ (MDS) для определения расположения изображений в интерфейсе и их приоритета для выбора в качестве репрезентативных.

Где и как применяется

Изобретение затрагивает этапы, связанные с анализом результатов ранжирования и их представлением пользователю. Оно не влияет на базовое ранжирование.

INDEXING – Индексирование и извлечение признаков
На этом этапе извлекаются визуальные признаки изображений, которые впоследствии могут использоваться для расчета сходства (например, для KPCA).

RANKING – Ранжирование
Система получает на вход уже ранжированные результаты поиска (Ranked Image Query Search Results). Алгоритмы патента не участвуют в определении этого первичного ранжирования.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Основное применение патента происходит после получения базовых результатов. Система анализирует полученный набор изображений, вычисляет сходство между ними, выполняет кластеризацию и определяет канонические изображения и их расположение в сетке. Это можно рассматривать как этап организации результатов перед их финальным представлением в SERP (в данном случае, в интерфейсе поиска по картинкам).

Представление (UI/Frontend)
Значительная часть патента описывает логику работы пользовательского интерфейса: обработку команд масштабирования, переключение между уровнями детализации, плавные переходы и рендеринг сетки.

Входные данные:

• Поисковый запрос (Image Query).
• Ранжированные результаты поиска изображений.
• Векторы признаков и метаданные изображений.

Выходные данные:

• Матрица сходства изображений.
• Иерархическая структура кластеров или координаты изображений в 2D пространстве.
• Приоритеты изображений для выбора в качестве канонических.
• Код (например, HTML/JavaScript) для отображения масштабируемого интерфейса на устройстве пользователя.

На что влияет

• Конкретные типы контента: Влияет исключительно на изображения и потенциально видео (упоминается как other visual contents).
• Специфические запросы: Применяется к запросам в поиске по картинкам. Особенно полезно для общих запросов, возвращающих большое и разнообразное количество визуальных результатов (например, "Эйфелева башня").
• Определенные форматы контента: Интерфейс предназначен для эффективного просмотра миниатюр (thumbnails).

Когда применяется

• Условия работы: Применяется при отображении результатов поиска по картинкам или при просмотре больших коллекций изображений (например, фотоальбомов).
• Триггеры активации: Активируется в ответ на действия пользователя по изменению масштаба (zoom in/out) в интерфейсе. Процесс группировки может запускаться при получении запроса или выполняться заранее для популярных запросов.

Пошаговый алгоритм

Процесс А: Группировка изображений (На основе FIG. 2, 4A, 4B)

1. Получение данных: Система получает запрос и ранжированные результаты поиска с соответствующими метаданными и векторами признаков.
2. Вычисление матрицы сходства: Для набора изображений (L), релевантных запросу, вычисляется матрица сходства (A). Сходство учитывает визуальные и семантические признаки.
3. Снижение размерности (Локальное): Применяется MDS к матрице A для генерации матрицы D (L x m), где каждая строка – это m-мерный вектор признаков для изображения, отражающий его отношение к другим изображениям в этом запросе.
4. Снижение размерности (Глобальное): Вычисляются n-мерные векторы признаков с помощью KPCA, обученного на глобальном наборе данных (изображения из множества разных запросов).
5. Комбинирование признаков: m-мерный вектор (из MDS) и n-мерный вектор (из KPCA) объединяются в единый вектор признаков. Это позволяет учитывать как локальные, так и глобальные расстояния на многообразии изображений.
6. Кластеризация и Маппинг: Применяется SOM (или иерархическая кластеризация) к комбинированным векторам признаков для отображения изображений в двумерное пространство.
7. Уточнение координат: Поскольку SOM не гарантирует уникальные координаты для каждого изображения, выполняется этап уточнения (Coordinate Refinement). Система последовательно находит пару <изображение, неназначенная ячейка сетки> с минимальным расстоянием и назначает изображение этой ячейке.
8. Выбор представителей: Для каждой позиции вычисляется приоритет репрезентативности (representativeness priority) для каждого изображения. Это используется для выбора канонических изображений на разных уровнях масштабирования.

Процесс Б: Представление и навигация (На основе FIG. 1, 5, 7)

1. Отображение сетки: Пользовательский интерфейс отображает изображения в двумерной сетке на текущем уровне масштабирования (z).
2. Получение ввода: Система получает команду на увеличение или уменьшение масштаба.
3. Масштабирование и расчет прозрачности: Изображения на текущем уровне масштабируются в соответствии с коэффициентом масштабирования (s). Рассчитывается параметр прозрачности (alpha) для плавного перехода. Например, $\alpha = log_2(s) - [log_2(s)]$.
4. Выравнивание уровней: Если происходит переход между уровнями, система выравнивает (aligning) каноническое изображение на менее детальном уровне с его соответствующей (меньшей) версией на более детальном уровне.
5. Рендеринг перехода: Интерфейс отрисовывает оба уровня. Более детальный уровень (нижний слой) отрисовывается полностью. Менее детальный уровень (верхний слой) отрисовывается поверх него с рассчитанной прозрачностью (alpha), создавая эффект плавного перехода.
6. Смена уровня: Когда коэффициент масштабирования пересекает порог (например, когда alpha достигает 0 или 1), происходит смена активного уровня масштабирования (z меняется на z+1 или z-1). Гранулярность сетки изменяется (например, с $k^z*k^z$ до $k^{z+1}*k^{z+1}$).

Какие данные и как использует

Данные на входе

Система использует различные типы данных для расчета сходства и организации интерфейса:

• Мультимедиа факторы (Визуальные признаки): Интенсивность, цвет (гистограммы в различных цветовых пространствах, например, RGB, YIQ), края (edges), текстура, признаки на основе вейвлет-преобразований (wavelet based techniques), локальные признаки (local features), сходство лиц (facial similarity).
• Контентные факторы (Текстовые признаки): Текст, ассоциированный с изображением (например, на веб-странице), аннотации, имена файлов, метки (labels).
• Метаданные: Информация о времени и месте съемки (если доступна), тип файла (bitmap, jpeg, tiff).
• Поведенческие факторы: Данные о совместных кликах (co-click information) могут использоваться как сигнал сходства.
• Системные данные: Ранжированные результаты поиска (ranked image search results). Исходный ранг может использоваться для выбора канонического изображения (например, выбор изображения с наивысшим рангом в кластере).

Какие метрики используются и как они считаются

• Similarity Value (Значение сходства): Оценка, определяющая степень похожести двух изображений. Вычисляется на основе комбинации визуальных, текстовых и поведенческих сигналов. Для локальных признаков сходство может вычисляться как общее количество совпадений, нормализованное на среднее количество признаков.
• Метрики расстояния: Для кластеризации значение сходства часто трактуется как мера расстояния. Упоминаются различные техники измерения расстояния, такие как Евклидово расстояние, расстояние Манхэттена, максимальная норма, расстояние Махаланобиса или расстояние Хэмминга.
• Scaling Factor (s) (Коэффициент масштабирования): Параметр, управляющий размером изображений в интерфейсе в ответ на действия пользователя.
• Zoom Level (z) (Уровень масштабирования): Параметр, определяющий текущий уровень детализации. Может рассчитываться как $z=log_k(s)$, где k > 1 (например, k=2).
• Transparency (alpha) (Прозрачность): Используется для плавных переходов. Может рассчитываться как $\alpha = log_2(s) - [log_2(s)]$.
• Representativeness Priority (Приоритет репрезентативности): Метрика, используемая для выбора, какое изображение лучше всего представляет группу на определенном уровне масштабирования.

Патент описывает внутренние процессы Google по организации результатов поиска изображений без прямых рекомендаций для SEO. Он дает следующее понимание работы системы:

1. Организация после ранжирования: Описанная система работает с уже ранжированными результатами. Ее цель — не определить релевантность или качество изображений, а организовать их наиболее удобным для просмотра образом.
2. Критичность визуального и семантического сходства: Google активно использует сложные методы машинного обучения (KPCA, MDS, SOM) для анализа сходства между изображениями. Это сходство основывается не только на визуальных признаках, но и на метаданных, ассоциированном тексте и поведении пользователей (co-click).
3. Кластеризация и каноникализация: Система стремится группировать похожие изображения и выбирать для них лучшего представителя (Canonical Image). Исходный ранг изображения может использоваться как критерий для выбора этого представителя внутри кластера.
4. Комбинация глобального и локального контекста: При расчете сходства система учитывает как отношение изображения к другим изображениям по тому же запросу (локальный контекст через MDS), так и его положение в общем пространстве всех известных изображений (глобальный контекст через KPCA).
5. Фокус на UI/UX: Основное изобретение заключается в создании сложного, масштабируемого интерфейса, который позволяет плавно переходить от общего обзора к детальному просмотру, адаптируя гранулярность выдачи на лету.

Патент является инфраструктурным и описывает реализацию пользовательского интерфейса. Он не дает практических выводов для влияния на ранжирование в SEO.

Best practices (это мы делаем)

Хотя патент не дает прямых рекомендаций по SEO, он подтверждает важность следующих общих практик для поиска по картинкам:

• Обеспечение высокого качества и разнообразия изображений: Поскольку система группирует изображения по сходству и выбирает канонические, важно предоставлять высококачественные изображения, которые могут стать представителями кластера. Если исходный ранг используется для выбора канонического изображения, стандартные методы оптимизации изображений (релевантный alt-текст, контекст на странице) остаются важными для достижения высокого ранга.
• Использование релевантных метаданных и контекста: Сходство вычисляется не только по визуальным признакам, но и по метаданным и окружающему тексту. Наличие точного и релевантного контекста помогает системе правильно интерпретировать и классифицировать изображение, что влияет на его попадание в соответствующие кластеры.

Worst practices (это делать не надо)

• Массовая публикация почти идентичных изображений: Поскольку система активно кластеризует похожий контент и сводит его к одному каноническому изображению на общих уровнях просмотра, публикация множества дубликатов или незначительно отличающихся изображений не увеличит видимость. Они, скорее всего, будут сгруппированы вместе.

Стратегическое значение

Стратегическое значение патента для SEO заключается в понимании того, насколько глубоко Google анализирует визуальный контент и его взаимосвязи. Это подтверждает долгосрочный тренд на переход от анализа ключевых слов к анализу сущностей и их визуальных представлений. Система демонстрирует способность Google организовывать визуальную информацию в сложные иерархические структуры на основе сходства, что является базой для таких продуктов, как Google Images и Google Lens. Понимание механизмов кластеризации помогает интерпретировать, почему определенные изображения показываются вместе или почему одно изображение выбирается в качестве основного.

Практические примеры

Практических примеров для SEO, направленных на улучшение ранжирования на основе этого патента, нет, так как он описывает UI.