Как Google ускоряет поиск похожих изображений, имитируя кластеризацию результатов

Описание

Какую задачу решает

Патент решает две ключевые проблемы в системах поиска по изображению (Query by Image):

• Качество ранжирования: Стандартное ранжирование, основанное только на визуальном сходстве с изображением-запросом, может не группировать очень похожие изображения (например, разные ракурсы одного объекта) вместе, что ухудшает восприятие поисковой выдачи.
• Производительность: Процесс кластеризации (Clustering) результатов для их оптимальной группировки является вычислительно дорогим и слишком ресурсоемким для выполнения в реальном времени при каждом запросе.

Что запатентовано

Запатентован метод оптимизации и ускорения ранжирования изображений. Система заранее определяет, какой именно визуальный атрибут (dimension или attribute) изображения при его взвешивании дает результат ранжирования, наиболее близкий к «идеальному», кластеризованному результату (Reference Ranking Set). Эта связь сохраняется и используется для мгновенного ранжирования будущих похожих запросов без затрат на кластеризацию.

Как это работает

Система работает в двух режимах: обучение (офлайн или периодически) и применение (онлайн).

Обучение:

1. Система получает изображение-запрос и генерирует стандартный набор похожих результатов.
2. Выполняется ресурсоемкая кластеризация этих результатов и их переранжирование для создания эталонного набора (Reference Ranking Set).
3. Система тестирует различные функции ранжирования, каждая из которых придает больший вес одному конкретному атрибуту (dimension) изображения.
4. Результаты этих тестов сравниваются с эталонным набором (используя метрики вроде Kendall’s tau distance).
5. Определяется атрибут, который лучше всего имитирует эталонное ранжирование, и эта связь сохраняется.

Применение:

1. Когда пользователь загружает аналогичное изображение-запрос, система использует заранее определенный оптимальный атрибут.
2. Результаты ранжируются с помощью взвешенной функции расстояния (Weighted Distance Function), фокусирующейся на этом атрибуте, что позволяет быстро получить результат, похожий на кластеризованный.

Актуальность для SEO

Средняя. Хотя технологии визуального поиска значительно эволюционировали с момента публикации патента (например, с появлением Google Lens и нейросетевых моделей для генерации векторных представлений), базовые принципы оптимизации производительности и эффективной группировки визуально похожих результатов остаются актуальными для инфраструктуры любой крупной поисковой системы.

Важность для SEO

Низкое влияние (4/10). Патент имеет преимущественно инфраструктурное значение и описывает внутренние механизмы оптимизации производительности и качества ранжирования в поиске по картинке (Visual Search). Он не вводит новые факторы ранжирования, на которые SEO-специалисты могут напрямую влиять. Патент помогает понять механизм, с помощью которого Google группирует визуально похожие изображения, но не предоставляет инструментов для контроля этой группировки.

Детальный разбор

Термины и определения

Clustering (Кластеризация)

Процесс группировки набора изображений на основе их визуального сходства друг с другом (а не только сходства с изображением-запросом). Используется для создания эталонного ранжирования.

Dimension / Attribute (Измерение / Атрибут)

Конкретный визуальный признак или числовое значение в векторном представлении изображения. Изображение может быть представлено как набор множества таких измерений (патент приводит пример 59 измерений).

Image-dimension repository (Репозиторий измерений изображений)

Хранилище данных, которое содержит информацию о том, какой атрибут (dimension) следует использовать для оптимального ранжирования конкретного изображения-запроса.

Kendall’s tau distance (τ-Расстояние Кендалла)

Статистическая метрика, используемая для измерения порядковой связи между двумя ранжированными списками. Используется для определения того, насколько тестовое ранжирование совпадает с эталонным.

Query Image (Изображение-запрос)

Изображение, предоставленное пользователем или системой в качестве поискового запроса для поиска похожих изображений.

Reference Ranking Set (Эталонный набор ранжирования)

«Идеальное» или целевое ранжирование результатов поиска, полученное путем выполнения ресурсоемкой кластеризации и последующего переранжирования. Цель системы — имитировать этот набор с меньшими затратами.

Weighted Distance Function (Взвешенная функция расстояния)

Формула для расчета степени сходства между двумя изображениями, в которой определенному атрибуту (dimension) придается больший вес, чем остальным.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод оптимизации генерации ранжирования.

1. Генерация ранжирования первого набора изображений, сгруппированных в кластеры (создание эталонного ранжирования). Ранжирование основано на атрибутах изображений внутри кластеров.
2. Сравнение этого (эталонного) ранжирования с набором (других) ранжирований изображений.
3. Выбор конкретного набора ранжирования из этого набора (того, который наиболее близок к эталонному).
4. Предоставление второго набора изображений, ранжированных на основе атрибута, связанного с выбранным конкретным набором ранжирования.

Ядро изобретения — использование результатов сложного (кластерного) ранжирования в качестве эталона для выбора конкретного атрибута (dimension), который затем используется для быстрого ранжирования других изображений (второго набора), тем самым избегая повторной кластеризации.

Claim 3 (Зависимый): Уточняет, как генерируется набор (других) ранжирований.

Набор ранжирований генерируется путем применения различных атрибутов (different attributes) к каждому набору.

Это подтверждает механизм тестирования: система перебирает различные атрибуты (dimensions) и смотрит, какой из них дает результат, наиболее близкий к эталону.

Claim 4 (Зависимый): Детализирует процесс выбора лучшего набора.

Выбор включает сравнение порядка изображений в первом (эталонном) наборе с порядком изображений в каждом из (других) наборов ранжирования и выбор того набора, порядок которого совпадает лучше всего. Это соответствует использованию метрик типа Kendall’s tau distance.

Claim 6 (Зависимый): Описывает применение выбранного атрибута к будущим запросам.

1. Получение другого изображения-запроса.
2. Определение того, что это изображение похоже на исходное изображение-запрос.
3. Ранжирование изображений, связанных с новым запросом, на основе атрибута, связанного с ранее выбранным набором ранжирования.

Это описывает этап применения: система использует ранее полученные знания для быстрого ранжирования новых, но похожих запросов.

Где и как применяется

Изобретение применяется исключительно в подсистеме поиска изображений (Image Search), в частности, в функции поиска по картинке (Query by Image или Visual Similarity Search).

INDEXING – Индексирование и извлечение признаков
На этом этапе система извлекает визуальные признаки (dimensions / attributes) из изображений и сохраняет их векторные представления в основном индексе изображений.

RANKING – Ранжирование (в контексте Image Search)
Этот патент описывает два параллельных процесса ранжирования:

1. Онлайн-процесс (Быстрый ответ пользователю):

• При получении Query Image система проверяет Image-dimension repository.
• Если для этого или похожего изображения уже известен оптимальный атрибут, система извлекает похожие изображения и ранжирует их, используя Weighted Distance Function, сфокусированную на этом атрибуте. Это позволяет избежать дорогостоящей кластеризации.

2. Офлайн/Периодический процесс (Обучение и Оптимизация):

• Система периодически выполняет полный цикл для обучения и обновления репозитория.
• Этот процесс включает этап Clustering для создания Reference Ranking Set.
• Затем запускается процесс выбора измерений (Dimension selection), который тестирует различные атрибуты, сравнивает их с эталоном и сохраняет лучший результат в репозиторий.

Входные данные:

• Изображение-запрос (Query Image).
• Набор похожих изображений из индекса.
• Векторные представления (наборы dimensions) этих изображений.

Выходные данные:

• (Онлайн): Ранжированный список похожих изображений для пользователя.
• (Офлайн): Обновленные данные в Image-dimension repository, связывающие изображения с оптимальными для ранжирования атрибутами.

На что влияет

• Типы контента: Влияет исключительно на изображения (фотографии, графика, иллюстрации).
• Специфические запросы: Влияет только на запросы типа «Поиск по картинке» (Query by Image), где целью является найти визуально похожие изображения. Не влияет на поиск изображений по текстовым запросам.
• Форматы контента: Влияет на представление результатов в выдаче Google Images. Механизм способствует тому, что визуально очень похожие варианты изображения или его дубликаты будут сгруппированы вместе в результатах поиска.

Когда применяется

• Условия работы алгоритма (Онлайн): Активируется при получении запроса по картинке, при условии, что для данного или похожего изображения в Image-dimension repository уже сохранен оптимальный атрибут для взвешивания.
• Условия работы алгоритма (Офлайн): Процесс обучения (кластеризация и выбор атрибута) запускается периодически для анализа новых изображений, популярных запросов или для обновления существующих данных.

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов.

Процесс А: Обучение и выбор оптимального атрибута (Офлайн/Периодически)

1. Получение данных: Выбор изображения-запроса (Query Image).
2. Первичный поиск: Идентификация набора похожих изображений и их первичное ранжирование на основе стандартной визуальной схожести.
3. Кластеризация: Выполнение ресурсоемкой группировки результатов на основе их взаимного сходства (например, с помощью pair-wise similarity comparison, spectral clustering или hierarchical clustering).
4. Создание эталона: Переранжирование результатов на основе созданных кластеров для формирования Reference Ranking Set (идеального ранжирования).
5. Генерация тестовых наборов: Создание множества альтернативных наборов ранжирования. Каждый набор генерируется с использованием Weighted Distance Function, которая придает больший вес одному конкретному атрибуту (dimension) из доступных.
6. Оценка и Сравнение: Сравнение порядка в каждом тестовом наборе с порядком в Reference Ranking Set. Для сравнения используется метрика схожести ранжирований, например, Kendall’s tau distance.
7. Выбор и Сохранение: Выбор атрибута, который обеспечил наилучшее совпадение с эталоном. Сохранение связи между изображением-запросом и этим атрибутом в Image-dimension repository.

Процесс Б: Обработка запроса пользователя (Онлайн)

1. Получение запроса: Получение нового Query Image от пользователя.
2. Проверка репозитория: Поиск в Image-dimension repository оптимального атрибута, ранее сохраненного для этого или визуально похожего изображения.
3. Ранжирование: Если атрибут найден, система извлекает похожие изображения и ранжирует их, используя Weighted Distance Function, сфокусированную на этом сохраненном атрибуте.
4. Выдача результатов: Предоставление ранжированного списка пользователю. (Если атрибут не найден, система может использовать стандартное ранжирование или инициировать Процесс А).

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на визуальных данных.

• Мультимедиа факторы: Основные данные — это пиксельные данные изображения-запроса и изображений в индексе. Критически важными являются извлеченные из них числовые представления — атрибуты или измерения (dimensions), которые составляют векторное представление изображения.

Какие метрики используются и как они считаются

• Distance Function (Функция расстояния): Базовая метрика для определения визуального сходства между двумя изображениями (например, Евклидово расстояние между их векторными представлениями).
• Weighted Distance (Взвешенное расстояние): Модифицированная функция расстояния. В патенте приводится несколько примеров формул (Equations 1-3, 5-7), где определенным атрибутам (dimensions) придается больший вес с помощью констант (например, c). Пример (Equation 1): D_t(x_q,x_j)=d(x_q,x_i)+c*(x_q,t−x_i,t)².
• Kendall’s tau distance (τ-Расстояние Кендалла): Метрика для сравнения порядка двух ранжированных списков (Equation 4: τ=(P−Q)/(P+Q)). Используется для количественной оценки того, насколько хорошо взвешенное ранжирование имитирует эталонное (Reference Ranking Set).
• Методы кластеризации: Для создания эталонного набора используются алгоритмы кластеризации, такие как попарное сравнение сходства (pair-wise similarity comparison), спектральная кластеризация (spectral clustering) и иерархическая кластеризация (hierarchical clustering).

Выводы

1. Баланс между качеством и производительностью: Основная цель патента — достижение высокого качества ранжирования (которое обеспечивает кластеризация) при низких вычислительных затратах в реальном времени.
2. Имитация сложных алгоритмов: Патент демонстрирует подход Google к оптимизации: использовать сложные и дорогие алгоритмы (Clustering) в офлайн-режиме для обучения, чтобы затем имитировать их результаты с помощью более простых и быстрых методов (Weighted Distance Function) в онлайн-режиме.
3. Индивидуальный подход к изображениям: Система признает, что для разных изображений разные визуальные атрибуты (dimensions) могут быть более важны для определения сходства. Оптимальный атрибут определяется индивидуально для каждого изображения-запроса.
4. Инфраструктурный характер: Это инфраструктурный патент, описывающий оптимизацию внутренних процессов Google Image Search. Он не содержит прямых практических рекомендаций для SEO-специалистов по манипулированию ранжированием.

Практика

Патент скорее инфраструктурный и не дает прямых практических выводов для влияния на ранжирование в SEO. Однако он дает понимание работы поиска по картинкам.

Best practices (это мы делаем)

• Обеспечение высокого качества изображений: Предоставление четких, высококачественных изображений помогает поисковой системе корректно извлекать визуальные атрибуты (dimensions) и точно определять визуальное сходство.
• Создание визуально разнообразного контента: Необходимо понимать, что система активно стремится группировать очень похожие изображения (дубликаты или близкие варианты). Если цель — максимизировать присутствие в Image Search по одной теме, следует использовать визуально различимые изображения, а не множество слегка измененных копий.

Worst practices (это делать не надо)

• Массовая генерация почти идентичных изображений (Image Spam): Создание большого количества изображений с минимальными отличиями (например, изменение размера, легкая цветокоррекция) неэффективно. Система, использующая кластеризацию или ее имитацию (как описано в патенте), идентифицирует их как группу и, скорее всего, покажет только один или несколько вариантов, снижая общую видимость такого контента.
• Попытки манипулировать визуальными признаками: Бесполезно пытаться «оптимизировать» низкоуровневые Dimensions. Это абстрактные математические представления, на которые нельзя повлиять напрямую.

Стратегическое значение

Патент подтверждает, что Google глубоко анализирует визуальный контент на уровне пикселей и векторных представлений для определения сходства и организации выдачи. Это подчеркивает стратегическую важность работы с изображениями не только как с носителями текстовой информации (alt, title), но и как с самостоятельными единицами контента. Долгосрочная стратегия должна фокусироваться на создании уникального и качественного визуального контента.

Практические примеры

Практических примеров применения для SEO-манипуляций нет, так как патент описывает внутренний механизм оптимизации Google, а не факторы, на которые можно повлиять извне.

Вопросы и ответы