Как Google разделяет визуальные паттерны (Shape) и их интенсивность (Gain) для точного и быстрого поиска похожих изображений

Термины и определения

Binary Hash Codes (Бинарные хэш-коды)

Компактные бинарные представления высокоразмерных векторов признаков. Используются для быстрого поиска и индексации больших коллекций данных.

Gain / Magnitude (Усиление / Магнитуда)

Компонент вектора, представляющий его длину (норму). В контексте изображений часто коррелирует с интенсивностью или контрастностью признака.
Обработка Неопределенности: В патенте есть вариативность в определении термина. В основном описании Magnitude трактуется как норма/интенсивность вектора. Однако в Claim 1 она определяется как "позиция визуального аспекта внутри изображения". В Claims 17/18 упоминаются атрибуты пикселя (цвет, интенсивность и т.д.). Метод адаптируется к разным интерпретациям.

Iterative Quantization (ITQ) (Итеративная квантизация)

Метод обучения бинарных кодов, который минимизирует ошибку квантования путем итеративного вращения (rotation) данных перед бинаризацией. Используется для кодирования Shape.

k-means clustering (Кластеризация k-средних)

Алгоритм кластеризации, используемый для скалярного квантования магнитуд. Он находит оптимальные центры (landmarks) для минимизации искажений (Magnitude Error).

Principal Component Analysis (PCA) (Анализ главных компонент)

Метод снижения размерности данных. Используется для уменьшения "ошибки проекции" перед квантованием.

Quantization Error (Ошибка квантования)

Искажение, возникающее при преобразовании непрерывных векторов в дискретные бинарные коды. Патент разделяет ее на три типа:

• Projection Error (Ошибка проекции): Искажение из-за снижения размерности.
• Angle Error (Угловая ошибка): Искажение направления вектора при бинаризации.
• Magnitude Error (Ошибка магнитуды): Искажение длины (интенсивности) вектора при бинаризации.

Shape / Direction / Angle (Форма / Направление / Угол)

Компонент вектора, представляющий его направление в пространстве признаков. Определяет основной визуальный паттерн.

Shape-Gain Sketch (Скетч "Форма-Усиление")

Итоговая компактная бинарная сигнатура, состоящая из отдельно закодированных компонентов формы и усиления.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод поиска похожих изображений с использованием раздельного кодирования.

1. Система идентифицирует векторы для частей изображения. Каждый вектор имеет направление (визуальный аспект) и магнитуду (определяемую здесь как позиция этого аспекта).
2. Направление и магнитуда каждого вектора кодируются раздельно.
3. Система получает вектор запроса (query vector).
4. Закодированные направления и магнитуды комбинируются.
5. Вычисляются расстояния между вектором запроса и векторами изображения на основе этой комбинации.
6. Определяется схожесть векторов на основе вычисленных расстояний.

Claim 6 (Зависимый от 1): Детализирует процесс кодирования направления (Shape), соответствующий применению PCA и ITQ.

1. Определение ковариационной матрицы и собственных векторов (eigenvectors) (Шаги PCA).
2. Проецирование вектора на пространство, охватываемое собственными векторами.
3. Вращение (Rotating) спроецированного вектора.
4. Применение порога (Thresholding) к вращенному вектору для получения бинарного кода.

Claim 8 (Зависимый от 6): Уточняет цель вращения (Шаг ITQ).

Вращение выполняется для минимизации средней разницы угла (Angle Error) между исходным вектором и его закодированным направлением.

Claim 9 (Зависимый от 1): Детализирует процесс кодирования магнитуды (Gain) с использованием скалярного квантования.

Применяется кластеризация k-means clustering к магнитудам. Центры кластеров выбираются так, чтобы минимизировать сумму расстояний (Magnitude Error) между магнитудами и ближайшим центром.

Claims 12 и 13 (Зависимые): Описывают оптимизацию вычислений.

Для ускорения поиска генерируются предварительно вычисленные таблицы поиска (look-up tables) для магнитуд и углов. Расстояние определяется с использованием этих таблиц.

Где и как применяется

Этот патент описывает инфраструктурные процессы, связанные с индексацией и поиском мультимедийного контента (в первую очередь, изображений).

INDEXING – Индексирование и извлечение признаков
Основной этап применения.

• Feature Extraction: Из изображений извлекаются высокоразмерные векторы признаков (в патенте упоминаются GIST, BoW).
• Quantization: Применяется механизм Shape-Gain для преобразования этих векторов в компактные бинарные коды (Shape-Gain Sketches). Это включает обучение и применение PCA, ITQ и k-means. Коды сохраняются в индексе для быстрого поиска.

RANKING – Ранжирование (Этап L1 Retrieval / Отбор кандидатов)
Механизм используется на самом первом этапе поиска в системах, требующих быстрого сравнения визуального сходства (Image Search, Google Lens).

• Система получает вектор запроса и мгновенно вычисляет расстояния (используя Hamming Distance и таблицы поиска) до миллиардов кодов в базе данных.
• Это позволяет быстро отобрать набор визуально похожих кандидатов (Nearest Neighbors) для последующего, более сложного ранжирования.

Входные данные:

• Высокоразмерные векторы признаков изображений (Database Vectors).
• Вектор признаков изображения-запроса (Query Vector).

Выходные данные:

• На этапе индексации: Компактные бинарные коды (Shape-Gain Sketches).
• На этапе поиска: Набор идентификаторов изображений, чьи коды наиболее близки к коду запроса.

На что влияет

• Конкретные типы контента: В первую очередь влияет на изображения. В патенте также упоминается возможность применения к видео, аудио, тексту и другим формам контента, которые можно представить в виде векторов.
• Функционал поиска: Влияет на точность и скорость работы Google Images, обратного поиска изображений (Reverse Image Search), систем обнаружения визуальных дубликатов и визуального поиска товаров (Google Lens).

Когда применяется

• На этапе индексации: При обработке изображений для генерации их компактных бинарных сигнатур.
• На этапе поиска: В реальном времени при выполнении любого запроса, требующего оценки визуального сходства.

Пошаговый алгоритм

Процесс А: Индексирование и Обучение (Офлайн)

1. Подготовка данных: Сбор векторов признаков изображений. Центрирование данных (zero-centering).
2. Снижение размерности (PCA): Применение PCA для уменьшения размерности и минимизации Projection Error.
3. Декомпозиция Shape-Gain: Разделение каждого вектора на направление (Shape, нормализация до единичной длины) и магнитуду (Gain, сохранение нормы вектора).
4. Оптимизация Shape (ITQ): Обучение оптимального вращения данных (используя модифицированный ITQ) для минимизации Angle Error при последующей бинаризации.
5. Оптимизация Gain (k-means): Применение k-means clustering к значениям магнитуд для определения оптимальных центров скалярного квантования (минимизация Magnitude Error).
6. Генерация Кодов: Кодирование направления (применение обученного вращения и порога) и магнитуды (присвоение индекса ближайшего центра k-means) для всех векторов базы данных. Сохранение Shape-Gain Sketches.
7. Подготовка таблиц поиска: Предварительное вычисление look-up tables для быстрого расчета расстояний.

Процесс Б: Поиск (Онлайн)

1. Получение и Кодирование запроса: Получение Query Vector и его преобразование в Shape-Gain Sketch с использованием предобученных параметров. (Возможен также асимметричный поиск, где запрос не квантуется).
2. Вычисление расстояний: Быстрое вычисление расстояний между скетчем запроса и скетчами в базе данных. Используется формула, комбинирующая магнитуды и расстояние Хэмминга между кодами направлений.
3. Идентификация: Определение набора ближайших соседей (Nearest Neighbors) – векторов с наименьшим расстоянием.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке векторов признаков, а не на традиционных SEO-факторах.

• Мультимедиа факторы: Основные данные – это высокоразмерные векторы, описывающие визуальное содержание изображений. В патенте в качестве примеров упоминаются дескрипторы GIST и Bag of Words (BoW). Эти векторы инкапсулируют информацию о текстуре, цвете, форме и контрастности изображения.

Какие метрики используются и как они считаются

• Mean-Squared Error (MSE) (Среднеквадратическая ошибка): Используется как мера искажения при квантовании магнитуды (Gain). Цель k-means – минимизировать MSE.
• Угловая ошибка (Angle Error): Измеряется через косинус угла ($cos(\theta)$) между исходным вектором и его квантованной версией. Цель ITQ – максимизировать этот косинус (минимизировать угол).
• Евклидово расстояние (Euclidean Distance): Конечная цель системы – аппроксимировать реальное Евклидово расстояние между векторами с помощью компактных кодов. Формула для вычисления расстояния между вектором запроса q и вектором базы данных d, где $q=m_q b_q$ и $d=m_d b_d$ (m=магнитуда/Gain, b=бинарный код формы/Shape):

$||q-d||_2^2 = m_q^2 + m_d^2 - 2m_q m_d (b_q^T b_d)$

• Расстояние Хэмминга (Hamming Distance): Используется для быстрого вычисления произведения бинарных кодов формы ($b_q^T b_d$), что значительно ускоряет поиск.

1. Инфраструктурный фокус: Патент описывает внутренние инженерные процессы Google по индексации и быстрому поиску визуального контента (Information Retrieval). Он не дает прямых рекомендаций по SEO-оптимизации веб-страниц.
2. Механика визуального сходства: Google определяет визуальное сходство, анализируя не только основные паттерны (Форма/Shape), но и их интенсивность (Усиление/Gain). Игнорирование магнитуды (Magnitude Error) было идентифицировано как ключевое ограничение предыдущих методов.
3. Раздельное кодирование для точности: Разделение вектора на Shape и Gain и их независимая оптимизация (ITQ для Shape, k-means для Gain) позволяет сохранить больше информации в компактном бинарном коде и повысить точность поиска.
4. Эффективность поиска: Система разработана для максимальной скорости в масштабе. Использование бинарных кодов, расстояния Хэмминга и предварительно вычисленных look-up tables позволяет проводить сравнение с миллиардами изображений в реальном времени.
5. Вариативность реализации: Патент допускает разные интерпретации того, что представляет собой Magnitude (интенсивность признака, его позиция на изображении или атрибут пикселя), что указывает на гибкость применения метода к разным типам признаков.

Патент является инфраструктурным. Практические выводы касаются исключительно Image SEO и основаны на понимании того, как система интерпретирует и сравнивает визуальное содержание.

Best practices (это мы делаем)

• Обеспечение визуальной четкости и качества: Поскольку система кодирует как форму (паттерн), так и усиление (интенсивность/контрастность), высококачественные, четкие и контрастные изображения будут представлены более точно. Это улучшает шансы на корректное определение визуального сходства в системах типа Google Lens.
• Создание уникального визуального контента: Патент демонстрирует высокоэффективный механизм для нахождения визуально похожих изображений (near-duplicates). Для успешного ранжирования в Google Images важно предоставлять уникальную визуальную ценность, а не использовать стандартные стоковые изображения.
• Использование Reverse Image Search для аналитики: Понимание этой технологии подтверждает эффективность обратного поиска изображений для анализа распространения вашего уникального контента (например, инфографики) и поиска возможностей для линкбилдинга (Link Building by Attribution).

Worst practices (это делать не надо)

• Использование изображений низкого качества: Размытые, низкоконтрастные изображения или изображения с сильными артефактами сжатия могут привести к неточным векторным представлениям. Компонент Gain (интенсивность) может быть закодирован некорректно, что затруднит сопоставление.
• Манипуляции для обхода дублирования: Попытки сделать изображение "уникальным" путем незначительных изменений (легкое изменение цвета, зеркальное отражение, небольшое кадрирование). Технологии векторного поиска, подобные описанной, устойчивы к таким манипуляциям и предназначены для обнаружения такого рода сходств.

Стратегическое значение

Патент подтверждает стратегический приоритет Google на понимание контента на уровне пикселей, а не только через метаданные (alt-text) и окружающий текст. Это фундаментальная технология, обеспечивающая инфраструктуру для масштабирования визуального поиска (Visual Search). Для SEO-специалистов это подчеркивает растущую важность оптимизации под такие интерфейсы, как Google Lens и блоки визуального поиска товаров.

Практические примеры

Сценарий: Оптимизация изображений товаров для E-commerce под Визуальный Поиск

1. Задача: Улучшить видимость товаров в Google Images и Google Lens.
2. Действия на основе патента: Обеспечить высокое качество фотографий товаров. Фотографии должны быть четкими, с хорошим освещением и контрастом, демонстрирующими ключевые детали продукта.
3. Обоснование: Четкость изображения гарантирует, что визуальные паттерны (Shape) будут закодированы точно. Хороший контраст и детализация гарантируют, что интенсивность признаков (Gain) будет также корректно зафиксирована в векторном представлении.
4. Ожидаемый результат: Система сможет более точно сопоставлять эти изображения с запросами пользователей, использующих визуальный поиск (например, загружая фото искомого товара), увеличивая вероятность показа товара в релевантных выдачах.