Как Google комбинирует текстовый запрос и изображение-образец для уточнения поиска по картинкам

Термины и определения

Content Descriptor (Дескриптор контента)

Компактное представление визуальных признаков изображения. Создается путем сжатия Feature Vector с помощью Kernel PCA и Delta Encoding. Используется для вычисления визуального сходства между изображениями.

Delta Encoding (Дельта-кодирование)

Метод сжатия вектора, используемый для создания Content Descriptor. Включает кодирование значений элементов вектора относительно локальных (блочных) и глобальных максимумов.

Feature Vector (Вектор признаков)

Вектор большой размерности, содержащий числовые значения признаков, извлеченных из изображения (цвета, текстуры, формы и т.д.). Является исходными данными для генерации Content Descriptor и Visual Keys.

Intersection Kernel (Ядро пересечения)

Функция для измерения сходства между двумя векторами признаков. Патент описывает метод эффективной аппроксимации этой функции с использованием хеширования.

Kernel PCA (Ядерный метод главных компонент)

Техника снижения размерности Feature Vector. Используется для преобразования вектора большой размерности в более компактное представление перед сжатием в Content Descriptor.

Query Image (Изображение-образец)

Изображение, предоставленное пользователем как часть гибридного запроса для поиска визуально похожих результатов.

Spill Tree ("Проливающееся" дерево)

Структура данных, используемая для генерации Visual Keys. Позволяет изображению принадлежать нескольким узлам (ветвям), если его признаки находятся близко к границе принятия решения между ветвями.

Spill (Разлив, перетек)

Метрика, накапливаемая при обходе Spill Tree. Отражает степень неопределенности при выборе ветви. Используется для ранжирования Visual Keys (меньше spill – выше ранг).

Text Score (Текстовая оценка)

Оценка релевантности изображения текстовой части гибридного запроса.

Visual Keys (Визуальные ключи)

Идентификаторы, присваиваемые изображениям, чьи векторы признаков попадают в один и тот же листовой узел Spill Tree. Используются для быстрого поиска потенциально похожих изображений.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки гибридного запроса.

1. Получение первых результатов поиска, отвечающих текстовому запросу (text query), с соответствующими первыми оценками (first scores / Text Score).
2. Получение вторых результатов поиска, отвечающих изображению-образцу (query image), с соответствующими вторыми оценками (second scores / Similarity Score). Эта оценка основана на дистанции между Content Descriptor образца и результата.
3. Отбор результатов, которые присутствуют как в первом, так и во втором наборе, И чьи первые оценки (Text Score) удовлетворяют первому порогу.
4. Выбор финального набора результатов, включая комбинирование первых и вторых оценок отобранных результатов.
5. Упорядочивание финальных результатов по оценке, производной от дистанции между Content Descriptor образца и Content Descriptor каждого результата (т.е. по визуальному сходству).

Claim 2, 3, 4, 5 (Зависимые): Детализируют процесс создания Content Descriptor (Claim 2). Он включает хеширование Feature Vector (Claim 3), использование Principal Component Analysis (PCA) для снижения размерности (Claim 4) и сжатие с помощью Delta Encoding (Claim 5).

Claim 6 и 9 (Зависимые): Описывают корректировку оценок. Text Score может быть увеличен для топовых текстовых результатов (Claim 6) или уменьшен, если он ниже динамического порога (Claim 9).

Claim 8 (Зависимый): Описывает возможность переупорядочивания финальных результатов не только по дистанции до образца, но и по дистанции до уже отобранного топового результата в финальном наборе.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, с фокусом на индексирование визуального контента и ранжирование гибридных запросов.

INDEXING – Индексирование и извлечение признаков
Ключевой этап для этого патента. Здесь происходят основные офлайн-вычисления:

• Извлечение Feature Vectors из изображений.
• Генерация компактных Content Descriptors (включая Kernel PCA и Delta Encoding).
• Генерация Visual Keys с использованием Spill Tree.
• Индексирование изображений по тексту, Content Descriptors и Visual Keys.

RANKING – Ранжирование
При получении гибридного запроса система выполняет два параллельных процесса ранжирования:

1. Ранжирование по текстовому запросу (генерация Text Scores).
2. Ранжирование по изображению-образцу. Это может включать быстрый отбор кандидатов (L1 Retrieval) по Visual Keys и последующее вычисление точного сходства по Content Descriptors (генерация Similarity Scores).

RERANKING – Переранжирование / METASEARCH – Смешивание
Основной этап применения логики патента (Claim 1):

• Пересечение двух наборов результатов.
• Фильтрация по порогу Text Score.
• Комбинирование и корректировка оценок (Boosting/Demotion).
• Финальное переранжирование объединенного набора строго по визуальному сходству с образцом.
• Удаление визуальных дубликатов (используя Visual Keys и Content Descriptors).

Входные данные:

• Текстовый запрос (Query Text).
• Изображение-образец (Query Image).
• Индекс изображений, содержащий текст, Content Descriptors и Visual Keys.

Выходные данные:

• Отсортированный список изображений, релевантных тексту и визуально похожих на образец.

На что влияет

• Конкретные типы контента: В первую очередь влияет на изображения (фотографии, иллюстрации, товары).
• Специфические запросы: Наибольшее влияние на неоднозначные информационные или коммерческие запросы, где визуальный контекст критичен для уточнения интента (например, поиск определенной модели одежды, детали механизма, вида животного).
• Конкретные ниши или тематики: E-commerce (поиск товаров), стоки фотографий, каталоги (недвижимость, авто), где пользователи часто ищут что-то "похожее на это".

Когда применяется

• Триггеры активации: Алгоритм активируется, когда пользователь предоставляет гибридный запрос, состоящий как из текста, так и из изображения-образца (например, в Google Lens).
• Условия применения: Применяется для генерации финальной выдачи путем пересечения результатов текстового и визуального поиска. Обязательным условием для попадания в финал является наличие у изображения как ненулевого Similarity Score, так и Text Score, превышающего установленный порог.

Пошаговый алгоритм

Процесс А: Генерация Content Descriptor (Индексирование)

1. Извлечение признаков: Из изображения извлекаются признаки и формируется Feature Vector большой размерности.
2. Генерация хешей: К Feature Vector применяются множественные хеш-функции (например, weighted minhash) для создания вектора хешей.
3. Kernel PCA: Выполняется снижение размерности. Для этого аппроксимируется Intersection Kernel между вектором изображения и тренировочными примерами, используя вектор хешей и формулу: $IntK(u,v) = \frac{A \times (|u|_1 + |v|_1)}{1+A}$ (где A – вероятность коллизии хешей). Результат умножается на матрицу проекции.
4. Нормализация: Результат PCA может быть умножен на матрицу вращения для нормализации дисперсии элементов.
5. Сжатие (Delta Encoding): Вектор сжимается. Определяется максимум вектора, вектор делится на блоки, определяются максимумы блоков. Значения кодируются относительно этих максимумов.
6. Вывод: Сохраняется компактный Content Descriptor.

Процесс Б: Генерация Visual Keys (Индексирование)

1. Получение признаков: Используется Feature Vector или Content Descriptor изображения.
2. Обход Spill Tree: Представление изображения используется для обхода заранее натренированного Spill Tree.
3. Накопление Spill: На каждом узле вычисляется дистанция до центров ветвей. Если дистанция до нескольких ветвей близка (разница в пределах порога), обход продолжается по всем этим ветвям, а разница в дистанции добавляется к Spill.
4. Идентификация ключей: Листовые узлы, достигнутые при обходе, определяют Visual Keys изображения.
5. Ранжирование ключей: Ключи ранжируются по накопленному Spill (наименьший spill – наивысший ранг).

Процесс В: Обработка гибридного запроса (Ранжирование)

1. Получение запроса: Система получает Query Text и Query Image.
2. Поиск по тексту: Генерируется первый набор результатов с Text Scores.
3. Поиск по изображению: Генерируется второй набор результатов с Similarity Scores (используя Visual Keys и/или Content Descriptors образца).
4. Пересечение и фильтрация: Отбираются результаты, присутствующие в обоих наборах и имеющие Text Score выше порога.
5. Корректировка оценок: Оценки могут быть скорректированы (например, повышение топовых текстовых результатов; понижение результатов с низким Text Score, если только визуальное сходство не очень велико – closeness factor).
6. Финальное ранжирование: Отобранные результаты упорядочиваются по дистанции между их Content Descriptors и дескриптором образца.
7. Пост-обработка: Удаление визуальных дубликатов.

Какие данные и как использует

Данные на входе

• Контентные факторы (Визуальные): Основные данные – это пиксели изображения. Из них извлекаются признаки (гистограммы цветов, градиенты, текстуры, ключевые точки), которые формируют Feature Vector.
• Контентные факторы (Текстовые): Текст, ассоциированный с изображением (окружающий текст, alt-атрибуты, распознанный текст на изображении, метки классификаторов), используется для расчета Text Score.
• Пользовательские данные: Текстовый запрос и изображение-образец, предоставленные пользователем.

Какие метрики используются и как они считаются

• Text Score: Стандартная метрика релевантности текстовому запросу (в патенте не детализируется, упоминается как IR score).
• Similarity Score / Distance: Метрика визуального сходства. Вычисляется как дистанция (например, L1 или L2) между Content Descriptors двух изображений.
• Probability of Hash Collision (A): Аппроксимация вероятности того, что две разные картинки дадут одинаковый хеш. Используется для быстрого расчета Intersection Kernel. Считается как количество совпавших хешей в векторах хешей, деленное на общую длину вектора.
• Intersection Kernel (IntK): Метрика сходства векторов признаков. Аппроксимируется по формуле: $IntK(u,v) = \frac{A \times (|u|_1 + |v|_1)}{1+A}$.
• Spill: Накопленная разница в дистанциях при принятии решений в узлах Spill Tree. Используется для ранжирования Visual Keys.
• Пороги: Порог для Text Score при фильтрации пересечения результатов. Порог дистанции для определения визуальных дубликатов.

1. Гибридный поиск – это строгое пересечение с приоритетом визуала: Система требует, чтобы результат был одновременно релевантен тексту (выше порога) и похож на изображение. Однако финальное ранжирование отобранных результатов происходит строго по визуальному сходству с образцом.
2. Google глубоко анализирует пиксели: Патент детально описывает сложный процесс преобразования пикселей в компактные математические представления (Content Descriptors), которые фиксируют суть визуального контента. SEO-оптимизация изображений не ограничивается метаданными.
3. Эффективность и масштабируемость: Используются передовые техники (Kernel PCA, аппроксимация Intersection Kernel через хеширование, Delta Encoding) для сжатия данных и ускорения вычислений, что позволяет применять визуальный анализ ко всему индексу.
4. Visual Keys для быстрого поиска сходства: Использование Spill Tree для генерации Visual Keys позволяет мгновенно находить кандидатов на сходство, минуя попарное сравнение дескрипторов. Это также используется для быстрой фильтрации не-дубликатов.
5. Корректировка оценок: Система может применять бустинг или демоушен на основе Text Score, но патент также предусматривает, что очень высокое визуальное сходство (closeness factor) может компенсировать понижение за низкий Text Score.

Best practices (это мы делаем)

• Оптимизация изображений для визуальной четкости: Поскольку финальное ранжирование основано на визуальном сходстве, изображения должны быть качественными, четкими и хорошо представлять объект. Это критично для товаров в e-commerce, чтобы они соответствовали потенциальным изображениям-образцам пользователей (например, при поиске через Google Lens).
• Использование релевантного текстового окружения: Изображение должно иметь достаточный Text Score, чтобы пройти пороговый фильтр. Необходимо следить за тем, чтобы alt-тексты, заголовки и окружающий контент точно описывали изображение и соответствовали целевым текстовым запросам.
• Создание уникального визуального контента: Поскольку система использует Content Descriptors и Visual Keys для идентификации и удаления дубликатов, использование уникальных изображений (например, собственные фото товаров вместо стоковых) повышает шансы на ранжирование и снижает риск фильтрации.
• Разнообразие ракурсов для товаров: Предоставление нескольких изображений товара с разных сторон увеличивает вероятность того, что один из Feature Vectors сайта совпадет с Feature Vector изображения-образца, загруженного пользователем.

Worst practices (это делать не надо)

• Использование низкокачественных или вводящих в заблуждение изображений: Изображения, которые плохо отражают суть контента или товара, не будут хорошо ранжироваться, так как система не найдет значимого визуального сходства с релевантными образцами.
• Манипуляции с текстом (Keyword Stuffing) вокруг изображений: Переоптимизация текста может помочь изображению ранжироваться по текстовому запросу, но если оно визуально не соответствует интенту, оно не будет эффективным в гибридном поиске, где требуется и визуальное сходство.
• Массовое использование стоковых изображений: Если множество сайтов используют одно и то же изображение, система может отфильтровать его как дубликат или выбрать только один канонический источник при обработке результатов (дедупликация).

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google в развитии визуального поиска и его интеграции с традиционным поиском. Для SEO-специалистов это означает необходимость рассматривать изображения как полноценный контент, требующий оптимизации не только на уровне атрибутов, но и на уровне визуального содержания. Понимание того, как Google интерпретирует визуальные данные через Content Descriptors и Visual Keys, критично для адаптации к таким технологиям, как Google Lens и поиск по картинкам, особенно в e-commerce.

Практические примеры

Сценарий: Оптимизация карточки товара в магазине одежды

Пользователь ищет "синее вечернее платье" (Query Text) и загружает фотографию платья определенного фасона с Pinterest (Query Image).

1. Действие SEO-специалиста: Разместить на сайте высококачественные фотографии синего платья этого фасона с разных ракурсов. Убедиться, что в тексте карточки, alt-атрибутах и заголовках присутствуют фразы "синее вечернее платье".
2. Работа системы: Google индексирует фото, генерирует Content Descriptors и Visual Keys. Текстовое окружение дает высокий Text Score по запросу "синее вечернее платье".
3. Обработка запроса: Сайт попадает в первый набор (по тексту). Система сравнивает Content Descriptor фото с Pinterest с дескрипторами сайта и находит высокое сходство (сайт попадает во второй набор).
4. Результат: Сайт проходит фильтрацию (пересечение). Поскольку визуальное сходство высокое, изображение товара занимает лидирующие позиции в финальной выдаче гибридного поиска.