Как Google использует обобщенные запросы для проверки визуального соответствия в Поиске по Картинкам

Термины и определения

Semantic Portion (Семантическая часть запроса, $P_1$)

Часть запроса, идентифицирующая объект, который должен быть изображен (например, "Subaru Legacy").

Visual Portion / Context (Визуальная часть / Контекст, $P_2$)

Часть запроса, определяющая визуальные характеристики или контекст, нейтральные по отношению к идентичности объекта (например, "вид сбоку", "ночью", ракурс камеры, orthographic projection).

Generalized Search Query Portion (Обобщенная часть запроса, $P_3$) / Category

Более широкая версия семантической части запроса. Обычно это категория, к которой принадлежит объект поиска (например, "автомобиль").

Image Classifier (Классификатор изображений)

Инструмент (модель машинного обучения), используемый для определения релевантности изображения текстовому запросу. В патенте он может обучаться на результатах обобщенного запроса.

Function $F(q,p)$

Функция, реализуемая классификатором изображений, где q — представление запроса, p — представление изображения. Значение функции является основой для Relevance Score.

Image Representation (Представление изображения)

Численное представление визуального контента изображения (вектор признаков). Упоминаются bag of visterms, гистограммы цвета/текстуры, GIST features.

Measure of Similarity (Мера сходства)

Метрика, указывающая, насколько визуально похоже изображение из исходного набора ($S_1$) на одно или несколько изображений из обобщенного набора ($S_2$).

Category Database (База данных категорий)

Хранилище, связывающее ключевые слова с категориями.

Query Refinement Log (Журнал уточнений запросов)

Записи сессий поиска, используемые для определения статистических отношений обобщения между запросами.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод улучшения поиска изображений.

1. Система получает исходный запрос (initial search query), включающий (i) термины объекта и (ii) термины контекста (визуального ограничения).
2. Определяется категория, связанная с объектом.
3. Генерируется обобщенный запрос (generalized search query), включающий (i) термины категории и (ii) термины контекста.
4. Получаются два набора результатов: исходный набор ($S_1$) и обобщенный набор ($S_2$).
5. Производится выбор одного или нескольких изображений из $S_1$, основываясь на индикации сходства (indication of similarity) между выбранными изображениями из $S_1$ и изображениями из $S_2$.

Claim 5 (Зависимый от 1): Уточняет, как генерируется индикация сходства с помощью машинного обучения (Вариант А).

1. Image Classifier обучается с использованием изображений из обобщенного набора ($S_2$).
2. Индикация сходства генерируется путем классификации изображений из $S_1$ с помощью обученного классификатора.

Claim 6 (Зависимый от 1): Уточняет, как генерируется индикация сходства с помощью прямого сравнения (Вариант Б).

1. Генерируются первые представления (Image Representations) для изображений из $S_1$.
2. Генерируется второе представление на основе обобщенного набора $S_2$ (например, усредненный вектор или центроид).
3. Идентифицируются различия (дистанция) между первыми и вторым представлениями.
4. Индикация сходства генерируется на основе этих различий.

Где и как применяется

Изобретение применяется исключительно в рамках вертикали Поиска по Картинкам (Image Search) и затрагивает несколько этапов поисковой архитектуры.

INDEXING – Индексирование и извлечение признаков
Для работы алгоритма необходимо, чтобы на этапе индексирования для изображений были вычислены и сохранены их визуальные представления (Image Representations, например, GIST features, векторы признаков).

QUNDERSTANDING – Понимание Запросов
На этом этапе система анализирует запрос $Q_1$, чтобы разделить его на семантическую ($P_1$) и визуальную ($P_2$) части. Также здесь происходит процесс генерализации $P_1$ в $P_3$, что требует доступа к Category Database, Lexical Database или Query Refinement Logs.

RANKING – Ранжирование
Система выполняет два параллельных процесса поиска: для исходного запроса $Q_1$ и для обобщенного запроса $Q_2$.

RERANKING – Переранжирование
Основное применение патента. После получения двух наборов результатов ($S_1$ и $S_2$) система использует $S_2$ для валидации и корректировки $S_1$. Это этап, на котором применяются технологии компьютерного зрения для фильтрации или перевзвешивания результатов.

На что влияет

• Типы контента: В первую очередь влияет на Поиск по Картинкам (Image Search). Особенно актуально для изображений товаров (e-commerce), фотографий объектов, где важен ракурс.
• Специфические запросы: Запросы, содержащие визуальные модификаторы: ракурсы («front view», «side view», «top view»), условия съемки («at night»), специфические контексты.
• Конкретные ниши: E-commerce, автомобильная тематика, недвижимость, дизайн.

Когда применяется

Алгоритм активируется при обнаружении в запросе комбинации идентифицируемого объекта (Semantic Portion) и визуального ограничения (Visual Portion). Система также должна быть способна успешно обобщить семантическую часть до категории, чтобы механизм сработал.

Пошаговый алгоритм

Патент описывает два основных варианта реализации.

Общие шаги (для обоих вариантов):

1. Получение запроса: Получить первый запрос $Q_1$.
2. Парсинг запроса: Идентифицировать семантическую часть $P_1$ (объект) и визуальную часть $P_2$ (контекст).
3. Обобщение: Идентифицировать обобщенную часть $P_3$ (категорию) для $P_1$, используя Category Database, Query Refinement Logs или лексическую базу.
4. Генерация второго запроса: Сформировать второй запрос $Q_2$ ($P_3$ + $P_2$).
5. Выполнение поиска: Получить первый набор изображений ($S_1$) для $Q_1$ и второй набор ($S_2$) для $Q_2$.

Вариант А: Использование классификатора

6. Обучение классификатора: Обучить Image Classifier (определить функцию $F(q,p)$), используя изображения из $S_2$ как обучающие данные.
7. Присвоение оценок: Присвоить новые Relevance Scores изображениям в $S_1$, используя обученный классификатор.
8. Вывод результатов: Предоставить изображения из $S_1$ на основе новых оценок (переранжирование).

Вариант Б: Прямое сравнение сходства

6. Генерация представлений: Получить Image Representation для изображения из $S_1$ и представление одного или нескольких изображений из $S_2$ (например, центроид).
7. Определение сходства: Определить Measure of Similarity (например, вычислив расстояние между представлениями).
8. Вывод результатов: Предоставить изображение из $S_1$, только если мера сходства превышает порог (фильтрация), или отсортировать результаты на основе меры сходства.

Какие данные и как использует

Данные на входе

Патент фокусируется на механизме обработки запроса и визуальных данных.

• Мультимедиа/Визуальные факторы: Критически важные данные. Система извлекает Image Representations (визуальные признаки) из изображений. Упоминаются конкретные типы представлений: bag of visterms, гистограммы цвета и текстуры, GIST features. Эти данные используются для обучения классификаторов или расчета визуального сходства.
• Поведенческие факторы: Query Refinement Logs используются для анализа сессий пользователей и определения статистических связей между запросами для выявления обобщений (например, что «car» является обобщением «Subaru»).
• Структурные/Системные данные: Для генерализации запроса используются внешние или внутренние базы данных:
  • Category Database: Сопоставляет ключевые слова с категориями.
  • Lexical Database (например, WordNet): Использует лексические отношения (genus-species) для определения категорий.

Какие метрики используются и как они считаются

• Relevance Score (Оценка релевантности): В варианте А, рассчитывается путем вычисления функции $F(q,p)$, которая обучается на наборе $S_2$. Цель обучения — найти такую функцию F, чтобы $F(q, p^+) > F(q, p^-)$ (релевантное изображение получает более высокую оценку, чем нерелевантное).
• Measure of Similarity (Мера сходства): В варианте Б, метрика рассчитывается на основе расстояния (distance) или разницы (difference) между Image Representations из $S_1$ и $S_2$.
• Thresholds (Пороги): Используются для принятия решения о показе изображения. Изображение показывается, если его новый Relevance Score или Measure of Similarity превышает заданный порог.

1. Визуальная валидация текстовой релевантности: Патент подтверждает, что Google активно использует компьютерное зрение для проверки и уточнения результатов поиска изображений. Текстовое соответствие (метаданные, окружающий текст) является лишь первым шагом; визуальное содержимое должно подтверждать интент запроса, особенно при наличии визуальных ограничений.
2. Обучение «на лету» через обобщение: Ключевая концепция — способность системы изучать визуальные концепции (например, что такое "вид сбоку" для категории объектов) в реальном времени, используя результаты обобщенного поиска ($S_2$) как обучающую выборку или эталон.
3. Генерализация как ключевая стратегия: Обобщение специфического запроса до его категории является центральным элементом механизма. Это позволяет системе понять базовый визуальный интент, изолировав его от конкретного объекта.
4. Активная борьба с ложными срабатываниями (False Positives): Механизм направлен на устранение ситуаций, когда изображение оптимизировано под запрос текстуально, но показывает объект в неправильном ракурсе или контексте.
5. Гибкость реализации: Система может использовать как сложные модели машинного обучения (Image Classifier), так и более прямые методы компьютерного зрения (сравнение визуального сходства), что обеспечивает гибкость в выборе метода.

Best practices (это мы делаем)

• Обеспечение строгого визуального соответствия интенту: Убедитесь, что визуальное содержание изображения точно соответствует предполагаемым визуальным ограничениям в целевых запросах. Если страница оптимизирована под "вид спереди" товара, изображение должно строго показывать вид спереди.
• Использование четких и канонических изображений: Используйте высококачественные изображения, на которых объект и его ракурс (или контекст) легко идентифицируются. Ваше изображение должно быть хорошим визуальным представителем своей категории с заданным ракурсом (например, соответствовать эталонам для "обувь вид сверху").
• Анализ визуальных паттернов в нише (Эталонный набор S2): Изучите выдачу по обобщенным запросам в вашей категории (например, «[категория товара] вид сбоку»). Ваши изображения конкретных товаров должны соответствовать этим общим визуальным паттернам, чтобы пройти валидацию алгоритмом.
• Разнообразие ракурсов (для E-commerce): При предоставлении нескольких изображений товара убедитесь, что каждое изображение четко представляет свой ракурс и имеет соответствующую текстовую оптимизацию (в alt text, подписях или окружающем тексте).

Worst practices (это делать не надо)

• Манипуляция метаданными (Keyword Stuffing): Добавление визуальных ключевых слов (например, "вид сбоку") в Alt text или имена файлов, если само изображение не соответствует этому описанию. Этот патент напрямую направлен на выявление такого несоответствия.
• Использование сложных или "художественных" композиций для утилитарных запросов: Если пользователь ищет конкретный ракурс объекта (например, в целях покупки), использование изображений с нестандартными углами или сложным фоном может привести к понижению, так как система не сможет подтвердить визуальное соответствие эталону.
• Использование неоднозначных ракурсов: Попытка оптимизировать одно изображение под несколько визуальных интентов (например, ракурс 3/4 для запросов «вид спереди» и «вид сбоку») может привести к низким оценкам Measure of Similarity.

Стратегическое значение

Патент подчеркивает переход от чисто текстовых моделей поиска изображений к гибридным моделям, глубоко интегрирующим компьютерное зрение. Для SEO-специалистов это означает, что анализ визуального контента становится неотъемлемой частью оптимизации. Стратегия должна включать не только работу с текстом, но и управление визуальными активами, гарантируя их качество, четкость и соответствие интенту пользователя на визуальном уровне.

Практические примеры

Сценарий: Оптимизация карточки товара в E-commerce (Кроссовки)

1. Целевой запрос (Q1): «Nike Air Max 90 вид сверху».
2. Анализ категории: Google обобщает запрос до Q2: «Кроссовки вид сверху».
3. Действия SEO-специалиста:
   • Изучить выдачу по Q2, чтобы понять, какие изображения Google считает эталонными для «вида сверху» кроссовок (композиция, освещение, фон).
   • Создать высококачественное изображение Nike Air Max 90, сделанное строго сверху, которое визуально похоже на эталоны из Q2.
   • Оптимизировать метаданные: alt="Nike Air Max 90 - вид сверху".
4. Ожидаемый результат: Когда система будет обрабатывать запрос Q1, она сравнит ваше изображение с эталонами из Q2. Благодаря высокому визуальному сходству (высокая Measure of Similarity) и точным метаданным, изображение получит высокий рейтинг в поиске по картинкам по запросу Q1. Если бы использовалось фото под углом, оно было бы понижено.