Как Google использует машинное обучение для распознавания разных смыслов запроса и ранжирования изображений в Image Search

Термины и определения

Sense (Смысл)

Конкретное значение или категория изображений, связанных с запросом. Например, для запроса "Jaguar" один смысл — это автомобиль, другой — животное.

Hyperplane (Гиперплоскость)

Подпространство в многомерном пространстве признаков, которое разделяет точки данных. В контексте патента гиперплоскость отделяет изображения, принадлежащие к определенному смыслу, от всех остальных.

Feature Space / D-dimensional space (Пространство признаков)

Многомерное математическое пространство, в которое проецируются изображения на основе их признаков (визуальных характеристик).

S(q) (Количество смыслов)

Количество семантических классов (смыслов) и, следовательно, гиперплоскостей, используемых моделью для данного запроса q. $S(q)$ определяется автоматически для каждого запроса.

f_q,s(x) (Оценка ранжирования по смыслу)

Оценка, вычисляемая функцией ранжирования для запроса q, смысла s и изображения x. Измеряет степень соответствия между изображением и конкретным смыслом запроса. $f_{q,s}(x)$.

W_q,s (Векторы весов)

Параметры модели, определяющие положение и ориентацию гиперплоскости для конкретного запроса q и смысла s. $W_{q,s}$.

IMAX

Название, данное предложенному алгоритму/модели в разделе описания экспериментов.

Training Data (Обучающие данные)

Данные, используемые для обучения модели. Включают click-through based training data или human-annotated training data. Состоят из положительных (релевантных, $X^+$) и отрицательных (нерелевантных, $X^-$) примеров изображений для запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования изображений.

1. Система определяет набор изображений для запроса, причем изображения связаны с одним или несколькими смыслами (senses) запроса.
2. Система проецирует (mapping) изображения в пространство (space), представляя каждое изображение точкой.
3. Система определяет одну или несколько гиперплоскостей (hyperplanes) в этом пространстве на основе этих точек. Уточняется, что первая гиперплоскость связана с первым смыслом, а вторая — со вторым смыслом.
4. Система рассчитывает оценки (scores) для изображений на основе точек и гиперплоскостей.
5. Система ранжирует изображения на основе этих оценок.

Claim 6 (Зависимый от 1): Детализирует процесс проецирования (mapping) и пространственного разделения.

1. Точки, связанные с первым смыслом, размещаются в первой области пространства.
2. Точки, связанные со вторым смыслом, размещаются во второй области, отличной от первой.
3. Точки, не связанные ни с первым, ни со вторым смыслом (нерелевантные), размещаются в третьей области, отличной от первых двух.

Это описывает цель обучения модели: добиться четкого пространственного разделения между разными смыслами и шумом.

Claim 8 (Зависимый от 1): Детализирует механизм расчета оценок (scoring).

1. Определяется первая оценка (first score) на основе расстояния между конкретной точкой (изображением) и первой гиперплоскостью.
2. Определяется вторая оценка (second score) на основе расстояния между этой же точкой и второй гиперплоскостью.
3. Определяется итоговая оценка (particular score) для изображения на основе первой и второй оценок.

Claim 9 (Зависимый от 8): Определяет метод агрегации оценок.

Итоговая оценка равна первой оценке, если первая оценка больше второй. Итоговая оценка равна второй оценке, если вторая оценка больше первой. Это критически важный момент: используется функция MAX. Изображению достаточно быть высокорелевантным только одному смыслу, чтобы получить высокий итоговый балл.

Claim 10 (Зависимый от 8): Описывает альтернативный метод расчета итоговой оценки с использованием взвешивания.

1. Определяется первая взвешенная оценка на основе первого веса и первой оценки.
2. Определяется вторая взвешенная оценка на основе второго веса и второй оценки.
3. Итоговая оценка определяется на основе взвешенных оценок.
4. Уточняется, что веса могут базироваться на click-through rate (CTR) для изображений, связанных с соответствующим смыслом.

Это позволяет системе приоритизировать более популярные смыслы запроса.

Где и как применяется

Изобретение применяется в системе поиска по изображениям (Image Search Engine) и затрагивает несколько этапов поиска, а также офлайн-процессы обучения моделей.

INDEXING – Индексирование и извлечение признаков
На этом этапе из изображений извлекаются и сохраняются визуальные признаки (visual features). Описание упоминает гистограммы цвета и текстур (color and texton histograms). Также собираются данные для обучения (клики, метки).

(Офлайн-обработка / Обучение модели)
Это ключевой этап для данного патента. Модель обучается для конкретных запросов с использованием обучающих данных и признаков изображений. Система определяет количество смыслов $S(q)$ и вычисляет параметры гиперплоскостей $W_{q,s}$.

RANKING – Ранжирование (в Image Search)
Когда поступает запрос, система использует предварительно обученную модель для этого запроса. Она вычисляет оценки $f_q(x)$ для изображений-кандидатов на основе их признаков и изученных гиперплоскостей, после чего ранжирует их.

Входные данные (Online):

• Запрос пользователя (q).
• Изображения-кандидаты (x).
• Векторы признаков для изображений-кандидатов.
• Параметры предобученной модели ($W_{q,s}$, $S(q)$).

Выходные данные (Online):

• Отсортированный список изображений на основе итоговых оценок $f_q(x)$.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные запросы (ambiguous queries), где одно и то же слово имеет несколько визуальных интерпретаций (например, "Apple", "Jaguar", "Palm", "Cell"). Это могут быть как информационные, так и коммерческие запросы.
• Конкретные типы контента: Влияет на все типы изображений в индексе Image Search.

Когда применяется

• Условия работы: Алгоритм применяется на этапе ранжирования для запросов, для которых система предварительно обучила модель.
• Триггеры активации: Активируется в особенности для запросов, которые были идентифицированы как имеющие несколько смыслов ($S(q)>1$).
• Временные рамки: Обучение модели происходит офлайн. Применение модели (расчет оценок и ранжирование) происходит в реальном времени при обработке запроса.

Пошаговый алгоритм

Процесс разделен на две части: офлайн-обучение и онлайн-ранжирование.

Процесс А: Офлайн-обучение модели (IMAX)

1. Подготовка данных: Для запроса q собираются обучающие данные: положительные примеры $X^+$ (релевантные изображения) и отрицательные примеры $X^-$ (нерелевантные). Извлекаются признаки изображений.
2. Инициализация: Веса $W_{q,s}$ инициализируются случайным образом.
3. Выбор количества смыслов: Система перебирает разное количество смыслов $S(q)$ (например, от 1 до 5).
4. Оптимизация (SGD): Для каждого $S(q)$ веса оптимизируются с использованием стохастического градиентного спуска (Stochastic Gradient Descent). Цель оптимизации — максимизировать маржу (margin) между положительными и отрицательными примерами, стремясь к тому, чтобы максимальная оценка положительного примера была больше максимальной оценки отрицательного примера плюс маржа (например, $\max f(x^+) > \max f(x^-) + 1$).
5. Валидация и Сохранение: Выбирается модель с оптимальным $S(q)$ (которая дает наименьшую ошибку валидации), и ее параметры сохраняются.

Процесс Б: Онлайн-ранжирование

1. Получение запроса: Система получает запрос q от пользователя.
2. Идентификация кандидатов: Определяется набор изображений-кандидатов.
3. Извлечение модели и признаков: Загружаются предобученные параметры модели ($W_{q,s}$) для запроса q и векторы признаков для изображений-кандидатов x.
4. Расчет оценок по смыслам: Для каждого изображения x рассчитывается оценка для каждого изученного смысла s: $f_{q,s}(x) = W_{q,s} \cdot x$ (скалярное произведение векторов весов и признаков).
5. Расчет итоговой оценки: Вычисляется финальная оценка путем выбора максимального значения среди всех оценок по смыслам: $f_q(x) = \max_s f_{q,s}(x)$. (Или используется взвешенный максимум, если применяются веса на основе CTR, как описано в Claim 10).
6. Ранжирование и Выдача: Изображения ранжируются по $f_q(x)$ и предоставляются пользователю. Результаты могут быть сгруппированы по смыслам.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные признаки): Это основные данные для ранжирования. В описании упоминается использование "пространственных и/или многомасштабных гистограмм цвета и текстур (texton histograms)". Для снижения размерности этих признаков используется метод главных компонент ядра (Kernel Principal Component Analysis, Kernel PCA), например, до 100 измерений. Эти признаки формируют входные векторы (x).
• Поведенческие факторы (Для обучения): Используются офлайн для обучения модели. Упоминаются click-through based training data — данные о том, сколько пользователей кликнули на изображение по данному запросу. Также (Claim 10) click-through rate может использоваться для взвешивания важности разных смыслов.
• Контентные факторы (Для обучения и идентификации): Используются офлайн для обучения: human-annotated training data (изображения, размеченные людьми как релевантные/нерелевантные). Также (Claim 5) упоминается использование терминов (terms used to label) для первоначальной идентификации изображений.

Какие метрики используются и как они считаются

• Оценка ранжирования по смыслу ($f_{q,s}(x)$): Рассчитывается как скалярное произведение вектора весов и вектора признаков изображения ($W_{q,s} \cdot x$). Интерпретируется как расстояние от точки до гиперплоскости.
• Итоговая оценка ранжирования ($f_q(x)$): Максимальная оценка среди всех смыслов: $\max_{s \in S(q)} f_{q,s}(x)$.
• Количество смыслов ($S(q)$): Определяется во время обучения с помощью кросс-валидации.
• Метрика оптимизации: Модель минимизирует функцию потерь ранжирования (ranking loss function / margin-based ranking error) с учетом ограничений на векторы весов (регуляризация, например, $||W_{q,s}||^2 \le C$).
• Веса смыслов (Claim 10): Опциональные веса, применяемые к оценкам на основе CTR, связанного с каждым смыслом.

1. Активное моделирование неоднозначности: Google не просто ищет совпадения, а активно моделирует неоднозначность в Image Search, идентифицируя различные "смыслы" (senses) для запроса.
2. Ранжирование по принципу MAX (Claim 9): Ранжирование основано на релевантности любому действительному смыслу. Итоговая оценка — это максимальная оценка среди всех смыслов, а не среднее значение. Это позволяет разнообразным, но релевантным изображениям занимать высокие позиции.
3. Приоритет визуальных признаков: Система в значительной степени полагается на визуальные признаки (цвет, текстуры) для различения смыслов, что снижает зависимость от окружающего текста, который может быть ненадежным.
4. Использование гиперплоскостей для разделения: Модель (IMAX) использует hyperplanes в пространстве признаков для создания границ принятия решений, отделяя релевантные изображения от нерелевантных для каждого конкретного смысла.
5. Автоматическое определение количества смыслов: Количество смыслов $S(q)$ является переменным и определяется автоматически для каждого запроса во время офлайн-обучения.
6. Учет популярности смыслов (Claim 10): Система может приоритизировать более популярные смыслы, взвешивая оценки на основе данных о кликах (CTR), что обеспечивает более релевантную выдачу для большинства пользователей.

Best practices (это мы делаем)

• Обеспечение визуальной четкости и различимости: Изображения должны быть визуально четкими и являться сильными представителями предполагаемого смысла. Если вы оптимизируете под запрос "Jaguar" (автомобиль), изображение должно визуально однозначно идентифицироваться как автомобиль этой марки и не иметь признаков, которые могут быть спутаны с животным.
• Оптимизация под основные смыслы запроса: Необходимо проанализировать выдачу и определить основные визуальные смыслы целевого запроса. Создаваемый визуальный контент должен четко соответствовать одному из этих основных смыслов, поскольку модель обучается распознавать их явным образом.
• Усиление контекстуальных сигналов (для индексации и обучения): Хотя ранжирование в этой модели опирается на визуальные признаки, патент отмечает (Claim 5), что для первоначальной идентификации изображений и сбора обучающих данных используются связанные тексты и данные о кликах. Поддержание строгой контекстуальной релевантности на странице, где размещено изображение (текст, заголовки, alt-атрибуты), поможет Google правильно связать изображение с запросом и его смыслом на этапах индексации и обучения модели.

Worst practices (это делать не надо)

• Использование визуально неоднозначных изображений: Размещение размытых, загроможденных изображений или изображений, которые плохо передают суть объекта. Их признаки, скорее всего, окажутся далеко от гиперплоскостей релевантных смыслов в пространстве признаков.
• Несоответствие визуального ряда и текста: Попытка ранжирования изображения только за счет окружающего текста или alt-тегов, в то время как само изображение визуально нерелевантно или принадлежит к другому смыслу. В этой модели визуальные признаки доминируют при расчете оценки.
• Использование кликбейтных изображений: Изображения, предназначенные для привлечения кликов, но не являющиеся репрезентативными для смысла запроса, будут плохо ранжироваться этой моделью, так как их визуальные признаки не будут соответствовать изученным гиперплоскостям.

Стратегическое значение

Этот патент подтверждает стратегический сдвиг в Image Search от анализа текста вокруг изображения к анализу самого изображения. Он подтверждает использование Google сложного машинного обучения для понимания визуального контента и неоднозначности интента. Для SEO это означает, что качество, четкость и визуальная релевантность самого изображения имеют первостепенное значение для ранжирования в поиске по картинкам.

Практические примеры

Сценарий: Оптимизация интернет-магазина под запрос "Bass"

Запрос "Bass" имеет как минимум два основных смысла: рыба (Fish) и музыкальный инструмент (Guitar).

1. Анализ Смыслов: SEO-специалист определяет, что Google распознает оба смысла и строит для них отдельные гиперплоскости (hyperplanes).
2. Действие (Смысл 1: Рыба, если магазин продает снасти): Использовать высококачественные, четкие фотографии басса (рыбы) или снастей, где рыба четко видна. Визуальные признаки (форма, цвет, текстура) должны позволить модели поместить изображение близко к гиперплоскости для смысла "рыба".
3. Действие (Смысл 2: Гитара, если магазин продает инструменты): Использовать четкие изображения, фокусирующиеся на бас-гитаре. Модель обучила отдельную гиперплоскость для инструмента. Изображение должно быть чистым, без визуального шума, который мог бы сместить его в пространстве признаков.
4. Ожидаемый результат: Обеспечивая визуальную четкость для конкретного смысла, изображение достигает высокой оценки для этого смысла ($f_{q,s}(x)$). Поскольку итоговая оценка является максимальной (MAX), изображение хорошо ранжируется по общему запросу "Bass", независимо от того, какой смысл пользователь предпочитает.