Как Google кластеризует запросы в поиске по картинкам на основе визуального сходства результатов и адаптирует ранжирование для каждого кластера

Описание

Какую задачу решает

Патент решает проблему неэффективности использования единой, универсальной функции ранжирования (Distance Function) для всех запросов в поиске по изображениям. Разные типы запросов требуют учета разных визуальных признаков для определения релевантности. Например, для запроса «яблоки» цвет может быть критически важным признаком, тогда как для запроса «деревья» более важной может быть форма или текстура, а не цвет. Создание и хранение отдельных функций ранжирования для каждого уникального запроса нецелесообразно с точки зрения ресурсов. Патент предлагает метод автоматизации и масштабирования контекстно-зависимого ранжирования.

Что запатентовано

Запатентована система для автоматической кластеризации поисковых запросов на основе визуального сходства их результатов. Суть изобретения заключается в том, чтобы сгруппировать запросы, которые представляют схожие «визуальные концепты» (например, «Эйфелева башня» и «Эйфелева башня Париж»). Для каждого такого кластера система обучает специализированную функцию ранжирования (Distance Function), оптимизированную для этого конкретного визуального контекста.

Как это работает

Система работает в офлайн-режиме для подготовки данных:

• Анализ данных: Анализируются исторические данные поиска по изображениям (запросы и их результаты).
• Расчет сходства запросов: Для пар запросов вычисляется Pairwise Image Similarity Value. Эта метрика определяет, насколько визуально похожи наборы результатов двух запросов. Она может учитывать пересечение результатов, ранги и, что особенно важно, Image Distance (визуальное сходство изображений на уровне пикселей).
• Кластеризация: Запросы с высокими показателями сходства группируются в Image Query Clusters.
• Обучение функций ранжирования: Для каждого кластера определяется своя Distance Function. Система обучается (используя данные о поведении пользователей), какие визуальные признаки (цвет, форма и т.д.) наиболее важны в контексте этого кластера.
• Применение: Во время поиска система определяет, к какому кластеру относится запрос пользователя, и использует соответствующую специализированную Distance Function для ранжирования изображений.

Актуальность для SEO

Высокая. Понимание визуального контекста и адаптация ранжирования под конкретный интент пользователя (в данном случае, визуальный интент) являются ключевыми направлениями развития поиска. С развитием технологий визуального поиска (например, Google Lens) и интеграцией сложных моделей ИИ, методы, описанные в патенте для кластеризации и специализированного ранжирования изображений, остаются крайне актуальными.

Важность для SEO

Патент имеет значительное влияние на стратегии SEO для Google Images. Он демонстрирует, что ранжирование изображений является адаптивным и зависит от того, как Google классифицирует визуальный интент запроса. Недостаточно просто оптимизировать метаданные (Alt text); необходимо понимать, в какой визуальный кластер попадает запрос и какие визуальные характеристики (цвет, форма, качество изображения) система считает приоритетными для этого кластера.

Детальный разбор

Термины и определения

Co-selected Image Values (Значения совместного выбора изображений)

Метрики, основанные на исторических данных, показывающие, как часто два разных изображения выбираются (кликаются) пользователями в ответ на один и тот же запрос. Используются для обучения Distance Function.

Distance Function (Функция расстояния / Функция ранжирования)

Математическая функция, используемая для определения релевантности и ранжирования изображений. Для каждого Image Query Cluster создается своя специализированная Distance Function, определяющая веса различных визуальных признаков (цвет, форма, текстура).

Historical Image Search Data (Исторические данные поиска по изображениям)

Журналы, содержащие информацию о прошлых запросах, предоставленных результатах и взаимодействии пользователей с ними (например, клики).

Image Distance (d) (Расстояние между изображениями)

Мера визуального различия между двумя изображениями. Рассчитывается путем сравнения изображений на уровне пикселей, учитывая такие характеристики, как цвет, яркость, текстура и расположение краев.

Image Query Cluster (Кластер запросов изображений)

Группа из двух или более поисковых запросов, которые считаются схожими, так как их результаты визуально похожи (имеют высокие Pairwise Image Similarity Values).

Pairwise Image Similarity Value (Значение парного сходства изображений)

Метрика, указывающая на степень сходства между наборами результатов двух разных поисковых запросов. Рассчитывается на основе пересечения результатов, суммы Image Distances и/или рангов изображений.

Reference Image и Secondary Images (Эталонное и Вторичные изображения)

Наборы изображений, используемые в процессе машинного обучения для тренировки Distance Function кластера. Reference Image часто выбирается на основе кликов пользователей.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод кластеризации запросов на основе визуального сходства результатов.

1. Система получает пару поисковых запросов (Первый и Второй).
2. Получаются соответствующие наборы изображений-результатов (Первый набор и Второй набор).
3. Для каждой возможной пары изображений (одно изображение из Первого набора, другое из Второго набора) определяется Image Distance. Это расстояние вычисляется на основе информации, связанной с пикселями обоих изображений.
4. Определяется общая мера сходства между Первым и Вторым наборами результатов. Эта мера основана на вычисленных Image Distances.
5. Система определяет, удовлетворяет ли эта мера сходства заданному порогу (similarity threshold).
6. Если порог удовлетворен, пара поисковых запросов назначается в один кластер (cluster of search queries).

Ядро изобретения — это использование анализа на уровне пикселей (Image Distance) для оценки сходства результатов двух разных запросов с целью их последующей кластеризации.

Claim 3 (Зависимый от 1): Уточняет следующий шаг после кластеризации.

1. Система генерирует Distance Function, связанную с созданным кластером запросов. Эта функция основана на изображениях, которые были идентифицированы как релевантные запросам в этом кластере.

Это подтверждает цель кластеризации: создание специализированных функций ранжирования.

Claim 4 (Зависимый от 3): Детализирует процесс генерации Distance Function.

1. Определяется референсное изображение (Reference Image) для кластера.
2. Определяется набор вторичных изображений (Secondary Images) для кластера.
3. Вычисляются расстояния между референсным изображением и каждым из вторичных изображений.
4. Distance Function определяется на основе этих вычисленных расстояний.

Это описывает процесс машинного обучения, используемый для определения весов визуальных признаков внутри кластера.

Где и как применяется

Изобретение применяется в системе поиска по изображениям (например, Google Images) и затрагивает этапы предобработки данных и ранжирования.

INDEXING – Индексирование и извлечение признаков (Офлайн-предобработка)
Основная часть работы алгоритма происходит на этом этапе в офлайн-режиме:

• Извлечение визуальных признаков изображений (цвет, текстура, форма), необходимых для расчета Image Distance.
• Анализ Historical Image Search Data.
• Расчет Pairwise Image Similarity Values для множества пар запросов.
• Генерация Image Query Clusters с использованием алгоритмов кластеризации (например, K-means).
• Обучение и сохранение специализированных Distance Functions для каждого кластера.

QUNDERSTANDING – Понимание Запросов
Во время выполнения запроса система должна сопоставить входящий запрос с соответствующим Image Query Cluster.

RANKING – Ранжирование (Runtime / Вертикальный поиск)
На этом этапе для ранжирования кандидатов используется Distance Function, специфичная для идентифицированного кластера, а не универсальная функция.

Входные данные (Офлайн):

• Historical Image Search Data (запросы, результаты, ранги).
• База данных изображений с извлеченными визуальными признаками (пиксельные данные).
• Co-selected Image Values.

Выходные данные (Офлайн):

• Image Query Clusters.
• Специализированные Distance Functions для каждого кластера.

Входные данные (Runtime):

• Запрос пользователя.
• База данных кластеров и их Distance Functions.

Выходные данные (Runtime):

• Отранжированный набор изображений.

На что влияет

• Конкретные типы контента: Влияет исключительно на изображения в вертикальном поиске (Google Images).
• Специфические запросы: Влияет на все запросы, которые могут быть сгруппированы по визуальному сходству. Особенно сильно влияет на запросы, где визуальные атрибуты критичны для удовлетворения интента (например, запросы с указанием цвета, формы, стиля).
• Конкретные ниши или тематики: Наибольшее влияние в ecommerce, моде, дизайне, искусстве, природе — там, где точное соответствие визуальным характеристикам имеет решающее значение.

Когда применяется

• Условия применения: Алгоритм применяется при обработке запроса в системе поиска изображений.
• Триггеры активации: Активация специализированной Distance Function происходит, когда входящий запрос пользователя может быть сопоставлен с одним из заранее определенных Image Query Clusters.
• Исключения: Если запрос новый или уникальный и не может быть сопоставлен ни с одним кластером, система может использовать стандартную (default, generic) Distance Function.

Пошаговый алгоритм

Процесс А: Офлайн-кластеризация запросов

1. Сбор данных: Доступ к множеству поисковых запросов изображений из Historical Image Search Data, каждый из которых связан с ранее предоставленными результатами.
2. Расчет парного сходства: Для каждой пары запросов вычисляется Pairwise Image Similarity Value. Это вычисление может основываться на одном или нескольких методах:
   • Сумма всех пересекающихся изображений в результатах (Overlap).
   • Сумма Image Distances (анализ на уровне пикселей) между всеми парами изображений из двух наборов результатов.
   • Сумма взвешенных по рангу Image Distances.
   • Совместное использование запросов в качестве ключевых слов для изображений в рекламе.
3. Кластеризация: Генерация Image Query Clusters на основе вычисленных значений сходства. Запросы, чье сходство превышает пороговое значение, группируются вместе (например, с использованием K-means clustering).

Процесс Б: Обучение функций ранжирования (Distance Functions)

1. Выбор кластера: Для каждого сгенерированного Image Query Cluster инициируется процесс обучения.
2. Выбор обучающей выборки: Внутри кластера выбирается Reference Image и набор Secondary Images. Выбор может основываться на рангах и Co-selected Image Values.
3. Обучение функции: Используется процесс машинного обучения, который итеративно анализирует визуальные расстояния между референсным и вторичными изображениями. Цель — определить вектор весов для визуальных признаков (цвет, форма, текстура), которые наиболее важны для этого кластера.
4. Сохранение: Image Query Clusters и связанные с ними Distance Functions сохраняются в памяти для последующего использования.

Процесс В: Обработка запроса в реальном времени (Runtime)

1. Получение запроса: Система получает запрос на изображения от пользователя.
2. Идентификация кластера: Система идентифицирует Image Query Cluster на основе поисковых терминов запроса.
3. Применение функции ранжирования: Система идентифицирует и ранжирует результаты поиска, используя Distance Function, связанную с этим кластером.
4. Выдача результатов: Система передает результаты поиска на клиентское устройство.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Критически важные данные. Используются пиксельные данные изображений (цвет, яркость, текстура, расположение краев) для расчета Image Distance. Это основа для определения визуального сходства.
• Поведенческие факторы: Historical Image Search Data (журналы запросов, предоставленные результаты). Также используются Co-selected Image Values (данные о том, какие изображения пользователи выбирали вместе в рамках одного запроса), которые применяются для обучения Distance Functions.
• Системные данные: Ранги изображений в исторических результатах поиска. Используются при расчете Pairwise Image Similarity (в варианте с ranked image distances).
• Рекламные данные: Упоминается использование данных о совместном появлении запросов в качестве ключевых слов для изображений в рекламе как один из способов расчета Pairwise Image Similarity.

Какие метрики используются и как они считаются

• Image Distance (d): Мера визуального различия. Рассчитывается путем сравнения изображений на уровне пикселей.
• Pairwise Image Similarity Value: Мера сходства между двумя наборами результатов. Может рассчитываться как процент пересечения, сумма Image Distances (например, [d(X1, Y1)+d(X1, Y2)+…]/Z, где Z – нормализационная константа), или сумма взвешенных по рангу Image Distances.
• Threshold pairwise similarity value: Пороговое значение сходства, необходимое для объединения запросов в один кластер.
• Distance Function: Функция для ранжирования изображений внутри кластера. В патенте приводится пример формулы (Weighted Euclidean Distance):

  d_{j}(x_{p}x_{j})=\sqrt{\Sigma_{n_{0}=1}^{M}W_{i}^{m}(x_{i}^{m}-x_{j}^{m})^{2}}

  Где W – это веса для различных визуальных признаков (m), которые обучаются специфично для каждого кластера.

Выводы

1. Визуальный интент определяет подход к ранжированию: Патент показывает, что Google стремится понять «визуальный концепт» запроса. Система группирует запросы не только по семантике ключевых слов, но и по тому, как выглядят результаты этих запросов (анализ на уровне пикселей).
2. Адаптивное ранжирование в Image Search: Подтверждается, что не существует единой универсальной формулы ранжирования для поиска по изображениям. Веса визуальных признаков (цвет, форма, текстура) динамически изменяются в зависимости от того, к какому Image Query Cluster отнесен запрос.
3. Критичность анализа на уровне пикселей: Расчет Image Distance на основе пиксельных данных является фундаментом для определения визуального сходства между результатами и, следовательно, для кластеризации запросов.
4. Эффективность через кластеризацию: Вместо того чтобы создавать триллионы отдельных функций ранжирования для каждого запроса, система использует кластеризацию для масштабирования подхода, сокращая количество необходимых Distance Functions.
5. Использование поведенческих сигналов для настройки визуального ранжирования: Co-selection data (поведенческие факторы) используются для обучения Distance Functions, что позволяет системе понять, какие визуальные различия важны для пользователей в контексте конкретного кластера.

Практика

Best practices (это мы делаем)

• Изучение визуального консенсуса в нише: Необходимо анализировать, какие типы изображений ранжируются по кластеру связанных запросов. SEO-специалист должен убедиться, что его изображения визуально соответствуют тому, что Google уже считает релевантным для данного Image Query Cluster (доминирующие цвета, ракурсы, стиль).
• Приоритет качеству и четкости изображений: Поскольку система использует анализ на уровне пикселей (Image Distance) для определения сходства и применяет Distance Functions, которые оценивают визуальные признаки (цвет, текстура, края), качество, четкость и точность цветопередачи изображения критически важны.
• Оптимизация под визуальные атрибуты: В тематиках, где система может придавать большой вес конкретным атрибутам (например, цвет в одежде, форма в мебели), необходимо гарантировать, что эти атрибуты четко представлены на изображении. Если вы продвигаете «красное яблоко Фуджи», изображение должно быть визуально отличным от «зеленого яблока Гренни Смит».
• Стимулирование кликабельности (CTR): Поскольку поведенческие данные (Co-selection data) используются для обучения моделей, создание привлекательных изображений, стимулирующих клики, может косвенно улучшить понимание системой релевантности вашего контента.

Worst practices (это делать не надо)

• Игнорирование визуальной составляющей: Полагаться исключительно на текстовую оптимизацию (filename, Alt text, окружающий текст), игнорируя качество и визуальное содержание самого изображения. Система может посчитать изображение нерелевантным, если его визуальные признаки не соответствуют ожиданиям Distance Function кластера.
• Использование нечетких или вводящих в заблуждение изображений: Использование изображений низкого качества или таких, где объект плохо различим, снижает эффективность ранжирования, так как система не сможет корректно оценить его визуальные признаки.
• Визуальное несоответствие интенту: Использование стоковых или общих изображений, которые визуально не соответствуют специфическому интенту кластера запросов.

Стратегическое значение

Патент подчеркивает стратегическую важность визуального контента и его соответствия интенту пользователя. Для долгосрочного успеха в Google Images необходимо фокусироваться на создании высококачественных, уникальных изображений, которые точно отвечают на визуальный запрос пользователя. Система кластеризации и адаптивного ранжирования означает, что Google активно использует машинное зрение для интерпретации и классификации запросов, делая визуальное содержание изображения одним из ключевых факторов ранжирования.

Практические примеры

Сценарий: Оптимизация изображений для интернет-магазина обуви

1. Анализ кластеров: SEO-специалист анализирует выдачу по запросам, связанным с конкретной моделью, например, «Nike Air Max 90 white» и «Белые кроссовки Air Max 90». Он видит, что Google объединяет их в один визуальный кластер.
2. Понимание Distance Function (Гипотеза): Анализируя топ выдачи, можно предположить, что Distance Function для этого кластера придает большой вес форме (узнаваемый силуэт модели) и цвету (точное соответствие белому, без желтизны).
3. Действия по оптимизации:
   • Загрузить высококачественные фотографии кроссовок на чистом фоне, чтобы система могла точно определить форму и края объекта.
   • Убедиться в точной цветопередаче (корректный баланс белого), чтобы визуальный признак цвета соответствовал ожиданиям кластера.
   • Предоставить изображения с разных ракурсов, чтобы система могла лучше оценить все визуальные признаки объекта.
4. Ожидаемый результат: Изображения лучше соответствуют критериям специализированной Distance Function кластера, что повышает их ранжирование в Google Images по соответствующим запросам.

Вопросы и ответы