Как Google агрегирует и ранжирует пользовательские метки для идентификации объектов в Визуальном поиске (Google Lens)

Термины и определения

Annotation / Label (Аннотация / Метка)

Текстовая строка, связанная с изображением, описывающая его содержание. Предоставляется пользователем при загрузке контента.

Content Submission (Предоставленный контент)

Единица пользовательского контента (UGC), включающая изображение и связанную с ним метку.

Contributor (Участник / Контрибьютор)

Пользователь или устройство, предоставившее Content Submission. Используется для обеспечения разнообразия результатов (Diversity).

Edit Distance (Расстояние редактирования)

Метрика для измерения текстовой схожести между двумя метками (например, расстояние Левенштейна). Используется для группировки меток с опечатками или близкими написаниями.

Geo-boost factor (Фактор географического повышения)

Множитель, применяемый к Image Match Score, если географическое расстояние между местом загрузки изображения и текущим местоположением пользователя, отправившего запрос, невелико.

Group Score (Оценка группы)

Агрегированная оценка для группы изображений с похожими метками. Рассчитывается на основе Image Match Scores изображений в группе (например, сумма или среднее значение).

Image Match Score / Query Relevance Score (Оценка совпадения изображения / Оценка релевантности запросу)

Числовая оценка, отражающая степень визуального сходства между загруженным изображением и изображением в запросе.

Image Query (Запрос по изображению)

Поисковый запрос, в котором в качестве входных данных используется изображение (Query-by-Image).

Match Aggregator (Агрегатор соответствий)

Компонент системы, отвечающий за фильтрацию, группировку (кластеризацию) и оценку результатов поиска.

Representative Annotation (Репрезентативная аннотация)

Текстовая метка, выбранная для представления группы изображений с наивысшим Group Score, которая возвращается пользователю в качестве результата поиска.

Similar Meanings (Схожие значения)

Мера семантической близости между метками. Используется для группировки синонимов и связанных понятий.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации объекта на основе агрегации и ранжирования пользовательских меток.

1. Система получает поисковый запрос от пользователя, включающий query image.
2. Система находит набор submitted images (загруженных другими пользователями), которые визуально похожи на query image.
3. Для каждого найденного изображения определяется (i) query relevance score (визуальное сходство) и (ii) связанная с ним annotation (метка).
4. Изображения группируются на основе их аннотаций.
5. Для каждой группы агрегируются query relevance scores изображений, входящих в эту группу.
6. Выбирается конкретная группа на основе наивысшей агрегированной оценки.
7. Аннотация этой выбранной группы определяется как representative annotation.
8. Эта representative annotation предоставляется пользователю на странице результатов поиска.

Ядро изобретения — использование визуальной релевантности (Query Relevance Score) в качестве весового коэффициента для каждой аннотации. Метка, поддержанная наиболее сильными визуальными доказательствами (т.е. изображениями, которые лучше всего соответствуют запросу), побеждает в ранжировании.

Claim 2 (Зависимый): Уточняет механизм группировки. Группировка основана на определении edit distances или similar meanings между аннотациями. Это подтверждает использование как синтаксического, так и семантического анализа для кластеризации меток.

Claim 3 (Зависимый): Уточняет формат вывода. Система может предоставить ранжированный список репрезентативных аннотаций из нескольких групп, упорядоченный по агрегированным оценкам. Это позволяет показать пользователю самые популярные варианты идентификации.

Claim 4 (Зависимый): Описывает механизм обеспечения разнообразия (Diversity) и защиты от спама. Если несколько похожих изображений были загружены одним и тем же пользователем, в финальный набор включается только одно из этих изображений. Это предотвращает доминирование одного источника.

Claim 5 (Зависимый): Указывает на использование географических сигналов. Отбор похожих изображений может основываться на geographical locations, откуда эти изображения были загружены.

Claim 8 (Зависимый): Уточняет метод агрегации оценок (Нормализация). Агрегированная оценка может являться средним значением (average) оценок релевантности для всех изображений в группе. Это помогает сбалансировать влияние размера группы.

Где и как применяется

Изобретение применяется в системах визуального поиска, таких как Google Lens, где пользователь использует изображение для получения информации.

INDEXING – Индексирование и извлечение признаков
На этом этапе система обрабатывает пользовательский контент (UGC). Сохраняются изображения, текстовые метки (Labels) и метаданные (геолокация, ID пользователя). Извлекаются визуальные признаки для последующего сравнения.

RANKING – Ранжирование
При получении Image Query система выполняет поиск визуально похожих изображений в индексе. Вычисляются базовые Image Match Scores (Query Relevance Scores) для кандидатов.

RERANKING – Переранжирование
Основная логика патента реализуется здесь, компонентом Match Aggregator:

1. Корректировка оценок: Image Match Scores могут быть скорректированы с учетом географической близости (Geo-boost).
2. Фильтрация (Diversity): Применяется логика для выбора только одного лучшего результата от каждого уникального пользователя (Contributor).
3. Группировка (Clustering): Система анализирует схожесть меток (синтаксическую и семантическую) и формирует группы.
4. Вычисление Group Scores: Рассчитываются и нормализуются итоговые оценки для групп.
5. Финальная сортировка: Группы ранжируются для определения Representative Annotation.

Входные данные:

• Изображение запроса (Image Query).
• Местоположение пользователя, отправившего запрос (опционально).
• База данных UGC (изображения, метки, метаданные о местоположении и авторах).

Выходные данные:

• Отсортированный список Representative Annotations (текстовых идентификаций объекта), ранжированный по Group Score.

На что влияет

• Специфические запросы: Влияет исключительно на запросы типа Query-by-Image (визуальный поиск), направленные на идентификацию объектов.
• Конкретные ниши или тематики:
  • E-commerce: Критически важно для идентификации конкретных моделей товаров по фотографии (Visual Shopping).
  • Local Search: Важно для распознавания достопримечательностей, зданий, вывесок, магазинов. Использование Geo-boost повышает значимость для локального SEO.
• Типы контента: Наибольшее влияние на контент, который часто фотографируется и загружается пользователями (UGC).

Когда применяется

• Условия работы алгоритма: Алгоритм применяется, когда поисковая система обрабатывает запрос, состоящий из изображения, и использует для его анализа базу данных аннотированного пользовательского контента.
• Триггеры активации: Активируется при наличии нескольких визуальных совпадений с различными текстовыми метками, что требует агрегации и разрешения неоднозначности для выбора наилучшего ответа.

Пошаговый алгоритм

Процесс обработки запроса по изображению:

1. Получение запроса: Система получает Image Query от пользователя.
2. Идентификация результатов и Оценка: Система находит набор визуально релевантных Content Submissions в базе UGC. Для каждого результата рассчитывается Image Match Score.
3. Корректировка оценок (Опционально): Image Match Scores корректируются на основе географического расстояния между пользователем и источником изображения (применение Geo-boost factor).
4. Фильтрация по контрибьюторам (Опционально): Из набора результатов удаляются дубликаты от одного и того же пользователя, оставляя только результат с наивысшим Image Match Score для каждого уникального автора.
5. Анализ схожести меток: Система вычисляет схожесть между текстовыми метками оставшихся результатов, используя edit distance и/или семантический анализ (similar meanings).
6. Группировка результатов (Кластеризация): Результаты объединяются в группы на основе схожести их меток.
7. Вычисление оценок групп: Для каждой группы рассчитывается Group Score путем агрегации (суммирования) Image Match Scores всех результатов в группе.
8. Нормализация и Сортировка: Group Scores могут быть нормализованы (например, расчет среднего значения) и отсортированы по убыванию.
9. Выбор и предоставление результата: Метка группы с наивысшим итоговым баллом выбирается как Representative Annotation и предоставляется пользователю.

Какие данные и как использует

Данные на входе

Патент описывает использование следующих типов данных:

• Мультимедиа факторы: Визуальные данные (пиксели, извлеченные признаки) изображений из запроса и из базы UGC. Это основа для расчета визуального сходства.
• Контентные факторы (UGC Метки): Текстовые метки (Labels/Annotations), связанные с изображениями в базе UGC. Используются для группировки и идентификации объекта.
• Географические факторы: Местоположение, связанное с загруженным изображением, и текущее местоположение пользователя, отправившего запрос. Используются для корректировки оценок (Geo-boost).
• Пользовательские факторы: Идентификатор пользователя (Contributor), загрузившего контент. Используется для обеспечения разнообразия результатов (фильтрация дубликатов от одного автора).

Какие метрики используются и как они считаются

• Image Match Score (Query Relevance Score): Оценка визуального сходства между запросом и изображением из базы. Методы расчета в патенте не детализированы.
• Geo-boost factor: Коэффициент, увеличивающий Image Match Score. Рассчитывается как функция расстояния: чем меньше расстояние, тем выше фактор.
• Оценка схожести меток: Метрика, основанная на:
  • Edit distance (например, Левенштейна) для синтаксической близости.
  • Семантической близости (similar meanings) для учета синонимов.
• Group Score: Агрегированная оценка группы. Рассчитывается как сумма Image Match Scores результатов в группе.
• Normalized Group Score: Патент упоминает возможность нормализации, например, расчет среднего значения (Claim 8), для финального ранжирования групп.

1. Приоритет коллективной интерпретации (Консенсус): Патент показывает, что при идентификации объекта по изображению Google использует «мудрость толпы». Система агрегирует текстовые метки множества визуально похожих изображений для выбора наиболее достоверной интерпретации.
2. Визуальное сходство как вес голоса: Image Match Score является критически важной метрикой. Чем лучше изображение соответствует запросу визуально, тем больший вес имеет его текстовая метка при расчете Group Score.
3. Семантическая и синтаксическая группировка меток: Система не просто ищет точные совпадения текста. Она группирует метки, используя edit distance и анализ семантической близости (similar meanings), что позволяет объединять синонимы, опечатки и близкие формулировки в один кластер.
4. Важность контекстуальных сигналов (Гео и Авторство): Географическая близость (Geo-boost) является явным фактором повышения релевантности, что критично для локального визуального поиска.
5. Механизмы обеспечения разнообразия и защиты от спама: В патенте предусмотрена защита от манипуляций путем ограничения вклада одного Contributor (не более одного лучшего результата на автора), что повышает надежность консенсуса.

Best practices (это мы делаем)

• Оптимизация под Визуальный поиск (VSO): Обеспечивайте высокое качество и четкость изображений продуктов и локальных объектов. Это повышает вероятность корректного визуального сопоставления и получения высокого Image Match Score, что является основой ранжирования в этой системе.
• Консистентность и каноничность текстовых меток: Убедитесь, что текстовое окружение изображений на вашем сайте (alt-тексты, заголовки, подписи, разметка Schema.org) соответствует тому, как пользователи (UGC) и другие авторитетные источники называют этот объект. Эта консистентность поможет вашему контенту ассоциироваться с доминирующим семантическим кластером.
• Использование географических сигналов для локального SEO: Для локального бизнеса критически важно связывать изображения с географическим контекстом (геотегирование, упоминание локации). Механизм Geo-boost дает явное преимущество результатам, находящимся поблизости от пользователя.
• Стимулирование релевантного UGC: Поощряйте пользователей создавать и публиковать фотографии ваших продуктов или локаций (например, в Google Maps, отзывах) с корректными метками. Это увеличивает объем данных, формирующих положительный консенсус вокруг вашего объекта.

Worst practices (это делать не надо)

• Использование неоднозначных или вводящих в заблуждение меток: Применение текстовых описаний, которые сильно отличаются от общепринятого наименования объекта. Это приведет к тому, что изображение попадет в маргинальный кластер с низким Group Score.
• Попытки манипуляции через массовую загрузку контента: Попытки «заспамить» базу UGC множеством одинаковых изображений с нужной меткой от одного источника будут неэффективны из-за механизма фильтрации по Contributor.
• Использование низкокачественных или стоковых изображений: Изображения, которые плохо распознаются системами визуального поиска, получат низкие Image Match Scores и снизят видимость в визуальном поиске.

Стратегическое значение

Патент подтверждает растущую важность визуального поиска и интеграцию различных типов сигналов (визуальных, текстовых, географических, пользовательских) для интерпретации контента. Стратегия SEO должна учитывать, как сущности (продукты, места) распознаются визуально. Понимание того, что идентификация опирается на агрегированное коллективное мнение, подчеркивает важность управления консистентностью брендинга во всех точках контакта, включая UGC и сторонние площадки.

Практические примеры

Сценарий: Идентификация модели товара в E-commerce через Google Lens

1. Запрос пользователя: Покупатель фотографирует кроссовки на улице и использует Google Lens для идентификации (Image Query).
2. Обработка Google: Система находит 50 визуально похожих изображений (UGC, каталоги магазинов).
3. Анализ и Группировка:
   • Группа А: 30 изображений с метками, семантически близкими к «Nike Air Max 90 Infrared». Суммарный Image Match Score = 25.
   • Группа Б: 15 изображений с метками «Красные кроссовки Nike». Суммарный Image Match Score = 10.
4. Ранжирование и Результат: Группа А имеет наивысший Group Score. Система возвращает пользователю Representative Annotation: «Nike Air Max 90 Infrared».
5. Действие SEO-специалиста: Убедиться, что изображения этой модели на сайте магазина имеют высокое качество (для высокого Image Match Score) и сопровождаются точным названием модели в тексте и разметке, чтобы соответствовать доминирующей группе меток.