Как Google группирует и ранжирует результаты в Визуальном поиске (Google Lens), используя пользовательские метки (UGC) и геолокацию

Описание

Какую задачу решает

Патент решает проблему шума, неоднозначности и несогласованности в аннотациях пользовательского контента (User Generated Content, UGC) при ответе на визуальный запрос (Image Query или Query by Image, QBI). Поскольку разные пользователи могут загружать похожие изображения одного объекта, но использовать разные текстовые метки (labels/annotations) для его описания, системе необходимо консолидировать эти данные, определить консенсус и предоставить пользователю точный и лаконичный ответ.

Что запатентовано

Запатентована система организации и ранжирования результатов визуального поиска на основе UGC. Ключевой механизм — группировка найденных изображений на основе синтаксической и семантической схожести их пользовательских меток. Эти группы затем ранжируются путем агрегации индивидуальных оценок релевантности (Query Relevance Scores) изображений внутри группы, которые учитывают как визуальное сходство, так и географическую близость.

Как это работает

Система работает в несколько этапов:

• Сбор UGC: Система накапливает контент от пользователей (изображение + метка + геолокация отправки).
• Обработка запроса: Пользователь отправляет запрос в виде изображения (Image Query).
• Поиск и Оценка: Система находит визуально похожие UGC-изображения и присваивает им Query Relevance Score. Эта оценка повышается, если UGC было загружено рядом с пользователем (Geo-boost).
• Фильтрация: От каждого пользователя оставляется только один лучший результат (Contributor Limiting) для обеспечения разнообразия и защиты от спама.
• Группировка: Система анализирует текстовые метки и группирует результаты со схожими метками (используя синтаксическую или семантическую близость).
• Ранжирование Групп: Для каждой группы рассчитывается агрегированная оценка (Group Score), основанная на сумме оценок изображений в группе.
• Выдача: Пользователю предоставляются результаты (метка и/или изображения) из группы с наивысшим рейтингом.

Актуальность для SEO

Высокая. С ростом использования визуального поиска (например, Google Lens) и интеграцией UGC в ключевые сервисы (например, Google Maps/Local), механизмы валидации, организации и ранжирования этих данных критически важны для точной идентификации объектов реального мира. Явный учет геолокации (Geo-boost) также соответствует фокусу на локальный поиск.

Важность для SEO

Влияние на SEO оценивается как высокое (7/10), но специфичное. Патент имеет ограниченное значение для традиционного веб-SEO, но критически важен для Визуального SEO (VSO) и Локального SEO (Local SEO). Он раскрывает, как Google агрегирует сигналы, кластеризует семантику вокруг изображений и использует географические сигналы для ранжирования. Это напрямую влияет на то, как товары и локальные бизнесы идентифицируются и ранжируются в Google Lens и Image Search.

Детальный разбор

Термины и определения

Annotation / Label (Аннотация / Метка)

Текстовое описание, связанное с изображением в Content Submission, предоставленное пользователем.

Content Submission (Предоставленный контент)

Единица UGC, загруженная пользователем. Включает изображение и связанную с ним метку.

Contributor Limiting (Ограничение по автору)

Механизм (описанный в Claim 3), который гарантирует, что в финальном наборе результатов для группировки будет учитываться только один (лучший) результат от каждого уникального пользователя. Обеспечивает разнообразие и защиту от спама.

Edit Distance (Редакционное расстояние)

Метрика для измерения синтаксической схожести между двумя текстовыми метками (например, расстояние Левенштейна). Используется для группировки (Claim 2).

Geo-boost factor (Фактор географического повышения)

Механизм корректировки Query Relevance Score (Claim 5). Оценка повышается, если географическое местоположение отправки UGC-изображения близко к местоположению пользователя, отправившего запрос.

Group Score / Aggregated Query Relevance Score (Оценка группы)

Агрегированная оценка для группы изображений с похожими метками. Обычно рассчитывается как сумма Query Relevance Scores изображений внутри группы.

Image Query / Query by Image (QBI) (Визуальный запрос)

Поисковый запрос, в котором в качестве входных данных используется изображение (Query Image).

Query Relevance Score (Оценка релевантности запросу)

Индивидуальная оценка, присваиваемая найденному изображению. Включает визуальное сходство и может включать географические сигналы (Geo-boost).

Similar Meanings (Схожие значения)

Метрика семантической близости меток, позволяющая группировать синонимы или близкие по смыслу описания (Claim 2).

UGC (User Generated Content)

Контент (изображения и метки), предоставленный пользователями системы.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки визуального запроса по базе UGC.

1. Система получает поисковый запрос с изображением (Query Image) от пользователя.
2. Система находит набор UGC изображений (отправленных другими пользователями), которые похожи на Query Image.
3. Для каждого найденного изображения определяется: (i) Query Relevance Score и (ii) связанная с ним Annotation.
4. Система группирует найденные изображения на основе их Annotations.
5. Для каждой группы система агрегирует Query Relevance Scores изображений в этой группе.
6. Система выбирает конкретную группу на основе этих агрегированных оценок.
7. Система предоставляет одно или несколько изображений из выбранной группы на странице результатов поиска.

Claim 2 (Зависимый от 1): Уточняет механизм группировки.

Группировка основана на определении Edit Distances (синтаксическая близость) или Similar Meanings (семантическая близость) между аннотациями. Это подтверждает использование комплексного NLP (синтаксис + семантика) для интерпретации и кластеризации меток.

Claim 3 (Зависимый от 1): Описывает механизм Contributor Limiting.

Если система определяет, что несколько похожих изображений были получены от одного и того же пользователя, она выбирает только одно из этих изображений для включения в набор обрабатываемых результатов. Это обеспечивает разнообразие источников и защиту от спама.

Claim 5 (Зависимый от 1): Детализирует расчет Query Relevance Score с учетом геолокации (Geo-boost).

Query Relevance Score определяется на основе как минимум: (i) визуального сходства и (ii) географического расстояния между местоположением, связанным с отправкой UGC изображения, и местоположением пользователя, отправившего запрос. Это явный механизм локального ранжирования в визуальном поиске.

Где и как применяется

Изобретение применяется в системах визуального поиска (Google Lens, Google Images QBI) и затрагивает несколько этапов поисковой архитектуры.

CRAWLING & INDEXING – Сбор данных и Индексирование
На этом этапе собирается и индексируется UGC. Извлекаются визуальные признаки изображений и сохраняются метаданные: метки (Annotations), геолокация отправки и идентификатор пользователя (для Contributor Limiting).

RANKING – Ранжирование (Отбор кандидатов и предварительная оценка)
При получении Image Query система отбирает визуально похожих кандидатов. Рассчитываются Query Relevance Scores. На этом этапе применяется Geo-boost (Claim 5), повышающий оценки локально релевантных результатов.

RERANKING – Переранжирование (Кластеризация и Агрегация)
Здесь реализуется основная логика патента:

1. Фильтрация: Применяется Contributor Limiting (Claim 3) для выбора лучшего результата от каждого автора.
2. Кластеризация: Анализируется схожесть меток (Claim 2) отобранных результатов (синтаксическая и семантическая), и они объединяются в группы.
3. Агрегация и Ранжирование: Рассчитываются и сортируются агрегированные Group Scores.

Входные данные:

• Query Image.
• Местоположение пользователя, отправившего запрос.
• Индекс UGC (Изображения, Метки, Геолокация отправки, Идентификаторы пользователей).

Выходные данные:

• Отсортированный список групп результатов (или результаты из топовой группы).
• Метки, идентифицирующие объект.

На что влияет

• Типы контента и интерфейсы: Влияет на интерфейсы Query by Image (Google Lens) и отображение UGC в Google Maps/Local Search при визуальной идентификации объектов и мест.
• Ниши и тематики: Критически важно для Локального поиска (идентификация мест, достопримечательностей), E-commerce (идентификация товаров по фото) и путешествий.
• Географические факторы: Благодаря Geo-boost, патент имеет сильное влияние на локализованные визуальные запросы.

Когда применяется

• Триггеры активации: Активируется при получении визуального запроса (QBI).
• Условия применения: Применяется, когда система выполняет поиск по репозиторию UGC и находит несколько релевантных совпадений с различными метками, требующими консолидации для определения наилучшего ответа (консенсуса).

Пошаговый алгоритм

1. Получение запроса: Система получает Image Query и местоположение пользователя.
2. Идентификация кандидатов: Поиск визуально похожих UGC изображений в базе данных.
3. Расчет индивидуальных оценок: Вычисление базового Query Relevance Score для каждого кандидата на основе визуального сходства.
4. Географическая корректировка (Geo-boost): Корректировка Query Relevance Score. Оценка повышается, если местоположение отправки UGC находится близко к местоположению пользователя (Claim 5).
5. Фильтрация по автору (Contributor Limiting): Для каждого уникального автора выбирается только один результат с наивысшим скорректированным Query Relevance Score. Остальные результаты от этого автора отбрасываются (Claim 3).
6. Анализ меток: Определение сходства между метками оставшихся результатов. Используются Edit Distance и семантическое сходство (Similar Meanings) (Claim 2).
7. Группировка (Кластеризация): Результаты объединяются в группы на основе сходства меток.
8. Расчет оценки группы: Вычисление Group Score для каждой группы путем агрегации (например, суммирования) Query Relevance Scores всех результатов внутри группы.
9. Нормализация (Опционально): Оценки могут быть нормализованы (например, для получения среднего балла релевантности в группе).
10. Ранжирование групп: Сортировка групп на основе их итоговой оценки.
11. Представление результатов: Предоставление пользователю метки и/или изображений из группы с наивысшим рейтингом.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные данные): Визуальное содержание изображения запроса и UGC изображений (используется для расчета визуального сходства).
• Контентные факторы (Текстовые данные): Предоставленные пользователями Annotations или Labels, связанные с UGC изображениями (используются для группировки).
• Географические факторы: Местоположение пользователя, отправившего запрос, и местоположение, откуда было отправлено UGC изображение (используются для Geo-boost).
• Пользовательские факторы: Уникальный идентификатор автора UGC (используется для Contributor Limiting).

Какие метрики используются и как они считаются

• Query Relevance Score: Комплексная оценка. Основана на визуальном сходстве и скорректирована с учетом Geographical Distance (Geo-boost factor).
• Label Similarity (Сходство меток): Измеряется с использованием:
  • Edit Distance: Синтаксическая схожесть написания.
  • Similar Meanings: Семантическая схожесть (понимание синонимов и связанных понятий).
• Group Score (Aggregated Query Relevance Score): Агрегация (например, сумма) Query Relevance Scores результатов внутри группы после фильтрации и корректировки.

Выводы

1. Консенсус определяет идентификацию: В визуальном поиске Google полагается на консенсус («мудрость толпы») для идентификации и именования объектов. Группировка меток и ранжирование групп по взвешенной релевантности (Group Score) позволяет отсеять ошибки в UGC и выбрать наиболее вероятное описание.
2. Локализация как прямой фактор ранжирования (Geo-boost): Географическая близость является явным фактором ранжирования (Claim 5). Изображения, загруженные рядом с местоположением пользователя, получают преимущество (Geo-boost), что критично для локального SEO.
3. Комплексный анализ меток (Семантика и Синтаксис): Система использует NLP для группировки меток, учитывая как точность написания (Edit Distance), так и смысл (Similar Meanings) (Claim 2). Это позволяет объединять синонимы, опечатки и разные формулировки.
4. Ценность разнообразия источников и защита от спама: Система активно предотвращает доминирование одного пользователя в результатах с помощью Contributor Limiting (Claim 3), учитывая только лучший результат от каждого источника. Это обеспечивает разнообразие сигналов и усложняет манипуляции.
5. Многофакторная релевантность: Релевантность в визуальном поиске комплексна и зависит от взаимодействия визуальных сигналов, текстового контекста и географической близости.

Практика

Best practices (это мы делаем)

Хотя патент фокусируется на UGC, его принципы критически важны для стратегии Визуального (VSO) и Локального SEO.

• (Local SEO) Акцент на геолокацию: Патент подтверждает критическую важность Geo-boost (Claim 5). Для локального бизнеса необходимо ассоциировать изображения с географическим положением: использовать геотеги в EXIF, загружать фото в Google Business Profile (GBP), упоминать локацию в контексте изображения на сайте.
• (Local SEO) Стимулирование качественного UGC: Поощряйте клиентов загружать четкие фотографии вашего бизнеса или товаров в GBP/Maps. Большое количество качественного UGC, загруженного локально, улучшает идентификацию объекта благодаря Geo-boost и формированию сильного локального консенсуса.
• Оптимизация под консенсус (Согласованность): При оптимизации изображений на сайте используйте общепринятые и точные названия объектов. Это повышает вероятность того, что система ассоциирует ваше изображение с доминирующей группой интерпретаций.
• Использование семантических вариаций: Поскольку система учитывает Similar Meanings (Claim 2), включайте синонимы и связанные термины в контекст изображения (Alt-текст, окружающий текст). Это помогает системе понять объект, даже если основная формулировка отличается от пользовательских меток.

Worst practices (это делать не надо)

• Спам с одного аккаунта (UGC): Загрузка множества одинаковых или похожих фотографий с одного аккаунта в GBP или Maps неэффективна. Механизм Contributor Limiting (Claim 3) нейтрализует это, выбирая только лучшее совпадение.
• Игнорирование локальных сигналов: Отсутствие гео-сигналов у изображений локального бизнеса лишает их возможности получить Geo-boost при визуальном поиске пользователями поблизости.
• Использование редких или неоднозначных описаний: Описание изображения нестандартным термином может привести к тому, что оно не попадет в консенсусную группу и получит низкий ранг, даже если визуально релевантно.
• Нерелевантный текстовый контекст: Добавление популярных, но нерелевантных описаний неэффективно. Изображение должно быть и визуально релевантным (высокий Query Relevance Score), и иметь контекст, соответствующий доминирующей группе.

Стратегическое значение

Патент подчеркивает стратегическую важность оптимизации под визуальный поиск (VSO), особенно в контексте мобильного использования и Google Lens. Он подтверждает движение поиска от сопоставления ключевых слов к идентификации объектов в реальном мире, используя UGC и локализацию как ключевые сигналы. SEO-стратегия должна включать создание сильных связей между визуальным контентом, его семантическим описанием (сущностями) и географическим контекстом.

Практические примеры

Сценарий: Локальный визуальный поиск для ресторана (Local VSO)

1. Задача: Обеспечить правильную идентификацию ресторана при фотографировании фасада через Google Lens пользователем поблизости.
2. Действия: Загружаем качественные фото фасада в Google Business Profile с точными геотегами. Поощряем посетителей оставлять отзывы с фото (UGC), сделанными в ресторане.
3. Механизм работы (по патенту): Когда пользователь использует Google Lens, система находит эти фото. Благодаря Geo-boost (Claim 5), локальные фото получают преимущество. Система группирует их по названию ресторана.
4. Ожидаемый результат: Система уверенно идентифицирует ресторан благодаря сильному консенсусу (высокий Group Score) локально релевантного контента.

Сценарий: Оптимизация изображения товара для E-commerce (VSO)

1. Задача: Улучшить видимость модели кроссовок в Google Lens.
2. Действия: Анализируем, как пользователи называют эту модель (консенсус). Используем этот вариант в alt-тексте, названии товара и разметке Schema.org/Product. Добавляем синонимы в описание для учета Similar Meanings (Claim 2). Обеспечиваем высокое качество фото.
3. Ожидаемый результат: Когда пользователь ищет этот кроссовок по фото, Google сгруппирует изображение сайта с доминирующей группой меток и присвоит ему высокий ранг, правильно идентифицировав товар.

Вопросы и ответы