Как Google автоматически отбирает и предлагает пользователям загрузить релевантные фотографии для Google Maps и Local Search

Описание

Какую задачу решает

Патент решает проблему сбора большого количества высококачественных и описательных изображений для точек интереса (Point of Interest, POI) в географических информационных системах (например, Google Maps). Он устраняет неэффективность ручной загрузки, которая требует от пользователя значительных усилий. Кроме того, система решает проблему качества контента, отфильтровывая нерелевантные изображения (например, селфи или случайные фото), которые не несут описательной ценности для других пользователей, ищущих информацию о месте.

Что запатентовано

Запатентована система для автоматического выявления пользовательских изображений, которые являются релевантными для конкретного местоположения, и последующего предложения пользователю загрузить их. Система определяет релевантность путем анализа содержимого изображения (subjects) и сравнения его с семантическими дескрипторами (semantic descriptors) этого местоположения. Цель – упростить процесс добавления полезного визуального контента в Geographic information system.

Как это работает

Механизм активируется после того, как пользователь делает фотографию на мобильное устройство:

• Определение местоположения: Система идентифицирует, где было сделано фото (POI), используя GPS, метаданные или историю пользователя.
• Получение контекста POI: Извлекаются semantic descriptors, описывающие это место (например, «ресторан», «кофе», «стейк»).
• Анализ изображения: Система анализирует фото для определения его объектов (subjects), используя алгоритмы распознавания образов (Image content analysis algorithm).
• Оценка релевантности: Рассчитывается relevance score путем сравнения объектов на фото с дескрипторами POI.
• Фильтрация лиц: Изображения, основным объектом которых являются человеческие лица (human faces), могут быть отфильтрованы как нерелевантные для описания места.
• Уведомление: Если изображение признано релевантным (превышает порог), пользователю отправляется уведомление (например, «Добавить это фото в Google Maps?») для подтверждения загрузки.

Актуальность для SEO

Высокая. Сбор пользовательского визуального контента (UGC) критически важен для актуальности Google Maps и Local Search. Описанный механизм активно используется сегодня, что подтверждается регулярными уведомлениями от Google Maps с предложением добавить фотографии после посещения заведений. Технологии компьютерного зрения и семантического анализа, лежащие в основе патента, постоянно развиваются.

Важность для SEO

Патент имеет высокое значение для Local SEO и оптимизации Google Business Profile (GBP). Он раскрывает механизм, с помощью которого Google оценивает релевантность изображений для конкретного бизнеса. Понимание того, что Google ищет семантическое соответствие между контентом фото и описанием бизнеса, и активно фильтрует нерелевантные изображения (например, селфи), позволяет разрабатывать более эффективные стратегии по управлению визуальным профилем компании в локальном поиске.

Детальный разбор

Термины и определения

Geographic information system (Географическая информационная система, GIS)

Система, предназначенная для сбора, анализа и визуализации пространственных данных и информации о POI (например, Google Maps, платформы отзывов). Включает Point of interest database.

Human faces (Человеческие лица)

Объекты на изображении, идентифицированные как лица. В контексте патента их присутствие в качестве основного объекта (relative primacy) может снижать релевантность изображения для описания местоположения.

Image content analysis algorithm (Алгоритм анализа содержимого изображения)

Техники компьютерного зрения, такие как обнаружение объектов (object detection) и классификация, используемые для идентификации subjects на фотографии.

Knowledge Web (Сеть знаний)

Структура данных (например, Knowledge Graph), описывающая отношения между семантическими дескрипторами. Используется для расширения контекста (например, от «завтрак» к «яйца», «тост»).

Point of Interest (POI, Точка интереса)

Конкретное местоположение (бизнес, достопримечательность), информация о котором хранится в GIS.

Relevance score (Оценка релевантности)

Метрика, рассчитываемая для определения степени соответствия между subjects изображения и semantic descriptors местоположения.

Semantic descriptors (Семантические дескрипторы)

Слова или фразы, которые семантически описывают местоположение или содержимое изображения. Система использует first set для POI и second set для изображения.

Subjects (Объекты изображения)

Содержимое или объекты, идентифицированные на изображении с помощью анализа.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод получения изображений для местоположений.

1. Система определяет местоположение, где мобильное устройство сделало первое изображение.
2. Система получает один или несколько semantic descriptors, описывающих это местоположение.
3. Система анализирует изображение для определения одного или нескольких subjects (объектов).
4. Система определяет, связаны ли эти subjects с semantic descriptors местоположения.
5. Если связь установлена, система предоставляет пользователю возможность ассоциировать изображение с местоположением.

Claim 6 (Зависимый от 1): Детализирует механизм сравнения.

1. Получение дескрипторов для локации определяется как получение first set of semantic descriptors.
2. Анализ изображения определяется как получение second set of semantic descriptors, описывающих контент изображения.
3. Определение связи включает сравнение первого и второго наборов дескрипторов для определения степени соответствия (matching magnitude).

Claim 7 (Зависимый от 1): Определяет процесс оценки релевантности.

1. Генерируется relevance score для объектов изображения на основе семантических дескрипторов локации.
2. Определяется, превышает ли relevance score установленное пороговое значение (threshold value).

Claim 8 (Зависимый от 1): Описывает механизм фильтрации нежелательного контента («фильтр селфи»).

1. Анализ изображения включает определение того, изображены ли на нем одно или несколько человеческих лиц (human faces).
2. Определение связи включает в себя вывод о том, что объекты изображения НЕ связаны с дескрипторами локации, если на изображении присутствуют человеческие лица.

Claim 15 (Независимый пункт): Описывает метод обработки множества изображений (например, серии фото).

1. Определяется местоположение, где было сделано множество изображений.
2. Получаются semantic descriptors для этого местоположения.
3. Анализируется множество изображений для определения их объектов.
4. Для каждого изображения рассчитывается relevance score.
5. Выбираются одно или несколько релевантных изображений на основе их relevance scores (например, лучшее или все, превысившие порог).
6. Пользователю предоставляется возможность ассоциировать эти выбранные изображения с местоположением.

Где и как применяется

Изобретение применяется в рамках экосистемы сбора и индексации данных Google, особенно для локального поиска и картографических сервисов.

CRAWLING – Сканирование и Сбор данных (Data Acquisition)
Это основной этап применения патента. Он описывает специализированный механизм сбора пользовательского визуального контента (UGC) для обогащения базы данных Geographic information system (например, Google Maps). Система проактивно ищет релевантный контент на устройствах пользователей.

INDEXING – Индексирование и извлечение признаков (Feature Extraction)
Система полагается на данные в индексе и выполняет извлечение признаков в реальном времени:

• POI Data: Для работы механизма необходимо, чтобы POI были проиндексированы и для них были извлечены semantic descriptors (из категорий, отзывов, меню, сайта).
• Image Data: Система выполняет извлечение признаков из новых фотографий, используя Image content analysis algorithm для идентификации subjects и обнаружения лиц.

RANKING / METASEARCH
Патент напрямую не описывает ранжирование. Однако собранные с его помощью высокорелевантные изображения повышают качество профиля POI (GBP), что улучшает представление в универсальной выдаче (Metasearch) и косвенно влияет на локальное ранжирование.

Входные данные:

• Изображение, снятое пользователем.
• Данные о местоположении (GPS, WiFi, метаданные EXIF).
• Данные пользователя (история поиска/местоположений, резервации – при наличии разрешений).
• База данных POI с semantic descriptors.

Выходные данные:

• Уведомление пользователю с предложением загрузить фото (если оно релевантно).
• Изображение, ассоциированное с конкретным POI в базе данных GIS (в случае согласия пользователя).

На что влияет

• Конкретные типы контента: Влияет на пользовательские изображения (UGC), связанные с физическими местоположениями.
• Конкретные ниши или тематики: Наибольшее влияние оказывается на все категории Local SEO – рестораны, ритейл, услуги, достопримечательности, парки.
• Форматы контента: Визуальный контент (фотографии) в профилях Google Business Profile и на Google Maps.

Когда применяется

• Триггеры активации: Процесс запускается при обнаружении факта съемки изображения мобильным устройством. Активация может происходить немедленно, при обнаружении «кластера» изображений или когда устройство меняет местоположение (покидает POI).
• Условия работы алгоритма: Система должна иметь возможность определить местоположение съемки и получить доступ к semantic descriptors этого места. Требуется согласие пользователя на анализ изображений и данных о местоположении.
• Пороговые значения: Алгоритм отправляет уведомление, только если рассчитанный relevance score превышает определенное threshold value.
• Исключения: Изображения, которые определены как нерелевантные, исключаются. В частности, упоминается исключение изображений, на которых human faces являются основным объектом (relative primacy).

Пошаговый алгоритм

Процесс обработки изображения

1. Детекция события: Система обнаруживает, что камера мобильного устройства сделала одно или несколько изображений.
2. Определение местоположения: Идентифицируется точное местоположение (POI), где были сделаны снимки.
3. Получение контекста POI: Система запрашивает из базы данных GIS first set of semantic descriptors, связанных с этим POI. Этот набор может быть расширен с помощью Knowledge Web.
4. Анализ изображения: К изображению применяется Image content analysis algorithm:
   • Распознавание объектов (subjects) и генерация second set of semantic descriptors.
   • Детекция лиц (human faces) и определение их значимости.
5. Расчет релевантности: Система сравнивает первый и второй наборы дескрипторов. Генерируется relevance score. Наличие лиц негативно влияет на этот скоринг или приводит к дисквалификации (Claim 8).
6. Применение порогов: Проверяется, превышает ли relevance score установленное threshold value.
   • Если НЕТ: Процесс останавливается, уведомление не отправляется.
   • Если ДА: Перейти к шагу 7.
7. Отбор изображений (если их несколько): Если было сделано несколько фото (Claim 15), система может выбрать наиболее релевантное или несколько изображений, превысивших порог.
8. Уведомление пользователя: На устройство отправляется уведомление, предлагающее пользователю ассоциировать отобранное изображение(я) с POI.
9. Обработка ответа: Если пользователь дает согласие, изображение загружается и сохраняется в базе данных GIS с привязкой к POI.

Какие данные и как использует

Данные на входе

Патент описывает использование следующих данных (отмечается, что сбор пользовательских данных требует явного согласия):

• Мультимедиа факторы: Пиксельные данные самого изображения для анализа контента.
• Технические факторы: Метаданные изображения (например, EXIF data), содержащие время съемки и геолокационные данные.
• Географические факторы: Данные системы позиционирования мобильного устройства (GPS, WiFi) для определения местоположения в момент съемки.
• Пользовательские факторы (User Data): История поиска, история местоположений, данные резервирований (reservation data), данные мобильных платежей. Эти данные используются для определения и подтверждения местоположения съемки.
• Контентные факторы (Внешние данные для генерации дескрипторов POI): Источниками semantic descriptors могут быть:
  • Категории, в которые классифицирован POI.
  • Тексты пользовательских отзывов (user-submitted reviews).
  • Меню или веб-сайт POI.
  • Анализ других изображений, ранее ассоциированных с этим местом.

Какие метрики используются и как они считаются

• Relevance Score: Ключевая метрика. Рассчитывается путем сравнения first set of semantic descriptors (POI) и second set of semantic descriptors (изображение). Чем больше совпадений или семантической близости (matching magnitude), тем выше оценка.
• Threshold value: Пороговое значение для Relevance Score, необходимое для активации уведомления.
• Обнаружение и классификация объектов: Используются алгоритмы машинного зрения (Image content analysis) для идентификации subjects на фото.
• Детекция лиц (Face Detection): Метрика наличия human faces и их относительной значимости (relative primacy). Используется как негативный коэффициент для Relevance Score или как стоп-фактор.

Выводы

1. Автоматизированный сбор и курирование UGC: Google активно использует автоматизированные системы (ИИ/Машинное зрение) для пополнения базы визуального контента в Local Search, при этом автоматически контролируя качество и релевантность перед запросом на загрузку.
2. Релевантность через семантическое соответствие: Ключевым механизмом является сравнение того, что изображено на фото (распознанные объекты), с тем, как Google семантически понимает бизнес (semantic descriptors).
3. Источники семантических данных критичны: Google формирует semantic descriptors POI на основе множества сигналов (категории, отзывы, сайт, меню). Это подчеркивает важность консистентности и полноты информации о бизнесе на всех платформах.
4. Приоритет описательных фото над социальными: Патент явно указывает на фильтрацию изображений, сфокусированных на людях (Claim 8). Google предпочитает фотографии, которые описывают продукты, услуги или атмосферу заведения, а не посетителей.
5. Расширение контекста через Knowledge Graph: Упоминание Knowledge Web указывает на использование графа знаний для расширения дескрипторов (например, от «ресторан» к типам блюд), что улучшает точность сопоставления.

Практика

Best practices (это мы делаем)

• Управление семантическим профилем бизнеса (Local SEO): Активно работайте над тем, чтобы Google сформировал точные semantic descriptors для вашего бизнеса. Это достигается через:
  • Выбор максимально точных категорий в GBP.
  • Наличие подробного и структурированного меню/списка услуг на сайте и в GBP.
  • Стимулирование отзывов, в которых упоминаются конкретные продукты или услуги.
• Стимулирование релевантных фотографий от клиентов: Поощряйте клиентов фотографировать то, что выгодно представляет бизнес (блюда, интерьер, витрины, результаты работы), а не только селфи. Google с большей вероятностью распознает эти изображения как релевантные и предложит их загрузить.
• Загрузка эталонных изображений: Самостоятельно загружайте в GBP профессиональные фотографии, четко отображающие ключевые продукты и услуги. Согласно патенту, существующие изображения также могут использоваться для генерации semantic descriptors локации.
• Оптимизация физической среды: Убедитесь, что ключевые элементы вашего бизнеса хорошо освещены и фотогеничны. Это поможет алгоритмам компьютерного зрения корректно распознать объекты и повысит Relevance Score пользовательских фото.

Worst practices (это делать не надо)

• Фокус на фотографиях людей в GBP: Загрузка большого количества фотографий команды или мероприятий, где люди являются основным объектом. Патент прямо указывает (Claim 8), что такие изображения фильтруются как менее полезные для описания POI.
• Неконсистентная информация о бизнесе: Расхождения в описании услуг, категориях или меню на разных платформах (сайт, GBP, агрегаторы). Это затрудняет формирование четких semantic descriptors и снижает точность работы системы сопоставления изображений.
• Игнорирование текстового контента в отзывах: Отсутствие работы с отзывами лишает бизнес важного источника semantic descriptors, которые используются для оценки релевантности изображений.

Стратегическое значение

Патент подтверждает стратегическую важность визуального контента в экосистеме локального поиска и демонстрирует, как Google применяет технологии машинного зрения и семантического анализа для контроля качества UGC в масштабе. Для Local SEO это означает, что управление визуальным представлением бизнеса требует комплексного подхода: необходимо управлять семантическим контекстом бизнеса, чтобы система Google считала пользовательский контент релевантным.

Практические примеры

Сценарий: Повышение релевантности фотографий для кафе

1. Анализ и Оптимизация: SEO-специалист анализирует отзывы и меню, выделяя часто упоминаемые позиции («латте-арт», «круассан»). Информация на сайте и в GBP обновляется с акцентом на эти позиции, формируя точные semantic descriptors.
2. Стимулирование UGC: В кафе размещается напоминание с предложением сфотографировать красивый кофе или выпечку.
3. Действие пользователя: Клиент фотографирует круассан и делает селфи.
4. Работа системы (по патенту):
   • Селфи: Система обнаруживает лицо (human face) как основной объект и фильтрует фото.
   • Фото круассана: Система распознает объект («выпечка»/«круассан»). Она сравнивает это с дескрипторами кафе («круассан»). Relevance score высокий.
5. Ожидаемый результат: Система отправляет клиенту уведомление «Добавить фото (круассана) в Google Maps?». Профиль кафе пополняется релевантным визуальным контентом.

Вопросы и ответы