Как Google использует компьютерное зрение и нейронные сети для категоризации локальных бизнесов по фотографиям фасадов (Street View)

Описание

Какую задачу решает

Патент решает проблему сложности, высокой стоимости и трудоемкости поддержания точной и актуальной базы данных локальных бизнесов. Ручная категоризация требует знания местных языков и брендов и быстро устаревает (10-30% бизнесов меняются ежегодно). Система автоматизирует этот процесс, обеспечивая богатую, многоуровневую категоризацию на основе визуальных данных (например, Street View), что необходимо для точного ответа на локально-ориентированные запросы пользователей.

Что запатентовано

Запатентована система автоматической классификации локальных сущностей (location entities), преимущественно бизнесов, с использованием изображений их фасадов. Суть изобретения заключается в применении обученной статистической модели (statistical model), например, глубокой нейронной сети, для анализа визуальной информации и генерации множества классификационных меток (classification labels). Эти метки выбираются из предопределенной онтологии (ontology), обеспечивая иерархическую классификацию на разных уровнях детализации.

Как это работает

Система работает следующим образом:

• Обучение модели: Статистическая модель (например, Deep Convolutional Neural Network) обучается на большом наборе изображений. Используется онтология для распространения меток по иерархии (если это «Пиццерия», то это также «Ресторан»).
• Входные данные: На вход подается изображение локации. Может применяться bounding box для выделения области фасада.
• Анализ: Модель анализирует пиксели изображения. Она неявно изучает визуальные и текстовые признаки, не полагаясь исключительно на OCR (оптическое распознавание текста).
• Выходные данные: Модель генерирует набор classification labels разного уровня гранулярности и соответствующие им оценки уверенности (confidence scores).
• Применение: Эти метки ассоциируются с сущностью бизнеса в базе данных (Business Listing Database) и используются для улучшения локального поиска.

Актуальность для SEO

Высокая. Компьютерное зрение и глубокое обучение для анализа реального мира (Google Maps, Google Lens) являются ключевыми направлениями развития поиска. Автоматическая верификация и категоризация данных о локальном бизнесе критически важны для качества локальной выдачи. Описанный механизм фундаментален для связи физических объектов с сущностями в Knowledge Graph.

Важность для SEO

Патент имеет высокое значение (8.5/10), особенно для Local SEO. Он описывает механизм, позволяющий Google определять и верифицировать категорию бизнеса, анализируя его внешний вид (через Street View или фото пользователей). Это снижает зависимость от данных, предоставленных владельцем в Google Business Profile (GBP). Физическое представление бизнеса (вывеска, фасад) становится прямым фактором, влияющим на классификацию и ранжирование в локальной выдаче и на Картах.

Детальный разбор

Термины и определения

Classification Labels (Классификационные метки)

Категории, присваиваемые локальной сущности на основе анализа изображения. Система генерирует множество меток разного уровня гранулярности (например, «Sports Bar», «Bar», «Drink»).

Confidence Scores (Оценки уверенности)

Числовые значения, указывающие на вероятность того, что присвоенная метка является точной для данной сущности.

Location Entity (Локальная сущность)

Объект, связанный с географическим положением. В контексте патента преимущественно подразумеваются бизнесы (рестораны, магазины), но также могут быть достопримечательности, школы и т.д.

Ontology (Онтология)

Иерархическая структура данных, которая определяет предопределенные отношения (predetermined relationships) между категориями на разных уровнях гранулярности (multiple levels of granularity). Используется для описания отношений включения (containment relationships).

Statistical Model (Статистическая модель)

Модель машинного обучения, используемая для классификации изображений. В патенте упоминаются Neural Network, SVM и конкретно Deep Convolutional Neural Network (Глубокая сверточная нейронная сеть, CNN).

Street View Images (Изображения Street View)

Панорамные изображения улиц, часто используемые в качестве входных данных для анализа фасадов (storefronts).

Bounding Box (Ограничивающий прямоугольник)

Инструмент для выделения интересующей области на изображении (например, фасада здания), которая затем подается на вход статистической модели.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод присвоения классификационных меток локальным сущностям на основе изображений.

1. Система подает одно или несколько изображений location entity на вход statistical model.
2. Модель применяется к изображениям.
3. Генерируется множество (plurality) classification labels для этой сущности.
4. Ключевое условие: Метки выбираются из ontology, которая определяет отношения между категориями на разных уровнях гранулярности.
5. Метки предоставляются в качестве выходных данных модели.

Ядром изобретения является использование машинного обучения на изображениях для многоуровневой иерархической (онтологической) классификации локальных бизнесов.

Claim 16 (Независимый пункт): Описывает метод обработки поискового запроса, связанного с бизнесом (практическое применение).

1. Система получает запрос на информацию о конкретном типе бизнеса.
2. Система обращается к базе данных бизнес-листингов. Эта база содержит ассоциации между бизнесами и множеством классификационных меток.
3. Указывается, что эти ассоциации были созданы путем подачи изображений бизнеса на вход статистической модели и генерации меток.
4. Система предоставляет результаты поиска, идентифицированные из базы данных, используя эти автоматически сгенерированные ассоциации.

Этот пункт защищает использование результатов визуальной классификации для обслуживания локального поиска.

Claim 8 (Зависимый от 1): Уточняет, что система также генерирует confidence score для каждой метки.

Claim 15 (Зависимый от 1): Указывает, что статистическая модель является глубокой сверточной нейронной сетью (deep convolutional neural network) с верхним слоем логистической регрессии.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, преимущественно в контексте локального поиска и построения Knowledge Graph.

CRAWLING – Сканирование и Сбор данных
Система использует данные, собранные на этом этапе, в частности изображения Street View или фотографии, загруженные пользователями и владельцами бизнесов.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. На этом этапе происходит обработка собранных изображений:

1. Извлечение Признаков (Feature Extraction): Изображения подаются на вход Statistical Model (CNN). Модель анализирует визуальные данные.
2. Классификация и Аннотирование: Модель генерирует Classification Labels и Confidence Scores, используя Ontology.
3. Связывание с Сущностями: Сгенерированные метки ассоциируются с конкретной локальной сущностью в Business Listing Database. Это обогащает профиль сущности верифицированными данными о ее типе.

RANKING – Ранжирование (Локальный поиск)
На этом этапе используются данные, сгенерированные во время индексирования. Когда пользователь вводит локально-ориентированный запрос (например, «ресторан рядом»), система использует Classification Labels как сильный сигнал для определения релевантности бизнеса запросу.

Входные данные:

• Изображения локальной сущности (Street View, фото пользователей).
• Географическое положение изображения (для привязки к сущности и обучения).

Выходные данные:

• Набор Classification Labels для сущности.
• Confidence Scores для каждой метки.
• Ассоциации между сущностью и метками, сохраненные в базе данных.

На что влияет

• Конкретные типы контента: Профили локальных бизнесов (Google Business Profiles), Карты и локальная выдача (Local Pack).
• Специфические запросы: Категорийные и локально-ориентированные запросы (locality-aware queries), например, «кафе рядом со мной».
• Конкретные ниши или тематики: Все ниши, имеющие физическое представительство (ритейл, рестораны, услуги, медицина и т.д.).
• Языковые и географические ограничения: Система разработана для глобального масштабирования. Она способна неявно изучать текстовые подсказки на разных языках непосредственно из пикселей изображения, что делает ее более устойчивой к языковым барьерам по сравнению с системами, полагающимися только на OCR.

Когда применяется

• При каких условиях работает алгоритм: При наличии доступных изображений фасада (storefront) локальной сущности.
• Временные рамки и частота применения: Применяется в процессе индексирования, когда появляются новые изображения (обновление Street View, загрузка новых фото) или при обновлении статистической модели.
• Исключения: Если категория не может быть определена с достаточной уверенностью по одному изображению, система может использовать информацию с других изображений того же бизнеса или отложить классификацию для поддержания высокой точности листингов.

Пошаговый алгоритм

Процесс А: Обучение модели (Офлайн)

1. Сбор обучающих данных: Формирование набора изображений. Изображения привязываются к верифицированным бизнесам по геолокации и (опционально) по совпадению текста (извлеченного через OCR) с данными о бизнесе.
2. Распространение меток (Label Propagation): Для каждого изображения определяются все релевантные категории путем распространения меток вверх по иерархии Ontology.
3. Обучение модели: Модель (CNN) обучается на подготовленном наборе данных для предсказания множества меток. Используются техники аугментации данных и dropout для предотвращения переобучения.

Процесс Б: Классификация изображений (Индексирование)

1. Получение изображения: Система получает новое изображение локальной сущности.
2. Предобработка (Опционально): Применение bounding box для выделения области фасада.
3. Подача на вход модели: Изображение подается на вход обученной статистической модели.
4. Применение модели: Модель анализирует входные данные.
5. Генерация меток и оценок: Система генерирует множество classification labels из онтологии и соответствующие confidence scores.
6. Сохранение: Ассоциация между локальной сущностью и сгенерированными метками сохраняется в Business Listing Database.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные данные): Основной источник данных — пиксели изображения (IMAGE). Система анализирует визуальные паттерны, объекты и структуру фасада.
• Контентные факторы (Текстовые данные на изображении): Система неявно учится распознавать и интерпретировать текст на изображениях (вывески, названия) непосредственно из пикселей. Патент подчеркивает, что система не обязана полагаться на отдельный OCR-модуль, что делает ее устойчивой к ошибкам OCR, разным языкам и искажениям текста (например, из-за ошибок склейки панорамы).
• Географические факторы: Геолокация (geographic location) используется для привязки анализа к конкретной локальной сущности и для корректного разделения данных на обучающую и тестовую выборки (location aware splitting).

Какие метрики используются и как они считаются

• Confidence Score: Вероятностная оценка точности каждой сгенерированной метки. Вычисляется статистической моделью (например, на выходе слоя логистической регрессии).
• Многоуровневая классификация: Используется Ontology для определения иерархических отношений (containment relationships). Если сущности присвоена специфическая метка, ей также присваиваются родительские метки.
• Алгоритмы машинного обучения: Упоминаются Neural Network, SVM, и конкретно Deep Convolutional Neural Network (CNN). CNN эффективны для анализа визуальных данных. Упоминается использование техник обучения, таких как dropout и аугментация данных (random crops, mirrored versions).

Выводы

1. Визуальные данные как источник истины (Ground Truth): Google активно использует компьютерное зрение для понимания физического мира. Система способна классифицировать бизнес, анализируя только изображения его фасада (Street View, фото пользователей), что позволяет верифицировать или дополнять данные, предоставленные владельцем.
2. Снижение зависимости от текстовых данных и OCR: Модель (CNN) учится распознавать текстовые паттерны на вывесках напрямую из пикселей. Это позволяет системе работать глобально, не требуя отдельных языковых моделей для OCR, и быть устойчивой к визуальным искажениям или вводящему в заблуждение тексту.
3. Иерархическая классификация критична (Ontology): Google не просто присваивает одну категорию, а понимает иерархию. Это позволяет показывать бизнес как по узким запросам («пиццерия»), так и по широким («ресторан»).
4. Важность физического представления бизнеса: Внешний вид бизнеса, качество вывески и информативность доступных изображений фасада напрямую влияют на способность системы корректно классифицировать бизнес и присвоить высокие Confidence Scores.
5. Автоматизация Local SEO: Патент демонстрирует механизм масштабного автоматического наполнения, обновления и верификации базы данных локальных бизнесов, что критично для качества локального поиска.

Практика

Best practices (это мы делаем)

• Обеспечение четкой визуальной идентификации (Вывеска): Фасад бизнеса должен ясно демонстрировать его тип. Вывеска должна быть хорошо видна, читаема и содержать название и/или ключевые услуги (например, «Стоматология», «Кафе»). Это помогает Statistical Model корректно интерпретировать визуальные и текстовые сигналы на изображении.
• Активное управление изображениями в GBP: Загружайте высококачественные фотографии фасада с разных ракурсов, которые четко показывают вывеску и входную группу. Убедитесь, что основное фото (cover photo) максимально информативно отражает суть бизнеса.
• Мониторинг Street View и фото пользователей: Регулярно проверяйте, как ваш бизнес выглядит на панорамах Street View и на фото, загруженных пользователями. Устаревшие или неточные изображения могут негативно сказаться на автоматической классификации.
• Согласованность визуальных и текстовых сигналов: Убедитесь, что название и тип бизнеса на физической вывеске соответствуют данным в GBP и на сайте. Несоответствия могут снизить Confidence Score автоматической классификации.
• Отражение многопрофильности: Если бизнес многопрофильный (например, АЗС с магазином), убедитесь, что это отражено визуально (например, разные вывески). Система поддерживает multi-label classification.

Worst practices (это делать не надо)

• Отсутствие четкой вывески или вводящий в заблуждение фасад: Бизнесы без явных внешних идентификаторов или с доминирующей рекламой сторонних услуг на фасаде сложнее поддаются корректной автоматической классификации.
• Игнорирование визуального представления: Полагаться только на текстовую оптимизацию и выбранные категории в GBP. Google использует визуальный анализ для верификации этих данных.
• Манипуляции с категориями в GBP (Category Spam): Указание категорий в GBP, которые явно противоречат визуальным данным фасада. Система может выявить и исправить такие несоответствия, опираясь на визуальные доказательства.

Стратегическое значение

Патент подтверждает стратегию Google на слияние данных из физического мира с цифровым графом знаний (Knowledge Graph). Для Local SEO это означает, что оптимизация включает управление физическим представлением бизнеса. Визуальные данные используются как независимый источник верификации сущностей («Валидация Сущности»). Долгосрочная стратегия должна обеспечивать максимальную четкость и консистентность сигналов о типе бизнеса как онлайн, так и офлайн.

Практические примеры

Сценарий: Улучшение ранжирования кафе за счет коррекции визуальных данных

1. Ситуация: Кафе плохо ранжируется по запросу «кофейня рядом». Категория в GBP указана верно.
2. Анализ: Проверка Street View показывает, что на панораме вывеска кафе нечитаема, а рядом видна большая вывеска «Бар».
3. Гипотеза: Система автоматической классификации могла ошибочно присвоить метку «Бар» с высоким Confidence Score, основываясь на доступных визуальных данных.
4. Действия:
   • Владелец загружает в GBP новые качественные фото фасада, где четко видна вывеска «Кофейня», и устанавливает одно из них как предпочтительное основное фото.
   • Владелец создает и загружает качественную фотосферу (360°) улицы перед входом через приложение Street View.
5. Ожидаемый результат: При индексации новых изображений система анализирует свежие данные. Статистическая модель корректно идентифицирует визуальные и текстовые признаки кофейни. Метка «Кофейня» получает высокий Confidence Score, что улучшает релевантность бизнеса категорийным запросам и повышает его позиции в локальной выдаче.

Вопросы и ответы