Как Google использует жесты обводки для запуска и уточнения визуального поиска в дополненной реальности

Описание

Какую задачу решает

Патент решает проблему интуитивного и точного выбора конкретного объекта интереса в сложной визуальной среде при использовании носимого устройства (например, AR-очков). Когда в поле зрения камеры находится множество объектов, данный метод позволяет пользователю с помощью жеста (обводки) однозначно указать, что именно следует искать, устраняя неоднозначность ввода.

Что запатентовано

Запатентован метод инициации визуального поиска на носимом устройстве (wearable computing device). Система получает видеоданные с камеры и обнаруживает движение указывающего объекта (pointing object, например, пальца пользователя), определяющее контур области в поле зрения. Затем она идентифицирует реальный объект в этой области и инициирует поиск по нему. Ключевой особенностью является прогрессивный (итеративный) поиск, который начинается при частичном обведении контура и обновляется по мере его уточнения пользователем.

Как это работает

Система работает следующим образом:

• Сбор данных: Камера носимого устройства записывает видео сцены.
• Распознавание жеста: Система отслеживает pointing object (палец, стилус), когда пользователь обводит объект.
• Определение области: Определяются границы области (outline), указанной жестом.
• Идентификация объекта: Методы компьютерного зрения, такие как Edge Detection (обнаружение краев) и Segmentation (сегментация), используются для точной идентификации объекта внутри указанного контура, «привязывая» жест пользователя к реальным границам объекта.
• Прогрессивный поиск: Запускается Visual Search. Поиск инициируется сразу (при частичном контуре) и итеративно обновляется по мере движения указателя.
• Вывод результатов: Результаты поиска отображаются пользователю в виде текста, графики или аудио.

Актуальность для SEO

Средняя/Высокая. Хотя AR-очки, описанные в патенте, не стали массовым продуктом, технология визуального поиска (например, Google Lens) активно используется. Более того, механизм запуска поиска жестом обводки (например, функция Circle to Search) недавно был реализован Google на мобильных устройствах, что делает идеи патента крайне актуальными для современных поисковых интерфейсов, хотя и на другом типе устройств, чем предполагалось изначально.

Важность для SEO

Низкое (2/10). Патент описывает интерфейс взаимодействия пользователя (UX/UI) и методы компьютерного зрения для инициации визуального поиска. Он не содержит информации об алгоритмах ранжирования веб-ресурсов или факторах, влияющих на позиции сайтов. Влияние на SEO косвенное: он подчеркивает важность визуального контента и необходимость его оптимизации для распознавания системами визуального поиска (Visual Search Optimization – VSO).

Детальный разбор

Термины и определения

Wearable computing device (Носимое вычислительное устройство)

Устройство, носимое пользователем (например, AR-очки, шлем), оснащенное камерой и дисплеем для обеспечения функций дополненной реальности.

Pointing object / Pointing device (Указывающий объект / Устройство)

Объект, используемый для выполнения жеста обводки. Это может быть часть тела пользователя (например, палец) или инструмент (например, стилус).

Outline (Контур)

Граница области в видеоданных, определенная движением указывающего объекта.

Visual Search (Визуальный поиск)

Процесс поиска в базе данных 2D-изображений или 3D-моделей на основе визуальных характеристик идентифицированного объекта.

Edge Detection (Обнаружение краев)

Техника компьютерного зрения, используемая для идентификации границ объекта путем поиска разрывов (discontinuities) в глубине, ориентации поверхности, цвете или яркости. Используется для уточнения контура, нарисованного пользователем.

Segmentation (Сегментация)

Техника компьютерного зрения, заключающаяся в разделении видеоданных на слои (layers) с общими характеристиками (глубина, цвет, яркость) для идентификации объекта и отделения его от фона.

HOG (Histogram of Oriented Gradients)

Гистограмма ориентированных градиентов. Техника, упомянутая для отслеживания pointing object (например, стилуса) на основе гистограммы градиентов интенсивности или направлений краев.

Background Subtraction (Вычитание фона)

Техника для обнаружения движущихся объектов (например, pointing object) путем сравнения текущего кадра с эталонным фоновым кадром.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод прогрессивного (итеративного) визуального поиска, инициируемого жестом на носимом устройстве.

1. Система получает видеоданные с камеры носимого устройства.
2. На основе видеоданных обнаруживается первое движение (first movement) указывающего устройства.
3. Определяется, что реальный объект частично обведен (partially outlined) этим движением.
4. Идентифицируется объект в области видеоданных, соответствующей частичному контуру.
5. Инициируется поиск по этому объекту, и на носимом устройстве выводится соответствующая информация.
6. Обнаруживается второе движение (second movement), являющееся продолжением первого и расширяющее частичный контур до более определенного контура (further-defined outline).
7. В ответ на обнаружение второго движения, расширяющего контур, на носимом устройстве выводится дополнительная информация (обновленные результаты).

Ядром изобретения является итеративный процесс: поиск начинается немедленно и уточняется по мере получения дополнительного ввода от пользователя.

Claim 8 (Зависимый): Описывает коррекцию параллакса.

Если датчик (камера) смещен относительно глаза пользователя на определенный угол и расстояние, то обнаружение движения учитывает этот угол и расстояние. Это необходимо для точной интерпретации жеста пользователя, так как то, что видит пользователь, отличается от того, что видит смещенная камера.

Claim 9 (Зависимый): Уточняет процесс идентификации объекта.

Он включает использование Edge Detection для обнаружения краев объекта и выравнивание (aligning) определенного пользователем контура по этим краям. Это позволяет системе корректировать неточный ввод пользователя.

Claim 10 (Зависимый): Предлагает альтернативный метод идентификации объекта.

Он включает сегментацию (Segmentation) сенсорных данных на слои и выравнивание контура по одному из слоев, что также помогает точно выделить объект интереса.

Где и как применяется

Этот патент в первую очередь описывает пользовательский интерфейс (UI) и механизм запуска (triggering) поиска, а не саму поисковую инфраструктуру ранжирования.

CRAWLING / INDEXING – Сканирование и Индексирование
Косвенно. Системы визуального поиска полагаются на индекс изображений и 3D-моделей. Этот патент не описывает создание индекса, но описывает механизм, с помощью которого пользователь инициирует запрос к этому индексу.

QUNDERSTANDING – Понимание Запросов
Основное применение. Патент описывает, как система преобразует визуальный ввод и жест пользователя в структурированный запрос для визуального поиска (Query Formulation). Жест (обводка) определяет область интереса, а методы компьютерного зрения (Edge Detection, Segmentation) уточняют объект запроса.

RANKING – Ранжирование
Не применяется. Патент не описывает, как ранжируются результаты визуального поиска.

Входные данные:

• Видеоданные с камеры носимого устройства (могут включать данные о глубине).
• Данные о движении указывающего объекта (пальца/стилуса).
• (Опционально) Данные о расстоянии и угле между глазом пользователя и камерой (для коррекции параллакса).

Выходные данные:

• Идентифицированный объект (или визуальные характеристики выделенной области).
• Запрос на выполнение визуального поиска.
• Обновляемые результаты поиска (информация об объекте).

На что влияет

• Конкретные типы контента: Влияет на то, как пользователи инициируют поиск информации о физических объектах (товары, достопримечательности). Результаты поиска призваны связать физический объект с релевантным цифровым контентом.
• Специфические запросы: Визуальные запросы с информационным или коммерческим интентом, связанные с объектами в поле зрения пользователя.
• Конкретные ниши или тематики: Наибольшее влияние на E-commerce (распознавание товаров для покупки) и локальный поиск (распознавание мест и зданий).

Когда применяется

• Условия работы алгоритма: Когда пользователь использует носимое устройство с камерой (или другое устройство, реализующее этот интерфейс, например, смартфон с функцией типа Circle to Search) и инициирует жест обводки вокруг интересующего объекта.
• Триггеры активации: Обнаружение в кадре pointing object (пальца, стилуса) с помощью методов распознавания (цвет, форма, HOG) и последующее распознавание жеста обводки.

Пошаговый алгоритм

1. Получение данных: Непрерывное получение видеоданных с камеры носимого устройства.
2. Обнаружение указателя: Мониторинг видеоданных на предмет появления pointing object. Используются методы распознавания цвета/формы, HOG или Background Subtraction.
3. Отслеживание движения (Трекинг): Отслеживание траектории движения указателя, которая формирует контур интересующей области.
4. Коррекция параллакса (Опционально): Корректировка контура с учетом смещения камеры относительно глаза пользователя (согласно Claim 8).
5. Инициация прогрессивного поиска (Частичный контур): При обнаружении начала движения (first movement) система определяет частичный контур и немедленно инициирует первый визуальный поиск по области внутри него.
6. Идентификация и уточнение объекта: Применение методов компьютерного зрения для уточнения границ объекта внутри контура (согласно Claims 9 и 10):
   • Edge Detection: Поиск разрывов в глубине, цвете, яркости для определения краев.
   • Segmentation: Разделение сцены на слои по общим признакам.
   • Выравнивание контура, указанного пользователем, по обнаруженным краям или слоям объекта.
7. Обновление поиска (Уточненный контур): По мере продолжения движения (second movement) контур уточняется. Система итеративно обновляет визуальный поиск, используя более точные данные об объекте.
8. Вывод результатов: Отображение информации о результатах поиска (текст, графика или аудио) пользователю по мере их поступления.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на визуальных данных и данных о взаимодействии пользователя с устройством.

• Мультимедиа факторы (Видеоданные): Основной источник данных. Используются как для отслеживания жестов, так и для идентификации объекта. Анализируются цвет, текстура, яркость, форма. Также могут использоваться данные о глубине (depth data), если камера их предоставляет (например, используя техники structured light или time-of-flight).
• Пользовательские факторы (Жесты): Данные о движении указывающего объекта (пальца, стилуса), используемые для определения контура области поиска.

Контентные, технические (веб), ссылочные или поведенческие факторы в этом патенте не упоминаются.

Какие метрики используются и как они считаются

Патент не определяет конкретные метрики ранжирования результатов поиска, но описывает методы обработки визуального ввода для идентификации объекта.

Методы анализа (Компьютерное зрение):

• Edge Detection (Обнаружение краев): Поиск дисконтинуитетов (разрывов) в визуальных данных для определения границ объекта.
• Segmentation (Сегментация): Кластеризация пикселей в слои на основе общих признаков (глубина, цвет, ориентация поверхности).
• Histogram of Oriented Gradients (HOG): Используется для распознавания и отслеживания pointing object (например, стилуса).
• Background Subtraction (Вычитание фона): Используется для обнаружения движения pointing object путем сравнения кадров.
• Визуальное сравнение: Сравнение характеристик идентифицированного объекта с базой данных изображений или моделей. Схожесть (similarity) определяется на основе совпадения визуальных признаков.

Выводы

1. Инфраструктура ввода (UI/UX), а не ранжирования: Патент описывает инфраструктуру ввода для визуального поиска и пользовательский интерфейс. Он не содержит информации об алгоритмах SEO-ранжирования. Прямых практических выводов для традиционного SEO нет.
2. Интуитивный выбор объекта: Основная цель изобретения — предоставить пользователю интуитивный способ выбора объекта для поиска в среде дополненной реальности с помощью жеста обводки, устраняя неоднозначность.
3. Уточнение с помощью Компьютерного Зрения: Система не полагается только на точность пользователя. Она использует сложные методы компьютерного зрения (Edge Detection, Segmentation) для точной идентификации объекта, «притягивая» контур к реальным границам объекта.
4. Прогрессивный (Итеративный) поиск: Запатентован механизм прогрессивного поиска. Поиск начинается немедленно (при частичном контуре) и уточняется в реальном времени по мере того, как пользователь завершает жест. Это обеспечивает быструю обратную связь.
5. Универсальность применения: Хотя патент сфокусирован на носимых устройствах (AR-очках), описанные принципы применимы к любым устройствам с камерой и сенсорным вводом (смартфоны), что подтверждается современными реализациями интерфейсов визуального поиска (например, Circle to Search).

Практика

Патент является инфраструктурным и описывает UX/UI. Он не дает прямых практических рекомендаций для SEO-специалистов по ранжированию сайтов. Однако он критически важен для понимания того, как Google идентифицирует объекты, что имеет прямое отношение к оптимизации под визуальный поиск (Visual Search Optimization – VSO).

Best practices (это мы делаем)

• Оптимизация изображений для Edge Detection: Поскольку система использует Edge Detection для определения границ объекта, критически важно размещать изображения товаров на контрастном, предпочтительно однотонном фоне. Четкие границы облегчают точную идентификацию формы объекта.
• Оптимизация изображений для Segmentation: Используйте качественные, четкие изображения с хорошим освещением. Это помогает алгоритмам Segmentation корректно отделить объект от фона на основе цвета, яркости или глубины.
• Обеспечение визуальной консистентности: Убедитесь, что индексируемые изображения точно соответствуют внешнему виду физического продукта. Система сравнивает реальный объект с индексом, и расхождения могут привести к ошибкам идентификации.
• Предоставление разнообразных ракурсов: Загружайте изображения продукта с разных углов. Это увеличивает вероятность того, что система найдет совпадение в базе данных, независимо от угла зрения пользователя.

Worst practices (это делать не надо)

• Использование сложных или низкоконтрастных фонов: Размещение товара на фоне, схожем по цвету или текстуре, затрудняет работу алгоритмов Segmentation и Edge Detection, что может привести к некорректному выделению объекта.
• Низкое качество и разрешение изображений: Размытые изображения или изображения с артефактами сжатия не позволяют алгоритмам точно определить края и извлечь необходимые визуальные признаки для идентификации.
• Агрессивные водяные знаки на объекте: Водяные знаки, перекрывающие сам продукт, могут быть интерпретированы как часть объекта, что исказит его визуальные признаки и затруднит сопоставление.

Стратегическое значение

Патент подтверждает долгосрочную стратегию Google на развитие визуального поиска как основного способа взаимодействия с информацией о реальном мире (через AR или смартфоны). Для SEO это означает, что точкой входа на сайт все чаще может становиться не текстовый запрос, а изображение объекта. Долгосрочная стратегия должна включать оптимизацию визуальных активов (VSO), ориентированную на машинное распознавание.

Практические примеры

Практических примеров для SEO в этом патенте нет, так как он описывает интерфейс пользователя и методы компьютерного зрения для инициации поиска.

Вопросы и ответы