Как Google использует жесты рук (например, "щипок") для запуска визуального поиска на носимых устройствах

Термины и определения

Wearable Computing Device (Носимое вычислительное устройство)

Устройство дополненной реальности (AR), носимое пользователем (например, очки), оснащенное камерой и дисплеем.

Pointing Device (Указывающее устройство)

Объект, используемый для указания на область интереса. Обычно это рука или пальцы пользователя, но может быть перчатка или стилус.

Bounding (Очерчивание/Ограничение)

Первая фаза жеста. Действие, при котором Pointing device частично ограничивает область в кадре с одной или нескольких сторон.

Occlusion (Перекрытие/Окклюзия)

Вторая фаза жеста. Действие, при котором Pointing device заслоняет или перекрывает ранее очерченную область.

Pinch Gesture (Жест «щипка»)

Конкретный пример жеста, описанный в Claim 1, включающий очерчивание области большим и указательным пальцами с последующим их сведением (перекрытием).

Visual Search (Визуальный поиск)

Поиск, инициированный по выделенной области. Включает сравнение области с изображениями в базе данных для идентификации объекта.

Optical-flow differential (Дифференциал оптического потока)

Метод компьютерного зрения для обнаружения движения. Используется для обнаружения движения Pointing device относительно фона при выполнении жеста перекрытия.

Segmentation (Сегментация)

Процесс разделения кадра на слои (сегменты) на основе общих характеристик (глубина, цвет, яркость). Используется для уточнения границ выбранного объекта.

Ключевые утверждения (Анализ Claims)

Патент сфокусирован на методе инициирования поиска через распознавание жестов.

Claim 1 (Независимый пункт): Описывает основной метод.

1. Система получает видеоданные с направленной наружу камеры носимого устройства, фиксирующие реальное окружение.
2. Система обнаруживает объект реального мира в первом кадре.
3. Система обнаруживает жест «щипка» (pinch gesture), соответствующий этому объекту. Это включает:
• Обнаружение области в первом кадре, частично очерченной (bounded) указывающим устройством.
• Определение того, что эта область включает часть объекта.
• В течение предопределенного периода времени (predetermined period of time), обнаружение области во втором кадре, частично перекрытой (occluded) тем же указывающим устройством.
• Определение того, что эта перекрытая область включает часть объекта.
4. В ответ на обнаружение этого жеста, система инициирует поиск по объекту.

Ядром изобретения является использование строгой последовательности (очерчивание, затем перекрытие в течение короткого времени) как однозначного и надежного триггера для поиска, что минимизирует ложные срабатывания.

Claim 5 (Зависимый): Касается компенсации движения устройства.

Если между первым и вторым кадром обнаружено движение носимого устройства (например, поворот головы), система выравнивает (aligning) второй кадр относительно первого. Это гарантирует, что жест применяется к одной и той же области в пространстве.

Claim 7 (Зависимый): Касается уточнения выбранной области.

Обнаружение области может включать сегментацию (segmenting) кадра на слои и выбор одного или нескольких слоев в качестве интересующей области. Это позволяет уточнить границы объекта, даже если жест пользователя был неточным.

Где и как применяется

Этот патент не относится к классической архитектуре веб-поиска Google (Crawling, Indexing, Ranking). Он описывает технологию на стороне клиента (носимого устройства), отвечающую за интерпретацию ввода пользователя и формирование запроса.

QUNDERSTANDING – Понимание Запросов (Визуальный ввод)

• Интерпретация ввода: Система интерпретирует не текст или голос, а видеопоток и жесты пользователя в реальном времени.
• Определение интента и области: Жест (последовательность очерчивания и перекрытия) определяет намерение пользователя выполнить поиск и точно указывает визуальный объект (визуальный токен), по которому нужно искать.
• Формирование запроса: Выделенная и уточненная область изображения используется для формирования запроса к системе визуального поиска (например, инфраструктуре Google Lens).

Входные данные:

• Видеопоток (последовательность кадров) с камеры.
• Данные с датчиков движения (акселерометр, гироскоп) для выравнивания кадров.
• (Опционально) Данные о глубине (Depth data).

Выходные данные:

• Идентифицированная область изображения (визуальный запрос).
• Команда на инициацию визуального поиска по этой области.

На что влияет

Патент напрямую влияет только на взаимодействие пользователя с носимыми устройствами при выполнении визуального поиска.

• Конкретные типы контента: Влияет на поиск информации о физических объектах реального мира (товары, достопримечательности, текст).
• Специфические запросы: Применяется к запросам, инициированным путем указания на объект, заменяя текстовый ввод.

Не влияет на стандартный веб-поиск или ранжирование веб-страниц.

Когда применяется

Алгоритм применяется при выполнении строгой последовательности условий:

• Триггеры активации:
  1. Система обнаруживает указывающее устройство (руку).
  2. Устройство очерчивает область с объектом (Frame 1).
  3. Устройство перекрывает эту же область (Frame 2).
• Временные рамки и пороги: Переход от очерчивания к перекрытию должен произойти в течение predetermined period of time, чтобы считаться единым намеренным жестом.
• Исключения: Если произошло только перекрытие без предварительного очерчивания (например, пользователь просто провел рукой), поиск не инициируется, что предотвращает случайные срабатывания.

Пошаговый алгоритм

1. Получение данных: Непрерывный захват видеоданных с камеры и данных с датчиков движения.
2. Обнаружение указывающего устройства: Анализ кадров для идентификации руки пользователя (используя анализ цвета, формы, глубины, вычитание фона или HOG).
3. Обнаружение очерчивания (Состояние 1): Система фиксирует кадр (Frame 1), в котором указывающее устройство частично очерчивает область вокруг объекта.
4. Выравнивание кадров: Система компенсирует движение носимого устройства между кадрами, используя данные сенсоров или визуальный анализ, чтобы точно отслеживать выделенную область.
5. Обнаружение перекрытия (Состояние 2): Система ищет кадр (Frame 2), в котором указывающее устройство перекрывает ту же самую область. Это обнаруживается с помощью анализа Optical-flow differential или изменения контуров руки (например, контур стал выпуклым при завершении «щипка»).
6. Валидация триггера: Система проверяет, что переход из Состояния 1 в Состояние 2 произошел в течение заданного временного порога.
7. Уточнение области (Опционально): Система выполняет Segmentation изображения (на основе глубины, цвета, краев), чтобы уточнить границы объекта и исключить фон.
8. Инициация поиска: Система формирует визуальный запрос на основе выделенной (и уточненной) области и отправляет его на сервер для выполнения визуального поиска.
9. Отображение результатов: Результаты поиска отображаются пользователю.

Какие данные и как использует

Данные на входе

Патент описывает использование данных, получаемых с сенсоров носимого устройства.

• Мультимедиа факторы (Видеоданные): Основной источник данных. Анализируются характеристики пикселей в последовательных кадрах: цвет, яркость, текстура.
• Данные глубины (Depth data): Если камера поддерживает определение глубины (например, структурированный свет, времяпролетная камера), эти данные используются для Segmentation и идентификации указывающего устройства.
• Пользовательские факторы (Жесты): Движения руки пользователя являются управляющим вводом.
• Данные сенсоров движения: Данные гироскопа и акселерометра используются для определения движения устройства и компенсации этого движения при выравнивании кадров.

Какие метрики используются и как они считаются

Система использует методы компьютерного зрения для анализа видеоданных:

• Обнаружение указывающего устройства:
  • Анализ цвета/текстуры: Поиск объектов, соответствующих известным характеристикам (например, цвету кожи).
  • Вычитание фона (Background subtraction): Сравнение текущего кадра со средним для обнаружения изменений.
  • Histogram of Oriented Gradients (HOG): Упоминается как возможный метод для распознавания формы руки.
• Анализ движения (Обнаружение перекрытия):
  • Дифференциал оптического потока (Optical-flow differential): Сравнение векторов движения указывающего устройства и фона. Значительно большее движение устройства свидетельствует о жесте перекрытия.
• Анализ формы (Обнаружение жеста):
  • Анализ контуров (Contour analysis): Отслеживание изменения внешнего контура указывающего устройства (например, переход от вогнутого контура к выпуклому при «щипке»).
• Уточнение области:
  • Сегментация (Segmentation): Разделение изображения на слои на основе разрывов в глубине, цвете или яркости.
• Временные пороги:
  • Predetermined period of time: Максимально допустимое время между обнаружением очерчивания и перекрытия.

Патент описывает внутренние процессы обработки пользовательского ввода на носимых устройствах и не содержит прямых рекомендаций для SEO.

1. Фокус на UI/UX для AR: Изобретение касается исключительно того, как инициировать визуальный поиск с помощью жестов на носимых устройствах, а не того, как этот поиск ранжирует результаты.
2. Точность и надежность триггера: Ключевая инновация — использование двухфазной последовательности («очерчивание, затем перекрытие») для точного определения намерения пользователя и минимизации ложных срабатываний.
3. Использование компьютерного зрения для интерпретации ввода: Патент демонстрирует применение продвинутых техник (оптический поток, сегментация, анализ контуров) для понимания действий пользователя в реальном времени.
4. Компенсация движения: Система учитывает движение самого устройства (головы пользователя) для корректной интерпретации жестов, что критично для AR-интерфейсов.
5. Стратегическое направление: Патент подтверждает долгосрочный интерес Google к интеграции поиска в дополненную реальность, где физические объекты становятся точкой входа в поиск (Visual Search).

Патент является инфраструктурным (описывает UI/UX) и не дает прямых практических выводов для влияния на ранжирование в веб-поиске. Однако он имеет критическое значение для стратегии оптимизации под Визуальный Поиск (Visual Search Optimization - VSO).

Best practices (это мы делаем)

Исходя из того, что Google развивает интуитивные способы запуска визуального поиска по реальным объектам:

• Оптимизация изображений для распознавания (VSO): Необходимо обеспечивать высокое качество изображений продуктов на сайте. Изображения должны быть четкими, с разных ракурсов и желательно на чистом фоне, чтобы облегчить Segmentation и распознавание системами типа Google Lens.
• Использование структурированных данных: Внедрение полной разметки Schema.org (Product, Offer, ImageObject) критически важно. Это помогает поисковым системам связать распознанное изображение с конкретным товаром, ценой и наличием на вашем сайте.
• Оптимизация Image Sitemaps: Гарантируйте индексацию всего ключевого визуального контента, предоставляя полные данные в картах сайта для изображений.

Worst practices (это делать не надо)

В контексте визуального поиска, инициируемого подобными методами, следует избегать:

• Использования изображений низкого качества: Размытые, плохо освещенные или перегруженные визуальным шумом изображения товаров затрудняют их распознавание системами Visual Search.
• Блокировки индексации ключевых изображений: Сокрытие изображений продуктов от индексации лишает сайт потенциального трафика из каналов визуального поиска.
• Игнорирования метаданных и разметки: Отсутствие структурированных данных снижает вероятность того, что распознанный объект будет связан именно с вашим сайтом, даже если само изображение проиндексировано.

Стратегическое значение

Патент подтверждает стратегию Google по созданию "Ambient Computing" — среды, где поиск интегрирован в повседневную жизнь через носимые устройства и камеры. Для SEO это означает, что оптимизация не должна ограничиваться текстовым контентом. Визуальный поиск становится важной точкой входа, особенно для E-commerce. Стратегия должна учитывать, что любой физический объект может стать триггером для перехода на сайт, и визуальные активы сайта должны быть к этому готовы.

Практические примеры

Сценарий: Оптимизация карточки товара E-commerce для AR/Visual Search

• Контекст: Пользователь в AR-очках видит кроссовки на другом человеке и использует жест "щипок" (как в патенте), чтобы найти, где их купить. Система инициирует визуальный поиск.
• Действия SEO-специалиста:
  1. Разместить на сайте высококачественные фотографии кроссовок на контрастном фоне (для легкой сегментации и распознавания).
  2. Добавить фотографии с разных ракурсов и lifestyle-фото.
  3. Внедрить микроразметку Schema.org/Product с указанием GTIN, бренда, цвета и ссылками на изображения через ImageObject.
  4. Добавить изображения в Image Sitemap.
• Ожидаемый результат: Система визуального поиска точно распознает модель кроссовок. Благодаря оптимизации и микроразметке, система предлагает ссылку на оптимизированный E-commerce сайт в результатах поиска, отображаемых в AR-интерфейсе пользователя.