Как Google использует радар для понимания жестов и физического состояния пользователя при обработке поисковых запросов

Термины и определения

Radar-Based Recognition System (Система радарного распознавания)

Система, включающая излучающий элемент, антенну и процессор сигналов. Она предназначена для создания радарного поля и анализа его отражений для распознавания жестов или определения физиологической информации человека.

Radar field (Радарное поле)

Поле излучения (например, микроволнового), создаваемое системой. Может быть трехмерным объемом для распознавания жестов в воздухе или поверхностным полем.

Gesture (Жест)

Движение пользователя (рука, палец, тело), распознанное радарной системой. Жесты могут указывать направление, объект или иметь ассоциированное значение/команду управления.

Physiological Information (Физиологическая информация)

Данные о физическом состоянии или движении человека, определенные радарной системой. Примеры включают температуру тела/кожи, частоту сердечных сокращений, потоотделение, уровень стресса, уровень гидратации, походку и направление движения.

Search Manager (Менеджер поиска)

Компонент, ответственный за прием запросов, интерпретацию данных радара (жестов/физиологии) и выполнение/уточнение поиска на основе комбинации этих данных.

In-the-air gesture (Жест в воздухе)

Жест, выполняемый в трехмерном пространстве, не требующий физического контакта с устройством.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод уточнения поиска с помощью радарного распознавания жестов и дисамбигуации.

1. Система получает поисковый запрос.
2. Через радарную систему распознается жест в воздухе, который имеет несколько потенциальных значений (multiple potential meanings).
3. Определяется конкретное значение жеста, релевантное поисковому запросу. Это определение основано на сравнении потенциальных значений жеста в сочетании с контекстом поискового запроса.
4. Выполняется поиск, основанный на исходном запросе и уточненный с использованием определенного значения жеста.
5. Предоставляются результаты.

Изобретение защищает метод обработки мультимодального ввода, при котором неоднозначные жесты, обнаруженные радаром, disambiguated (устраняется неоднозначность) с использованием контекста, предоставленного явным поисковым запросом. Выбранное значение затем используется для уточнения параметров поиска.

Claim 10 (Независимый пункт): Описывает метод инициирования и выполнения поиска, основанного преимущественно на жестах.

1. Система распознает первый жест через радар, интерпретируя его как индикацию того, что пользователь запрашивает поиск.
2. Система распознает второй жест через радар.
3. Определяется информация о втором жесте, достаточная для уточнения поиска, на основе сравнения потенциальных значений этого жеста.
4. Выполняется поиск, уточненный в соответствии с информацией о втором жесте.
5. Предоставляются результаты.

Этот пункт защищает возможность использования последовательности жестов для инициирования и определения параметров поиска, потенциально без явного текстового или голосового запроса.

Claim 12 (Независимый пункт): Описывает метод уточнения поиска с помощью физиологической информации, полученной радаром.

1. Система получает поисковый запрос.
2. Через радарную систему определяется физиологическая информация о человеке (включая пульс, гидратацию, температуру или уровень стресса).
3. Выполняется поиск с использованием комбинации поискового запроса и определенной физиологической информации.
4. Предоставляются результаты.

Этот пункт защищает использование биометрических данных, полученных бесконтактным радарным методом, в качестве контекстуального сигнала для модификации поискового запроса.

Где и как применяется

Изобретение применяется на этапах интерпретации ввода пользователя и контекстуализации поиска.

QUNDERSTANDING – Понимание Запросов
Основной этап применения. Система должна интерпретировать мультимодальный ввод: комбинацию явного запроса (текст/голос) и неявного контекста (жест, физиология), полученного через радар. Это включает распознавание жеста, его дисамбигуацию на основе запроса и уточнение (refinement) параметров поиска. Например, определение географического направления или объекта, на который указывает пользователь.

RERANKING – Переранжирование (Контекстуализация)
Информация, полученная радаром, может использоваться для контекстуализации результатов на финальном этапе. Например, если радар определяет, что пользователь быстро движется в определенном направлении, результаты могут быть переранжированы, чтобы отдать приоритет объектам, находящимся по ходу движения, а не позади пользователя. Физиологическая информация (например, обезвоживание) также может влиять на ранжирование (предпочтение ближайших мест с напитками).

Входные данные:

• Исходный поисковый запрос (текст, аудио).
• Данные радара (отражения радарного поля).
• Контекст устройства (например, воспроизводимый медиаконтент, если жест указывает на экран).
• Данные о местоположении (для интерпретации жестов направления).

Выходные данные:

• Уточненный поисковый запрос или набор параметров поиска (включая географические ограничения, идентифицированные объекты).
• Результаты поиска, адаптированные к контексту.

На что влияет

• Специфические запросы и ниши: Наибольшее влияние оказывается на локальный поиск (Local SEO), запросы типа “рядом со мной”, поиск ресторанов, магазинов, достопримечательностей. Также влияет на поиск информации об объектах в физическом мире или объектах, отображаемых на экране (например, товары в видео).
• Типы контента и форматы: Влияет на ранжирование локальных страниц, карточек объектов в Картах и результатов, связанных с медиаконтентом.
• Устройства: Применимо к устройствам, оснащенным соответствующими радарными датчиками (смартфоны, умные часы, очки дополненной реальности, умные дисплеи, автомобильные системы).

Когда применяется

• Триггеры активации: Система активируется при получении поискового запроса на устройстве с активной радарной системой или когда пользователь выполняет специфический жест, интерпретируемый как намерение начать поиск.
• Условия работы: Применяется в реальном времени во время взаимодействия пользователя с устройством. Требует наличия пользователя в зоне действия радарного поля.

Пошаговый алгоритм

Сценарий 1: Уточнение запроса жестом (на основе Claim 1)

1. Получение запроса: Система получает явный поисковый запрос (например, “Лучшее кафе”).
2. Сбор данных радара: Одновременно радарная система фиксирует отражения поля.
3. Распознавание жеста: Процессор сигналов обрабатывает данные и распознает жест в воздухе (например, указание пальцем).
4. Анализ потенциальных значений: Система определяет, что этот жест может означать: (а) географическое направление, (б) выбор элемента на экране, (в) команду “следующий”.
5. Дисамбигуация: Search Manager анализирует значения в контексте запроса “Лучшее кафе”. Значение (а) признается наиболее релевантным.
6. Определение информации: Система определяет конкретное географическое направление, на которое указывает жест (например, используя данные о местоположении и ориентации устройства).
7. Уточнение поиска: Исходный запрос модифицируется для поиска кафе именно в этом направлении.
8. Выполнение и вывод результатов: Система предоставляет список кафе в указанном направлении.

Сценарий 2: Поиск на основе физиологии (на основе Claim 12)

1. Получение запроса: Система получает запрос (например, “Где попить?”).
2. Сбор данных радара: Радарная система сканирует пользователя.
3. Определение физиологии: Процессор сигналов анализирует отражения от тканей и определяет физиологические параметры (например, признаки обезвоживания или повышенный пульс).
4. Уточнение поиска: Search Manager использует эту информацию для модификации поиска. При сильном обезвоживании приоритет отдается не “лучшим” местам, а “ближайшим”.
5. Выполнение и вывод результатов: Система предоставляет список ближайших мест, где можно купить воду.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных, полученных через радар, в сочетании с традиционными входными данными.

• Пользовательские факторы (Ввод):
  • Явный поисковый запрос (текст, голос).
  • Жесты в воздухе (In-the-air gesture), зафиксированные радаром.
• Пользовательские факторы (Контекст):
  • Физиологическая информация (Physiological Information), определенная радаром (пульс, температура, гидратация, направление движения/походка).
• Географические факторы: Данные о местоположении и ориентации устройства необходимы для интерпретации жестов, указывающих направление или объект в физическом мире.
• Контентные факторы (Контекст устройства): Если взаимодействие происходит с экраном, система может анализировать отображаемый контент (например, медиафайл, список результатов) для понимания объекта, на который указывает жест.

Какие метрики используются и как они считаются

Патент не детализирует конкретные метрики или формулы ранжирования, но описывает процессы для интерпретации входных данных:

• Распознавание жестов: Анализ отражений радарного поля для идентификации паттернов движения. Упоминается возможность отслеживания нескольких целей (например, пальцев) с разрешением от 2 до 25 мм.
• Определение физиологии: Анализ отражений от человеческих тканей для определения биометрических показателей.
• Дисамбигуация (Disambiguation): Процесс сравнения multiple potential meanings жеста с контекстом поискового запроса для выбора наиболее релевантного значения. Метрика релевантности значения жеста к запросу не указана, но является ключевой частью процесса.
• Уточнение поиска (Search Refinement): Модификация параметров поиска на основе интерпретированных данных радара (например, добавление географических ограничений, идентификаторов объектов).

1. Мультимодальность как будущее поиска: Патент подтверждает видение Google, где поиск выходит за рамки клавиатуры и голоса. Ввод данных становится мультимодальным, объединяя явные запросы с неявным контекстом, считываемым через сенсоры, такие как радар.
2. Контекст реального мира критичен: Система активно пытается понять физический контекст пользователя — куда он смотрит, куда идет, и даже как себя чувствует. Это радикально меняет подход к пониманию интента (Query Understanding).
3. Дисамбигуация ввода: Ключевым элементом является способность системы разрешать неоднозначность физических жестов, используя контекст запроса. Это указывает на сложные алгоритмы сопоставления между физическими действиями и семантическими значениями.
4. Физиология как сигнал ранжирования: Использование физиологических данных (стресс, обезвоживание) в качестве сигнала для уточнения поиска является новым направлением персонализации, основанным на сиюминутном состоянии пользователя.
5. Влияние на локальный поиск: Технология значительно усиливает возможности локального поиска, позволяя пользователям взаимодействовать с физическим окружением (указывать на здания, улицы) для получения информации.

Best practices (это мы делаем)

• Усиление Local SEO и Видимости в Картах: Поскольку технология позволяет пользователям указывать на физические объекты для поиска информации, критически важно обеспечить максимальную точность и полноту данных о бизнесе в Google Maps и Knowledge Graph. Система должна однозначно идентифицировать ваш бизнес, когда пользователь на него указывает.
• Оптимизация под контекстуальные и “Near Me” запросы: Продолжайте оптимизировать контент под запросы, предполагающие немедленное действие и локальный контекст. Технология радара будет автоматически уточнять такие запросы на основе направления движения или взгляда пользователя.
• Развитие Entity Optimization: Убедитесь, что ваш бизнес или контент четко определены как сущности (Entities) в графе знаний. Это важно для того, чтобы система могла связать жест, указывающий на объект (физический или на экране), с соответствующей сущностью в базе данных Google.

Worst practices (это делать не надо)

• Игнорирование физического присутствия (для локального бизнеса): Нельзя полагаться только на онлайн-присутствие. Несоответствие между онлайн-данными и физической реальностью (например, неправильный адрес или часы работы) будет критичным, если пользователи начнут активно использовать жестовый поиск для навигации и открытия мест.
• Фокус только на высокочастотных общих запросах: Игнорирование локализованного и контекстуального интента может привести к потере трафика от пользователей, использующих новые интерфейсы поиска, которые по своей природе более контекстуальны.

Стратегическое значение

Этот патент имеет важное стратегическое значение, указывая на будущее, где взаимодействие с поиском становится более интуитивным и интегрированным в физический мир. Для SEO это означает необходимость подготовки к эре “амбиентного поиска” (Ambient Search), где запросы формируются не только словами, но и действиями, местоположением и контекстом. Стратегия должна смещаться в сторону обеспечения максимальной “обнаруживаемости” (Discoverability) бизнеса или контента в различных контекстах, особенно локальных и мобильных.

Практические примеры

Сценарий: Оптимизация локального бизнеса для жестового поиска

1. Ситуация: Пользователь идет по улице, используя смартфон или AR-очки с радарным датчиком. Он делает жест, указывая на здание ресторана.
2. Действие системы (по патенту): Радарная система распознает жест указания (Claim 10). Устройство определяет направление и идентифицирует объект (здание/ресторан). Система инициирует поиск информации об этом объекте.
3. Действия SEO-специалиста: Чтобы гарантировать, что система правильно идентифицирует ресторан и предоставит нужную информацию:
   • Обеспечить полное заполнение профиля Google Business Profile (GBP).
   • Регулярно загружать высококачественные фотографии экстерьера и интерьера, чтобы помочь системам визуального и географического сопоставления.
   • Стимулировать отзывы клиентов для повышения локальной авторитетности.
4. Результат: Система успешно идентифицирует ресторан и показывает пользователю карточку с меню, часами работы и отзывами, даже если пользователь не вводил название.