Как Google использует жесты на экране (например, «Circle to Search») для генерации мультимодальных поисковых запросов

Термины и определения

Gesture (Жест)

Движение или иное действие, зафиксированное датчиками устройства (сенсорный экран, камера, акселерометр). Примеры: обведение области на экране (drawing a loop) или встряхивание устройства (shake input).

Topic (Тема)

Ключевые слова, индексные термины или сущности, извлеченные из контента, которые используются для генерации поисковых критериев (search criteria). Извлекаются из текста, метаданных, анкорного текста или путем анализа визуальной информации.

Contextual Information (Контекстуальная информация)

Данные, определяющие контекст поиска: дата, время, местоположение, история поиска пользователя, предпочтения, а также поисковые тренды других пользователей (other users' search trends).

Substantially Enclosed / Encircled (Существенно замкнутая область)

Область на экране, определенная жестом пользователя, формирующим замкнутую или почти замкнутую фигуру.

Weighting (Взвешивание)

Процесс присвоения весов извлеченным темам. Веса зависят от источника темы (выбранный контент vs остальной контент) и типа объекта.

Remaining Content (Остальной контент)

Контент, который не был явно выбран пользователем с помощью жеста. Анализируется для извлечения тем, но им часто присваивается меньший вес.

Visual Information (Визуальная информация)

Характеристики изображения или видео (форма, цвет, яркость, компоновка), которые используются для идентификации тем.

Anchor text (Анкорный текст)

Текст, связанный с объектом (например, изображением), который может предоставлять релевантные описательные термины об этом объекте.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод поиска на основе жестов и мультимодального контента.

1. Система предоставляет контент для отображения на экране устройства.
2. Система получает данные о жесте (gesture data), связанные с выбором пользователем части отображаемого контента.
3. В ответ на жест система идентифицирует множество объектов в выбранной части контента. Ключевое уточнение: объекты могут быть разных типов (например, первый объект типа 1 и второй объект типа 2).
4. Система определяет один или несколько поисковых запросов. Этот процесс включает:
   • Идентификацию тем из разных объектов.
   • Определение весов для этих тем на основе множества критериев, включая типы соответствующих объектов (respective object types).
   • Определение поисковых запросов на основе тем и их весов.
5. Система предоставляет результаты поиска в ответ на сгенерированные запросы.

Ядро изобретения заключается в способности системы обрабатывать мультимодальный ввод (жест, охватывающий разнородный контент) и применять дифференцированное взвешивание тем в зависимости от типа контента (текст, изображение и т.д.) для формирования итогового запроса.

Claim 6 (Зависимый от 1): Уточняет, что идентификация объектов включает парсинг выбранной части контента, которая может содержать текст, изображение, аудио, видео или их комбинацию.

Claim 8 и 9 (Зависимые от 1): Уточняют, что определение запросов также включает получение и взвешивание метаданных (Claim 8) или контекстных данных (Claim 9), связанных с выбранным контентом.

Где и как применяется

Этот патент описывает механизмы, которые функционируют на стыке пользовательского интерфейса и бэкенда поисковой системы.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Система преобразует нетрадиционный ввод (жест + визуальный и текстовый контекст на экране) в структурированный поисковый запрос. Происходит извлечение тем из визуальных и текстовых элементов, их взвешивание и формирование запроса. Это форма мультимодального понимания запроса, где запрос определяется тем, на что указал пользователь.

Входные данные:

• Контент, отображаемый на экране (текст, изображения, видео, структура UI).
• Данные о жесте (координаты, форма, движение).
• Contextual information (местоположение устройства, время, история пользователя, тренды).

Выходные данные:

• Один или несколько сгенерированных поисковых запросов (Search Criteria).

На что влияет

• Типы контента: Влияет на все типы отображаемого контента. Патент явно указывает на обработку текста, изображений, видео и аудио.
• Специфические запросы: Наибольшее влияние на информационные и коммерческие запросы, связанные с идентификацией объектов (Visual Search), и локальные запросы (за счет использования местоположения пользователя).
• Конкретные ниши: E-commerce (идентификация товаров), мода, путешествия, новости, где быстрое получение информации о визуальных элементах критично.

Когда применяется

Алгоритм применяется при выполнении пользователем специфических действий на устройстве:

• Триггеры активации:
  • Пользователь рисует замкнутую фигуру (substantially closed loop) вокруг интересующего контента на сенсорном экране (например, «Circle to Search»).
  • Пользователь выполняет предопределенное движение устройством (например, встряхивание или shake input) для анализа всего видимого контента.
  • Активация специального режима поиска (search mode) с последующим жестом выбора.

Пошаговый алгоритм

Процесс А: Поиск на основе выделения области

1. Отображение контента: Система отображает контент на экране устройства.
2. Получение жеста: Система получает данные о жесте (например, пользователь обводит область).
3. Определение типа контента: Анализируются объекты внутри выделенной области для определения их типа (текст или нетекстовый контент).
4. Извлечение тем из выделения:
   • Если текст: Темы извлекаются непосредственно из текста (с помощью NLP).
   • Если нетекстовый: Темы извлекаются из метаданных, анкорного текста (anchor text) или путем визуального/аудио анализа.
5. Извлечение тем из остального контента: Темы извлекаются из контента, который не был выделен пользователем (remaining content).
6. Добавление контекстуальных тем: Система добавляет темы на основе Contextual Information (время, местоположение, история, тренды).
7. Присвоение весов: Всем извлеченным темам присваиваются веса. Темы из выделенной области получают более высокий вес. Веса также зависят от типа объекта.
8. Генерация поисковых критериев: На основе тем и их весов формируются один или несколько поисковых запросов. Может применяться расширение запроса (Query Expansion – синонимы, исправление ошибок).
9. Получение и возврат результатов: Запросы выполняются поисковой системой, результаты отображаются пользователю.

Процесс Б: Поиск на основе встряхивания (Shake to Search)

1. Отображение контента.
2. Получение сигнала встряхивания (Shake input): Акселерометр фиксирует движение устройства.
3. Идентификация видимого контента: Система определяет, какой контент виден на экране в момент встряхивания.
4. Извлечение тем: Темы извлекаются из видимого контента и из невидимого (например, часть веб-страницы за пределами экрана).
5. Добавление контекста и Взвешивание: Добавляется контекст. Видимый контент получает более высокий вес, чем невидимый.
6. Генерация запроса и Поиск.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные для формирования запроса:

• Контентные факторы (Текстовые): Текст, выбранный пользователем, и текст на остальной части страницы (remaining content).
• Мультимедиа факторы (Визуальные/Аудио): Изображения и видео. Используется Visual information (форма, цвет, яркость, компоновка) и аудио информация (транскрипция речи, ритм).
• Структурные и Технические факторы (Метаданные): Метаданные, связанные с нетекстовыми объектами (metadata), включая подписи (captions), транскрипты диалогов, временные метки, а также анкорный текст (anchor text).
• Географические факторы: Местоположение устройства (GPS, данные сотовых вышек).
• Временные факторы: Текущее время и дата.
• Пользовательские и Поведенческие факторы: История поиска пользователя, история браузера, информация из социальных сетей, предпочтения.
• Глобальные данные: Поисковые тренды других пользователей (other users' search trends), включая «горячие» или «растущие» темы.

Какие метрики используются и как они считаются

• Weight (Вес темы): Основная метрика. Вес присваивается каждой извлеченной теме. Патент определяет несколько критериев для расчета веса:
  • Источник темы: Темы из контента, явно выбранного жестом, получают более высокий вес, чем темы из remaining content. Видимый контент получает больший вес, чем невидимый (при встряхивании).
  • Тип объекта (Object Type): Веса различаются в зависимости от того, была ли тема извлечена из текста, изображения или видео.
  • Контекстуальная значимость: Веса контекстуальных тем (например, трендов) могут определяться динамически (например, если обнаружен статистически значимый всплеск интереса к теме).
  • Предпочтения пользователя: Веса могут корректироваться на основе интересов пользователя.
• Методы анализа: Для извлечения тем используются статистический анализ, эвристические алгоритмы, обработка естественного языка (NLP) и машинное обучение (Machine Learning).
• Query Expansion (Расширение запроса): Применяется при генерации Search Criteria. Включает добавление синонимов, омонимов, исправление орфографии, слов с тем же корнем (стемминг).

1. Переход к мультимодальному вводу запросов: Патент описывает фундаментальный механизм интерпретации визуального контекста и жестов пользователя как поискового интента. Это знаменует уход от исключительной зависимости от текстовых запросов.
2. Дифференцированная обработка типов контента: Система спроектирована для одновременного анализа текста, изображений и видео. Критически важно, что вес извлеченных тем зависит от типа объекта, подтверждая мультимодальный подход к формированию запроса.
3. Приоритет явного выбора пользователя: Контент, явно выбранный пользователем (например, обведенный), является основным источником тем для запроса и получает наибольший вес (Weight).
4. Значимость окружающего и пользовательского контекста: Система активно использует remaining content (остальную часть страницы) и Contextual Information (местоположение, историю, тренды) для уточнения запроса, хотя эти данные имеют меньший вес, чем явно выбранный контент.
5. Критичность текстовых сигналов для Visual Search: Для интерпретации нетекстовых объектов система полагается не только на визуальный анализ, но и на связанные текстовые данные: Metadata, подписи (captions) и анкорный текст (anchor text). Это имеет прямое значение для оптимизации мультимедиа.

Best practices (это мы делаем)

• Комплексная оптимизация визуальных активов (Visual Search Optimization): Поскольку изображения и видео являются основными объектами для жестового поиска:
  • Используйте четкие, высококачественные изображения, на которых легко идентифицировать ключевые объекты.
  • Обеспечьте наличие релевантных метаданных и структурированных данных (Schema.org для Product, ImageObject, VideoObject).
• Оптимизация текстового окружения мультимедиа: Система извлекает темы из подписей (captions), анкорного текста и окружающего текста (remaining content). Размещайте изображения в релевантном текстовом контексте и используйте описательные подписи.
• Обеспечение чистой и семантической структуры страницы: Убедитесь, что верстка помогает системе корректно идентифицировать отдельные объекты (текстовые блоки, изображения) на экране и их взаимосвязи. Это критично для точного извлечения Topics.
• Усиление тематической целостности страницы: Поскольку система анализирует весь контент страницы для уточнения контекста, важно, чтобы страница в целом была тематически последовательной. Это поможет сформировать более точный запрос, даже если пользователь выделил лишь небольшой фрагмент.
• Адаптация под локальный контекст: Патент явно использует местоположение пользователя как Contextual Information. Усиливайте локальные сигналы (Local SEO), так как система может автоматически добавлять локальный интент к сгенерированным запросам.

Worst practices (это делать не надо)

• Игнорирование Image SEO и метаданных: Размещение изображений без оптимизации, релевантного контекста, подписей или метаданных снижает вероятность их правильной интерпретации при жестовом поиске.
• Вводящее в заблуждение окружение: Размещение изображений рядом с нерелевантным текстом может привести к извлечению неверных тем из remaining content и генерации неточных запросов.
• Перегруженные макеты: Сложная верстка, где элементы перекрывают друг друга, может затруднить системе идентификацию объекта, который пытается выделить пользователь.
• Использование текста как части изображения (без альтернативы): Текст, встроенный в изображение, сложнее анализировать как текстовые темы по сравнению с обычным HTML-текстом, что может снизить точность генерации запроса (даже с учетом использования OCR в современных системах).

Стратегическое значение

Этот патент имеет высокое стратегическое значение, подтверждая вектор развития Google в сторону мультимодального поиска. Технологии вроде «Circle to Search» меняют паттерны поведения пользователей, делая любой контент на экране потенциальной точкой входа в поиск. Для SEO это означает, что оптимизация должна быть комплексной, охватывая не только текст, но и визуальное представление, структуру и контекстную релевантность всех элементов страницы для обеспечения максимальной видимости в ответ на автоматически сгенерированные запросы.

Практические примеры

Сценарий: Оптимизация карточки товара для жестового поиска («Circle to Search»)

Задача: Убедиться, что при выделении изображения товара на смартфоне система корректно его идентифицирует и сгенерирует релевантный коммерческий запрос.

1. Изображение: Разместить четкое изображение продукта (например, кроссовки) на контрастном фоне.
2. Текстовое окружение: Непосредственно рядом разместить название продукта и бренд. Система использует это как remaining content для контекста.
3. Подписи и Метаданные: Использовать описательный Alt-текст и, если возможно, подпись (caption). Внедрить микроразметку Product.
4. Ожидаемый результат: Когда пользователь обводит изображение кроссовок, система извлекает визуальные характеристики (из изображения) и текстовые темы (из названия/бренда рядом). Она присваивает им высокие веса. Учитывая контекст пользователя (местоположение), она генерирует запрос, например, "[Бренд] [Модель] купить [Город]", ведущий на страницы покупки.