Как Google использует real-time анализ текста, аудио и изображений для автоматической генерации запросов и проактивного поиска

Термины и определения

Capture Device (Устройство захвата)

Устройство (например, мобильный телефон с камерой и микрофоном), используемое для захвата информации из окружающей среды или ввода пользователя.

Rendered Document (Отображаемый/Визуализированный документ)

Физический объект, предоставляющий информацию, воспринимаемую человеком. Включает печатные документы, билборды, экраны, а также аудио- или видеопотоки.

Text Recognition (Распознавание текста)

Процесс преобразования захваченных данных (изображения или аудио) в текст. Включает OCR и Speech-to-text.

Query Construction (Построение запроса)

Процесс автоматического формирования поискового запроса из распознанной информации.

Search & Context Analysis (Поиск и контекстный анализ)

Компонент системы, который использует запросы для поиска в индексах, учитывая информацию о пользователе (user and account info) и контекст захвата (context engines) для повышения релевантности.

Markup (Разметка)

Дополнительная функциональность или данные, связанные с документом. Рассматривается как оверлей, который может включать рекламу, ссылки или действия (Actions).

Direct Actions (Прямые действия)

Действия, которые система может выполнить немедленно на основе захваченной информации, если намерение пользователя очевидно (например, набор номера), минуя этап поиска.

Ключевые утверждения (Анализ Claims)

Анализ основан на Abstract и Detailed Description патента, которые описывают ключевые процессы изобретения.

Ключевой процесс 1 (Основа для Claims о вводе текста, например, Claim 1): Описывает метод автоматического предоставления информации, релевантной вводимому тексту в приложении.

1. Получение ввода текста в приложение.
2. Мониторинг ввода текста по мере его поступления (в реальном времени).
3. Автоматический выбор части полученного текста (например, сущности, смысловой группы).
4. Автоматическое формирование запроса на основе выбранной части.
5. Передача запроса поисковой системе (с возможным выбором индекса).
6. Получение результатов поиска.
7. Отображение результата поиска одновременно (concurrently) с полученным вводом текста внутри приложения.

Ядро изобретения здесь — это проактивный поиск в реальном времени, интегрированный в среду потребления/создания контента, работающий без явного запроса пользователя.

Ключевой процесс 2 (Основа для Claims о захвате из документа, например, Claim 8): Описывает метод для захвата информации из отображаемого документа (визуальный поиск).

1. Захват информации из rendered document с помощью устройства захвата (например, камеры).
2. Автоматическая идентификация контента, связанного с захваченной информацией (через OCR или распознавание образов).
3. Отображение идентифицированного контента.

Ключевой процесс 3 (Основа для Claims об аудио, см. FIG. 11, 12): Описывает аналогичный процесс для аудиопотоков.

1. Прием аудиосигнала.
2. Конвертация речи в текст (Speech-to-Text).
3. Идентификация поисковых терминов и выполнение поиска.
4. Вывод связанной информации на устройство отображения.

Где и как применяется

Изобретение описывает интерфейс и механизмы инициирования поиска, затрагивая преимущественно начальные этапы взаимодействия пользователя с поисковой системой.

CRAWLING & INDEXING
Система полагается на существующие indices & search engines. Контент должен быть проиндексирован, чтобы его можно было найти через этот механизм. Также может индексироваться markup (связанные действия/данные).

QUNDERSTANDING – Понимание Запросов
Ключевая область применения. Система выполняет распознавание (Text Recognition) из мультимодальных источников (изображение, аудио, текст) и автоматически осуществляет Query Construction. Это включает выбор ключевых фрагментов из потока информации. Также применяется Context Analysis, использующий данные о пользователе и контексте захвата для уточнения запроса и выбора подходящего индекса.

RANKING & METASEARCH
Система инициирует поиск (Search) и получает результаты ранжирования. Она также выполняет Markup Analysis для определения дополнительного контента или действий (Actions), которые следует представить пользователю, что является формой смешивания результатов или пост-обработки.

Входные данные:

• Необработанные данные с устройства захвата (изображения, аудиозаписи, поток вводимого текста).
• Контекстные данные (геолокация, время, данные сенсоров устройства).
• Информация о пользователе (user and account info).

Выходные данные:

• Автоматически сформированные поисковые запросы.
• Идентифицированный связанный контент или электронные двойники документов.
• Выполненные действия или меню доступных действий (Actions, Markup).

На что влияет

• Типы контента и форматы: Влияет на обнаружение всех типов цифрового контента (веб-страницы, изображения, видео, продукты), которые могут быть связаны с текстом, объектами или аудио в реальном мире.
• Специфические запросы: Вводит новые типы запросов – визуальные и аудиальные, инициированные из окружающей среды или контекста приложения, а не через поисковую строку.
• Конкретные ниши: Сильное влияние на E-commerce (поиск по фото), образование (дополнение лекций и книг), издательское дело и локальный бизнес (взаимодействие с вывесками, меню).

Когда применяется

• Условия работы: Алгоритм применяется в реальном времени, когда пользователь взаимодействует с контентом или устройством захвата.
• Триггеры активации: Активируется автоматически и непрерывно по мере поступления информации (while the text is being captured). Система постоянно анализирует поток и генерирует запросы без явной команды пользователя, как только распознает значимый фрагмент.

Пошаговый алгоритм

Обобщенный алгоритм работы системы (на основе FIG. 1A и описания):

1. Захват данных (Capture): Получение информации (изображение, аудио, текст) с помощью устройства захвата.
2. Обработка данных (Data Processing): Предварительная обработка для улучшения качества и идентификации нужной информации.
3. Распознавание (Text Recognition): Преобразование данных в машиночитаемый формат (например, текст через OCR или Speech-to-Text).
4. Пост-обработка (Post-processing): Фильтрация распознанных данных.
5. Проверка на прямые действия (Direct Actions): Определение, возможно ли немедленное выполнение действия (например, звонок по распознанному номеру). Если да, переход к шагу 10.
6. Построение запроса (Query Construction): Автоматический выбор фрагмента распознанных данных и формирование одного или нескольких поисковых запросов.
7. Поиск и контекстный анализ (Search & Context Analysis): Передача запросов поисковым системам. Использование контекста (пользователь, местоположение, история) для уточнения запроса и выбора индекса.
8. Извлечение (Retrieval): Получение идентифицированного контента или документов из источников.
9. Анализ разметки (Markup Analysis): Идентификация связанной разметки (дополнительной функциональности, данных, рекламы).
10. Действия (Actions): Отображение результатов пользователю, предложение опций или выполнение задач.

Какие данные и как использует

Данные на входе

Система использует широкий спектр входных данных и контекстуальную информацию:

• Контентные факторы (Текст): Текст, вводимый пользователем или распознанный из изображений (OCR) или аудио (Speech-to-Text). Анализируются слова, фразы, сущности.
• Мультимедиа факторы: Сырые изображения, захваченные с rendered documents или объектов. Аудиопотоки (живая речь, записи).
• Пользовательские факторы: Данные учетной записи (user and account info), история предыдущих захватов и действий. Используются для персонализации и анализа контекста.
• Географические и Контекстные факторы (Context Engines): Местоположение устройства (GPS), время захвата, данные сенсоров устройства (ориентация, движение).

Какие метрики используются и как они считаются

Патент фокусируется на процессе извлечения информации и инициирования поиска, а не на метриках ранжирования. Конкретные формулы не указаны. Основные механизмы обработки включают:

• Распознавание (Recognition): Использование OCR и Speech-to-Text. Патент упоминает итеративный процесс распознавания, где информация от кандидатов документов может использоваться для уточнения интерпретации захваченных данных.
• Выбор фрагмента и Построение запроса: Алгоритмы NLP для автоматического выбора релевантных частей текста (например, выделение сущностей, ключевых фраз, анализ структуры предложения) для формирования запроса. Упоминается учет вероятных ошибок распознавания при построении запроса.
• Поиск по коротким фразам (Short Phrase Searching): Использование относительных позиций слов для точной идентификации документа и местоположения в нем по короткому фрагменту.
• Анализ контекста (Context Analysis): Методы для интеграции пользовательских и контекстных данных в процесс поиска и выбора индекса.

1. Мультимодальный ввод как основа поиска: Патент подтверждает стратегию Google по использованию информации из реального мира (визуальной и аудио) в качестве неявных поисковых запросов. Текст, изображение и звук становятся равноправными способами инициирования поиска.
2. Переход к проактивному поиску (Ambient Search): Описан механизм, позволяющий устройствам проактивно искать информацию на основе того, что видит, слышит или печатает пользователь, в реальном времени и без явных команд.
3. Автоматическая генерация запросов: Ключевой способностью является автоматическое выделение релевантных фрагментов из потока информации и Query Construction. Это требует глубокого понимания контекста и намерений.
4. Критичность контекста для интерпретации: Context Analysis, использующий данные пользователя и окружающей среды, является неотъемлемой частью для правильной интерпретации захваченной информации и выбора релевантного индекса.
5. Интеграция действий и контента (Markup): Цель системы не только найти информацию, но и предложить действия. Механизм Markup позволяет связывать дополнительную функциональность (покупки, бронирования, рекламу) непосредственно с захваченной информацией.

Best practices (это мы делаем)

• Оптимизация для мультимодального обнаружения (Visual и Audio SEO): Учитывая, что поиск может быть инициирован через Google Lens или Assistant, необходимо оптимизировать все активы. Для визуального поиска: используйте высококачественные изображения продуктов и объектов, обеспечьте читаемость текста на изображениях (для OCR). Для аудио: предоставляйте точные транскрипты подкастов и видео, чтобы система могла корректно выполнить Speech-to-text и проиндексировать содержание.
• Усиление связи с сущностями (Entity Optimization): Система автоматически выделяет фрагменты для запросов. Четкое определение сущностей (продуктов, брендов, локаций) в контенте и использование структурированных данных (Schema.org) критически важны. Это помогает системе связать захват в реальном мире с вашей сущностью в Knowledge Graph.
• Оптимизация локального контекста: Поскольку Context Analysis использует местоположение, поддержание актуальной информации в Google Business Profile критично для локального бизнеса. Это гарантирует, что при визуальном захвате вывески или упоминании бизнеса в разговоре система предоставит корректные данные.
• Создание контента для быстрых ответов: Система предоставляет информацию параллельно с основной деятельностью пользователя. Структурируйте контент так, чтобы ключевая информация (определения, факты, сводки) была легко извлекаема (оптимизация под Featured Snippets).

Worst practices (это делать не надо)

• Игнорирование нетекстового поиска: Фокусироваться только на традиционном SEO по ключевым словам. Игнорирование визуального и аудио поиска ограничивает потенциал обнаружения контента в современных интерфейсах.
• Использование сложных для распознавания форматов: Публикация информации в форматах, затрудняющих распознавание (например, текст в виде низкокачественной графики без текстового эквивалента, аудио с плохим качеством звука).
• Отсутствие структурированных данных: Неспособность предоставить четкие сигналы о сущностях затрудняет системе идентификацию контента и определение связанных с ним действий (Markup).

Стратегическое значение

Этот патент имеет фундаментальное значение для понимания эволюции поиска от реактивного к проактивному и основанному на окружающей среде (Ambient Search). Он закладывает основу мультимодального поиска. Стратегически, SEO-специалисты должны перейти от оптимизации страниц к оптимизации сущностей и их представлений во всех форматах. Долгосрочная стратегия должна быть направлена на обеспечение максимальной доступности и понятности информации для систем ИИ, которые "смотрят" и "слушают" мир от имени пользователя.

Практические примеры

Сценарий 1: Оптимизация для визуального обнаружения (E-commerce / Google Lens)

1. Ситуация: Пользователь видит товар в журнале или на полке магазина и использует камеру смартфона для захвата.
2. Действие SEO-специалиста: Оптимизировать изображения продукта на сайте (высокое качество), использовать разметку Product с GTIN. Убедиться, что текст на упаковке (бренд, модель) соответствует тексту на сайте.
3. Работа системы: Система выполняет Capture и Text Recognition (OCR текста на упаковке) или распознавание объекта. Формируется запрос (Query Construction). Система идентифицирует продукт в индексе и использует Markup Analysis для предложения действия "Купить" (Action).

Сценарий 2: Оптимизация контента для захвата из аудио (Подкаст/Лекция)

1. Ситуация: Пользователь слушает лекцию, где упоминается сложный термин. Система анализирует аудиопоток.
2. Действие SEO-специалиста: Создать авторитетную статью-глоссарий, объясняющую этот термин, с четкой структурой и разметкой DefinedTerm. Предоставить транскрипт лекции.
3. Работа системы: Система принимает аудио (Capture), применяет Speech-to-text, идентифицирует термин, формирует запрос. Context Analysis помогает понять образовательное намерение.
4. Результат: Система проактивно предлагает пользователю ссылку на оптимизированную статью-глоссарий для быстрого ознакомления.