Как Google использует окружающий звук и изображения для понимания контекста голосовых запросов

Описание

Какую задачу решает

Патент решает проблему неоднозначности и отсутствия контекста в голосовых запросах, где субъект запроса не называется явно, а подразумевается окружающей обстановкой. Например, если пользователь смотрит телевизор и спрашивает: «Кто режиссер этого шоу?», стандартная поисковая система не знает, что такое «это шоу». Изобретение направлено на автоматическое определение этого контекста из окружающей среды для предоставления точного ответа.

Что запатентовано

Запатентована система мультимодальной обработки запросов, которая использует данные окружающей среды (environmental data), такие как фоновый звук или изображения, для идентификации конкретных сущностей (entities). Система объединяет расшифровку голосового запроса (utterance) с идентифицированной сущностью, создавая уточненный и контекстуализированный запрос. Кроме того, ключевые слова из запроса используются для определения типа контента (Content Type), что повышает точность идентификации сущности.

Как это работает

Система работает в несколько этапов:

• Сбор данных: Устройство захватывает голосовой запрос и данные окружающей среды (например, звук играющей музыки или изображение с камеры).
• Транскрипция и анализ: Голос транскрибируется. Текст анализируется для определения Content Type (например, слово «режиссер» указывает на тип ‘Фильм’).
• Идентификация сущности: Данные окружающей среды анализируются (например, через Audio Fingerprinting). Content Type используется для фильтрации или переранжирования результатов распознавания, чтобы выбрать правильную сущность (например, выбрать Фильм, а не его Саундтрек).
• Аугментация запроса: Исходный запрос объединяется с идентификатором сущности. Например, «Кто режиссер этого?» превращается в «Кто режиссер [Название Фильма]?».
• Обработка: Уточненный запрос отправляется в Natural Language Query Processing Engine для получения ответа.

Актуальность для SEO

Крайне высокая. Описанные технологии лежат в основе современных функций голосовых помощников (Google Assistant), распознавания музыки («Now Playing») и визуального поиска (Google Lens). Способность использовать окружающую среду для понимания контекста является фундаментальной для развития амбиентного компьютинга (Ambient Computing).

Важность для SEO

Влияние на традиционное SEO – умеренное (6.5/10). Патент не описывает алгоритмы ранжирования веб-страниц. Однако он имеет критическое стратегическое значение для голосового поиска и оптимизации сущностей (Entity Optimization). Он подчеркивает зависимость системы от структурированных данных и Knowledge Graph для предоставления прямых ответов на контекстуализированные запросы.

Детальный разбор

Термины и определения

Environmental Data (Данные окружающей среды)

Сенсорные данные, захваченные устройством, исключая сам голосовой запрос. Включает фоновый звук (environmental audio data), изображения или видео (environmental image data).

Utterance (Высказывание)

Голосовой запрос пользователя на естественном языке.

Content Recognition Engine (Система распознавания контента)

Компонент, анализирующий Environmental Data для идентификации контента. Может использовать Audio Fingerprinting Engine (систему цифровых аудио-отпечатков) или распознавание изображений.

Entity / Content Item (Сущность / Единица контента)

Конкретный объект, идентифицированный из окружающей среды (например, конкретная песня, фильм, продукт).

Content Type (Тип контента)

Категория медиа (например, ‘movie’, ‘music’, ‘TV show’, ‘book’). Определяется на основе ключевых слов в запросе.

Keyword Mapping Engine (Система сопоставления ключевых слов)

Компонент, который сопоставляет ключевые слова в транскрипции (например, «режиссер», «поет») с конкретными Content Types.

Disambiguation Engine / Coordination Engine (Система устранения неоднозначности / Координационный движок)

Центральный компонент, который координирует процесс, управляет распознаванием речи и контента, разрешает неоднозначности и формирует финальный запрос.

Natural Language Query Processing Engine (Система обработки запросов на естественном языке)

Система (например, интерфейс Knowledge Graph), которая обрабатывает контекстуализированный запрос для получения финального ответа.

Ключевые утверждения (Анализ Claims)

Патент описывает два тесно взаимосвязанных механизма. Первый (основной фокус Claims 1-17 документа EP2706470A1) — использование запроса для уточнения распознавания среды. Второй (детально описан в Description и Embodiments 1-22) — использование распознанной среды для ответа на запрос.

Механизм 1: Улучшение распознавания контента (Claim 1, Независимый пункт)

1. Система получает (i) аудиоданные голосового запроса и (ii) фоновые аудиоданные (environmental audio data).
2. Получается транскрипция запроса.
3. Определяется конкретный Content Type на основе ключевых слов в транскрипции.
4. Фоновые аудиоданные предоставляются Content Recognition Engine.
5. Идентифицируется элемент контента, который был выдан этой системой И который соответствует определенному ранее Content Type.

Система использует лингвистический анализ запроса, чтобы понять, какой *тип* контента искать в фоновом шуме. Если аудио-отпечаток неоднозначен (например, совпадает и с песней, и с темой телешоу), но пользователь использовал слова, связанные с типом ‘телешоу’, система выберет телешоу.

Claim 9 (Зависимый от 1): Описывает процесс выбора при наличии нескольких кандидатов.

1. Система получает два или более кандидатов от Content Recognition Engine, каждый с оценкой ранжирования (ranking score).
2. Система корректирует (adjusting) эти оценки на основе того, соответствуют ли они Content Type из запроса.
3. Кандидаты переранжируются на основе скорректированных оценок, и выбирается лучший.

Механизм 2: Ответ на вопрос с использованием контекста (На основе Description/Embodiments)

1. Система идентифицирует сущность (Entity) из окружающей среды (используя Механизм 1).
2. Система генерирует уточненный запрос, объединяя транскрипцию и идентификатор сущности. Это часто делается путем подстановки (substituting) идентификатора вместо неоднозначных терминов (например, замена «этого шоу» на «[Название Шоу]»).
3. Уточненный запрос отправляется в Natural Language Query Processing Engine.
4. Система получает результаты (ответы).

Где и как применяется

Это изобретение является ключевым компонентом систем понимания запросов в контексте голосового поиска и ассистентов.

QUNDERSTANDING – Понимание Запросов
Это основная область применения. Система работает как мультимодальный препроцессор запросов.

• Обработка ввода: Разделение речи пользователя и фоновых данных (аудио/изображений).
• Context Identification: Анализ Environmental Data для идентификации сущностей (Entity/Content Item).
• Disambiguation: Использование лингвистического анализа (Keyword Mapping для определения Content Type) для фильтрации результатов распознавания контента.
• Query Augmentation: Переписывание (реформулирование) запроса путем добавления идентифицированной сущности для устранения неоднозначности.

RANKING / METASEARCH
Система напрямую не участвует в ранжировании, но радикально меняет запрос, поступающий на эти этапы. Вместо абстрактного запроса («Кто его снял?»), система ранжирования получает конкретный запрос («Режиссер фильма Титаник»), который обрабатывается Natural Language Query Processing Engine, часто с использованием Knowledge Graph.

Входные данные:

• Аудиопоток (Waveform data), содержащий высказывание пользователя и фоновый звук.
• Изображения или видео из окружающей среды (опционально).

Выходные данные:

• Контекстуализированный, переписанный запрос (Текст + Entity ID), готовый для обработки NLP-движком.

На что влияет

• Типы контента: Медиаконтент (музыка, фильмы, сериалы, подкасты, видеоигры), а также продукты, произведения искусства и книги (при использовании визуального распознавания).
• Специфические запросы: Информационные голосовые запросы, содержащие местоимения или неоднозначные ссылки («Что это играет?», «Кто он?», «Сколько это стоит?»).
• Ниши: Развлечения, медиа, искусство, электронная коммерция (через визуальный поиск).

Когда применяется

• Условия работы: При обработке голосовых запросов на устройствах с доступом к сенсорам (микрофон, камера) – смартфоны, умные колонки, смарт-дисплеи.
• Триггеры активации: Получение голосового запроса. Механизмы патента особенно активизируются, если запрос неоднозначен или содержит ключевые слова, указывающие на тип контента (например, «смотреть», «слушать», «актер»).
• Ограничения: Требуется наличие распознаваемых данных в окружающей среде (например, достаточно четкий звук для фингерпринтинга).

Пошаговый алгоритм

Процесс А: Распознавание контента с помощью лингвистических подсказок (Claim 1)

1. Сбор и Разделение данных: Получение аудиоданных. Разделение голосового запроса и фонового аудио.
2. Транскрипция: Преобразование голоса в текст.
3. Определение типа контента: Анализ текста с помощью Keyword Mapping Engine. (Например: «Кто режиссер этого шоу?» -> Content Type: ‘TV Show’).
4. Распознавание контента: Отправка фонового аудио в Content Recognition Engine (Audio Fingerprinting).
5. Получение кандидатов: Получение потенциальных совпадений (Кандидат А: Саундтрек; Кандидат Б: ТВ-шоу) с их ranking scores.
6. Фильтрация и Переранжирование (Disambiguation): Сравнение типов кандидатов с Content Type (‘TV Show’). Корректировка ranking scores (повышение для Кандидата Б, понижение для Кандидата А).
7. Идентификация: Выбор лучшего кандидата (Кандидат Б).

Процесс Б: Ответ на вопрос с использованием контекста (Description/Embodiments)

1. Инициализация: Выполнение Процесса А для получения идентификатора сущности (Entity ID).
2. Аугментация запроса (Query Generation): Генерация нового запроса путем объединения транскрипции и Entity ID. Используется подстановка (substituting) или тегирование (tagging). (Например: «Кто режиссер [Entity ID]?»).
3. Обработка запроса: Отправка аугментированного запроса в Natural Language Query Processing Engine.
4. Получение ответа: Получение результатов от NLP-движка.
5. Вывод: Предоставление ответа пользователю.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Environmental Data): Сырые аудиоданные (для фингерпринтинга музыки, ТВ-шоу). Сырые данные изображений или видео (для распознавания объектов, обложек, постеров).
• Пользовательские факторы: Голосовой запрос пользователя (utterance).
• Лингвистические факторы: Ключевые слова в транскрипции запроса, используемые для определения Content Type.

Какие метрики используются и как они считаются

• Keyword-to-Content-Type Mapping: Используется предопределенная база данных (one or more databases) для сопоставления лингвистических сигналов (ключевых слов и их словоформ) с типами медиа.
• Audio Fingerprinting (Идентификация аудио): Для распознавания аудиоконтента патент детально описывает процесс: конвертация аудио в спектрограмму, извлечение спектральных образов, использование вейвлетов (wavelets) для выделения характеристик и MinHash для создания компактных сигнатур (sub-fingerprints). Эти сигнатуры сравниваются с базой данных.
• Ranking Scores (Оценки ранжирования кандидатов): Метрики уверенности, возвращаемые Content Recognition Engine, указывающие на вероятность совпадения отпечатка с известным контентом.
• Adjusted Ranking Scores (Скорректированные оценки): Модифицированные оценки ранжирования. Оценки корректируются (повышаются или понижаются) на основе совпадения Content Type, идентифицированного в запросе, и типа контента кандидата.

Выводы

1. Мультимодальность как основа понимания контекста: Google рассматривает данные окружающей среды (аудио, изображения) как критически важный источник информации для разрешения неоднозначности голосовых запросов. Это фундаментальный элемент Ambient Computing.
2. Переписывание запросов на основе сенсорных данных: Ключевой механизм — это способность системы внутренне переписывать (аугментировать) запрос, заменяя неоднозначные ссылки (например, «этот фильм») конкретными идентификаторами сущностей, полученными через микрофон или камеру.
3. Синергия лингвистики и распознавания: Патент описывает сложную синергию: анализ текста запроса (определение Content Type) улучшает точность распознавания контента из среды, а распознанный контент (Entity) дополняет смысл текста запроса.
4. Фокус на прямых ответах и Knowledge Graph: Конечная цель — предоставить прямой ответ через Natural Language Query Processing Engine. Это подчеркивает зависимость системы от хорошо структурированных данных о сущностях, хранящихся в Knowledge Graph.

Практика

Best practices (это мы делаем)

• Оптимизация сущностей (Entity Optimization) и Knowledge Graph: Критически важно обеспечить полное и точное представление ваших сущностей (продуктов, медиаконтента, компаний) в Knowledge Graph. Поскольку система идентифицирует сущность из контекста и ищет ответ о ней, ваши данные должны быть легко доступны.
• Использование комплексной микроразметки: Внедряйте детальную разметку Schema.org для медиаконтента (MusicRecording, Movie, TVSeries, PodcastEpisode) и продуктов (Product). Четко указывайте все атрибуты и связи (режиссеры, актеры, трек-листы, рейтинги).
• Оптимизация для визуального распознавания (Google Lens): Убедитесь, что изображения продуктов, обложки и логотипы уникальны и высококачественны. Это увеличивает вероятность правильной идентификации через Content Recognition Engine при визуальном поиске.
• (Для издателей медиа) Обеспечение распознаваемости контента: Убедитесь, что ваш аудио- и видеоконтент доступен для индексации системами фингерпринтинга (например, Content ID). Чистый звук способствует лучшей идентификации.

Worst practices (это делать не надо)

• Игнорирование нетекстового поиска: Фокусироваться исключительно на текстовых ключевых словах, игнорируя оптимизацию для голосового и визуального поиска. Патент показывает, что ввод становится мультимодальным.
• Предоставление неполных метаданных: Публикация контента без полных структурированных данных о связанных сущностях. Если система распознает ваш трек, но не найдет информацию о его авторе, она не сможет ответить на запрос.
• Использование неуникальных визуальных активов: Использование стоковых или низкокачественных изображений для ключевых продуктов затрудняет их визуальную идентификацию.

Стратегическое значение

Патент подтверждает стратегический курс Google на развитие мультимодального поиска и Ambient Computing. Поиск становится контекстно-зависимым, интерпретируя окружение пользователя (Environment-to-Intent). Для SEO это означает ускорение перехода от оптимизации веб-страниц к оптимизации сущностей и обеспечению их присутствия в Knowledge Graph. Контент может быть обнаружен не только по ключевым словам, но и по его аудио- и визуальным характеристикам.

Практические примеры

Сценарий 1: Оптимизация подкаста для контекстного распознавания

1. Задача: Обеспечить возможность задавать вопросы о текущем эпизоде подкаста через голосовых помощников.
2. Действия:
   • Обеспечить чистоту аудиодорожки для облегчения фингерпринтинга.
   • Внедрить микроразметку PodcastEpisode на страницах эпизодов, детально указывая гостей (как сущности Person).
3. Работа системы: Пользователь слушает и спрашивает: «Кто гость в этом выпуске?». Google идентифицирует подкаст через аудио-фингерпринтинг (Entity), дополняет запрос («Кто гость в [Название Подкаста Эпизод X]?»).
4. Результат: Google извлекает имя гостя из структурированных данных или Knowledge Graph и дает ответ.

Сценарий 2: Оптимизация продукта для визуального поиска

1. Ситуация: Пользователь видит кроссовки и спрашивает Google Lens: «Какие отзывы у этой модели?».
2. Действия SEO-специалиста:
   • Разместить уникальные, высококачественные фотографии продукта.
   • Использовать разметку Product, включая AggregateRating.
3. Работа системы: Google использует Environmental Image Data для идентификации модели кроссовок (Entity). Он переписывает запрос в: «Отзывы о [Бренд, Модель Кроссовок]».
4. Результат: Google предоставляет сводку отзывов, основываясь на данных, связанных с этой сущностью.

Вопросы и ответы