Как Google планирует использовать аудио-отпечатки для поиска по голосовым запросам без распознавания речи (ASR)

Термины и определения

Audio Signature (Аудио-отпечаток / Фонетический сигнал)

Компактное векторное представление аудиоданных голосового запроса. Обычно это вектор фиксированной длины. Важная особенность: исходные аудиоданные не могут быть реконструированы из этого отпечатка, что обеспечивает конфиденциальность.

Audio Signature Generator (Генератор аудио-отпечатков)

Компонент (часто работающий на устройстве пользователя), который извлекает Audio Signature из необработанных аудиоданных. Этот генератор обучается в процессе тренировки всей системы.

ASR (Automatic Speech Recognition / Автоматическое распознавание речи)

Традиционная технология преобразования речи в текст. Данный патент предлагает метод, который НЕ использует ASR для поиска.

Document Tokens (Токены документа)

Термины, извлеченные из документа в процессе индексирования, которые представляют его содержание. В патенте упоминаются токены из заголовка, описания, автора, даты публикации, категории или ключевых слов.

Joint Embedding Model (Модель совместного эмбеддинга)

Нейронная сеть, обученная размещать разнородные данные (в данном случае Audio Signatures и Document Tokens) в общем векторном пространстве.

Shared Embedding Space (Общее пространство эмбеддингов)

Векторное пространство, в котором Audio Signatures и релевантные им Document Tokens расположены близко друг к другу.

Page Ranker

Компонент поисковой системы (упомянутый в патенте), отвечающий за ранжирование документов, найденных с помощью Document Tokens.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы.

1. Получение Audio Signature с устройства пользователя (отпечаток извлечен из аудио голосового запроса).
2. Обработка Audio Signature с помощью нейронной сети (Joint Embedding Model).
3. Идентификация Document Tokens, которые соответствуют Audio Signature в общем пространстве эмбеддингов (Shared Embedding Space). Нейронная сеть обучена совместно размещать эти два типа данных в этом пространстве.
4. Извлечение набора результатов поиска для запроса с использованием этих Document Tokens.
5. Предоставление результатов пользователю.

Claim 4 (Зависимый): Уточняет критически важное свойство конфиденциальности.

Аудиоданные, соответствующие запросу пользователя, не могут быть реконструированы из Audio Signature.

Claim 5 (Зависимый): Уточняет механизм передачи данных.

Система получает Audio Signature с устройства пользователя, не получая при этом сами аудиоданные.

Claim 6 (Зависимый): Подчеркивает ключевое отличие от существующих систем.

Набор результатов поиска извлекается без выполнения распознавания речи (ASR) на аудиоданных.

Claim 7 (Зависимый): Описывает процесс обучения нейронной сети для совместного эмбеддинга.

1. Получение множества обучающих образцов. Каждый образец содержит обучающие аудиоданные (голосовой запрос) и соответствующие обучающие документы (результаты поиска для этого запроса).
2. Для каждого образца:
   • Извлечение обучающего Audio Signature с помощью Audio Signature Generator.
   • Индексирование обучающих документов для извлечения Document Tokens.
   • Обработка Audio Signature и Document Tokens нейронной сетью для ее обучения совместному размещению этих данных в Shared Embedding Space.

Claim 8 (Зависимый от 7): Определяет источники Document Tokens.

Токены, извлеченные из обучающих документов, представляют термины, включающие как минимум одно из следующего: заголовок, описание, автор, дата публикации, категория или ключевое слово, связанное с документом.

Где и как применяется

Изобретение радикально меняет этап понимания запроса для голосового поиска и влияет на этап извлечения кандидатов.

INDEXING – Индексирование и извлечение признаков
На этом этапе система индексирует документы и извлекает Document Tokens (ключевые слова, заголовки, метаданные). Эти токены затем преобразуются в эмбеддинги для использования в Shared Embedding Space.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Вместо традиционного пути (Аудио -> ASR -> Текст -> Интерпретация), система использует новый путь: Аудио -> Audio Signature Generator -> Audio Signature. Процесс интерпретации происходит путем сопоставления этого отпечатка с токенами документов.

RANKING – Ранжирование (L1 Retrieval / Отбор кандидатов)
Joint Embedding Model использует Audio Signature для идентификации релевантных Document Tokens. Эти токены затем используются для быстрого отбора кандидатов (документов), которые содержат эти токены.

RANKING – Ранжирование (L2/L3)
После отбора кандидатов компонент Page Ranker выполняет ранжирование этих документов (вероятно, используя стандартные сигналы ранжирования, хотя патент это не детализирует) и определяет финальный набор результатов.

Входные данные:

• Необработанные аудиоданные голосового запроса (обрабатываются локально на устройстве).
• Audio Signature (передается на сервер).

Выходные данные:

• Набор Document Tokens, идентифицированных как релевантные аудио-отпечатку.
• Финальный набор ранжированных результатов поиска.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на обработку голосовых запросов. Это может быть особенно полезно для запросов, содержащих имена собственные, редкие термины или произнесенных с сильным акцентом, где традиционные системы ASR часто ошибаются.
• Языковые ограничения: Потенциально этот подход может упростить развертывание голосового поиска для языков с ограниченными ресурсами (low-resource languages), для которых сложно собрать достаточно данных для обучения надежных ASR моделей.
• Конкретные типы контента: Влияет на весь контент, который может быть проиндексирован и представлен через Document Tokens (статьи, товары, медиа и т.д.).

Когда применяется

• Условия работы: Алгоритм применяется, когда пользователь инициирует голосовой поиск через совместимое приложение (например, Search Application).
• Триггеры активации: Получение аудиоданных от пользователя, предназначенных для поиска.

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени (Inference)

1. Сбор аудиоданных: Устройство пользователя захватывает голосовой запрос.
2. Генерация отпечатка: Audio Signature Generator (обычно на устройстве) обрабатывает аудиоданные и извлекает Audio Signature (вектор фиксированной длины).
3. Передача данных: Устройство отправляет Audio Signature поисковой системе (на сервер). Необработанное аудио может не передаваться.
4. Обработка отпечатка: Поисковая система использует Joint Embedding Model для обработки полученного Audio Signature.
5. Идентификация токенов: Модель идентифицирует Document Tokens, которые находятся близко к Audio Signature в Shared Embedding Space.
6. Извлечение результатов: Система извлекает набор документов, соответствующих этим Document Tokens.
7. Ранжирование: Компонент Page Ranker ранжирует извлеченные документы.
8. Предоставление результатов: Наиболее высоко ранжированные результаты предоставляются пользователю.

Процесс Б: Обучение системы (Training)

1. Сбор данных: Собираются пары обучающих данных: (Голосовой запрос) + (Релевантные документы).
2. Извлечение токенов: Индексатор (Indexer) обрабатывает документы для извлечения Training Document Tokens (заголовки, ключевые слова и т.д.).
3. Генерация отпечатков: Audio Signature Generator обрабатывает голосовые запросы для извлечения Training Audio Signatures.
4. Совместное обучение: Joint Embedding Model обрабатывает пары (Отпечаток + Токены). Модель обучается таким образом, чтобы минимизировать расстояние между релевантными отпечатками и токенами в Shared Embedding Space. Одновременно с этим обучается и сам Audio Signature Generator, чтобы научиться извлекать наиболее полезные отпечатки.

Какие данные и как использует

Данные на входе

Патент фокусируется на интерпретации запроса и механизме извлечения, а не на ранжировании. Он использует следующие типы данных:

• Аудио данные (Phonetic Factors): Необработанные аудиоданные голосового запроса являются основным входом для Audio Signature Generator.
• Контентные факторы (для документов): В процессе обучения и индексирования используются контентные данные документов для генерации Document Tokens. Патент явно упоминает (Claim 8):
  • Заголовки (Title)
  • Описания (Description)
  • Ключевые слова (Keyword)
• Метаданные (для документов): Также используются для генерации Document Tokens:
  • Автор (Author)
  • Дата публикации (Publication date)
  • Категория (Category)

Патент не упоминает использование ссылочных, поведенческих, технических или других традиционных SEO-факторов в контексте описанного механизма понимания запросов.

Какие метрики используются и как они считаются

Конкретные метрики и формулы расчета в патенте не указаны, но описанный механизм подразумевает использование следующих концепций:

• Векторное расстояние: Основной механизм работы Shared Embedding Space заключается в измерении близости между вектором Audio Signature и векторами Document Tokens. Хотя это не указано явно, обычно используются метрики расстояния, такие как косинусное сходство (cosine similarity) или евклидово расстояние (Euclidean distance).
• Алгоритмы машинного обучения: Используются нейронные сети (Neural Networks) для реализации Joint Embedding Model и Audio Signature Generator. Обучение происходит путем оптимизации функции потерь, которая штрафует за большое расстояние между релевантными парами аудио и текста.

1. Обход ASR в голосовом поиске: Google активно исследует методы прямого сопоставления звука с контентом, минуя этап транскрибации речи в текст (ASR). Это может привести к более быстрому и точному голосовому поиску, особенно в сложных акустических условиях или для редких запросов.
2. Эмбеддинги как универсальный язык: Патент подтверждает стратегическую ставку на векторные эмбеддинги. Joint Embedding Model создает общее пространство, где звук и текст могут быть напрямую сопоставлены, что является мощным механизмом семантического понимания.
3. Приоритет конфиденциальности и эффективности: Описанный метод значительно повышает конфиденциальность. Audio Signature может генерироваться локально, не позволяет восстановить речь и имеет малый размер, что снижает нагрузку на сеть и ускоряет обработку.
4. Обучаемый генератор отпечатков: Audio Signature Generator не является фиксированным алгоритмом, он обучается вместе с основной моделью, чтобы извлекать наиболее релевантные фонетические признаки для задачи поиска.
5. Зависимость от текстовых токенов: Несмотря на инновационный подход к обработке аудио, система по-прежнему полагается на традиционные Document Tokens (заголовки, описания, ключевые слова) для представления документов. Это означает, что базовая текстовая оптимизация остается критически важной.

Практическое применение в SEO

ВАЖНО: Этот патент является инфраструктурным и описывает внутренние процессы обработки голосовых запросов Google. Он не дает прямых практических выводов для изменения стратегий SEO-оптимизации контента.

Best practices (это мы делаем)

• Поддержание качества базовой текстовой оптимизации: Поскольку система в конечном итоге сопоставляет аудио-отпечаток с Document Tokens, извлеченными из текста (заголовки, описания, ключевые слова), фундаментальные принципы SEO остаются неизменными. Контент должен быть четко структурирован, а ключевые элементы должны точно описывать содержание страницы.
• Использование естественного языка и ключевых фраз: Хотя механизм интерпретации меняется, пользователи по-прежнему будут использовать естественный язык в голосовых запросах. Оптимизация под релевантные ключевые фразы и интенты гарантирует, что система сможет извлечь необходимые Document Tokens для сопоставления.

Worst practices (это делать не надо)

Патент не направлен против каких-либо конкретных SEO-тактик или манипуляций. Он не вводит новых ограничений для оптимизаторов. Бесполезно пытаться заниматься "фонетической оптимизацией" текста, так как система работает с абстрактными векторными представлениями звука.

Стратегическое значение

Стратегическое значение этого патента для SEO заключается в понимании эволюции голосового поиска. Если этот метод будет широко внедрен, он может повысить надежность и скорость голосового поиска, что потенциально приведет к увеличению объема голосового трафика. Это подтверждает долгосрочную необходимость адаптации контента под естественные запросы. Также это подчеркивает, что Google все больше полагается на сложные нейросетевые модели и эмбеддинги на всех этапах поиска, от понимания запроса до ранжирования.

Практические примеры

Практических примеров применения для SEO нет, так как патент описывает технологию обработки ввода, а не факторы ранжирования контента.