Как Google использует текстовые поисковые тренды и медиа для обновления систем распознавания речи в реальном времени

Описание

Какую задачу решает

Патент решает проблему устаревания и неточности систем автоматического распознавания речи (ASR) при обработке новой или трендовой лексики (сленг, имена собственные, названия событий). Статические модели не могут корректно распознать слова, недавно вошедшие в обиход, или могут путать их с похожими по звучанию, но менее актуальными фразами (например, распознавание трендового «Britney Spears» как менее частотного «Britain’s Peers»). Изобретение обеспечивает механизм автоматического обновления этих моделей для поддержания высокой точности ASR.

Что запатентовано

Запатентована система для автоматического обновления моделей распознавания речи (как языковых, так и акустических). Система использует два ключевых источника данных в реальном времени: (1) текстовые поисковые запросы пользователей для выявления трендов и обновления вероятностей слов в Language Model; (2) синхронизированные аудиозаписи и их текстовые расшифровки (например, субтитры телепередач) для обновления Acoustic Model и изучения произношения. Также описан механизм передачи этих обновлений на клиентские устройства.

Как это работает

Механизм работает в нескольких направлениях:

• Обновление Языковой Модели (Тренды): Система анализирует потоки текстовых данных в реальном времени (real-time textual information streams), такие как поисковые запросы. Если термин становится популярным (высокий Word Count), система увеличивает вероятность его распознавания при голосовом вводе, отдавая предпочтение свежим данным.
• Обновление Акустической Модели (Произношение): Система синхронизирует аудиозаписи с транскриптами (например, новости), извлекает произношение новых слов и автоматически добавляет их в словарь произношений (Pronunciation Dictionary).
• Распространение обновлений: Обновленные данные о трендах (Word Count Data) могут передаваться с сервера на удаленные устройства (смартфоны) во время взаимодействия с поиском, чтобы улучшить точность распознавания речи локально на устройстве.

Актуальность для SEO

Высокая. Голосовой поиск и цифровые ассистенты являются ключевыми интерфейсами взаимодействия. Способность системы распознавания речи быстро адаптироваться к изменениям в языке, новостям и трендам критически важна для качества пользовательского опыта. Описанные механизмы лежат в основе современных ASR-систем.

Важность для SEO

Влияние на SEO значительно, но косвенно (7/10). Патент описывает не алгоритмы ранжирования, а механизмы Автоматического Распознавания Речи (ASR) — процесса транскрибации аудио в текст. Это первый и критически важный этап обработки голосового запроса. Если ASR неверно распознает трендовое слово или название бренда, поисковая система будет ранжировать результаты по ошибочному тексту. Понимание этого патента необходимо для оптимизации под голосовой поиск (VSO) и Видео SEO, так как он показывает, как Google учится «слышать» новый контент.

Детальный разбор

Термины и определения

Acoustic Model (Акустическая модель)

Компонент ASR, который представляет ожидаемое звучание фонем и слов. Отвечает за перевод звуков в текст (как это звучит).

ASR (Automatic Speech Recognition)

Автоматическое распознавание речи. Процесс преобразования аудиосигнала в текст.

Co-concurrence (Совместная встречаемость)

Вероятность появления одного слова рядом с другим. Используется для улучшения точности распознавания фраз.

Language Model (Языковая модель)

Компонент ASR, который предсказывает вероятность появления определенной последовательности слов. Отвечает за определение того, какие слова наиболее вероятны в данном контексте или в данное время (что это значит и насколько это популярно).

Pronunciation Dictionary (Словарь произношений)

Хранилище, связывающее текстовое написание слова с его фонетической транскрипцией (произношением).

Real-time textual information streams (Потоки текстовой информации в реальном времени)

Источники данных для обновления модели. В патенте упоминаются recently received search queries (недавние поисковые запросы) и transcriptions of live television broadcasts (транскрипции прямых трансляций).

Speech recognition model trainer (Тренер модели распознавания речи)

Компонent (в данном патенте описан как находящийся на клиентском устройстве), который обновляет локальную Language Model на основе данных, полученных от сервера.

Word Count Data (Данные о частоте слов)

Метрика, указывающая, сколько раз термин встретился в анализируемом потоке данных за определенный период времени.

Ключевые утверждения (Анализ Claims)

Патент US10410627B2 является продолжением (continuation) более ранних заявок. Его формула изобретения (Claims 1-17) фокусируется на конкретном механизме обновления языковой модели на стороне клиента (устройства пользователя) с использованием данных, полученных от поисковой системы.

Claim 1 (Независимый пункт): Описывает метод взаимодействия поисковой системы и устройства пользователя для обновления модели распознавания речи.

1. Серверный модуль обновления (updater module) поисковой системы получает данные о частотности слов (word count data) из real-time textual information streams за определенный период.
2. Поисковая система получает запрос от мобильного устройства или цифрового ассистента.
3. В ответ на запрос поисковая система передает на устройство: (i) результаты поиска и (ii) конкретные word count data. Эти данные предназначены для использования speech recognition model trainer на устройстве.
4. Тренер на устройстве обновляет статистическую информацию в локальной Language Model на основе полученных данных.
5. Цель обновления — отдавать предпочтение (favor) словам, которые недавно использовались в поисковой системе, по сравнению со словами, которые не использовались недавно (Recency Bias).

Ядром изобретения, согласно Claim 1, является использование стандартного взаимодействия «запрос-ответ» с поисковой системой как канала для доставки обновлений ASR на клиентское устройство. Сервер выступает как глобальный агрегатор языковых трендов, а устройство использует эти данные для локальной адаптации своей модели распознавания речи.

Claim 2 и 3 (Зависимые): Уточняют источники real-time textual information streams: недавно полученные поисковые запросы (Claim 2) и расшифровки прямых телевизионных трансляций (Claim 3).

Где и как применяется

Изобретение затрагивает инфраструктуру сбора данных и этап понимания запросов, в частности, процесс распознавания речи (ASR).

CRAWLING & INDEXING (Сбор данных и обучение моделей)
На этом этапе система собирает входные данные: логи текстовых поисковых запросов и медиа-контент с субтитрами. Происходит фоновая обработка:

• Анализ текстовых логов: Вычисление Word Counts и анализ трендов для обновления Статистической Языковой Модели.
• Анализ медиа (описано в Description): Синхронизация звука и текста для обновления Акустической Модели и Pronunciation Dictionary.

QUNDERSTANDING – Понимание Запросов (ASR)
Здесь обновленные модели применяются. Когда пользователь произносит голосовой запрос, система ASR (на сервере или на устройстве) использует актуализированные модели для точной транскрибации аудио в текст. Этот текст затем передается в систему ранжирования.

RANKING / RERANKING (Доставка обновлений)
Согласно Claim 1, этот этап служит триггером для доставки обновлений. После генерации результатов поиска система добавляет в ответ актуальные Word Count Data для отправки на устройство.

Входные данные:

• Логи текстовых поисковых запросов.
• Аудио/видео записи с синхронизированными транскриптами.
• Временные метки получения данных.

Выходные данные:

• Обновленные языковые и акустические модели.
• Данные о частотности терминов (Word Count Data), передаваемые на устройства пользователей.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на голосовые запросы, связанные с трендами, новостями, новыми продуктами, именами собственными и сленгом. Точность распознавания таких запросов значительно возрастает.
• Конкретные ниши: Ниши, подверженные быстрым изменениям (новости, развлечения, технологии, спорт).
• Типы контента: Влияет на индексацию аудиоконтента (видео, подкасты), так как ASR используется для их транскрибации.

Когда применяется

• Обновление моделей (Сервер): Происходит постоянно по мере поступления новых данных из текстовых поисков и трансляций.
• Передача данных на устройство: Происходит в ответ на запрос пользователя к поисковой системе (согласно Claim 1).
• Применение моделей (ASR): Каждый раз, когда система обрабатывает голосовой ввод.

Пошаговый алгоритм

Патент описывает несколько взаимосвязанных процессов.

Процесс А: Обновление Языковой Модели и Распространение данных (На основе Claim 1)

1. Мониторинг (Сервер): Непрерывный сбор real-time textual information streams (поисковые запросы, транскрипты).
2. Анализ и Взвешивание (Сервер): Подсчет Word Count Data. Применение весовых коэффициентов на основе времени получения данных (предпочтение недавним терминам).
3. Взаимодействие (Устройство -> Сервер): Устройство отправляет запрос в поисковую систему.
4. Передача данных (Сервер -> Устройство): Сервер возвращает результаты поиска И актуальные Word Count Data.
5. Локальное обновление (Устройство): Speech recognition model trainer на устройстве обновляет локальную Language Model, применяя смещение в сторону актуальности.

Процесс Б: Обновление Акустической Модели (Описано в Description, FIG. 6)

1. Сбор данных: Получение аудиозаписей и соответствующих им транскриптов.
2. Синхронизация: Сопоставление аудио и текста.
3. Извлечение произношения: Извлечение слов из транскрипта и соответствующего им произношения из аудиозаписи.
4. Валидация: Использование обучающих и тестовых выборок для проверки и оптимизации точности распознавания.
5. Генерация словарной статьи: Создание или обновление записи в Pronunciation Dictionary.

Какие данные и как использует

Данные на входе

• Контентные/Текстовые факторы: Real-time textual information streams. Включают текстовые поисковые запросы и текстовые расшифровки (субтитры) медиаконтента.
• Мультимедиа факторы (Аудио): Аудиодорожки синхронизированного контента (например, телепередач). Используются для построения акустической модели (Процесс Б).
• Временные факторы: Время получения данных (receipt time). Критически важно для определения актуальности и взвешивания терминов.
• Поведенческие факторы (Глобальные): Массив текстовых поисковых запросов используется как основной источник для понимания текущих языковых трендов.

Какие метрики используются и как они считаются

• Word Count Data (Частотность слов): Основная метрика для Процесса А. Подсчет количества появлений термина в потоках данных за определенный период времени (predetermined period of time).
• Weighting based on Receipt Time (Взвешивание по времени получения): Коэффициенты, которые увеличивают вес более свежих данных. Позволяет системе отдавать предпочтение (favor) трендовым терминам.
• Co-concurrence Probability (Вероятность совместной встречаемости): (Упоминается в Description). Статистическая вероятность того, что слова появятся вместе.
• Recognition Accuracy (Точность распознавания): Метрика, используемая при обновлении акустической модели (Процесс Б) для валидации новых записей в словаре произношений.

Выводы

1. Текстовый поиск обучает голосовой поиск: Существует прямая петля обратной связи: популярность термина в текстовых поисковых запросах используется как ключевой сигнал для обновления статистической языковой модели ASR. То, что люди ищут текстом сегодня, определяет, как Google распознает речь завтра.
2. Быстрая адаптация к трендам (Recency Bias): Система спроектирована для адаптации в реальном времени. Использование свежих данных и взвешивание по времени позволяет Google мгновенно реагировать на новости, события и сленг, повышая вероятность распознавания актуальных терминов.
3. Автоматическое обучение произношению из медиа: Для обновления акустической модели Google использует синхронизированный аудио/текстовый контент (например, новости). Это позволяет системе автоматически изучать произношение новых слов без ручного вмешательства, используя «стандартное» произношение (Broadcast Standard) как эталон.
4. Децентрализованное обновление моделей: Описан конкретный механизм доставки обновлений ASR на устройства пользователей. Взаимодействие с поиском используется как канал для передачи актуальных Word Count Data для обновления локальных моделей.
5. ASR как фундамент VSO: Точность транскрибации является критическим этапом воронки голосового поиска. Ошибки на этапе ASR (до этапа ранжирования) невозможно компенсировать стандартными методами SEO-оптимизации.

Практика

Best practices (это мы делаем)

• Мониторинг трендов и быстрая реакция (Trend Monitoring): Активно отслеживайте возникающие тренды и новую терминологию в своей нише через текстовый поиск (Google Trends). Быстрое внедрение этой лексики в контент критически важно, так как система ASR быстро учится ее распознавать.
• Соответствие языка контента языку запросов: Используйте в контенте именно те формулировки и термины, которые пользователи вводят в текстовый поиск. Поскольку именно эти данные обучают систему распознавания речи, ваш контент будет лучше соответствовать распознанным голосовым запросам.
• Обеспечение стандартного произношения в медиа (Видео/Подкасты): При создании аудио и видео контента используйте четкое, стандартное произношение (Broadcast Standard), особенно для ключевых терминов и названий брендов. Это соответствует тому, как Google строит свои акустические модели, и улучшает индексацию вашего медиаконтента.
• Предоставление точных транскриптов и субтитров: Публикация точных транскриптов для вашего медиа-контента помогает поисковой системе корректно ассоциировать аудиоконтент с текстовыми терминами и потенциально может служить источником данных для обучения моделей.

Worst practices (это делать не надо)

• Использование устаревшей терминологии или игнорирование трендов: Игнорирование новой терминологии и сленга, который становится популярным в поиске. Это приведет к потере трафика, особенно из голосового поиска, так как ASR адаптируется к актуальному спросу.
• Использование узкоспециализированного жаргона без популяризации: Если терминология не встречается в широком текстовом поиске или авторитетных трансляциях, вероятность ее корректного распознавания системой ASR низка.
• Низкое качество звука в медиа: Производство контента с плохим звуком или неразборчивым произношением препятствует транскрипции ASR и ухудшает индексацию контента.

Стратегическое значение

Патент подтверждает, что Google рассматривает язык как динамическую систему и обладает инфраструктурой для ее отслеживания в реальном времени. Стратегическое значение для SEO заключается в переходе к динамическому управлению контентом, основанному на трендах. Успех в оптимизации под голосовой поиск (VSO) напрямую зависит от того, насколько контент соответствует актуальному языковому ландшафту, который Google отслеживает через текстовые запросы. Стратегически важно обеспечивать присутствие бренда или ключевых терминов в текстовом поиске и авторитетных медиа, чтобы гарантировать их корректное распознавание при голосовом вводе.

Практические примеры

Сценарий: Запуск нового продукта с уникальным названием (например, «SynthoWave»)

Задача: Обеспечить корректное распознавание названия «SynthoWave» системами ASR при голосовых запросах.

Действия на основе патента:

1. Стимулирование текстовой популярности (Обновление Языковой Модели): Необходимо генерировать текстовые поисковые запросы с названием продукта через PR, рекламу, упоминания в соцсетях. Чем выше Word Count для «SynthoWave» в текстовом поиске, тем выше вероятность его корректного распознавания ASR по сравнению с похожими по звучанию фразами.
2. Обеспечение эталонного произношения (Обновление Акустической Модели): Необходимо добиться освещения продукта в авторитетных медиа (ТВ, крупные издания с видео), где название будет четко произнесено и сопровождено текстом (субтитрами). Это даст Google синхронизированные данные для обучения Acoustic Model.
3. Собственный контент: Создание собственных видеороликов с четким произношением названия и загрузка точных субтитров.

Ожидаемый результат: Система ASR быстро адаптируется и начинает корректно транскрибировать голосовые запросы, содержащие «SynthoWave», обеспечивая релевантную выдачу.

Вопросы и ответы