Как Google автоматически генерирует поисковые запросы на основе аудиоконтекста медиа (ТВ, радио, реклама)

Термины и определения

Ad Detection Server (Сервер обнаружения рекламы)

Компонент системы для идентификации рекламных роликов в медиапотоке. Может использовать сравнение отпечатков с базой известных роликов или алгоритмы выявления повторяющегося контента (repetition pattern algorithm).

Audio Fingerprint (Аудиоотпечаток)

Уникальное цифровое представление аудиосигнала, используемое для идентификации схожих или идентичных аудиосэмплов. Может генерироваться с помощью алгоритма типа "forgiving hash".

Capture Server (Сервер захвата)

Сервер, который непрерывно записывает контент из медиаисточников (Media Sources), таких как ТВ или радио, и обрабатывает его для извлечения аудиоотпечатков и метаданных.

Client Device (Клиентское устройство)

Устройство пользователя (смартфон, планшет, ноутбук, ТВ-приставка), которое записывает аудиосэмпл для инициации поиска.

EPG Metadata (Метаданные EPG)

Данные электронного телегида (Electronic Programming Guide), извлеченные из медиапотока. Включают информацию о расписании, названиях программ, описаниях.

Image Analysis Server (Сервер анализа изображений)

Компонент, анализирующий стоп-кадры из видеопотока для генерации Video-Based Keyword Metadata. Использует OCR и методы распознавания объектов/лиц.

Match Server (Сервер сопоставления)

Компонент, который сравнивает audio fingerprint, полученный от клиентского устройства, с базой данных отпечатков захваченного медиаконтента.

Search Query Builder Server (Сервер построения поисковых запросов)

Сервер, который автоматически генерирует текстовый поисковый запрос на основе метаданных, связанных с идентифицированным контентом.

Service Information Server (Сервер служебной информации)

Хранилище метаданных (EPG, субтитры, видео-ключевые слова) и специфичной информации, связанной с захваченным медиаконтентом, индексированных по Content Identifier.

Subtitle Metadata (Метаданные субтитров)

Текстовая информация, извлеченная из потока субтитров. Если субтитры графические (bitmap), используется OCR. При отсутствии субтитров может использоваться преобразование речи в текст (voice-to-text).

Video-Based Keyword Metadata (Ключевые слова на основе видео)

Метаданные, сгенерированные путем анализа видеопотока. Включают текст, логотипы, распознанные лица или объекты, извлеченные с помощью Image Analysis Server.

Ключевые утверждения (Анализ Claims)

Анализ Claims показывает сильный фокус изобретения на идентификации рекламы и генерации поисковых запросов на её основе.

Claim 1 (Независимый пункт): Описывает основной процесс обработки аудиоданных для идентификации рекламы и генерации запроса.

1. Получение аудиоданных от клиентского устройства.
2. Идентификация специфического контента из захваченного медиа. Захват медиа происходит на бэкенде одновременно (concurrently) с получением данных от клиента для идентификации в почти реальном времени.
3. Ключевое условие: идентифицированный контент включает по крайней мере одну известную рекламу (known advertisement).
4. Сопоставление части контента с этой известной рекламой.
5. Получение дополнительной информации, связанной с этой рекламой.
6. Генерация поискового запроса на основе этой дополнительной информации.
7. Возвращение результатов поиска, связанных с известной рекламой.

Claim 8 и 9 (Зависимые): Детализируют инфраструктуру бэкенда.

Система мониторит медиа-источники (например, ТВ-каналы), извлекает аудиопотоки и генерирует audio fingerprints (Claim 8). Параллельно извлекается дополнительная информация, генерируются метаданные (content-related metadata), и все данные связываются уникальным идентификатором контента (unique content identifier) и сохраняются (Claim 9).

Claim 11 и 12 (Зависимые): Описывают методы идентификации и обработки рекламы.

• Реклама может быть идентифицирована с помощью алгоритма выявления повторов (repetition pattern algorithm) на бэкенде (Claim 11).
• После идентификации система обрабатывает видеочасть рекламы для генерации ключевых слов для поискового запроса. Методы включают анализ изображений (image analysis process) для генерации video-based keywords и оптическое распознавание символов (OCR) для получения специфичной информации о рекламе (Claim 12).

Claim 27 (Независимый пункт): Описывает процесс с точки зрения клиентского устройства, фокусируясь на рекламе.

Устройство захватывает аудиосэмпл рекламы и отправляет его в систему. Система идентифицирует рекламу, выбирает поисковые термины на основе дополнительной информации, полученной путем анализа аудио-видео презентации рекламы (включая анализ изображений и OCR), и возвращает результаты поиска.

Где и как применяется

Изобретение связывает процессы индексирования медиаконтента с пониманием контекста пользователя и генерацией поисковых запросов.

INDEXING – Индексирование и извлечение признаков (Бэкенд)
На этом этапе происходит основная работа бэкенд-системы. Capture Servers постоянно записывают медиаисточники. Происходит глубокое извлечение признаков (Feature Extraction):

• Генерация Audio Fingerprints.
• Извлечение и обработка Subtitle Metadata (включая OCR и Voice-to-Text).
• Извлечение EPG Metadata.
• Анализ видеопотока (Image Analysis, OCR) для генерации Video-Based Keyword Metadata.
• Идентификация рекламы с помощью Ad Detection Server.

Результат: Пополняемая база данных аудиоотпечатков и связанных с ними метаданных на Service Information Server.

QUNDERSTANDING – Понимание Запросов (и Генерация Запросов)
Это ключевой этап применения патента. Когда пользователь отправляет аудиосэмпл:

• Система интерпретирует аудиосэмпл как контекст.
• Match Server идентифицирует контент.
• Search Query Builder Server извлекает все связанные метаданные.
• Система генерирует структурированный текстовый поисковый запрос на основе этих метаданных. Это автоматизированное формирование интента пользователя.

RANKING – Ранжирование
Сгенерированный запрос поступает на стандартный Search Server, который выполняет ранжирование по своим алгоритмам. Патент не описывает изменений на этом этапе.

Входные данные (от пользователя):

• Аудиосэмпл или Audio Fingerprint.
• Опционально: информация об устройстве, местоположении, профиле пользователя.

Входные данные (бэкенд):

• Потоки медиаисточников (ТВ, радио и т.д.).

Выходные данные:

• Набор результатов поиска, релевантных идентифицированному контенту.

На что влияет

• Специфические запросы: Влияет на генерацию информационных и коммерческих запросов, связанных с потребляемым медиаконтентом (запросы по сущностям, упомянутым в медиа).
• Конкретные типы контента: Транслируемые медиа (ТВ, радио), потоковое видео и записанные медиа (DVD, Blu-ray).
• Реклама: Патент имеет критическое значение для рекламы. Он описывает механизм, позволяющий мгновенно связать офлайн-рекламу с онлайн-поиском, используя данные, извлеченные непосредственно из рекламного ролика (OCR, анализ изображений).

Когда применяется

• Триггеры активации: Активируется пользователем через Capture Application на клиентском устройстве во время потребления медиаконтента.
• Режимы работы: Может работать в режиме разового запроса или в непрерывном режиме (continuous mode), когда устройство периодически отправляет аудиосэмплы и постоянно обновляет результаты поиска по мере изменения контента (например, при смене новостных сюжетов или рекламных блоков).

Пошаговый алгоритм

Процесс А: Обработка запроса пользователя (Фронтенд)

1. Захват аудио: Пользователь запускает приложение, которое записывает аудиосэмпл.
2. Генерация отпечатка: Клиентское устройство или Front-End Server генерирует audio fingerprint из сэмпла.
3. Передача и Сопоставление: Отпечаток передается на Match Server и сравнивается с базой данных захваченного медиа.
4. Идентификация контента: При нахождении совпадения система получает уникальный идентификатор контента (content identifier). (При неудаче система может запросить ручной ввод канала).
5. Извлечение метаданных: Используя идентификатор контента, Search Query Builder Server запрашивает связанные метаданные (EPG, субтитры, видео-ключевые слова) у Service Information Server.
6. Генерация поискового запроса: Search Query Builder Server автоматически формирует текстовый поисковый запрос на основе полученных метаданных.
7. Выполнение поиска и Возврат результатов: Запрос передается в Search Engine, результаты возвращаются на клиентское устройство.

Процесс Б: Захват и индексирование медиа (Бэкенд)

1. Захват контента: Capture Server постоянно записывает контент из медиаисточников.
2. Извлечение потоков: Из медиапотока извлекаются аудио, видео, субтитры и EPG данные.
3. Генерация аудиоотпечатков: Из аудиопотока генерируются audio fingerprints и сохраняются с уникальным идентификатором.
4. Обработка метаданных:
   • Субтитры обрабатываются (OCR или Voice-to-Text).
   • EPG данные парсятся.
   • Видеопоток анализируется (Image Analysis, OCR на Image Analysis Server) для извлечения ключевых слов.
5. Обнаружение рекламы: Ad Detection Server анализирует поток для идентификации рекламы (сравнение отпечатков или анализ повторов) и извлекает специфичные для неё данные (например, через OCR).
6. Сохранение метаданных: Все извлеченные метаданные сохраняются на Service Information Server и ассоциируются с уникальным идентификатором контента.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные, извлеченные непосредственно из медиапотоков, а также данные от пользователя.

• Аудио данные: Являются основой для идентификации контента через audio fingerprinting. Используются аудиосэмплы от пользователя и аудиопотоки из медиаисточников.
• Видео данные (Мультимедиа факторы): Видеопотоки из медиаисточников. Анализируются для генерации Video-Based Keyword Metadata путем анализа стоп-кадров (распознавание текста, логотипов, объектов, лиц).
• Контентные/Структурные факторы (Медиа):
  • Субтитры: Извлекаются для получения контекста диалогов.
  • EPG данные: Используются для получения информации о программе (название, описание, жанр).
• Пользовательские и Географические факторы: Местоположение клиентского устройства (GPS, IP) может использоваться для фильтрации потенциальных медиаисточников (например, ограничение поиска локальными ТВ-каналами). Также могут использоваться данные профиля пользователя для персонализации результатов.

Какие метрики используются и как они считаются

Патент не детализирует метрики ранжирования, но описывает ключевые процессы анализа данных:

• Audio Fingerprint Matching Score: Метрика схожести аудиоотпечатков. Match Server может использовать уровни уверенности (confidence levels) для определения наилучшего совпадения.
• Оптическое распознавание символов (OCR): Применяется для извлечения текста из графических субтитров и из видеокадров (например, текст в рекламе или титры).
• Image Analysis (Анализ изображений): Применяется к видеокадрам на Image Analysis Server для распознавания логотипов, объектов, лиц.
• Voice-to-Text (Преобразование речи в текст): Используется для генерации текстовых данных, если субтитры недоступны.
• Repetition Pattern Algorithm (Алгоритм выявления повторов): Алгоритм, используемый Ad Detection Server для идентификации новых рекламных роликов в медиапотоке на основе шаблонов повторения.

1. Автоматическая генерация запросов из контекста: Патент описывает мощный механизм, позволяющий Google понимать контекст потребляемого медиа и переводить его в конкретные поисковые запросы без участия пользователя. Это меняет подход к пониманию источников поискового трафика.
2. Медиаконтент как источник интента: Система рассматривает медиапоток как богатый источник данных для определения намерений пользователя. Извлекаются не только аудио, но и субтитры, EPG и визуальная информация (анализ видео).
3. Глубокая интеграция рекламы и поиска: Обнаружение и обработка рекламы (Ad Detection) является ключевым компонентом, что подчеркивается в Claims. Система специально разработана для того, чтобы сделать офлайн-рекламу интерактивной, автоматически генерируя коммерческие запросы на основе распознанного текста (OCR) и изображений из рекламного ролика.
4. Критическая роль метаданных и визуальной информации в медиа: Для формирования точного запроса система полагается на качество извлекаемых данных. Четкость аудио, наличие субтитров и читаемость текста в видеоряде (для OCR и генерации Video-Based Keyword Metadata) напрямую влияют на результат.
5. Система генерации, а не ранжирования: Патент не вносит изменений в алгоритмы ранжирования, но он критически важен для понимания того, как Google анализирует и структурирует мультимедийный контент для генерации запросов.

Best practices (это мы делаем)

• Оптимизация видео и рекламы для распознавания (OCR): При создании видеоконтента (особенно рекламного) убедитесь, что ключевая информация (название бренда, продукта, УТП, URL) представлена четко и читаемо. Система использует OCR для извлечения Video-Based Keyword Metadata и включения этой информации в автоматический поисковый запрос.
• Использование и оптимизация субтитров: Предоставляйте точные субтитры для видеоконтента. Система извлекает Subtitle Metadata для понимания контекста. Оптимизируйте текст субтитров под ключевые слова, связанные с контентом. Если субтитров нет, система использует Voice-to-Text, поэтому чистота аудиодорожки также важна.
• Подготовка целевых страниц под медиа-трафик: Анализируйте, какие запросы могут быть сгенерированы на основе вашего медиаконтента или рекламы (например, запросы, включающие текст из вашего ролика). Убедитесь, что ваши онлайн-ресурсы оптимизированы для ранжирования по этим запросам.
• Интеграция офлайн и онлайн кампаний: Рассматривайте офлайн-рекламу как триггер для онлайн-поиска (эффект «второго экрана»). Согласовывайте ключевые сообщения в рекламе с SEO-стратегией для соответствующих продуктов или услуг.

Worst practices (это делать не надо)

• Использование нечитаемого или мелкого текста в видео: Размещение важной информации текстом, который сложно распознать системами OCR, снизит эффективность генерации релевантных поисковых запросов.
• Игнорирование метаданных при публикации контента: Публикация видео без субтитров или с неточными метаданными (аналог EPG для онлайн-видео) ухудшает способность системы понять контекст и сгенерировать качественный запрос.
• Создание медиаконтента в отрыве от SEO: Разработка рекламных кампаний без учета того, как пользователи (и автоматические системы) будут искать связанную информацию в интернете.

Стратегическое значение

Этот патент подтверждает стратегию Google по захвату и пониманию информации из всех доступных источников, включая традиционные медиа. Для SEO это означает, что источники трафика становятся более диверсифицированными, а генерация запросов — более автоматизированной и контекстуальной. Это стирает грань между офлайн-маркетингом и SEO, требуя интегрированного подхода к управлению информацией во всех каналах. Понимание механизмов анализа мультимедиа (OCR, субтитры) становится обязательным навыком.

Практические примеры

Сценарий: Оптимизация телевизионной рекламы автомобиля

1. Рекламный ролик (Медиаисточник): Показывается реклама нового автомобиля "Brand Model X 2025". В ролике диктор рассказывает о преимуществах, а на экране крупно показан логотип и текст "Специальное предложение 0% кредит".
2. Действие пользователя: Пользователь активирует приложение для распознавания аудио на своем смартфоне.
3. Работа системы (Идентификация): Система идентифицирует аудио как рекламу (known advertisement) с помощью Ad Detection Server.
4. Работа системы (Извлечение метаданных):
   • Voice-to-Text (или субтитры) распознает речь диктора.
   • Image Analysis Server распознает логотип "Brand".
   • OCR распознает текст на экране: "Model X 2025" и "Специальное предложение 0% кредит".
5. Генерация запроса: Search Query Builder автоматически генерирует запрос, например: [Brand Model X 2025 специальное предложение 0% кредит].
6. Результат для SEO: Если SEO-команда автопроизводителя оптимизировала официальный сайт и лендинг акции под этот конкретный запрос, их ресурс займет первую позицию в выдаче, которую пользователь увидит без ручного ввода.