Как Google использует аудиовизуальный контекст (то, что пользователь смотрит в данный момент) для уточнения поисковых запросов

Термины и определения

Annotation Module (Модуль аннотирования)

Компонент системы (работающий офлайн), который анализирует медиаконтент для извлечения Keywords и ассоциации их с конкретными временными отрезками программы. Использует Recognition Module.

Audio Fingerprint / Video Fingerprint (Аудио/Видео отпечаток)

Компактная цифровая сигнатура, полученная из аудио- или видеосигнала. Используется для точной идентификации медиаконтента и конкретного временного кода.

Contextually Relevant Keywords (Контекстуально релевантные ключевые слова)

Ключевые слова (сущности), которые одновременно связаны с текущим моментом воспроизведения медиа И соответствуют интенту запроса пользователя.

Entity Type (Тип сущности)

Категория, к которой принадлежит ключевое слово (например, Человек, Локация, Объект). Используется для фильтрации ключевых слов в соответствии с интентом запроса.

Keywords (Ключевые слова)

В контексте патента — это сущности, связанные с программой: люди, места, события, объекты, бренды и т.д.

Media Data (Медиаданные)

Данные, используемые для идентификации контента. Включают аудио, видео, данные электронного телегида (EPG), отпечатки.

Portion of the program (Часть программы)

Конкретный временной сегмент или момент в медиаконтенте, который пользователь просматривает во время отправки запроса.

Question Term (Вопросительный термин)

Часть запроса, которая указывает на тип искомой информации (например, "Кто", "Где", "Когда").

Recognition Module (Модуль распознавания)

Компонент, использующий технологии распознавания лиц (Facial Recognition), изображений (Image Recognition) и оптического распознавания символов (OCR) для идентификации Keywords в медиапотоке.

Time-sensitive query (Чувствительный ко времени запрос)

Запрос, относящийся к тому, что происходит в медиаконтенте в данный конкретный момент, а не к программе в целом.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации результатов поиска с учетом контекста текущего медиа.

1. Система получает пользовательский ввод и составляет запрос, включающий Question Term.
2. Система определяет, является ли запрос Time-sensitive query, относящимся к программе, воспроизводимой в данный момент. Определение основано на терминах запроса, контекстной информации и приложении, через которое получен запрос.
3. Если ДА: Система захватывает Media Data воспроизводимой программы.
4. Система идентифицирует конкретную Portion of the program (временной сегмент), которая воспроизводилась в момент получения запроса, используя захваченные Media Data.
5. Система идентифицирует набор Keywords (сущностей), связанных именно с этим временным сегментом.
6. Система определяет контекстную релевантность: выбирает те ключевые слова, чей Entity Type (например, Человек) соответствует Question Term в запросе (например, "Кто").
7. Система получает результаты поиска, которые отвечают на запрос и основаны на выбранных контекстно-релевантных ключевых словах.
8. Система представляет результаты пользователю.

Claim 2, 3, 4 (Зависимые): Детализируют механизм идентификации контента и временного отрезка.

Система использует Audio Fingerprinting. Захваченные аудиоданные сравниваются с базой данных отпечатков. Это позволяет идентифицировать программу (Claim 2) и точный временной отрезок внутри программы (Claim 3), так как отпечатки в базе привязаны к конкретным таймстампам. Контекстуально релевантные ключевые слова определяются как те, что ассоциированы с этим идентифицированным временным отрезком (Claim 4).

Claim 6 (Зависимый): Уточняет механизм определения контекстуальной релевантности.

Определение того, что ключевые слова контекстуально релевантны, включает определение того, что они относятся к типу, отвечающему на часть запроса, с использованием обработки естественного языка (natural language processing).

Где и как применяется

Изобретение требует значительной предварительной обработки данных на этапе индексирования и сложной логики на этапах понимания запроса и поиска.

INDEXING – Индексирование и извлечение признаков (Офлайн-процессы)
Это критически важный этап для работы системы. Здесь происходит подготовка данных:

• Генерация отпечатков: Создание и сохранение Audio/Video Fingerprints для программ с привязкой к таймстампам.
• Извлечение сущностей: Анализ контента с помощью Annotation Module и Recognition Module. Применяются технологии Facial Recognition, Image Recognition, OCR для идентификации актеров, объектов, локаций.
• Аннотирование: Извлеченные сущности (Keywords) сохраняются в Keyword Database с указанием типа сущности и таймстампов, когда они появляются в программе.

QUNDERSTANDING – Понимание Запросов (Онлайн-процессы)
В реальном времени система обрабатывает запрос:

• Классификация запроса: Определение, является ли запрос time-sensitive и относится ли он к текущему медиа.
• Анализ интента: Использование NLP для определения Question Term и типа искомой информации.
• Сбор контекста: Инициирование захвата Media Data (аудио/видео) из окружения пользователя.

RANKING / Specialized Retrieval (Онлайн-процессы)
Это не традиционное веб-ранжирование, а специализированный поиск с использованием контекста:

• Идентификация контекста: Использование захваченных медиаданных и Fingerprinting для определения программы и таймстампа.
• Фильтрация: Получение списка сущностей из Keyword Database для данного таймстампа и отбор Contextually Relevant Keywords путем сопоставления типа сущности с интентом запроса.
• Поиск: Выполнение поиска, где отобранные ключевые слова используются как ограничения для генерации финального ответа.

На что влияет

• Специфические запросы: Влияет на информационные запросы, связанные с потреблением медиаконтента (фильмы, сериалы, ТВ-шоу). Примеры: "Кто этот актер?", "Где это снято?".
• Типы контента: Влияет на представление информации о сущностях, связанных с медиа (актеры, локации, бренды).
• Устройства: Наибольшее влияние на смарт-ТВ, голосовых помощников (Google Assistant) и мобильные устройства, используемые как "второй экран".

Когда применяется

• Триггеры активации: Алгоритм активируется, когда система определяет, что запрос пользователя является time-sensitive и направлен на медиа, которое воспроизводится в данный момент.
• Условия срабатывания: Это может определяться наличием специфических фраз в запросе (например, "на ТВ сейчас", "в этом шоу") или контекстом приложения, через которое задан вопрос (например, приложение для распознавания медиа).

Пошаговый алгоритм

Процесс А: Офлайн-подготовка данных (Индексирование)

1. Получение контента: Система получает доступ к медиаконтенту.
2. Генерация отпечатков: Создаются Audio/Video Fingerprints для всего контента с привязкой к таймстампам.
3. Анализ контента: Recognition Module анализирует видеоряд (используя Facial Recognition, Image Recognition, OCR) и аудио/субтитры для идентификации сущностей.
4. Извлечение и классификация сущностей: Annotation Module извлекает сущности (Keywords), определяет их тип (Человек, Локация и т.д.).
5. Сохранение данных: Сущности сохраняются в Keyword Database с привязкой к программе, таймстампам и типу сущности.

Процесс Б: Обработка запроса в реальном времени

1. Получение ввода и композиция запроса: Запрос формируется, определяется Question Term.
2. Определение типа запроса: Система определяет, является ли запрос time-sensitive и связан ли с текущим медиа.
3. Захват медиаданных: Если запрос time-sensitive, устройство записывает фрагмент аудио/видео.
4. Идентификация контента: Система сравнивает захваченные данные (отпечаток) с базой отпечатков и определяет точную программу и таймстамп (Portion of the program).
5. Извлечение кандидатов: Система запрашивает Keyword Database для получения всех сущностей, соответствующих этому таймстампу.
6. Определение релевантности (NLP): Система фильтрует полученные сущности, оставляя только те, чей тип соответствует Question Term запроса. Это Contextually Relevant Keywords.
7. Генерация результатов: Система выполняет поиск, используя запрос и контекстуально релевантные ключевые слова как ограничения.
8. Представление ответа: Результаты возвращаются пользователю.

Какие данные и как использует

Данные на входе

Патент описывает использование следующих типов данных:

• Пользовательские факторы: Текст или аудио (голос) запроса пользователя. Данные о приложении, через которое был сделан запрос.
• Мультимедиа факторы:
  1. Захваченные в реальном времени аудиоданные (Audio Data) и видеоданные (Video Data).
  2. Audio Fingerprints или Video Fingerprints, сгенерированные из захваченных данных.
• Структурные факторы (Контекст): Данные электронного программного гида (Electronic Program Guide Data) или метаданные программы.

Какие метрики используются и как они считаются

Патент не описывает метрики ранжирования, но описывает методы анализа и идентификации:

• Методы идентификации контента:
  • Audio/Video Fingerprinting: Сравнение отпечатков с базой данных для идентификации программы и таймстампа.
• Методы анализа текста (NLP):
  • Используются для определения того, является ли запрос time-sensitive.
  • Используются для определения Question Term и интента запроса.
  • Используются для сопоставления интента запроса с Entity type.
• Методы извлечения сущностей (Офлайн-анализ):
  • Facial Recognition: Распознавание лиц для идентификации людей.
  • Image Recognition: Распознавание образов для идентификации объектов, локаций, брендов.
  • Optical Character Recognition (OCR): Извлечение текста из видеоряда.

1. Специализированный поиск, а не веб-ранжирование: Патент описывает узкоспециализированный механизм информационного поиска, привязанный к контексту потребления медиа. Он не дает прямых указаний по ранжированию веб-сайтов в основном индексе Google.
2. Глубокий анализ мультимедиа и привязка ко времени: Патент демонстрирует продвинутые возможности Google по анализу видео и аудио. Система способна извлекать и каталогизировать сущности (людей, объекты) с привязкой к конкретным моментам времени (time-coding). Это ключевой аспект изобретения.
3. Автоматизация сбора контекста: Ключевая инновация заключается в способности системы автоматически и точно определить контекст (программу и точный таймстамп) с помощью Fingerprinting, избавляя пользователя от ручного ввода.
4. Интеграция технологий: Успешная работа системы зависит от интеграции NLP (для понимания запроса), технологий распознавания образов (Facial Recognition, OCR) и технологий идентификации контента (Fingerprinting).
5. Важность структурированных данных и Knowledge Graph: Для предоставления ответов система полагается на предварительно собранные данные о сущностях. Для SEO это подчеркивает важность того, чтобы информация о сущностях (особенно связанных с медиа) была структурирована и доступна для индексации и попадания в Knowledge Graph.

Best practices (это мы делаем)

Хотя патент не влияет напрямую на веб-ранжирование, он дает важные стратегические инсайты, особенно для медиаиздателей и специалистов по видео-SEO.

• Фокус на оптимизации под Knowledge Graph (Entity SEO): Необходимо обеспечить, чтобы все ключевые сущности, связанные с медиаконтентом (актеры, режиссеры, локации, продукты), были хорошо представлены в Knowledge Graph. Это повышает вероятность того, что Recognition Module Google корректно их идентифицирует и включит в свою базу данных Keywords.
• Детальное структурирование видеоконтента: Понимание того, что Google анализирует видео на детальном уровне, должно мотивировать к более тщательному подходу к видео-SEO. Используйте функции, такие как главы (chapters), загружайте точные транскрипты и используйте структурированные данные (например, Clip), чтобы явно связать контент с конкретными временными кодами.
• Качество контента (для создателей): Использование высококачественного аудио и видео облегчает процесс создания отпечатков (Fingerprinting) и работу систем распознавания (например, распознавание лиц актеров или OCR текста в кадре).

Worst practices (это делать не надо)

• Игнорирование видео как источника данных: Ошибочно считать, что Google не понимает содержание видеоряда. Патент доказывает, что Google активно использует технологии распознавания образов и лиц для извлечения данных из видео.
• Пренебрежение структурированными данными для медиа-сущностей: Отсутствие микроразметки (Schema.org для Movie, TVSeries, Person) для медиаконтента снижает вероятность его использования в качестве источника для контекстных ответов и затрудняет связывание сущностей.
• Низкое качество A/V контента: Видео с плохим освещением или аудио низкого качества может помешать системе идентифицировать контент или сущности внутри него.

Стратегическое значение

Патент подтверждает стратегию Google по развитию амбиентных вычислений (Ambient Computing) и глубокому пониманию контекста пользователя. Он также подчеркивает важность глубокого анализа мультимедийного контента и извлечения сущностей. В долгосрочной перспективе это означает, что любой контент (текст, видео, аудио) рассматривается Google как источник структурированных данных о сущностях, а не просто как медиафайл.

Практические примеры

Сценарий: Оптимизация контента сайта о кино (например, аналога IMDb) для использования в контекстном поиске

Задача: Увеличить вероятность использования информации с сайта в качестве источника ответа на запрос "Кто этот актер на экране?".

1. Действие: Внедрить максимально полную микроразметку Schema.org на страницах фильмов (Movie) и актеров (Person). Убедиться, что связи между ними (actor, director) четко определены и связаны с внешними идентификаторами (например, через sameAs).
2. Действие: Обеспечить высокое качество изображений актеров и их корректную разметку, чтобы облегчить работу систем распознавания лиц (Facial Recognition) и ассоциирование изображений с сущностью.
3. Ожидаемый результат: Информация с сайта более эффективно индексируется и попадает в Knowledge Graph. Когда система контекстного поиска идентифицирует актера, она с большей вероятностью использует данные из авторитетного, хорошо структурированного источника для формирования ответа.