Как Google анализирует видеоконтент, прогнозирует поисковые намерения пользователей и динамически показывает поясняющие карточки сущностей

Термины и определения

Entity (Сущность)

Концепция, термин, тема, объект, событие или персона, упомянутые в видео и идентифицируемые в Knowledge Graph.

Entity Card (Карточка сущности)

Элемент пользовательского интерфейса, содержащий описательный контент (descriptive content) о конкретной сущности (текстовое резюме, изображение, атрибуция источника).

External Content (Внешний контент)

Источники информации (веб-страницы, сервисы), используемые для наполнения Entity Cards.

Knowledge Graph (Граф знаний)

Структурированная база данных сущностей и связей. Используется для идентификации кандидатов в сущности из текста транскрипции.

Machine Learning Resource (Ресурс машинного обучения)

Модель ML, используемая для прогнозирования того, какие сущности пользователь с наибольшей вероятностью будет искать (most likely to be searched for).

Observational Data (Данные наблюдений)

Данные о реальном поведении пользователей, в частности, поисковые запросы, которые пользователи выполняют в ответ на просмотр видео. Используются для обучения ML-модели.

tf-idf (Term Frequency-Inverse Document Frequency)

Статистическая мера, используемая в патенте для оценки "широты" (broadness) сущности в контексте корпуса видео.

Transcription (Транскрипция)

Текстовая расшифровка аудиодорожки видео, часто получаемая с помощью автоматического распознавания речи (ASR).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы серверной системы.

1. Получение транскрипции контента из видео.
2. Применение Machine Learning Resource для идентификации сущностей, которые пользователь с наибольшей вероятностью будет искать, основываясь на транскрипции.
3. Генерация Entity Cards для этих сущностей.
4. Предоставление пользовательского интерфейса (UI), который воспроизводит видео на первой части экрана И, когда сущность упоминается в видео, отображает соответствующую Entity Card на второй части экрана.

Claim 2 (Зависимый от 1): Детализирует обучение модели ML.

Обучение Machine Learning Resource происходит на основе observational data о пользователях, выполняющих поиск в ответ на просмотр видео. Система учится на реальном поведении пользователей.

Claim 3 (Зависимый от 2): Детализирует процесс идентификации и ранжирования сущностей.

1. Идентификация кандидатов путем связывания текста транскрипции с Knowledge Graph.
2. Ранжирование кандидатов на основе одного или нескольких факторов:
   • Релевантность сущности теме видео.
   • Релевантность сущности другим кандидатам-сущностям в видео (взаимосвязь).
   • Количество упоминаний сущности в видео.
   • Количество видео в корпусе, в которых появляется эта сущность (широта/уникальность).

Claim 4 (Зависимый от 3): Описывает механизм обратной связи для ML.

Процесс включает оценку взаимодействий пользователя с UI (например, клики на карточки) и определение корректировок для Machine Learning Resource на основе этой оценки. Система самосовершенствуется.

Claim 5 (Зависимый от 1): Уточняет синхронизацию.

Сущность упоминается в момент времени (timepoint), и Entity Card отображается именно в этот момент времени.

Claim 10 (Независимый пункт): Описывает альтернативный метод, выполняемый на пользовательском устройстве (Client-side).

Устройство получает видео и реализует Machine Learning Resource (локально или через API) для идентификации сущностей и генерации Entity Card, а затем отображает их синхронно. Это указывает на возможность как серверной, так и клиентской реализации.

Где и как применяется

Изобретение затрагивает этапы индексирования контента и генерации пользовательского интерфейса на видеоплатформе.

INDEXING – Индексирование и извлечение признаков
Основная работа по анализу контента происходит на этом этапе (офлайн):

• Транскрипция: Выполняется ASR для получения текста.
• NLP и Семантика: Текст обрабатывается для извлечения сущностей и их привязки к Knowledge Graph.
• Вычисление сигналов: Рассчитываются признаки для ранжирования сущностей (tf-idf, релевантность теме и т.д.).
• ML-прогнозирование: Machine Learning Resource (предварительно обученный на observational data) определяет наиболее значимые сущности.
• Генерация карточек: Система извлекает данные из External Content для формирования Entity Cards.

QUNDERSTANDING – Понимание Запросов (Косвенно)
Система анализирует прошлые запросы пользователей (observational data), связанные с просмотром видео, для обучения ML-модели. Это процесс понимания того, как видеоконтент порождает информационные потребности.

METASEARCH / RERANKING (Генерация UI)
На этапе предоставления контента пользователю система генерирует финальный интерфейс, объединяя видеопоток и динамически отображаемые Entity Cards. Происходит синхронизация показа карточек с таймкодами.

Входные данные:

• Видеоконтент (аудиодорожка).
• Knowledge Graph.
• Логи поисковых запросов пользователей (observational data).
• Корпус видео (для расчета tf-idf).
• External Content (источники для описаний сущностей).

Выходные данные:

• Набор ранжированных ключевых сущностей для видео.
• Сгенерированные Entity Cards с описательным контентом.
• Пользовательский интерфейс, объединяющий видео и синхронизированные Entity Cards.

На что влияет

• Конкретные типы контента: В первую очередь влияет на видеоконтент, особенно образовательный, документальный, технический или любой контент с высокой плотностью сущностей (терминов, имен, концепций), которые могут быть незнакомы зрителю.
• Взаимодействие с Веб-контентом: Влияет на веб-страницы, которые служат источником информации для Entity Cards. Авторитетные сайты получают новый канал видимости.
• Пользовательский опыт (UX): Направлено на повышение вовлеченности и времени просмотра за счет улучшения понимания контента и удержания пользователя на платформе.

Когда применяется

• Триггеры активации: Система активируется для видео, для которых были идентифицированы значимые сущности (прошедшие порог прогнозирования ML-модели).
• Временные рамки: Отображение Entity Card происходит в реальном времени, синхронно с моментом упоминания сущности в видео (timepoint).
• Обновление модели: ML-модель периодически обновляется на основе новых данных о поведении пользователей и взаимодействии с карточками (обратная связь).

Пошаговый алгоритм

Процесс А: Обработка видео и генерация Entity Cards (Офлайн/Индексация)

1. Получение транскрипции: Система выполняет ASR для создания текстовой транскрипции видео.
2. Извлечение кандидатов: Текст транскрипции ассоциируется с Knowledge Graph для получения коллекции сущностей-кандидатов.
3. Сбор обучающих данных (Фоновый процесс): Система анализирует observational data (реальные поисковые запросы пользователей при просмотре видео) для обучения Machine Learning Resource.
4. Расчет сигналов ранжирования: Для каждой сущности-кандидата вычисляются веса на основе сигналов (релевантность теме, релевантность другим сущностям, количество упоминаний, широта/tf-idf).
5. Применение ML-модели и Ранжирование: Модель оценивает и ранжирует сущности-кандидаты по вероятности поиска.
6. Выбор сущностей: Выбираются сущности с наивысшим рейтингом.
7. Генерация Entity Cards: Для выбранных сущностей извлекается описательный контент из External Content и формируются Entity Cards.

Процесс Б: Отображение Entity Cards (Реальное время)

1. Предоставление UI: Система предоставляет пользовательский интерфейс для воспроизведения видео.
2. Воспроизведение и Мониторинг таймкодов: Видео воспроизводится, система отслеживает текущее время.
3. Отображение карточки: Когда сущность упоминается, система отображает соответствующую Entity Card во второй части интерфейса, продолжая воспроизведение видео.
4. Управление отображением: Система может использовать разные варианты UI (автоматический показ, уведомления, сжатые/развернутые карточки).
5. Сбор обратной связи: Система регистрирует взаимодействия пользователя с Entity Cards для последующей корректировки Machine Learning Resource (Claim 4).

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании следующих типов данных:

• Контентные факторы (Видео): Аудиодорожка видео, преобразуемая в транскрипцию.
• Контентные факторы (Веб): Текст и изображения с внешних сайтов (External Content) для наполнения карточек.
• Поведенческие факторы (Логи запросов): Observational data — логи реальных поисковых запросов, связанных с просмотром видео. Используются для обучения ML-модели.
• Поведенческие факторы (Взаимодействие с UI): Данные о взаимодействии с Entity Cards (клики, игнорирование). Используются для корректировки ML-модели.
• Структурные данные (Knowledge Graph): Используются для идентификации и disambiguation сущностей.
• Корпусные данные: Статистика по частоте сущностей во всем корпусе видео (для расчета tf-idf).

Какие метрики используются и как они считаются

Система использует Machine Learning Resource для ранжирования сущностей. Ключевые сигналы, используемые для ранжирования (Claim 3):

• Relevance to Topic (Релевантность теме): Метрика, оценивающая связь сущности с основной темой видео (упоминается query-based salient term signal).
• Relevance to Other Entities (Взаимосвязь сущностей): Метрика, оценивающая релевантность сущности другим сущностям в видео.
• Number of Mentions (Частота упоминаний): Количество упоминаний сущности в транскрипции.
• Broadness/Corpus Frequency (Широта/Частота в корпусе): Метрика, оценивающая уникальность сущности. Используется сигнал типа tf-idf. Более уникальные сущности могут получить больший вес.
• Probability of Search (Вероятность поиска): Итоговая оценка, генерируемая ML-моделью на основе всех сигналов и обучающих данных.

1. Прогнозирование поискового интента на основе потребляемого контента: Ключевая инновация — использование ML для предсказания того, что пользователь захочет искать, основываясь на видеоконтенте, который он потребляет в данный момент.
2. Обучение на реальном поведении (Observational Data): Модель обучается не на гипотезах, а на реальных поисковых запросах пользователей, связанных с просмотром видео. Это обеспечивает высокую точность определения важных моментов.
3. Комплексное ранжирование сущностей (Салиентность): Выбор сущностей основан на многофакторном анализе: семантическая близость к теме, взаимосвязь сущностей, частота упоминаний и уникальность (tf-idf). Это детальный взгляд на то, как Google определяет значимость сущностей в контенте.
4. Новый канал видимости для веб-контента: Патент описывает извлечение контента с веб-сайтов (External Content) для отображения в Entity Cards. Это создает новую возможность для SEO по оптимизации контента для появления в этих карточках (аналог Featured Snippets для видео).
5. Важность Knowledge Graph для мультимедиа: Патент подтверждает, что Knowledge Graph является центральным элементом для понимания видеоконтента через его транскрипцию.
6. Обратная связь для улучшения ML: Система использует взаимодействие пользователей с Entity Cards как сигнал для постоянного улучшения и корректировки модели прогнозирования (Claim 4).

Best practices (это мы делаем)

• Оптимизация веб-контента под Entity Cards (Стратегия источника): Создавайте на своем сайте качественный, авторитетный контент с четкими и краткими определениями ключевых сущностей вашей ниши. Этот контент может быть извлечен системой для наполнения Entity Cards, повышая видимость вашего ресурса. Используйте структурированное изложение и микроразметку.
• Оптимизация видео для ASR и извлечения сущностей (VSEO): Обеспечивайте высокое качество аудио и четкую дикцию. Это необходимо для точной транскрипции (ASR). Ясно проговаривайте ключевые термины и имена, используя общепринятую терминологию, присутствующую в Knowledge Graph.
• Усиление салиентности сущностей в видео: Чтобы повысить вероятность выбора сущности системой, следуйте принципам из патента (Claim 3): тесно связывайте сущности с основной темой видео (Relevance to topic), раскрывайте их взаимосвязи с другими сущностями (Relevance to other entities) и упоминайте их достаточно часто (Number of mentions).
• Укрепление присутствия в Knowledge Graph: Работайте над тем, чтобы ваш бренд, продукты или эксперты были четко представлены в Knowledge Graph. Это увеличивает вероятность их корректной идентификации в видеоконтенте.
• Фокус на специфичности контента: Сосредоточьтесь на глубоком раскрытии специфичных сущностей. Система учитывает "широту" (Broadness) с помощью tf-idf, поэтому проработка уникальных аспектов темы более выгодна.

Worst practices (это делать не надо)

• Игнорирование качества звука и транскрипции: Видео с плохим звуком или неразборчивой речью будут некорректно транскрибированы, что приведет к ошибкам в идентификации сущностей.
• Создание размытых определений на сайте: Избегайте длинных или неоднозначных описаний сущностей. Система ищет краткие и ясные ответы для использования в Entity Cards.
• Переоптимизация и неестественное упоминание сущностей (Entity Stuffing в аудио): Попытки манипулировать системой путем неестественного повторения терминов вряд ли будут успешными, так как модель учитывает комплексные сигналы релевантности и уникальности, а не только частоту.
• Использование узкого жаргона, отсутствующего в KG: Если система не может связать термин с Knowledge Graph, она не сможет его обработать в рамках данного механизма.

Стратегическое значение

Патент подтверждает стратегический курс Google на семантический анализ любого типа контента и переход к проактивному предоставлению информации. Для SEO это означает, что оптимизация видео должна строиться на сущностях и их связях, а не только на метаданных. Долгосрочная стратегия должна включать синергию между видеопродакшеном и веб-контентом, направленную на то, чтобы стать авторитетным источником знаний (и, следовательно, источником для Entity Cards) по ключевым сущностям в нише.

Практические примеры

Сценарий 1: Оптимизация веб-страницы для появления в Entity Card

1. Задача: Стать источником определения для термина "Квантовое превосходство" (Quantum Supremacy) в видео по физике.
2. Действия: На авторитетном сайте создать страницу о термине. Разместить в начале краткое, четкое определение (40-60 слов), оптимизированное под Featured Snippet. Добавить релевантное изображение и применить микроразметку.
3. Результат: Когда система Google анализирует видео, упоминающее "Квантовое превосходство", она может извлечь определение с оптимизированной страницы для отображения в Entity Card.

Сценарий 2: Оптимизация образовательного видео

1. Задача: Создать видео о "Core Web Vitals", чтобы система идентифицировала ключевые метрики.
2. Действия: Обеспечить студийное качество звука. Четко проговорить термины LCP, FID, CLS. В сценарии раскрыть связь между ними и общей темой производительности сайта. Упомянуть каждую метрику несколько раз в разных контекстах.
3. Результат: Система корректно транскрибирует речь, идентифицирует LCP, FID, CLS как ключевые сущности (высокая релевантность, частота, специфичность). При просмотре пользователи увидят информационные карточки для этих терминов, что улучшит понимание и вовлеченность.