Как Google понимает содержание видео, вычисляя вероятность присутствия и центральность сущностей в каждом кадре

Описание

Какую задачу решает

Патент решает проблему эффективного поиска и оценки релевантности в больших массивах видеоконтента. Стандартные методы, основанные только на метаданных (названиях, описаниях), не позволяют точно понять содержание видео и определить наиболее релевантные сегменты внутри него. Пользователям сложно оценить, соответствует ли видео их запросу, и найти конкретный момент, содержащий нужную информацию.

Что запатентовано

Запатентована система и метод аннотирования видео путем определения вероятности существования сущностей (entities) в конкретных кадрах. Ключевым элементом является использование машинного обучения для выбора коррелирующих признаков (features), построения классификаторов и определения функции калибровки агрегации (aggregation calibration function). Эта функция позволяет оценить не просто присутствие сущности, а вероятность того, что она является центральной (centrality probability) для данного кадра.

Как это работает

Система работает в два этапа: обучение и аннотирование.

• Обучение: Для каждой сущности система отбирает релевантные признаки (визуальные, аудио, текстовые). Она калибрует значения этих признаков в вероятности с помощью feature-to-entity calibrator (например, используя изотоническую регрессию). Затем строится классификатор (например, линейная модель слияния), который оптимизируется для максимизации точности (Precision) при заданном уровне полноты (Recall). Наконец, определяется функция калибровки агрегации, которая преобразует оценку классификатора в вероятность центральности сущности.
• Аннотирование: При обработке нового видео извлекаются его признаки. Используя обученные классификаторы и функции калибровки, система вычисляет вероятность центральности различных сущностей для каждого кадра видео.

Актуальность для SEO

Высокая. Понимание мультимедийного контента является стратегическим приоритетом для Google. Автоматический анализ содержания видео критически важен для улучшения качества поиска по видео, генерации сниппетов (например, Key Moments) и повышения релевантности. Описанные методы глубокого анализа признаков и калибровки вероятностей соответствуют современным подходам в Machine Learning.

Важность для SEO

Патент имеет значительное влияние на SEO для видеоконтента (8/10). Он описывает фундаментальный механизм того, как Google индексирует и понимает, что находится внутри видео. Эти аннотации напрямую влияют на то, будет ли видео ранжироваться по запросу, и какие кадры будут выбраны в качестве миниатюр или ключевых моментов в поисковой выдаче. Понимание концепции «центральности» сущностей помогает оптимизировать контент так, чтобы ключевые темы были очевидны для алгоритмов анализа.

Детальный разбор

Термины и определения

Aggregation Calibration Function (Функция калибровки агрегации)

Функция (обозначаемая как q(e|y)), которая преобразует агрегированную оценку (fusion score) от классификатора в калиброванную вероятность того, что сущность является центральной (central) для данного кадра видео.

Centrality Probability (Вероятность центральности)

Вероятность того, что сущность является основной темой или фокусом видеокадра. Например, в видео концерта Леди Гаги сущность «Леди Гага» имеет высокую Centrality Probability, а сущность «толпа» — низкую.

Classifier (Классификатор)

Модель машинного обучения, обученная определять присутствие сущности на основе набора признаков. В патенте упоминается как Linear Fusion Model.

Entity (Сущность)

Текстовый дескриптор, идентифицирующий характеристики медиаконтента. Это могут быть объекты, идеи, концепции (например, «Pug», «Machu Picchu», «Philosophy»).

Feature (Признак)

Характеристика, извлеченная из видеокадра или связанных с ним данных. Это могут быть визуальные, аудио или текстовые признаки (например, биграммы из заголовка или расшифровки аудио).

Feature-to-entity calibrator (Калибратор признака в сущность)

Функция (обозначаемая как p_f(e|x_f)), которая преобразует значение отдельного признака (x_f) в вероятность существования сущности (e). Позволяет нормализовать и сравнивать разнородные признаки.

Isotonic Regression (Изотоническая регрессия)

Метод, используемый для обучения Feature-to-entity calibrator. Это кусочно-линейная возрастающая функция, которая стремится соответствовать обучающим данным, сохраняя монотонность.

Linear Fusion Model (Линейная модель слияния)

Тип классификатора, который комбинирует (сливает) оценки от различных признаков линейным способом, используя весовые коэффициенты.

Weight Vector (Вектор весов)

Набор весов (обозначаемый как W_e или w_ef), используемый в классификаторе. Каждый вес определяет силу корреляции между конкретным признаком и сущностью.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод аннотирования медиаконтента.

1. Идентификация множества сущностей, характеризующих медиаконтент.
2. Выбор «первых признаков» (first features), коррелирующих с каждой сущностью.
3. Определение «взаимосвязей» (relationships) между выбранным признаком и вероятностью существования соответствующей сущности в медиаконтенте. (Это соответствует обучению моделей и калибраторов).
4. Получение конкретного медиаконтента и ассоциированных с ним «вторых признаков» (second features).
5. Определение, какие сущности включены в контент, на основе обработки «вторых признаков».
6. Определение вероятности того, что эти сущности являются центральными (central) для по крайней мере одного кадра видео, основываясь на ранее определенных «взаимосвязях».
7. Маркировка (labeling) кадра конкретной сущностью и вычисленной вероятностью ее центральности.

Ядро изобретения заключается в автоматизированном процессе определения не просто наличия, а именно центральности сущности в кадре на основе калиброванных признаков.

Claim 2 (Зависимый): Уточняет механизм определения вероятности.

1. Определение классификатора (classifier) и функции калибровки агрегации (aggregation calibration function) на основе «первых признаков».
2. Вероятность центральности определяется с использованием как классификатора, так и функции калибровки агрегации.

Claim 3 (Зависимый от 2): Уточняет тип классификатора.

1. Классификатор является линейной моделью слияния (linear fusion model).
2. Модель оптимизирована для максимизации точности (precision) при поддержании полноты (recall) не ниже порогового значения.
3. Определение классификатора включает определение вектора весов (weight vector) для каждого признака.

Где и как применяется

Изобретение является частью конвейера обработки и понимания видеоконтента.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Система взаимодействует с хранилищем видеоданных (Video Data Store), хранилищем признаков (Feature Data Store) и хранилищем сущностей (Entity Data Store).

1. Извлечение признаков: Во время индексации из видео извлекаются признаки (визуальные, аудио, текстовые).
2. Аннотирование: Механизм аннотирования (Video Annotation Engine) использует эти признаки и предварительно обученные модели (классификаторы и калибраторы) для анализа видео кадр за кадром.
3. Сохранение данных: Результатом являются аннотации, связывающие конкретные кадры с сущностями и их Centrality Probability. Эти данные сохраняются в индексе.

RANKING – Ранжирование
Аннотации, сгенерированные на этапе индексации, используются как сигналы ранжирования. В патенте указано, что система может ранжировать набор видеоконтента, полученный в ответ на поисковый запрос, в соответствии с вероятностями существования сущностей, маркированных для видеокадров.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Аннотации используются для улучшения представления результатов в выдаче. Система может идентифицировать видеокадры, которые наиболее релевантны поисковым запросам (например, по Centrality Probability), и показывать эти кадры в результатах поиска как представление видео (например, миниатюры или Key Moments).

Входные данные:

• Видеоконтент (Video items).
• Извлеченные признаки (Features), ассоциированные с каждым кадром.
• Предварительно обученные модели: Feature-to-entity calibrators, Classifiers (включая Weight Vectors), Aggregation Calibration Functions.

Выходные данные:

• Метки (Labels) для видеокадров, включающие сущность и ее Centrality Probability.

На что влияет

• Конкретные типы контента: Влияет в первую очередь на видеоконтент. В описании также указано, что технология применима к другим типам мультимедиа (аудио, документы).
• Специфические запросы: Влияет на любые запросы, по которым могут быть показаны видеорезультаты. Особенно сильно влияет на запросы, где важна конкретная информация внутри видео (например, инструкции, обзоры продуктов, моменты событий).
• Форматы контента: Улучшает понимание как коротких видео, так и лонгридов, позволяя системе выделять ключевые сегменты.

Когда применяется

• Временные рамки и частота применения: Основной алгоритм аннотирования применяется во время индексации или переиндексации видеоконтента. Процесс обучения моделей (генерация классификаторов и калибраторов) происходит офлайн и периодически обновляется на основе новых обучающих данных.

Пошаговый алгоритм

Процесс состоит из двух основных фаз: Обучение моделей и Аннотирование видео.

Фаза А: Обучение моделей (Офлайн)

1. Выбор сущности: Выбирается сущность (например, «Machu Picchu») для обучения.
2. Калибровка признаков: Для всех доступных признаков определяется Feature-to-entity calibrator. Этот шаг преобразует значение признака в вероятность существования сущности. Используется Isotonic Regression, сглаживающая данные на основе эталонных меток (ground truth labels).
3. Отбор признаков: Отбираются признаки, которые сильно коррелируют с сущностью. Критерий отбора: максимальная вероятность, которую может выдать калибратор для данного признака, должна превышать порог (в патенте упоминается пример порога 0.05).
4. Подготовка обучающих данных: Видео или кадры, содержащие отобранные признаки, используются как обучающие данные.
5. Обучение классификатора: На основе обучающих данных определяется классификатор (например, Linear Fusion Model). Цель — максимизировать точность (Precision) при заданном уровне полноты (Recall, например 70%). В ходе этого процесса определяются веса (Weight Vector) для каждого признака. Может использоваться hard-negative learning для пессимизации признаков, ведущих к ошибкам.
6. Определение функции калибровки агрегации: Определяется Aggregation Calibration Function, которая преобразует выходную оценку классификатора в вероятность того, что сущность является центральной (Centrality Probability) для кадра.

Фаза Б: Аннотирование видео (Индексация)

1. Получение видео и извлечение признаков: Система получает новое видео и извлекает признаки для каждого кадра.
2. Применение калибраторов признаков: Для каждого признака в кадре применяется соответствующий Feature-to-entity calibrator, чтобы получить индивидуальные вероятности сущностей.
3. Применение классификатора: Индивидуальные вероятности агрегируются классификатором с использованием обученных весов (Weight Vector) для получения общей оценки (fusion score).
4. Применение калибровки агрегации: Общая оценка преобразуется с помощью Aggregation Calibration Function для получения финальной Centrality Probability для сущности в данном кадре.
5. Маркировка: Кадр маркируется сущностью и ее финальной вероятностью.

Какие данные и как использует

Данные на входе

Система использует признаки (Features), извлеченные из различных источников данных, связанных с видео:

• Мультимедиа факторы (Визуальные и Аудио): Признаки, извлеченные непосредственно из анализа пикселей видеокадров и аудиодорожки.
• Контентные (Текстовые) факторы: Признаки, извлеченные из метаданных. Упоминаются заголовки (titles), описания (descriptions), теги (tags). Также упоминается возможность использования закрытых субтитров (closed captioning text) или преобразования аудио в текст (speech-to-text) для извлечения сущностей и признаков.
• Системные данные (Обучающие): Эталонные метки (ground truth labels), используемые для обучения моделей, например, вероятности центральности, определенные асессорами или другими методами.

Какие метрики используются и как они считаются

• Precision (P) (Точность) и Recall (R) (Полнота): Стандартные метрики машинного обучения, используемые для оптимизации классификатора. Цель — максимизировать P при сохранении R выше порога.
• Centrality Probability (Вероятность центральности): Ключевая выходная метрика, число от 0 до 1. В патенте упоминается, что сущности, помеченные как центральные, могут иметь вероятность не менее 0.6.

Методы вычислений и расчета оценок:

• Isotonic Regression: Используется для калибровки признаков (обучение p_f(e|x_f)). Оптимизирует функцию, минимизируя отклонение от эталонных данных и регуляризируя производную для избежания резких изменений.
• Linear Aggregation (Линейная агрегация): Используется классификатором для объединения калиброванных признаков с весами.
• Итоговая вероятность: Вычисляется по формуле, объединяющей все компоненты. Формула, приведенная в патенте: p_e(x) ≈ q_e(Σ_{f∈F} w_{ef} p_f(e|x_f)). Где p_f — калибратор признака, w_{ef} — вес признака, q_e — функция калибровки агрегации.

Выводы

1. Анализ на уровне кадров: Google не просто анализирует видео целиком по его метаданным, а проводит глубокий анализ содержания кадр за кадром. Это позволяет системе понимать динамику и структуру видео.
2. Критичность концепции «Центральности» (Centrality): Ключевым аспектом патента является определение не просто присутствия объекта или концепции, а того, насколько они являются центральной темой момента. Это позволяет отличать основные сущности от фоновых.
3. Нормализация разнородных признаков: Система использует сложный механизм калибровки (Feature-to-entity calibrator, Isotonic Regression) для преобразования разнородных признаков (визуальных, аудио, текстовых) в единое пространство вероятностей, что позволяет их сравнивать и объединять.
4. Оптимизация ML-моделей: Классификаторы оптимизируются под конкретные задачи поиска — максимизация точности при высокой полноте (Precision/Recall optimization). Это гарантирует, что аннотации будут надежными.
5. Прямое влияние на SERP: Сгенерированные аннотации и вероятности напрямую используются для двух целей: ранжирования видео в ответ на запрос и выбора наиболее релевантных кадров для отображения в выдаче (миниатюры, Key Moments).

Практика

Best practices (это мы делаем)

• Обеспечение ясности центральных тем: При создании видео необходимо убедиться, что ключевые сущности (объекты, люди, концепции), о которых идет речь, визуально и аудиально выделены и являются «центральными». Если вы делаете обзор продукта, продукт должен быть в фокусе, хорошо освещен и четко виден в релевантных сегментах.
• Оптимизация всех доступных признаков (Мультимодальность): Поскольку система использует визуальные, аудио и текстовые признаки, необходимо оптимизировать все три аспекта:
  • Визуальные: Высокое качество видео, четкость изображения.
  • Аудио: Чистый звук, разборчивая речь. Это критично для генерации точных автоматических субтитров.
  • Текстовые: Заголовки, описания и загруженные субтитры должны точно отражать центральные темы видео.
• Структурирование видеоконтента: Создавайте видео с четкой структурой. Это увеличивает вероятность того, что система корректно определит сегменты с высокой Centrality Probability для конкретных тем, что повышает шансы на показ этих сегментов как Key Moments в поиске.
• Согласованность метаданных и контента: Убедитесь, что метаданные (Title, Description) соответствуют тому, что система найдет внутри видео. Согласованность сигналов повышает уверенность системы.

Worst practices (это делать не надо)

• Clickbait и несоответствие заголовков: Использование заголовков, не соответствующих содержанию видео. Если система не обнаружит высокой Centrality Probability для сущностей из заголовка внутри видео, это негативно скажется на ранжировании.
• Низкое качество продакшена: Плохое освещение, тихий или неразборчивый звук затрудняют извлечение признаков и снижают уверенность системы в распознавании сущностей.
• Перегрузка кадра нерелевантными объектами: Визуальный спам или множество отвлекающих элементов в кадре могут снизить оценку Centrality Probability для ключевой темы.
• Игнорирование качества субтитров: Полагаться на неточные автоматические субтитры. Их следует проверять и корректировать или загружать собственные качественные транскрипты, так как они являются важным источником признаков.

Стратегическое значение

Этот патент подтверждает стратегию Google на глубокое понимание контента за пределами текста. Для SEO-специалистов это означает, что оптимизация видео переходит от простого манипулирования метаданными к необходимости работы над качеством и структурой самого видеоконтента. Видео становится таким же индексируемым и анализируемым объектом, как и веб-страница. Долгосрочная стратегия должна включать инвестиции в качество видеопроизводства и интеграцию видео в общую контент-стратегию с учетом того, как алгоритмы машинного зрения и NLP анализируют этот контент.

Практические примеры

Сценарий: Оптимизация видеообзора нового смартфона для показа в Key Moments.

1. Цель: Добиться того, чтобы сегмент «Тест камеры» был выделен в поиске.
2. Действия (Оптимизация признаков):
   • Визуальные: Во время сегмента «Тест камеры» смартфон должен быть показан крупным планом, демонстрируя интерфейс камеры. Примеры фотографий должны быть четкими и занимать весь кадр.
   • Аудио/Текстовые: Диктор должен четко проговорить ключевые фразы, такие как «Сейчас мы тестируем камеру [Бренд] [Модель]». Эти фразы должны появиться в субтитрах.
   • Структура: Использовать визуальные перебивки (например, текстовый заголовок на экране «Тест камеры»), чтобы помочь системе определить границы сегмента.
3. Ожидаемый результат: Система извлекает сильные визуальные признаки (смартфон, интерфейс камеры) и текстовые признаки («тест камеры», бренд, модель). Классификатор определяет высокую Centrality Probability для сущностей «Смартфон» и «Камера» именно в этом сегменте. Это увеличивает вероятность выбора этого сегмента для показа в SERP как ключевого момента по соответствующим запросам.

Вопросы и ответы