Как Google комбинирует анализ веб-страниц и видеоконтента для точной категоризации видео

Описание

Какую задачу решает

Патент решает фундаментальную проблему машинного обучения в области видео: нехватку больших наборов вручную размеченных видеоданных (Labeled Videos), необходимых для обучения точных классификаторов. Ручная разметка видео трудоемка и дорога. Кроме того, система устраняет проблему неточности классификации, основанной только на пользовательских метаданных (названиях, описаниях), которые часто бывают неполными, зашумленными или намеренно вводящими в заблуждение.

Что запатентовано

Запатентована система обучения классификаторов видео с использованием адаптации домена (Domain Adaptation / Transfer Learning). Суть в том, чтобы перенести знания из текстового домена (где много размеченных данных, например, веб-страниц) в домен видео (где размеченных данных мало). Система обучает Text-based Classifiers на текстах, а затем использует их результаты как признаки (Score Features) для обучения финальных Adapted Classifiers для видео, комбинируя их с признаками самого видеоконтента.

Как это работает

Система работает в две основные фазы:

1. Текстовая фаза (Textual Phase): Система анализирует большой корпус размеченных текстовых документов (веб-страниц) и обучает набор Text-based Classifiers.
2. Фаза адаптации (Adaption Phase): Система использует меньший набор размеченных видео. Для каждого видео:
   • Text-based Classifiers применяются к текстовым метаданным видео (Title, Description, Tags). Полученные оценки становятся Score Features.
   • Извлекаются аудиовизуальные признаки из самого видеоконтента (Content Features).
   • Score Features и Content Features объединяются в Hybrid Features.
   • На основе этих Hybrid Features обучаются финальные Adapted Classifiers, которые и используются для категоризации новых видео.

Актуальность для SEO

Высокая. Автоматическое понимание и категоризация видеоконтента, особенно на платформах вроде YouTube (упоминается в патенте), остается критически важной задачей для Google. Описанный гибридный, мультимодальный подход, сочетающий анализ метаданных (NLP) и анализ контента (Computer Vision/Audio Processing), является стандартом в современных системах категоризации мультимедиа.

Важность для SEO

Патент имеет критическое значение для Video SEO (VSEO). Он раскрывает механизм, который Google использует для понимания и автоматической категоризации видео. Патент подчеркивает важность оптимизации текстовых метаданных, поскольку они являются прямым входом для текстовых классификаторов. Однако он также показывает, что метаданные должны строго соответствовать фактическому содержанию видео, поскольку финальный классификатор использует гибридные признаки, объединяющие оба аспекта.

Детальный разбор

Термины и определения

Adapted Classifiers (Адаптированные классификаторы)

Финальные классификаторы видео, обученные на Hybrid Features. Они используются для категоризации новых, неразмеченных видео.

Category Set (Набор категорий)

Предопределенный набор категорий (например, «Спорт», «Теннис»). Может быть плоским списком или иерархической таксономией (Taxonomy).

Content Features / Audiovisual Features (Признаки контента / Аудиовизуальные признаки)

Признаки, извлеченные непосредственно из содержимого видео (визуальные и звуковые данные). Примеры: гистограммы цветов, текстуры, детекция лиц, характеристики движения.

Hybrid Features / Hybrid Feature Vector (Гибридные признаки / Вектор гибридных признаков)

Комбинация Score Features и Content Features для конкретного видео. Используются как входные данные для обучения Adapted Classifiers.

Labeled Text Documents (Размеченные текстовые документы)

Набор текстовых документов (например, веб-страниц), авторитетно размеченных по категориям. Используются для обучения Text-Based Classifiers.

Labeled Videos (Размеченные видео)

Набор видео, авторитетно размеченных по категориям. Обычно этот набор значительно меньше, чем Labeled Text Documents. Используются для обучения Adapted Classifiers.

Score Features / Score Vector (Признаки оценок / Вектор оценок)

Вектор оценок, полученный путем применения всех Text-Based Classifiers к текстовым метаданным видео. Каждая оценка показывает, насколько метаданные соответствуют определенной категории.

Text-Based Classifiers (Текстовые классификаторы)

Классификаторы, обученные на Labeled Text Documents. Они оценивают вероятность принадлежности текста к определенной категории.

Textual Metadata (Текстовые метаданные)

Текст, связанный с видео, например, заголовок (Title), описание (Description), теги (Tags).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает комплексный метод обучения видеоклассификаторов, включающий две фазы обучения.

1. Система хранит иерархическую таксономию категорий, набор размеченных видео (с метаданными) и набор размеченных текстовых документов (отличных от видео).
2. Фаза 1 (Обучение текстовых классификаторов):
   • Идентифицируются положительные и отрицательные обучающие выборки текстовых документов для каждой категории.
   • На основе этих выборок обучается набор Text-based Classifiers.
3. Фаза 2 (Обучение адаптированных классификаторов):
   • Идентифицируются положительные и отрицательные обучающие выборки видео для каждой категории.
   • Для каждого обучающего видео:
     1. Применение Text-based Classifiers (из Фазы 1) к текстовым метаданным видео для получения вектора оценок (Score Features).
     2. Извлечение вектора признаков контента (Content Features) из кадров видео.
     3. Формирование гибридного вектора признаков (Hybrid Features), включающего вектор оценок и вектор признаков контента.
   • Обучается набор Adapted Classifiers на основе гибридных векторов признаков.

Ядром изобретения является многоступенчатый процесс обучения, который соединяет понимание веб-контента с пониманием видео. Ключевой шаг — это использование результатов работы текстовых классификаторов (обученных на веб-страницах) в качестве входных признаков (Score Features) для видеоклассификатора, и их комбинирование с признаками, извлеченными из самого видеоконтента (Content Features).

Claim 2 (Зависимый): Уточняет, что алгоритм обучения, используемый для Text-based classifiers (например, SVM), может отличаться от алгоритма, используемого для Adapted classifiers (например, AdaBoost).

Claim 4 (Зависимый): Уточняет метод определения положительных примеров при использовании иерархической таксономии (taxonomy tree). Положительным примером для категории считается видео, размеченное этой категорией или любой ее дочерней категорией (потомком).

Где и как применяется

Описанный в патенте процесс является конвейером машинного обучения (ML pipeline), который выполняется преимущественно офлайн для обучения моделей. Результаты его работы (классификаторы) применяются на этапе индексирования видео.

CRAWLING и INDEXING (Веб-контент)
На этих этапах собираются и анализируются текстовые документы (веб-страницы), которые используются для обучения Text-based Classifiers.

INDEXING – Индексирование и извлечение признаков (Видео-контент)
Это основной этап применения обученных классификаторов. Когда новое видео загружается или переиндексируется:

1. Извлекаются Textual Metadata (Title, Description, Tags).
2. Извлекаются Content Features из аудиовизуального потока.
3. Генерируются Hybrid Features (как описано в алгоритме).
4. Применяются обученные Adapted Classifiers для определения категорий видео. Эти категории сохраняются в индексе.

RANKING – Ранжирование (Видео-контент)
Категории, определенные на этапе индексирования, используются как сигналы ранжирования, для фильтрации результатов поиска или для улучшения релевантности тематических запросов.

Входные данные (Процесс обучения):

• Набор размеченных текстовых документов (веб-страницы).
• Набор размеченных видео (метаданные + контент).
• Таксономия категорий.

Выходные данные (Процесс обучения):

• Набор Adapted Classifiers (финальные модели).

На что влияет

• Конкретные типы контента: В первую очередь влияет на видеоконтент (YouTube, Google Video Search). Однако патент упоминает, что метод может быть обобщен для любых медиа-объектов (Media object), имеющих текстовые метаданные, включая изображения и аудиофайлы.
• Специфические запросы: Влияет на информационные и тематические запросы, где важна точная категоризация контента (например, «уроки тенниса», «обзоры фильмов»).

Когда применяется

• Временные рамки и частота: Обучение классификаторов (Text-based и Adapted) происходит офлайн и периодически обновляется по мере поступления новых данных.
• Триггеры активации: Применение Adapted Classifiers к конкретному видео происходит при его загрузке в систему или при его переиндексировании.

Пошаговый алгоритм

Процесс состоит из двух основных фаз обучения и одной фазы применения.

Фаза 1: Текстовое обучение (Textual Phase) — Офлайн

1. Сбор данных: Получение набора размеченных текстовых документов (веб-страниц) и таксономии категорий.
2. Разделение выборок: Для каждой категории текстовые документы разделяются на положительную и отрицательную обучающие выборки.
3. Извлечение текстовых признаков: Извлечение признаков из содержания документов (например, взвешенные текстовые кластеры).
4. Обучение классификаторов: Обучение Text-based Classifiers (например, с помощью Linear SVM) для каждой категории.

Фаза 2: Адаптивное обучение (Adaption Phase) — Офлайн

1. Сбор данных: Получение набора размеченных видео.
2. Разделение выборок: Для каждой категории видео разделяются на положительную и отрицательную обучающие выборки.
3. Извлечение признаков контента: Для каждого видео извлечение Content Features из аудиовизуального содержимого.
4. Генерация оценок (Score Generation): Для каждого видео применение всех Text-based Classifiers (из Фазы 1) к его текстовым метаданным. Результатом является вектор Score Features.
5. Создание гибридных признаков: Для каждого видео объединение Content Features и Score Features в единый вектор Hybrid Features.
6. Обучение адаптированных классификаторов: Обучение Adapted Classifiers (например, с помощью AdaBoost) для каждой категории, используя Hybrid Features в качестве входных данных.

Фаза 3: Применение (Индексирование)

1. Получение видео: Система получает неразмеченное видео.
2. Генерация гибридных признаков: Выполнение шагов 3-5 из Фазы 2 для данного видео.
3. Классификация: Применение обученных Adapted Classifiers к гибридным признакам.
4. Присвоение меток: Присвоение видео категорий на основе полученных оценок (например, если оценка превышает порог).

Какие данные и как использует

Данные на входе

Система использует три основных типа данных:

1. Текстовые документы (для обучения текстовых классификаторов):

• Контентные факторы: Полный текст документов (в патенте упоминаются веб-страницы). Извлекаются текстовые признаки, например, взвешенные текстовые кластеры (weighted text clusters).

2. Текстовые метаданные видео (для генерации Score Features):

• Контентные факторы: Заголовок (Title), Описание (Description), Теги (Tags) видео.

3. Содержимое видео (для генерации Content Features):

• Мультимедиа факторы: Аудио- и видеопотоки. Патент детализирует множество извлекаемых признаков:
  • Цветовые признаки (Color features): гистограммы в пространстве HSV, среднее и дисперсия для каждого канала.
  • Признаки краев (Edge features): детектор краев Canny, гистограмма направлений краев.
  • Текстурные признаки (Texture features): гистограмма текстонов (textons), Gabor wavelets.
  • Признаки лиц (Face features): количество лиц, соотношение размера лица к площади кадра.
  • Признаки движения (Motion features): цветовое движение (color motion).
  • Признаки границ сцен (Shot boundary features).
  • Локальные признаки: упоминаются SIFT, GLOH, LESH, SURF.

Какие метрики используются и как они считаются

• Score Feature Vector: Ключевая метрика в этом патенте. Это вектор размерности K (где K – количество категорий). Каждый элемент вектора — это оценка, выданная соответствующим Text-based Classifier при анализе метаданных видео. Этот вектор используется как часть входных данных для финального классификатора.
• Алгоритмы машинного обучения: Патент упоминает использование стандартных алгоритмов supervised learning. Для Text-based Classifiers упоминается Linear SVM (линейный метод опорных векторов). Для Adapted Classifiers упоминается AdaBoost.
• Кластеризация: Упоминается использование hierarchical k-means clustering для создания словарей визуальных признаков и текстонов.
• Пороговые значения: Упоминается, что при применении классификатора итоговая оценка сравнивается с порогом для принятия решения о присвоении категории.

Выводы

1. Адаптация домена как основа категоризации видео: Google активно использует свой обширный индекс веб-страниц и понимание текстового контента для обучения классификаторов в домене видео. Это позволяет системе эффективно определять тематику видео даже при малом количестве размеченных видеоданных.
2. Критическая роль текстовых метаданных (Title, Description, Tags): Текстовые метаданные видео являются прямым входом для Text-based Classifiers. Качество, точность и полнота этих данных напрямую влияют на Score Features и, следовательно, на финальную категоризацию.
3. Анализ контента верифицирует метаданные: Система не полагается только на метаданные. Извлечение Content Features (визуальных и аудио признаков) позволяет верифицировать информацию из метаданных и глубже понять содержание ролика.
4. Гибридный подход требует соответствия: Финальная классификация основана на Hybrid Features. Это означает, что для точной категоризации метаданные и фактическое содержание видео должны соответствовать друг другу. Расхождения будут негативно влиять на работу Adapted Classifier.
5. Связь веб-поиска и видео-поиска: Языковые модели и понимание тем, используемые для категоризации видео, формируются на основе анализа веб-страниц. Это подчеркивает важность использования релевантной и общепринятой терминологии в метаданных.

Практика

Best practices (это мы делаем)

• Тщательная оптимизация метаданных видео (VSEO 101): Обеспечьте максимальную точность, описательность и полноту заголовков (Title), описаний (Description) и тегов (Tags). Эти элементы являются основным входом для Text-based Classifiers, которые генерируют Score Features.
• Обеспечение полного соответствия метаданных контенту: Поскольку система использует Hybrid Features (комбинацию оценок метаданных и признаков контента), критически важно, чтобы текстовое описание точно отражало то, что происходит в видео. Соответствие усиливает уверенность классификатора.
• Использование языка авторитетных веб-ресурсов: Так как Text-based Classifiers обучаются на веб-страницах, используйте в метаданных терминологию, фразы и контекст, аналогичные тому, как эта тема обсуждается на авторитетных сайтах в вашей нише. Это поможет текстовому классификатору точнее распознать тематику.
• Оптимизация визуального и аудио ряда: Улучшайте качество продакшена. Четкое изображение ключевых объектов, лиц, действий и разборчивая речь облегчают системе извлечение сильных Content Features. Если видео посвящено обзору продукта, продукт должен быть хорошо виден.

Worst practices (это делать не надо)

• Вводящие в заблуждение метаданные (Кликбейт): Эта стратегия напрямую подавляется описанным механизмом. Если метаданные генерируют высокие Score Features для популярной темы, но Content Features (содержимое видео) ей не соответствуют, гибридная модель обнаружит это несоответствие, что приведет к неверной или пониженной классификации.
• Скудные или отсутствующие метаданные: Отсутствие качественных метаданных лишает систему возможности сгенерировать надежные Score Features, заставляя ее полагаться только на Content Features, что может быть недостаточно для точной категоризации.
• Переоптимизация и Keyword Stuffing: Насыщение метаданных ключевыми словами неестественным образом может не соответствовать языковым паттернам, которые Text-based Classifiers изучили на стандартных веб-страницах, что потенциально ухудшит качество Score Features.

Стратегическое значение

Патент подтверждает стратегию Google по переходу от анализа внешних сигналов к глубокому анализу самого контента. Для Video SEO это означает, что стратегия должна быть комплексной: оптимизация текстовых элементов остается важной для первичного понимания, но качество, релевантность и четкость самого видеоконтента становятся решающими факторами для точной категоризации и, как следствие, успешного ранжирования. Продвижение видео требует инвестиций не только в SEO, но и в качество производства контента.

Практические примеры

Сценарий: Оптимизация видеообзора нового смартфона

1. Анализ Веб-контекста (Подготовка к Textual Phase): SEO-специалист анализирует, как авторитетные технологические сайты описывают этот смартфон. Выделяются ключевые термины, характеристики и сущности.
2. Оптимизация Метаданных (Влияние на Score Features): Заголовок и описание составляются с использованием этих терминов. Например: «Обзор смартфона [Бренд] [Модель]: Тест камеры, время работы батареи и производительность в играх».
3. Оптимизация Контента (Влияние на Content Features): В процессе съемки обеспечивается, что:
   • Смартфон четко виден в кадре (помогает извлечению признаков текстур, объектов).
   • Демонстрируются ключевые функции крупным планом.
   • Голос за кадром четко проговаривает термины, используемые в метаданных.
4. Ожидаемый результат: Text-based classifiers дают высокие оценки по релевантным категориям («Технологии», «Смартфоны»), формируя сильные Score Features. Content Features подтверждают содержание видео. Adapted classifier, используя объединенные Hybrid Features, уверенно классифицирует видео, повышая его шансы на ранжирование по соответствующим запросам.

Вопросы и ответы