Как Google использует сравнительные оценки асессоров для обучения ИИ-моделей оценивать качество видеоконтента

Описание

Какую задачу решает

Патент решает проблему обнаружения высококачественного видеоконтента на платформах с огромным количеством загрузок (таких как YouTube). Он направлен на преодоление ограничений традиционных метрик: количество просмотров ненадежно из-за «петли популярности» (популярное становится популярнее независимо от качества), а теги авторов часто субъективны. Изобретение создает автоматизированную систему, способную оценивать качество контента, имитируя человеческое восприятие.

Что запатентовано

Запатентована система контролируемого обучения (supervised learning system) для автоматической оценки качества видеоконтента. Ядром системы является машинно-обученный классификатор оценок (Rating Classifier). Он обучается на основе предпочтений, выраженных группами людей-оценщиков (Human Panels / асессорами), которые сравнивают кортежи (tuples, например, пары) видео в рамках определенной категории. Система учится распознавать признаки контента, коррелирующие с человеческим восприятием качества.

Как это работает

Механизм работает в несколько этапов:

• Идентификация категории: Отбирается набор видео определенной категории (например, «кавер-версии песен»). Это может делаться вручную или с помощью Category Classifier.
• Сравнительная оценка: Видео организуются в кортежи (пары) и представляются асессорам (Human Panels) для сравнения (n-wise comparisons).
• Сбор предпочтений: Асессоры указывают, какое видео в паре предпочтительнее (Preferred Video).
• Обучение классификатора: Из видео извлекаются признаки (аудио, визуальные, метаданные). Rating Classifier обучается ассоциировать определенные признаки с «выигрышными» видео.
• Применение: Обученный классификатор автоматически присваивает оценку качества новым видео в той же категории, которая используется для ранжирования и рекомендаций.

Актуальность для SEO

Высокая. Методология использования человеческой обратной связи (асессоров, Quality Raters) для обучения моделей машинного обучения является фундаментальной для подхода Google к оценке качества (включая E-E-A-T). Хотя конкретные ML-модели эволюционировали с 2011 года, этот патент описывает базовую инфраструктуру для генерации сигналов качества на основе человеческого восприятия, что остается крайне актуальным.

Важность для SEO

Патент имеет значительное влияние (8/10), особенно для Video SEO (YouTube, Google Видео). Он демонстрирует методологию, позволяющую Google генерировать оценки качества видеоконтента, которые не зависят от количества просмотров или манипуляций с метаданными. Это подчеркивает, что качество оценивается на основе анализа самого контента (аудиовизуальных признаков) и в рамках конкретных категорий, что критически важно для стратегий оптимизации видео.

Детальный разбор

Термины и определения

Category Classifier (Классификатор категорий)

Машинно-обученная модель, используемая для автоматической идентификации видео, принадлежащих к определенной категории (например, отделение музыкальных клипов от комедийных роликов).

Features / Content Features (Признаки контента)

Извлекаемые из видео данные (аудиовизуальные, текстовые), используемые классификаторами для обучения и прогнозирования. Включают технические характеристики и метаданные.

Human Panels (Группы людей-оценщиков / Асессоры)

Группы людей (например, 3 человека), которые просматривают кортежи видео и предоставляют данные о своих предпочтениях. Их суждения служат эталонными данными (ground truth) для обучения.

Preference Data (Данные о предпочтениях)

Информация, собранная от Human Panels, указывающая, какие видео в кортеже были предпочтительнее. Может включать голоса, баллы или ранжирование.

Preferred Video / Winning Video («Выигрышное» видео)

Видео в кортеже, которое было признано лучшим по качеству контента группой асессоров (например, по большинству голосов).

Rating Classifier (Классификатор оценок/качества)

Основная модель контролируемого обучения (supervised learning model), обученная предсказывать человеческие предпочтения в отношении качества видеоконтента в определенной категории.

Tuples (Кортежи видео)

Неупорядоченные наборы из двух или более видео (часто пары), представляемые асессорам для сравнительной оценки (n-wise comparisons).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод обучения машинно-обученного классификатора оценок (Rating Classifier).

1. Система получает от множества Human Panels рейтинги, связанные с множеством кортежей (tuples) видео выбранной категории. Рейтинги указывают на предпочтения оценщиков.
2. На основе рейтингов определяются предпочтительные видео (Preferred Videos) в каждом кортеже.
3. Создается обучающая выборка (Training Set) из предпочтительных видео.
4. Проводится обучение Rating Classifier с использованием этой выборки.
5. Обученный классификатор конфигурируется для определения оценки качества контента нового видео на основе корреляции его признаков с рейтингами, полученными от людей.

Claim 13 (Независимый пункт): Описывает метод применения обученного классификатора для оценки качества видео.

1. Множество неоцененных видео выбранной категории передается обученному Rating Classifier.
2. Классификатор автоматически генерирует оценку качества контента для каждого видео.
3. Создается список оцененных видео и упорядочивается с использованием сгенерированных оценок.
4. Упорядоченный список используется для предоставления пользователям видеохостинга подборки видео для просмотра (например, в плейлистах или результатах поиска).

Claim 35 и 36 (Зависимые): Уточняют механизм обучения и применения.

• Rating Classifier обучается распознавать признаки контента (content features) из каждого кортежа, которые положительно или отрицательно коррелируют с предпочтениями людей (Claim 35).
• Рейтинг качества нового видео определяется на основе корреляции его признаков с этими изученными признаками (Claim 36).

Зависимые пункты (2-6): Детализируют вспомогательные механизмы.

• Упоминается использование Category Classifier для автоматической идентификации видео (Claim 2).
• Упоминаются конкретные алгоритмы ML: Adaptive Boosting (для классификатора категорий, Claim 3) и Kernel PAMIR machine learned ranker (для классификатора рейтинга, Claim 6).

Где и как применяется

Изобретение описывает инфраструктуру для оценки качества контента, которая включает офлайн-процессы обучения и влияет на индексирование и ранжирование.

INDEXING – Индексирование и извлечение признаков (Офлайн-процессы)

• Извлечение признаков: На этом этапе происходит извлечение аудиовизуальных и текстовых признаков (Features) из видеоконтента (HOG, SAI, MFCC и т.д.).
• Сбор данных (Human Evaluation): Human Panels оценивают кортежи видео для генерации Preference Data. Это офлайн-процесс создания эталонной обучающей выборки.
• Обучение моделей: Rating Classifier и Category Classifier обучаются офлайн, используя извлеченные признаки и данные обратной связи.

INDEXING – Индексирование (Генерация сигналов)
Обученный Rating Classifier может применяться в процессе индексирования для анализа новых видео и присвоения им автоматической оценки качества, которая сохраняется как сигнал.

RANKING / RERANKING – Ранжирование и Переранжирование
Сгенерированные оценки качества используются как сигнал для упорядочивания результатов поиска на видеоплатформе (Video Search Module) или для генерации автоматических плейлистов (например, «Top 25 Amateur Cover Songs»).

Входные данные (для обучения):

• Набор видео определенной категории.
• Извлеченные Features из этих видео.
• Preference Data от асессоров (сравнительные оценки кортежей).

Выходные данные:

• Обученный Rating Classifier.
• Числовые оценки качества контента для проанализированных видео.

На что влияет

• Конкретные типы контента: Влияет исключительно на видеоконтент на платформах типа YouTube.
• Специфические запросы: Влияет на запросы, где важна субъективная оценка качества (развлекательный, музыкальный, образовательный контент).
• Конкретные ниши или тематики: Система работает внутри специфических категорий («cover songs», «comedy routines», «technical demonstrations»). Для каждой категории обучается отдельный классификатор качества.

Когда применяется

• Обучение: Процесс обучения моделей происходит периодически офлайн по мере накопления новых данных от асессоров.
• Применение (Оценка): Применяется автоматически, когда новые видео индексируются или когда необходимо ранжировать набор видео (в ответ на поисковый запрос или при генерации рекомендаций).

Пошаговый алгоритм

Процесс состоит из нескольких фаз.

Фаза 1: Идентификация видео (Опционально – Обучение Category Classifier)

1. Сбор выборки: Формирование предварительно размеченной выборки для категории (например, из плейлистов пользователей с названием «кавер-версии»).
2. Извлечение признаков: Извлечение аудио, визуальных и текстовых признаков.
3. Обучение: Обучение Category Classifier (например, с помощью Adaptive Boosting) для распознавания видео этой категории.

Фаза 2: Человеческая оценка (Генерация данных качества)

1. Отбор видео: Идентификация набора видео выбранной категории (с помощью Category Classifier, поиска или вручную).
2. Формирование кортежей: Организация видео в tuples (например, пары).
3. Оценка: Представление кортежей группам асессоров (Human Panels).
4. Сбор рейтингов и определение предпочтений: Получение оценок и определение Preferred Video для каждого кортежа (например, по большинству голосов). Формирование Preference Data.

Фаза 3: Обучение Rating Classifier

1. Подготовка выборки: Использование Preference Data в качестве обучающей выборки.
2. Извлечение признаков: Извлечение признаков из всех видео в обучающей выборке (как победителей, так и проигравших).
3. Обучение модели: Обучение Rating Classifier (с использованием алгоритмов вроде RankBoost, RankingSVM) для изучения признаков, которые отличают предпочтительные видео от непредпочтительных.

Фаза 4: Применение (Автоматическая оценка)

1. Получение видео: Получение нового неоцененного видео в той же категории.
2. Извлечение признаков: Извлечение признаков из этого видео.
3. Оценка: Применение обученного Rating Classifier для генерации числовой оценки качества.
4. Ранжирование: Использование оценки для ранжирования в поиске или создания рекомендательных списков.

Какие данные и как использует

Данные на входе

Система использует широкий спектр признаков для обучения моделей.

Мультимедиа факторы (Аудиовизуальные признаки): Критически важные данные. Патент явно перечисляет:

• Аудио: audio spectrogram (спектрограмма), audio volume (громкость), mel-frequency cepstral coefficients (MFCC) (мел-частотные кепстральные коэффициенты), stabilized auditory image (SAI) (стабилизированное слуховое изображение), SAI intervalgram audio features.
• Видео: hue-saturation histogram (гистограмма оттенка-насыщенности), shot boundary (границы сцен/планов), histogram-based motion estimation (оценка движения), per-frame histogram of gradients (HOG) (покадровая гистограмма градиентов), HOG/RAW cuboids.

Контентные факторы (Текстовые): Упоминается извлечение признаков из текстовых метаданных:

• Comments (комментарии), Tags (теги), Subtitles (субтитры). Также упомянуты Title (заголовок) и Description (описание).

Пользовательские/Поведенческие факторы (Данные от асессоров):

• Ratings (рейтинги) в виде голосов, числовых оценок или категориальных значений (например, «Thumbs Up/Down»).
• Опционально: демографическая информация об оценщиках и время, затраченное на оценку.

Какие метрики используются и как они считаются

• Метрики человеческих предпочтений: Для определения Preferred Video используются методы агрегации: Majority vote (большинство голосов), unanimous vote (единогласное решение) или supermajority (квалифицированное большинство).
• Алгоритмы машинного обучения: Патент явно перечисляет алгоритмы:
  • Для Rating Classifier (Ранжирование): Kernel PAMIR ranker, RankingSVM, RankBoost, AdaRank.
  • Для Category Classifier (Классификация): Adaptive Boosting (AdaBoost).
• Выходная метрика: Числовая оценка качества (Quality Score), автоматически генерируемая Rating Classifier.

Выводы

1. Человеческая оценка как эталон качества: Патент подтверждает, что Google использует суждения людей (асессоров / Quality Raters) как эталон (ground truth) для обучения алгоритмов оценки качества видео. Системы ML активно обучаются имитировать эти суждения.
2. Методология сравнительной оценки: Ключевым методом сбора данных является сравнительная оценка (A vs B или n-wise comparison). Это считается более надежным способом понять субъективное восприятие качества, чем прямая оценка по шкале.
3. Качество зависит от категории: Оценка качества не универсальна. Система предполагает обучение отдельных Rating Classifiers для специфических категорий контента (например, модель для комедии отличается от модели для музыки).
4. Важность гранулярных аудиовизуальных признаков: Система полагается на детальный анализ самого контента (аудио, видеоряд, движение, текст), а не только на внешние факторы. Признаки вроде HOG, MFCC, SAI указывают на анализ технического и художественного качества исполнения.
5. Преодоление ограничений популярности: Система разработана для того, чтобы уйти от зависимости от количества просмотров как основного индикатора качества, который может быть подвержен манипуляциям или эффекту «снежного кома».

Практика

Best practices (это мы делаем)

Рекомендации касаются в первую очередь Video SEO (YouTube, Google Видео).

• Инвестируйте в качество продакшена: Это ключевой вывод. Упомянутые признаки (MFCC, SAI для аудио; HOG, motion estimation для видео) напрямую связаны с техническим качеством. Чистый звук, хорошее освещение, стабильное изображение и качественный монтаж будут коррелировать с более высокими оценками асессоров и, следовательно, с более высокими баллами от Rating Classifier.
• Фокус на победе в прямом сравнении: Создавайте контент с целью быть явно лучше, чем у конкурентов в той же категории. Поскольку обучение основано на сравнительных оценках (A vs B), цель состоит не просто в том, чтобы быть «хорошим», а в том, чтобы выиграть сравнение в глазах пользователя.
• Обеспечение точной категоризации: Убедитесь, что ваше видео правильно классифицировано (через теги, категории, описание). Это гарантирует, что к нему будет применена релевантная модель оценки качества (Rating Classifier), обученная для данной тематики.
• Оптимизация метаданных и субтитров: Текстовые признаки (comments, tags, subtitles) также используются в обучении. Наличие качественных субтитров и точных метаданных является положительным сигналом.

Worst practices (это делать не надо)

• Игнорирование технического качества: Видео с плохим звуком, шумами, дрожащей камерой будут иметь плохие показатели по аудиовизуальным признакам (MFCC, HOG) и проигрывать в парных сравнениях, что приведет к низкой оценке от Rating Classifier.
• Опора только на просмотры и кликбейт: Патент направлен на снижение влияния популярности, если она не подкреплена качеством контента. Кликбейт может дать просмотры, но не улучшит оценку качества контента, генерируемую этой системой.
• Создание «среднего» контента: Поскольку система обучается на победителях сравнений, контент среднего качества вряд ли получит высокий рейтинг и будет вытеснен контентом, который явно превосходит другие варианты.

Стратегическое значение

Патент подтверждает, что для видеоконтента Google инвестирует значительные ресурсы в понимание качества самого контента, выходя за рамки анализа метаданных и сигналов взаимодействия (кликов, просмотров). Стратегия Video SEO должна включать оптимизацию самого видеофайла — его содержания и технического исполнения. Это также подчеркивает важность методологии Quality Raters Guidelines (QRG) как источника данных для обучения систем Google.

Практические примеры

Сценарий: Оптимизация обучающего видео по ремонту (How-To)

1. Проблема: Видео полезное, но снято на телефон с плохим звуком и нестабильным изображением. Плохо ранжируется.
2. Действия (на основе патента):
   • Улучшить звук: использовать петличный микрофон для устранения эха и шумов (улучшает признаки MFCC, SAI).
   • Улучшить видеоряд: использовать штатив для стабилизации (улучшает motion estimation), добавить освещение (улучшает HOG, Hue-Saturation).
   • Добавить монтаж: разбить видео на логические шаги (использует shot boundary).
3. Ожидаемый результат: Улучшенные технические характеристики повышают вероятность того, что при сравнении асессоры отдадут ему предпочтение. Это обучает Rating Classifier ассоциировать эти признаки с качеством в категории «How-To», что приведет к более высоким автоматическим оценкам качества и улучшению ранжирования.

Вопросы и ответы