Как Google использует данные о совместном просмотре (Co-Watch) и графовые модели для классификации видеоконтента

Описание

Какую задачу решает

Патент решает проблему масштабируемого обучения точных классификаторов видеоконтента в условиях дефицита данных, размеченных вручную (authoritatively labeled videos). Ручная разметка для контролируемого обучения (supervised learning) дорога и медленна. Кроме того, патент адресует проблему игнорирования иерархических взаимосвязей между категориями в традиционных методах классификации.

Что запатентовано

Запатентована система обучения классификаторов видео, основанная на двух ключевых механизмах. Во-первых, это автоматическое расширение обучающей выборки путем использования поведенческих данных о совместном просмотре (Co-watched videos). Во-вторых, это объединение (Fusion) результатов нескольких начальных классификаторов, обученных на разных данных (текст, видео, аудио, веб-страницы), в единый унифицированный классификатор (Unified Classifier) с помощью графовых моделей (CRF/DRF), учитывающих таксономию категорий.

Как это работает

Система работает в несколько этапов:

• Расширение данных (Co-Watch): Берется небольшой набор авторитетно размеченных видео (Seed set). Он дополняется за счет видео, которые пользователи смотрят в одной сессии (Co-watched videos).
• Кластеризация и Очистка: Строится граф совместных просмотров. Метки и веса уверенности распространяются по графу от размеченных видео к неразмеченным. Видео со слабыми связями итеративно отсекаются (Pruning).
• Обучение начальных классификаторов: На расширенных наборах данных обучаются отдельные классификаторы для разных модальностей (текстовые и аудиовизуальные признаки).
• Слияние (Fusion): Результаты всех начальных классификаторов объединяются с помощью графовой модели (CRF/DRF). Эта модель учитывает иерархию категорий (например, связь «Спорт» и «Теннис») для повышения точности и согласованности классификации.

Актуальность для SEO

Высокая. Точная классификация видеоконтента критически важна для поиска и рекомендательных систем (например, YouTube). Использование поведенческих сигналов (co-watch data), мультимодальный анализ и применение сложных графовых моделей для понимания семантики и иерархии тем являются ключевыми направлениями развития современных поисковых и рекомендательных систем.

Важность для SEO

Патент имеет критическое значение для Video SEO (в частности, для YouTube SEO). Он явно демонстрирует, как поведенческие факторы (совместный просмотр) напрямую используются для понимания и классификации контента. Это подчеркивает, что оптимизация должна быть направлена не только на само видео (метаданные, контент), но и на управление сессией пользователя — стимулирование дальнейшего просмотра связанных видео для формирования сильных сигналов co-watch.

Детальный разбор

Термины и определения

Authoritatively labeled videos (Авторитетно размеченные видео)

Начальная выборка видео, размеченных с высокой степенью достоверности (например, экспертами). Служат «семенами» (Seed set) для обучения.

Category graph / Taxonomy (Граф категорий / Таксономия)

Структура, представляющая категории (узлы) и связи между ними (ребра), часто иерархическая. Используется в модели Fusion.

Cluster Score (Оценка кластера)

Метрика, присваиваемая видео в процессе кластеризации. Отражает вероятность принадлежности к категории кластера. Рассчитывается на основе весов связей co-watch и распространяется от размеченных видео к неразмеченным.

Co-watched videos (Совместно просматриваемые видео)

Видео, которые один и тот же пользователь просматривал последовательно (до или после) в рамках одной сессии. Ключевой поведенческий сигнал тематической близости.

CRF/DRF (Conditional Random Field/Discriminative Random Field)

Вероятностная графовая модель, используемая для обучения унифицированного классификатора. Учитывает взаимосвязи между категориями в графе.

Initial Classifier (Начальный классификатор)

Предварительный классификатор, обученный на определенном типе признаков (например, только текст или только аудио/видео). Его результаты используются как вход (Observations) для унифицированного классификатора.

Interaction Potential (Iᵢⱼ) (Потенциал взаимодействия)

Компонент модели CRF/DRF, который учитывает взаимосвязи между соседними категориями (i и j) в графе, обеспечивая согласованность меток в иерархии.

Pruning sequence (Последовательность очистки)

Процесс удаления видео из кластера, если их Cluster score ниже порога, для повышения точности обучающей выборки.

Supplemental training items (Дополнительные элементы обучения)

Данные, используемые для расширения обучающей выборки. Включают Co-watched videos, Searched videos и размеченные текстовые документы (веб-страницы).

Unified Classifier (Унифицированный классификатор)

Итоговый классификатор, который объединяет (Fusion) результаты начальных классификаторов и учитывает структуру графа категорий.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод расширения обучающей выборки с помощью данных co-watch и последующего обучения классификатора.

1. Система получает доступ к размеченным видео (первый набор) и неразмеченным видео (второй набор).
2. Формируется кластер для категории на основе размеченных видео.
3. Генерируется расширенный обучающий набор (supplemental training set) путем:
   • Добавления в кластер неразмеченных видео, которые были совместно просмотрены (co-watched) с размеченными видео в кластере. Это реализуется через построение графа, где узлы — это видео, а ребра соединяют совместно просмотренные видео. Ребра имеют веса, основанные на отношениях совместного просмотра.
   • Определения оценок кластера (cluster scores) для неразмеченных видео на основе весов ребер. Эти оценки представляют вероятность принадлежности к категории и распространяются (propagated) от размеченных видео к неразмеченным.
   • Очистки (pruning): удаления неразмеченного видео из кластера, если его cluster score выходит за пределы порога.
4. Классификатор для категории обучается с использованием этого расширенного набора.

Ядром изобретения является использование поведенческих данных (co-watch) в рамках взвешенной графовой структуры для автоматического и масштабируемого расширения обучающей выборки, где достоверность метки распространяется от известных узлов к неизвестным.

Claim 2 (Зависимый от 1): Уточняет, что процесс генерации расширенного набора (добавление, оценка, очистка) выполняется итеративно для разных подмножеств неразмеченных видео.

Claim 5 (Зависимый от 1): Уточняет, что на cluster score видео влияет как частота совместных просмотров с другими видео в кластере, так и cluster scores этих других видео (распространение авторитета).

Claim 6 и 8 (Зависимые от 1): Указывают на дополнительные источники данных для расширения выборки: результаты поиска по названию категории (Claim 6) и авторитетно размеченные текстовые документы (Claim 8).

Где и как применяется

Изобретение описывает процесс обучения моделей машинного обучения (офлайн), результаты которого применяются на этапах индексирования и влияют на ранжирование.

CRAWLING – Сканирование и Сбор данных
Система собирает необходимые исходные данные: видеоконтент, метаданные, а также журналы поведения пользователей (логи просмотров) для идентификации co-watch отношений. Также собираются данные с веб-сайтов (текстовые документы).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная работа:

1. Извлечение признаков (Feature Extraction): Из видео извлекаются аудиовизуальные и текстовые признаки. Из веб-страниц — текстовые признаки.
2. Обработка Co-Watch данных: Анализируются логи просмотров для построения графа совместных просмотров.
3. Обучение моделей (Офлайн): Процессы кластеризации, расширения выборки и обучения классификаторов (Initial и Unified) происходят офлайн.
4. Применение классификаторов: Обученный Unified Classifier применяется для категоризации новых или обновленных видео. Полученные метки сохраняются в индексе.

RANKING – Ранжирование (и Рекомендации)
Точная классификация видео, полученная с помощью этого метода, позволяет системе лучше понимать содержание видео и его релевантность запросам или интересам пользователя. Категории используются как сигналы в видео-поиске и системах рекомендаций (Suggested Videos).

Входные данные (для обучения):

• Граф категорий (Category set).
• Авторитетно размеченные видео (Seed set).
• Неразмеченные видео.
• Логи просмотров пользователей (Co-watch data).
• (Опционально) Размеченные текстовые документы (веб-страницы).

Выходные данные (после обучения):

• Набор унифицированных классификаторов (Unified Classifiers) для каждой категории.

На что влияет

• Типы контента: В первую очередь влияет на видеоконтент (YouTube, Google Video).
• Ниши и тематики: Наибольшее влияние в нишах, где наблюдаются последовательные паттерны потребления контента (обучающие курсы, обзоры, музыкальные жанры) и где существует четкая иерархия тем.

Когда применяется

• Условия работы: Применяется для обучения классификаторов в условиях нехватки размеченных данных.
• Триггеры активации: Требуется наличие минимального количества авторитетно размеченных видео (в описании упоминается порог, например, 50 на категорию) для инициализации процесса.
• Частота применения: Обучение классификаторов происходит периодически в офлайн-режиме. Применение обученных классификаторов — постоянно при индексировании нового контента.

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов: А) Расширение обучающей выборки через Co-Watch и Б) Обучение унифицированных классификаторов.

Процесс А: Расширение обучающей выборки (Co-watch video combiner)

1. Инициализация (Initializer): Создается Seed set на основе авторитетно размеченных видео. Формируется граф, где эти видео становятся начальными узлами кластеров категорий.
2. Кластеризация (Clustering sequence): Неразмеченные видео добавляются в кластер, если они совместно просматривались с видео в кластере. Создаются ребра между узлами, вес ребра определяется силой связи (например, частотой совместного просмотра).
3. Очистка и Взвешивание (Pruning sequence):
   • Рассчитывается Cluster Score для каждого узла. Узлы с низкими оценками (вне порогового значения) удаляются.
   • Для оставшихся узлов рассчитывается итоговый вес (вероятность принадлежности к категории). Вес распространяется от авторитетных видео к неразмеченным (например, как сумма весов инцидентных ребер).
4. Итеративная оптимизация (Feedback): Процессы кластеризации и очистки могут повторяться итеративно. Очищенный кластер (Feedback set) используется как вход для следующей итерации с новой порцией неразмеченных видео.
5. Финальная фильтрация (Threshold pruner): Видео с итоговым весом ниже финального порога удаляются. Оставшиеся формируют Supplemental training items.

Процесс Б: Обучение унифицированных классификаторов

1. Комбинирование данных: Объединение авторитетных видео с дополнительными элементами (Co-watched, Searched videos, Веб-страницы).
2. Извлечение признаков: Извлечение текстовых и аудиовизуальных признаков.
3. Обучение начальных классификаторов: Обучение отдельных классификаторов для каждой комбинации данных и признаков (например, SVM для текста, AdaBoost для видео).
4. Генерация наблюдений: Применение начальных классификаторов к обучающим данным для получения оценок (Observations y).
5. Обучение унифицированного классификатора (Fusion): Использование модели CRF/DRF для объединения оценок (y) с учетом структуры графа категорий. Модель вычисляет параметры, максимизирующие точность, учитывая как локальные данные (Association Potential), так и связи между категориями (Interaction Potential). Interaction Potential штрафует модель, если соседние категории (родитель/потомок) имеют разные метки для одного и того же видео.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые):
  • Co-watch data: Логи просмотров пользователей. Используются для построения графа связей и расширения обучающей выборки. Учитывается частота совместного просмотра.
• Контентные факторы (Аудиовизуальные): Обширный список признаков, извлекаемых из видео и аудио:
  • Цветовые гистограммы (HSV), цветовое движение, цвет кожи.
  • Признаки краев (Canny) и линий (Hough Transform).
  • Локальные признаки (SIFT, LoG).
  • Признаки лиц (количество, размер).
  • Аудио признаки (громкость, спектрограмма).
• Контентные факторы (Текстовые):
  • Текстовые признаки из метаданных видео (название, описание, теги).
  • Текстовые признаки из авторитетно размеченных веб-страниц (кросс-модальные данные).
• Структурные факторы (Системные):
  • Структура таксономии категорий (Category Graph). Используется на этапе Fusion.

Какие метрики используются и как они считаются

• Edge Weight (Вес ребра): Основан на силе co-watch relationship (например, количество совместных просмотров).
• Cluster Score (Оценка кластера): Метрика для определения принадлежности видео к кластеру. Используется для Pruning. Может рассчитываться как сумма весов инцидентных ребер, количество связей или на основе оценок начального классификатора.
• Association Potential (Aᵢ) и Interaction Potential (Iᵢⱼ): Компоненты модели CRF/DRF. Iᵢⱼ связывает оценки соседних категорий в графе. Рассчитывается с использованием произведения меток соседних узлов (xᵢxⱼ), что обеспечивает согласованность в иерархии.
• Алгоритмы машинного обучения: Упоминаются AdaBoost, SVM, LibLinear для начальных классификаторов; CRF/DRF с использованием Belief Propagation (BP) для унифицированного классификатора.

Выводы

1. Поведенческие сигналы (Co-Watch) как основа классификации: Патент демонстрирует, как Google использует данные о совместном просмотре как мощный сигнал тематической близости. Паттерны потребления контента пользователями напрямую используются для классификации неразмеченного контента в масштабе.
2. Распространение доверия через граф: Система использует графовый подход для распространения (propagation) меток от небольшого числа авторитетных образцов к большому массиву неразмеченных данных через связи co-watch. Уверенность в категории передается по цепочке совместных просмотров.
3. Итеративная очистка для точности: Механизм Pruning критически важен. Он активно фильтрует шум, удаляя видео, которые слабо связаны с ядром тематического кластера (имеют низкий Cluster Score), обеспечивая качество обучающих данных.
4. Мультимодальность и Кросс-модальность: Система использует аудиовизуальные и текстовые признаки. Более того, она применяет кросс-модальное обучение: размеченные веб-страницы используются для обучения видео-классификаторов.
5. Учет иерархии тем (Taxonomy): Финальное слияние (Fusion) использует модели CRF/DRF, которые явно моделируют взаимосвязи между категориями (родитель-потомок). Это обеспечивает согласованность классификации в рамках иерархии.

Практика

Best practices (это мы делаем)

Рекомендации критически важны для Video SEO (YouTube) и основаны на механизмах патента.

• Оптимизация сессий просмотра и стимулирование Co-Watch: Стратегия должна быть направлена на управление путешествием пользователя. Стимулируйте просмотр нескольких видео на вашем канале в рамках одной тематики. Используйте плейлисты, конечные заставки, подсказки и внутренние ссылки. Цель — увеличить вероятность совместного просмотра вашего видео с другим авторитетным контентом в вашей нише.
• Создание тематических серий и кластеров контента: Разрабатывайте контент в виде серий. Это увеличивает внутренние сигналы co-watch и укрепляет тематическую связь между видео, помогая системе уверенно классифицировать всю серию.
• Анализ трафика из «Рекомендованных видео»: Внимательно изучайте, рядом с какими видео YouTube предлагает ваш контент. Это индикатор того, с чем Google ассоциирует ваше видео на основе данных co-watch. Оптимизируйте контент и метаданные для усиления этих связей.
• Мультимодальная согласованность: Обеспечивайте соответствие между метаданными (текст) и содержанием (аудио/видео). Система использует начальные классификаторы для обеих модальностей. Согласованные сигналы повышают общую уверенность классификации.
• Использование веб-контента для поддержки видео (Cross-Modal): Так как размеченные веб-страницы используются для обучения видео-классификаторов, создавайте качественный текстовый контент на сайте, соответствующий вашим видео. Встраивание видео на релевантные страницы может улучшить понимание его тематики.

Worst practices (это делать не надо)

• Кликбейт и несоответствие ожиданиям: Если пользователи быстро покидают видео и не переходят к просмотру связанного контента, это препятствует формированию сильных сигналов co-watch. Это может привести к исключению видео из релевантных кластеров на этапе Pruning.
• Тематическая разрозненность канала: Публикация видео на множество не связанных тем на одном канале запутывает систему классификации, так как паттерны совместного просмотра будут хаотичными, и система не сможет надежно привязать канал к конкретным тематическим кластерам.
• Изолированный контент: Создание видео, которые не связаны с другим контентом на канале или в нише, и которые приводят к завершению сессии просмотра. Это минимизирует полезные co-watch сигналы.

Стратегическое значение

Патент подтверждает стратегический приоритет поведенческих факторов в классификации видеоконтента. Для Google (и YouTube) контекст потребления (с чем смотрят видео) так же важен, как и само содержание видео. Долгосрочная стратегия Video SEO должна фокусироваться на управлении поведением пользователя (User Journey Management) и оптимизации всей сессии просмотра для формирования правильных поведенческих паттернов и тематических ассоциаций.

Практические примеры

Сценарий: Запуск серии обучающих видео по Python

1. Цель: Обеспечить классификацию всех видео серии как «Программирование на Python».
2. Действия (Оптимизация Co-Watch):
   • Все видео объединяются в нумерованный плейлист с четкой последовательностью («Курс Python для начинающих»).
   • В конце каждого видео используется конечная заставка, агрессивно направляющая пользователя на следующее видео в серии.
   • Метаданные четко соответствуют содержанию (например, «Урок 1: Переменные в Python»).
3. Механизм работы (по патенту): Пользователи смотрят видео последовательно. Система фиксирует сильные связи co-watch между Уроком 1 и Уроком 2, Уроком 2 и Уроком 3 и т.д. Если Урок 1 уверенно классифицирован как «Программирование на Python», эта метка начнет распространяться по графу на последующие уроки, увеличивая их Cluster Score.
4. Ожидаемый результат: Вся серия видео будет быстро и точно классифицирована, что улучшит ее видимость в поиске по релевантным запросам и в рекомендациях для заинтересованной аудитории.

Вопросы и ответы