Как Google использует теги внутри видео, социальные связи и одобрения для генерации персонализированных рекомендаций

Термины и определения

Tagged Elements/Objects (Отмеченные тегами элементы/объекты)

Сущности внутри видео (люди, актеры, места, физические объекты, компании, песни, бренды и т.д.), идентифицированные с помощью метаданных (тегов). Теги могут быть добавлены вручную или автоматически (распознавание лиц, аудиоанализ).

Tag Index (Индекс тегов)

База данных, хранящая связь между видео (Video IDs) и элементами, отмеченными в них (Tag IDs), включая временные метки или кадры, где эти элементы появляются.

Endorsement (Одобрение)

Действие пользователя в отношении видео, указывающее на интерес: просмотр, лайк, загрузка, комментарий, подписка или шаринг (sharing).

Social Component (Социальный компонент)

Модуль, анализирующий отношения (social relationship) между зрителем и людьми, отмеченными в видео. Определяет Social Weight/Score и извлекает Endorsements этих людей.

Social Weight/Score (Социальный вес/Оценка)

Метрика, отражающая силу или важность социальной связи между двумя пользователями. Используется для взвешивания рекомендаций на основе одобрений.

Privacy Component (Компонент конфиденциальности)

Критически важный модуль, который проверяет, авторизовал (authorized) ли пользователь, отмеченный в видео, использование своих endorsements для генерации рекомендаций другим пользователям. Может использовать Privacy ACLs (Списки контроля доступа).

Playback Component (Компонент воспроизведения)

Модуль, отслеживающий воспроизведение видео. Используется для генерации динамических рекомендаций на основе элементов, появляющихся в текущий момент времени или до момента остановки просмотра.

Media Provider (Поставщик медиа)

Платформа, предоставляющая потоковое видео (например, YouTube).

Ключевые утверждения (Анализ Claims)

Патент описывает два основных сценария рекомендаций (совпадение тегов и социальные одобрения), но ключевые независимые пункты (Claim 1, 9, 15) фокусируются именно на социальных рекомендациях с проверкой приватности.

Claim 1 (Независимый пункт): Определяет ядро изобретения. Это система генерации рекомендаций, основанная на социальном контексте и конфиденциальности.

1. Система идентифицирует отмеченные элементы в видео, включая человека (person), появляющегося в нем.
2. Система (Social Component) идентифицирует другие видео, связанные с идентификатором пользователя (user identity) этого человека (т.е. его активность или одобрения).
3. Проверка конфиденциальности: Система (Privacy Component) определяет, авторизовал (authorized) ли этот отмеченный человек рекомендацию этих связанных видео другому пользователю (зрителю).
4. Рекомендация: Система рекомендует эти связанные видео на основе запроса на воспроизведение первого видео И в ответ на подтверждение авторизации.

Ключевой аспект: Защищается использование активности пользователя, отмеченного тегом, для рекомендаций, строго обусловленное его разрешением (Privacy).

Claim 2 (Зависимый от 1): Уточняет, что такое "видео, связанные с идентификатором пользователя". Это видео, которые человек лайкнул, посмотрел, загрузил, одобрил, поделился, прокомментировал или в которых он появляется.

Claim 4 (Зависимый от 1): Добавляет учет социальных связей. Идентификация связанных видео основывается на социальных отношениях (social relationship) между отмеченным человеком и зрителем.

Claim 5 и 6 (Зависимые от 1): Вводят механизм ранжирования и фильтрации. Ранжирование может основываться на количестве совпадающих элементов (Claim 5) или на типах совпадающих элементов и предпочтениях пользователя (Claim 6).

Claim 7 и 8 (Зависимые от 1): Вводят динамические рекомендации во время воспроизведения. Рекомендации могут базироваться на элементах, появившихся до момента остановки (Claim 7), или на элементах, появляющихся в текущий момент (Claim 8).

Где и как применяется

Изобретение применяется в рамках платформы для хостинга и стриминга видео (Media Provider), такой как YouTube.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит обработка видео для идентификации и маркировки элементов (людей, объектов, мест) автоматически (ML-модели распознавания) или вручную. Результаты сохраняются в Tag Index. Также индексируются данные о взаимодействиях пользователей (Endorsements) и социальных связях.

RANKING / RERANKING (Слой рекомендаций)
Основное применение патента происходит на этапе генерации рекомендаций (например, блок "Следующее видео").

1. Получение контекста: Система получает информацию о текущем видео и зрителе.
2. Извлечение тегов: Identification Component извлекает tagged elements из Tag Index.
3. Генерация кандидатов (Два пути):
   • Путь 1 (Совпадение): Matching Component ищет другие видео с теми же тегами.
   • Путь 2 (Социальный): Social Component анализирует теги людей, проверяет социальные связи со зрителем (Social Weight) и извлекает endorsements этих людей.
4. Фильтрация (Privacy Check): Для Пути 2, Privacy Component проверяет авторизацию на использование endorsements.
5. Ранжирование и Фильтрация: Результаты из обоих путей ранжируются (по Social Weight, количеству совпадений, уровню одобрения) и фильтруются.
6. Динамическое обновление: Playback Component может запускать этот процесс повторно во время воспроизведения для обновления рекомендаций на основе текущего момента видео.

Входные данные:

• Идентификатор текущего видео и временная метка.
• Идентификатор и профиль зрителя.
• Tag Index.
• Данные социального графа и активности пользователей (Endorsements).
• Настройки конфиденциальности (например, Privacy ACLs).

Выходные данные:

• Ранжированный список рекомендованных видео (или плейлистов/каналов).

На что влияет

• Конкретные типы контента: Влияет на видеоконтент, плейлисты и каналы на медиаплатформе. Особенно сильно влияет на контент, богатый идентифицируемыми сущностями (влоги, обзоры продуктов, интервью, путешествия).
• Социальные платформы: Наибольшее влияние на платформах с сильной социальной составляющей (например, YouTube), где доступны данные о связях и активности пользователей.

Когда применяется

• Триггеры активации: Просмотр видео пользователем (до, во время или после воспроизведения).
• Условия работы (Общие): Требует наличия идентифицированных и проиндексированных тегов в исходном видео.
• Условия работы (Социальный механизм): Активируется, когда в видео тегирован другой пользователь, И когда этот пользователь имеет историю активности (endorsements), И когда он авторизовал использование этой активности для рекомендаций (Claim 1), И (опционально) когда существует социальная связь со зрителем (Claim 4).

Пошаговый алгоритм

Процесс А: Генерация рекомендаций на основе совпадения тегов

1. Получение контекста: Система получает запрос на рекомендацию, основанный на Видео А.
2. Идентификация тегов: Identification Component извлекает список тегированных элементов (Тег 1, Тег 2...) из Видео А.
3. Поиск совпадений: Matching Component ищет другие видео (Видео Б, Видео В...), которые содержат один или несколько из этих тегов.
4. Ранжирование: Ranking Component ранжирует найденные видео. Критерии: количество общих тегов, популярность (общий social weight) этих тегов, соответствие предпочтениям пользователя.
5. Рекомендация: Выбирается Топ-N результатов и предлагается пользователю.

Процесс Б: Генерация социальных рекомендаций (Фокус Claim 1)

1. Идентификация людей: В Видео А идентифицирован тегированный Пользователь X.
2. Анализ отношений: Social Component оценивает отношения между Зрителем и Пользователем X (рассчитывается относительный Social Weight).
3. Поиск одобренного контента: Если отношения значимы, Social Component ищет видео, которые Пользователь X одобрил (смотрел, лайкнул и т.д.).
4. Проверка конфиденциальности (Критично): Privacy Component проверяет, разрешил ли Пользователь X использовать его одобрения для рекомендаций Зрителю.
5. Ранжирование и Рекомендация: Если разрешение получено, одобренные видео ранжируются (по Social Weight и уровню одобрения) и рекомендуются Зрителю.

Процесс В: Динамическая рекомендация во время воспроизведения (Claim 8)

1. Отслеживание воспроизведения: Playback Component отслеживает текущую временную метку Видео А.
2. Идентификация текущих тегов: Определяются тегированные элементы, которые появляются в кадре в текущий момент.
3. Генерация и Обновление: Процессы А и/или Б запускаются на основе этого ограниченного набора текущих тегов. Рекомендации динамически обновляются по мере изменения сцены.

Какие данные и как использует

Данные на входе

• Контентные/Мультимедиа факторы (Intra-video data): Данные о тегах внутри видео (Tagged Elements). Включают идентификаторы сущностей (люди, объекты, места, аудио) и временные метки их появления. Используются данные распознавания образов и аудиоанализа для автоматического тегирования.
• Поведенческие факторы (User Activity Data): История просмотров, лайки, комментарии, загрузки, подписки, шаринг (Endorsements). Используются для определения того, что рекомендовать на основе активности отмеченных пользователей.
• Пользовательские факторы (Social Graph and Privacy): Данные о социальных связях между пользователями (друзья, семья, коллеги). Источником могут быть внутренние данные платформы или внешние социальные сети (External Sources/Systems). Настройки конфиденциальности (например, Privacy ACLs).

Какие метрики используются и как они считаются

• Number of Matching Tags (Количество совпадающих тегов): Метрика для ранжирования (Claim 5). Чем больше общих тегов, тем выше ранг рекомендации.
• Social Weight/Score (Социальный вес):

  Относительный: Метрика, отражающая силу отношений между зрителем и отмеченным пользователем. Используется для взвешивания рекомендаций (Claim 4). Учитывает продолжительность знакомства, частоту взаимодействий, общих друзей.

  Общий: Метрика популярности элемента на платформе (как часто его тегают).

• Level of Endorsement (Уровень одобрения): Оценка значимости активности пользователя. Учитывает тип действия (загрузка > шаринг > лайк > просмотр), свежесть и частоту действия.
• Priority/Star Tagged Elements (Приоритетные теги): Теги, которые считаются более важными на основе предпочтений пользователя или высокого общего социального веса.
• Degree of Appearance (Степень появления): Метрика, учитывающая, как часто или долго элемент появляется в видео (например, главный актер против второстепенного). Может использоваться при ранжировании.

1. Сущности внутри видео как основа рекомендаций: Патент подчеркивает переход от анализа метаданных к анализу самого содержания видео. Системы рекомендаций стремятся понять, что или кто находится в видео (Tagged Elements), чтобы найти связанный контент.
2. Два пути рекомендаций: Система использует два основных механизма: (1) Сходство контента (общие теги) и (2) Социальные сигналы (одобрения от людей, присутствующих в видео).
3. Социальный граф как ключевой фактор персонализации: Social Component активно использует данные о связях между пользователями (Social Weight). Одобрения (Endorsements) друзей или авторитетных личностей, появляющихся в видео, являются сильным сигналом для рекомендации.
4. Конфиденциальность как обязательное условие (Privacy by Design): Ядро патента (Claim 1) строится вокруг обязательной проверки авторизации (Privacy Component). Социальные сигналы используются только с разрешения пользователя, чья активность анализируется.
5. Динамическая адаптация рекомендаций: Система может изменять рекомендации в реальном времени во время просмотра (Playback Component), основываясь на том, что происходит на экране в данный момент (Claim 8). Это делает рекомендации контекстуально зависимыми от времени.

Best practices (это мы делаем)

Эти рекомендации в первую очередь относятся к Video SEO (VSEO) и стратегиям продвижения на платформах типа YouTube.

• Обеспечение ясности ключевых сущностей: Создавайте видео так, чтобы ключевые сущности (люди, продукты, бренды, локации) были четко видны и слышны. Это облегчает автоматическим системам (распознавание объектов/лиц/аудио) их идентификацию и тегирование (Tagging).
• Стимулирование вовлеченности авторитетных пользователей (Endorsements): Поощряйте лайки, комментарии и шаринг от пользователей с сильным социальным графом. Если такой пользователь появится в вашем видео или одобрит ваш контент, это может стать источником рекомендаций для его аудитории через Social Component.
• Построение тематического авторитета через сущности: Последовательно включайте в видео связанные сущности (например, экспертов в определенной области, связанные продукты). Это увеличивает вероятность того, что ваши видео будут рекомендованы вместе на основе совпадения Tagged Elements (Процесс А).
• Коллаборации и упоминания: Участие других авторов в видео (коллаборации) напрямую использует описанный механизм. Появление другого автора в кадре создает тег, который связывает контент и активирует Social Component для анализа его активности и связей (Процесс Б).
• Оптимизация структуры видео для динамических рекомендаций: При создании длинных видео используйте четкую структуру и таймкоды. Это помогает системе лучше сегментировать видео и идентифицировать элементы в конкретных сегментах, активируя динамические рекомендации (Процесс В).

Worst practices (это делать не надо)

• Исключительная ориентация на метаданные: Полагаться только на оптимизацию заголовков и описаний недостаточно. Если содержание видео не содержит четких сигналов о сущностях, система рекомендаций будет менее эффективна.
• Игнорирование визуального и аудио качества: Низкое качество видео или звука снижает вероятность успешного автоматического тегирования ключевых элементов, что ухудшает работу системы рекомендаций.
• Манипуляции с тегами (если доступно ручное тегирование): Попытки спама нерелевантными тегами людей или объектов могут быть контрпродуктивными, так как система учитывает множество факторов, включая социальный вес и контекстуальную релевантность.
• Создание изолированного контента: Создание видео на слишком узкие темы, которые не пересекаются с другими популярными видео по элементам (людям, местам, объектам), снижает шансы на рекомендации через этот механизм.

Стратегическое значение

Патент подтверждает стратегию Google по глубокому пониманию содержания медиафайлов (Entity-based analysis) и интеграции социального контекста в системы обнаружения контента. Для VSEO-специалистов это означает, что успех на видеоплатформах все больше зависит от того, насколько хорошо контент интегрирован в общую экосистему как на уровне содержания (пересечение по сущностям), так и на социальном уровне (одобрения и связи). Стратегия должна включать не только ЧТО в видео, но и КТО в видео, и КТО его одобряет.

Практические примеры

Сценарий 1: Использование коллаборации для расширения охвата (VSEO)

1. Действие: Канал о технологиях (Канал А) приглашает известного блогера (Блогер Б) для совместного обзора смартфона.
2. Механизм: Система автоматически идентифицирует Блогера Б в видео (Tagged Element). Зритель подписан на Блогера Б (сильный Social Weight).
3. Анализ: Social Component определяет, что Блогер Б недавно лайкнул другое свое видео (Видео С). Privacy Component подтверждает разрешение на использование этих данных.
4. Результат: Во время просмотра обзора на Канале А зрителю агрессивно рекомендуется Видео С, так как оно одобрено авторитетным для зрителя лицом, которое присутствует в текущем видео.

Сценарий 2: Динамические рекомендации при обзоре путешествия (VSEO)

1. Действие: Пользователь смотрит влог о путешествии по Италии. Оптимизатор использовал таймкоды для Рима и Флоренции.
2. Механизм (00:30 - Секция Рим): Видео показывает Колизей. Playback Component фиксирует это, система определяет теги "Рим", "Колизей".
3. Результат (00:30): Список рекомендаций обновляется, в нем появляются другие популярные видео о Колизее.
4. Механизм (05:00 - Секция Флоренция): Видео переходит к Флоренции. Система идентифицирует тег "Флоренция".
5. Результат (05:00): Список рекомендаций снова обновляется, приоритет отдается видео о флорентийской кухне или галерее Уффици.