Как Google использует Графы Знаний и визуальную значимость для понимания концепций в видео, их кластеризации и оптимизации распространения

Описание

Какую задачу решает

Патент решает проблему идентификации концептуально схожих видео (conceptual similarity), даже если их поверхностные характеристики (разрешение, язык, порядок элементов, анимация против живой съемки) сильно различаются. Традиционные методы часто не могут определить концептуальное сходство в таких случаях. Кроме того, патент решает проблему «холодного старта» (learning period) для новых видео, позволяя системе быстрее определить оптимальные параметры их распространения и избежать неэффективного использования ресурсов сервера и клиента.

Что запатентовано

Запатентована система для кластеризации видео на основе концептуального сходства. Ядром системы является генерация Concept Index (Индекса Концепций) для каждого видео. Этот индекс основывается на (i) концепциях, передаваемых объектами в видео (структурированных как Knowledge Graphs), и (ii) уровне значимости (level of prominence или Presence Share) этих концепций на протяжении всего видео. Видео группируются на основе сходства их индексов, а затем система анализирует данные обратной связи (feedback loop) на уровне кластера для генерации инсайтов и модификации распространения видео.

Как это работает

Система работает в несколько этапов:

• Извлечение концепций: Видео сегментируется (например, по временным меткам). В каждом сегменте идентифицируются объекты и их взаимосвязи, формируя Knowledge Graph (KG) для этого момента.
• Оценка значимости: Для каждого KG вычисляется Presence Share (Доля Присутствия), отражающая его визуальную значимость (например, размер объекта в кадре).
• Генерация индекса: Вычисляется Concept Index, который агрегирует значимость концепции (KG) на протяжении всего видео.
• Нормализация (KGIDF): Значимость концепций корректируется с помощью механизма Knowledge Graph Inverse Document Frequency (KGIDF), чтобы понизить вес общеупотребительных концепций и повысить вес уникальных.
• Кластеризация: Вычисляются показатели сходства (Similarity Scores) и различия (Dissimilarity Scores) между парами видео на основе их нормализованных индексов. Видео группируются в кластеры.
• Анализ и Модификация: Система агрегирует пользовательский фидбек на уровне кластера и использует эти инсайты для изменения способов распространения (ранжирования, рекомендаций) видео из этого кластера.

Актуальность для SEO

Высокая. Глубокое понимание видеоконтента и оптимизация его распространения на основе машинного обучения являются критически важными задачами для Google (особенно YouTube, Video Search, Discover) в 2025 году. Описанные методы, использующие Knowledge Graphs для анализа визуального контента и кластеризацию для ускорения обучения моделей распространения, соответствуют передовым тенденциям в Information Retrieval и рекомендательных системах.

Важность для SEO

Патент имеет высокое значение для Video SEO и контент-стратегии. Он раскрывает конкретные механизмы, как Google анализирует визуальное содержание и его концептуальную структуру, выходя за рамки метаданных и транскрипции. Понимание того, как вычисляется Concept Index и Presence Share, позволяет оптимизировать видео для лучшего концептуального соответствия запросам и интересам. Механизм использования кластерных инсайтов для модификации распространения напрямую влияет на видимость и ранжирование видеоконтента.

Детальный разбор

Термины и определения

Concept Index (Индекс Концепций) / Concept Value

Метрика, представляющая важность определенной концепции в видео. Вычисляется на основе концепции, передаваемой объектами, и уровня ее значимости (level of prominence). Рассчитывается как отношение суммарной Доли Присутствия (Summed Presence Shares) к общему количеству появлений (Total Instances) соответствующего Графа Знаний.

Knowledge Graph (KG) (Граф Знаний)

Структура данных, представляющая концепции, передаваемые видео в определенный момент времени. Состоит из узлов (объектов/сущностей) и ребер (взаимосвязей между ними). Например: [Person]-(Sitting In)->[Chair].

Presence Share (Доля Присутствия)

Метрика, указывающая на уровень значимости концепции (представленной KG) в определенном кадре или сегменте видео. Основывается на визуальной заметности объектов (размер в кадре, расположение).

Level of Prominence (Уровень Значимости)

Мера того, насколько заметна или важна концепция в видео. Измеряется через Presence Share.

KGIDF (Knowledge Graph Inverse Document Frequency)

Мера обратной частоты документа для графа знаний. Используется для нормализации значимости KG. Рассчитывается на основе общего количества видео, в которых встречается данный KG. Позволяет снизить вес общеупотребительных концепций и повысить вес уникальных.

Adjusted Value (Скорректированное значение)

Нормализованная общая значимость концепции в видео, полученная путем применения KGIDF к Total Presence Share.

Shared Similarity Score (Оценка общего сходства)

Оценка сходства пары видео, основанная на минимальной значимости общей концепции (общего KG) среди двух видео. Вычисляется как минимум из Adjusted Values KG.

Possible Similarity Score (Оценка возможного сходства)

Оценка сходства пары видео, основанная на максимальной значимости общей концепции (общего KG) среди двух видео. Вычисляется как максимум из Adjusted Values KG.

Dissimilarity Score (Оценка различия)

Метрика, рассчитываемая для пары видео на основе Concept Indices тех Графов Знаний, которые присутствуют только в одном из видео пары (Dissimilar Knowledge Graphs).

Feedback Loop (Петля обратной связи)

Механизм сбора данных о реакциях пользователей на представленные видео (например, время просмотра, клики). Используется для генерации инсайтов о группах видео.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс анализа, кластеризации и оптимизации.

1. Система получает видео от издателей.
2. Для каждого видео генерируется Concept Index, основанный на (i) концепции, передаваемой объектами, и (ii) уровне значимости (level of prominence) этой концепции.
3. На основе Concept Indices создаются группы видео (кластеры), где каждое видео имеет заданный уровень сходства с другими в группе.
4. На основе данных из feedback loop генерируются инсайты об этих группах.
5. Способ распространения (distribution) как минимум одного видео модифицируется на основе инсайтов о группе, в которую оно входит.

Claim 2 (Зависимый от 1): Детализирует генерацию Concept Index.

1. Для видео получаются Knowledge Graphs (KGs) для нескольких его частей (например, временных меток).
2. Для каждого KG определяется Presence Share (индикатор уровня значимости).
3. Concept Index генерируется на основе количества появлений KG в видео и общей Presence Share этого KG на протяжении видео.

Claim 3 (Зависимый от 2): Определяет метод расчета Concept Index.

Concept Index генерируется на основе отношения (ratio) суммированных Presence Shares данного KG к количеству частей видео, в которых этот KG присутствует. Это фактически средняя значимость концепции в моменты ее появления.

Claim 4 (Зависимый от 3): Вводит механизм нормализации KGIDF.

1. Генерируется мера Inverse Document Frequency (IDF) для данного KG на основе общего числа видео, содержащих этот KG.
2. Сгенерированный IDF применяется (умножается) к общей Presence Share данного KG для каждого из видео. Это корректирует значимость концепции, делая редкие концепции более весомыми (создавая Adjusted Value).

Claim 5 и 6 (Зависимые от 4): Описывают процесс вычисления сходства и различия для пары видео.

1. Определяются общие KG (shared knowledge graphs).
2. Для каждого общего KG вычисляются Shared Similarity Score (на основе минимальной скорректированной Presence Share) и Possible Similarity Score (на основе максимальной скорректированной Presence Share).
3. Вычисляется Dissimilarity Score на основе Concept Indices различных KG (dissimilar knowledge graphs).
4. Генерируются факторы кластеризации (clustering factors) на основе этих трех оценок.

Где и как применяется

Изобретение затрагивает этапы глубокого анализа контента и влияет на финальное распространение и ранжирование видео.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Система обрабатывает видеофайлы (офлайн или в пакетном режиме) для понимания их содержания:

• Извлечение объектов и взаимосвязей из кадров.
• Генерация Knowledge Graphs для разных временных меток.
• Расчет Presence Share и Concept Index.
• Расчет KGIDF и нормализация (создание Adjusted Value).
• Кластеризация видео по концептуальному сходству.

RANKING / RERANKING – Ранжирование и Переранжирование (Рекомендации)
На этом этапе используются результаты анализа для оптимизации распространения. Система использует агрегированные инсайты о производительности кластеров (собранные через feedback loop) для корректировки правил ранжирования и рекомендаций. Ключевое применение — быстрая инициализация правил распространения для нового видео на основе данных его кластера (сокращение learning period).

Входные данные:

• Видеофайлы, загруженные издателями.
• Данные обратной связи от пользователей (watch time, clicks, interactions).

Выходные данные:

• Concept Indices для видео.
• Кластеры (группы) концептуально схожих видео.
• Инсайты о производительности кластеров.
• Модифицированные правила распространения (ранжирования/рекомендаций) видео.

На что влияет

• Конкретные типы контента: Влияет исключительно на видеоконтент (например, YouTube, Google Video Search, Discover). Патент упоминает, что техники могут применяться к любому мультимедийному контенту, но примеры сфокусированы на видео.
• Специфические запросы: Влияет на все типы запросов, где релевантны видеорезультаты, а также на системы рекомендаций видеоконтента.
• Определенные форматы контента: Механизм универсален для видео разной длины и стиля (анимация, живая съемка), так как анализирует концепции и их значимость независимо от формата.

Когда применяется

• При каких условиях работает алгоритм: Алгоритм анализа и кластеризации применяется при обработке новых видео или периодической переоценке существующих. Анализ данных обратной связи происходит непрерывно для обновления инсайтов о кластерах.
• Временные рамки: Процессы индексации и кластеризации могут происходить офлайн или в пакетном режиме. Применение инсайтов для модификации распространения происходит в реальном времени при генерации выдачи или рекомендаций.

Пошаговый алгоритм

Этап 1: Индексация и Извлечение Концепций

1. Получение видео: Система получает корпус видео для анализа.
2. Сегментация: Каждое видео разделяется на части (например, по временным меткам/timestamps).
3. Генерация Графов Знаний (KG): Для каждой части видео извлекаются объекты и их взаимосвязи, формируя один или несколько KG, представляющих концепции в данный момент.
4. Расчет Доли Присутствия: Для каждого KG определяется Presence Share, отражающая его визуальную значимость в данной части видео.

Этап 2: Генерация и Нормализация Индекса Концепций

1. Агрегация Значимости: Для каждого уникального KG в видео суммируются его Presence Shares по всем частям видео (Total Presence Share).
2. Подсчет Появлений: Определяется количество частей видео, в которых присутствует данный KG (Total Instances).
3. Расчет Индекса Концепций: Генерируется Concept Index (или Concept Value) для KG, как отношение суммарной доли присутствия к количеству появлений.
4. Расчет KGIDF: Для каждого уникального KG в корпусе вычисляется Inverse Document Frequency (KGIDF) на основе того, в скольких видео он встречается.
5. Корректировка Значимости: Total Presence Share каждого KG в каждом видео умножается на его KGIDF для получения скорректированного значения (Adjusted Value).

Этап 3: Расчет Сходства и Кластеризация

1. Выбор Пары Видео: Система выбирает пару видео для сравнения.
2. Идентификация Общих и Различных KG.
3. Расчет Сходства: Для каждого общего KG вычисляются Shared Similarity Score (минимум из Adjusted Values) и Possible Similarity Score (максимум из Adjusted Values).
4. Расчет Различия: Вычисляется Dissimilarity Score на основе индексов концепций различных KG.
5. Генерация Факторов Кластеризации: На основе оценок сходства и различия вычисляются факторы (например, comparison_score, dissimilarity_share).
6. Кластеризация: Видео группируются на основе этих факторов так, чтобы видео в группе имели заданный уровень концептуального сходства.

Этап 4: Генерация Инсайтов и Модификация Распространения

1. Сбор Обратной Связи: Через feedback loop собираются данные о взаимодействии пользователей с видео.
2. Агрегация на Уровне Кластера: Данные обратной связи агрегируются для каждой группы видео.
3. Генерация Инсайтов: Анализируется производительность кластеров (возможно, для разных сегментов аудитории).
4. Модификация Распространения: Правила ранжирования, рекомендации и дистрибуции видео корректируются на основе полученных инсайтов.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Основные данные. Система анализирует визуальное содержимое кадров видео для идентификации объектов, их атрибутов (цвет, размер) и взаимосвязей между ними.
• Поведенческие факторы: Данные из feedback loop (клики, время просмотра, взаимодействия) используются для оценки производительности кластеров видео.

Какие метрики используются и как они считаются

Система вычисляет сложный набор метрик для оценки концепций и сходства:

• Presence Share: Квантифицирует визуальную значимость концепции (KG) в кадре (например, от 0 до 1).
• Concept Index (Concept Value): Средняя значимость концепции в видео. Формула, указанная в патенте: Concept Value = (Summed Presence Shares) / (Total Instances).
• KGIDF (Inverse Document Frequency for KG): Нормализующий коэффициент для оценки уникальности концепции в корпусе. Формула (концептуально): IDF = log(# of videos / # of videos containing KG).
• Adjusted Value: Нормализованная общая значимость концепции в видео. Формула: Adjusted Value = Total Presence Share * KGIDF.
• Shared Similarity Score (SS): Мера перекрытия концепции между двумя видео (Video1, Video2). Формула: SS = min(Adjusted Value Video1, Adjusted Value Video2).
• Possible Similarity Score (PS): Мера потенциального перекрытия. Формула: PS = max(Adjusted Value Video1, Adjusted Value Video2).
• Dissimilarity Score: Сумма Concept Indices (или Adjusted Values) для KG, которые не являются общими для пары видео.
• Clustering Factors: Производные метрики, используемые для кластеризации, основанные на агрегации вышеуказанных метрик (например, comparison_score, dissimilarity_share, creative_approach_similarity_score).

Выводы

1. Глубокое понимание визуальных концепций через KG: Google не просто идентифицирует объекты в видео, но структурирует их взаимосвязи с помощью Knowledge Graphs (KG) на покадровом уровне. Это позволяет системе понимать сцены и действия, а не просто набор тегов.
2. Квантификация визуальной значимости (Prominence): Вводится метрика Presence Share, измеряющая, насколько визуально значима концепция в кадре. Concept Index агрегирует эту значимость на протяжении всего видео. Важно не только наличие концепции, но и то, как она представлена (размер, расположение).
3. Важность уникальности концепций (KGIDF): Использование Inverse Document Frequency (KGIDF) означает, что система ценит уникальный контент. Видео с редкими или специфическими концептуальными комбинациями получат больший вес по сравнению с видео, содержащими только общие элементы.
4. Концептуальная кластеризация важнее поверхностного сходства: Система разработана для объединения видео, которые передают одни и те же концепции, даже если они выглядят по-разному (например, анимация и живая съемка).
5. Производительность кластера влияет на распространение: Система использует агрегированные данные о взаимодействии пользователей (feedback loop) на уровне кластера для принятия решений о ранжировании и рекомендациях (modifying distribution). Успех или неудача кластера влияет на все видео в нем.
6. Решение проблемы «холодного старта»: Новые видео могут наследовать стратегию распространения от кластера, в который они попадают, что значительно сокращает время, необходимое системе для оптимизации их показа (learning period).

Практика

Best practices (это мы делаем)

• Фокус на визуальной ясности и значимости ключевых концепций: Убедитесь, что основные концепции вашего видео представлены визуально четко и занимают значительную часть кадра. Используйте крупные планы и центральное расположение для важных объектов и действий. Это повысит Presence Share и, соответственно, Concept Index для этих концепций.
• Четкая демонстрация взаимодействий: Структурируйте сцены так, чтобы взаимосвязи между объектами были очевидны. Система должна иметь возможность сгенерировать точные Knowledge Graphs (например, показать не просто человека и инструмент, а как человек использует инструмент).
• Стремление к уникальности концептуальных комбинаций: Разрабатывайте контент, который содержит уникальные или нишевые концепции. Благодаря механизму KGIDF, такие концепции получат больший вес при анализе, что поможет выделиться на фоне общего контента.
• Обеспечение достаточной длительности ключевых сцен: Чтобы концепция была учтена, она должна присутствовать в достаточном количестве сегментов (timestamps) видео (Total Instances).
• Оптимизация под вовлеченность (Engagement): Поскольку производительность кластера влияет на распространение всех видео в нем, критически важно создавать контент, который максимизирует позитивные сигналы обратной связи (время просмотра). Высокая вовлеченность вашего видео улучшает инсайты всего кластера.

Worst practices (это делать не надо)

• Несоответствие визуального ряда и темы (Visual Mismatch/Кликбейт): Создание видео, где визуальный ряд слабо связан с основной темой (например, использование нерелевантных стоковых футажей). Система присвоит низкий Concept Index релевантным концепциям, если они не представлены визуально.
• «Концептуальный спам» (Concept Stuffing): Быстрое мелькание множества объектов в попытке охватить много концепций. Поскольку Concept Index учитывает среднюю значимость, краткие и незначительные появления будут иметь низкий вес.
• Создание исключительно генерического контента: Фокусировка только на очень общих концепциях. Такие концепции будут иметь низкий KGIDF, что затруднит дифференциацию контента.
• Игнорирование качества продакшена и композиции: Плохое освещение может помешать распознаванию объектов. Размещение ключевых объектов на периферии или заднем плане снижает их Presence Share.

Стратегическое значение

Этот патент подтверждает стратегическую важность глубокого понимания контента на уровне концепций, а не ключевых слов или метаданных. Для Video SEO это означает, что оптимизация должна фокусироваться на самом продукте – на том, что и как показано в видео. Система кластеризации создает «концептуальные соседства», где успех одного видео может положительно повлиять на распространение схожих видео. Это подчеркивает важность создания качественного, вовлекающего контента, который четко соответствует определенной концептуальной нише.

Практические примеры

Сценарий 1: Оптимизация видеообзора нового смартфона

1. Ситуация: Видео снято общим планом, где «говорящая голова» рассказывает о смартфоне, который лежит на столе на заднем плане.
2. Анализ по патенту: У смартфона низкий Presence Share. Основной KG: [Человек]-[Говорит]. Видео может быть кластеризовано слишком широко (например, как влог).
3. Оптимизация (Действие): Смонтировать видео так, чтобы значительную часть времени занимали крупные планы смартфона. Показать взаимодействие: блогер держит смартфон, демонстрирует функции.
4. Результат: Система сгенерирует релевантные KGs: [Человек]-[Держит]-[Смартфон]. У этих KG будет высокий Presence Share и Concept Index. Видео будет помещено в правильный концептуальный кластер (обзоры техники), что улучшит его дистрибуцию.

Сценарий 2: Кластеризация разных форматов видео об одном концепте

1. Видео 1 (Анимация): Анимационный ролик, где кот гоняется за мышью.
2. Видео 2 (Живая съемка): Ролик с живой съемкой, где реальный кот гоняется за мышью.
3. Анализ Системы: Система генерирует схожие Knowledge Graphs для обоих видео: [Cat]-(Chasing)->[Mouse]. Если эта концепция доминирует, она получает высокий Concept Index в обоих случаях.
4. Результат: Несмотря на разницу в формате, система определяет высокое концептуальное сходство и помещает оба видео в один кластер.

Вопросы и ответы