Как Google идентифицирует, индексирует и ищет конкретные объекты и действия внутри видеоконтента

Описание

Какую задачу решает

Патент решает проблему идентификации, извлечения и повторного использования конкретных объектов или действий внутри существующих видео. Традиционный подход индексирует видео как единое целое, что затрудняет поиск конкретных моментов или объектов. Изобретение позволяет автоматически сегментировать видео на семантически значимые части (volumes), маркировать их и делать доступными для поиска и синтеза новых видеокомпозиций. Это улучшает гранулярность поиска и позволяет находить точный контент, соответствующий запросу, без необходимости просмотра всего видео.

Что запатентовано

Запатентована система и метод для создания и использования базы данных spatio-temporal volumes (пространственно-временных объемов), извлеченных из множества видео. Volume – это сегмент видео, меньший, чем кадр целиком, и существующий во времени, соответствующий объекту или действию. Система автоматически идентифицирует и маркирует эти объемы. Ключевым аспектом является возможность поиска по этой базе данных и использования найденных объемов для синтеза нового композитного видео (composite video).

Как это работает

Система работает в несколько этапов:

• Сегментация объемов: Видео анализируются для выявления стабильных сегментов (например, с помощью стабилизации видео). Затем применяются алгоритмы сегментации (например, иерархическая сегментация на основе графов) для извлечения немаркированных кандидатных объемов (candidate volumes).
• Определение признаков: Для каждого объема вычисляются визуальные признаки. Это часто включает создание codebook (кодовой книги) общих признаков (цвет, текстура, движение) и описание объема в терминах этой книги. Также могут использоваться геометрические признаки, описывающие временные и пространственные отношения между признаками.
• Маркировка объемов: Система автоматически присваивает метки объемам, используя существующие метаданные всего видео (слабый надзор). Для этого применяются методы, такие как кластеризация по признакам и анализ согласованности меток внутри кластера (consistency learning), или обучение слабых классификаторов (weak volume classifiers).
• Применение: Маркированные объемы индексируются. Пользователи могут искать конкретные объемы по запросу. Результаты поиска могут включать как видео целиком, так и отдельные объемы. Пользователи могут выбирать эти объемы для создания нового композитного видео через специальный интерфейс редактирования.

Актуальность для SEO

Высокая. Понимание контента внутри видео является критически важной задачей для Google, особенно с ростом популярности YouTube, Shorts и визуального поиска. Технологии, описанные в патенте, напрямую связаны с современными возможностями, такими как ключевые моменты в видео (Key Moments), распознавание объектов в Google Lens и улучшенное индексирование визуального контента. Автоматическая генерация маркированных данных для обучения ИИ также остается крайне актуальной.

Важность для SEO

Патент имеет высокое значение (85/100) для стратегий Video SEO. Он описывает фундаментальный механизм, позволяющий Google понимать видеоконтент на гранулярном уровне – не только о чем видео в целом, но и какие конкретные объекты и действия присутствуют в нем. Это означает, что релевантность видео может определяться наличием специфических маркированных объемов (labeled volumes), а не только метаданными. Понимание этих механизмов критично для оптимизации видеоконтента под конкретные поисковые намерения.

Детальный разбор

Термины и определения

Candidate Volumes (Кандидатные объемы)

Немаркированные пространственно-временные сегменты, извлеченные из видео на начальном этапе. Они являются кандидатами для последующей маркировки.

Codebook (Кодовая книга)

Набор репрезентативных векторов признаков (code vectors), полученных путем кластеризации признаков из множества видеосегментов. Используется для стандартизированного описания визуальных характеристик объемов.

Composite Video (Композитное видео)

Новое видео, созданное путем объединения (синтеза) одного или нескольких извлеченных видеообъемов, возможно, с новым фоном и измененными временными/пространственными характеристиками.

Consistency Learning (Обучение на основе согласованности)

Метод маркировки объемов. Объемы кластеризуются по визуальным признакам. Если в кластере наблюдается высокая согласованность меток (унаследованных от родительских видео), эти метки присваиваются объемам с высокой степенью уверенности.

Geometric Features (Геометрические признаки)

Признаки, описывающие временные (например, «до», «после») и пространственные (например, «слева от», «сверху от») отношения между различными векторами признаков (code vectors) внутри объема.

Spatio-temporal Volume / Video Volume (Пространственно-временной объем / Видеообъем)

Сегмент видео, определяемый пространственной протяженностью пикселей на протяжении последовательности кадров. Часто соответствует семантически значимому объекту или действию. Пространственная протяженность объема меньше, чем весь кадр.

Volume Identification Module (Модуль идентификации объемов)

Компонент системы, отвечающий за сегментацию, извлечение признаков и маркировку видеообъемов.

Weak Volume Classifiers (Слабые классификаторы объемов)

Классификаторы, обученные с использованием зашумленных данных (меток, унаследованных от всего видео). Используются для генерации оценок, которые помогают идентифицировать метки с высокой степенью уверенности.

Ключевые утверждения (Анализ Claims)

Патент содержит два основных независимых пункта, описывающих разные аспекты использования видеообъемов: синтез видео (Claim 1) и поиск видео (Claim 19).

Claim 1 (Независимый пункт): Описывает метод создания композитного видео.

1. Система получает доступ к базе данных, хранящей volumes из множества видео. Каждый объем является пространственно-временным сегментом, и его пространственная протяженность меньше целого кадра.
2. Система предоставляет клиентскому устройству индикаторы (indicia) для множества этих объемов.
3. Система получает от клиента выбор подмножества этих индикаторов, тем самым выбирая соответствующие объемы.
4. Система извлекает выбранные объемы из базы данных.
5. Система компонует (compositing) извлеченные объемы для формирования composite video.

Claim 2, 3 (Зависимые от 1): Детализируют процесс компоновки.

Выбор объемов включает получение информации о временном упорядочивании (temporal ordering information) и пространственном расположении (spatial arrangement information). Компоновка видео происходит в соответствии с этими инструкциями.

Claim 7 (Зависимый от 1): Описывает пользовательский интерфейс для редактирования.

При выборе индикатора объема система предоставляет интерфейс редактирования. Он включает video region (область всего видео) и volume region (область, занимаемую выбранным объемом) внутри него.

Claim 19 (Независимый пункт): Описывает метод поиска по видеообъемам.

1. Система получает доступ к базе данных, хранящей маркированные volumes (пространственно-временные сегменты, меньше кадра).
2. Система получает поисковый запрос от клиента.
3. В ответ на запрос система идентифицирует множество объемов, метки которых соответствуют запросу.
4. Система предоставляет индикаторы (indicia) идентифицированных объемов клиенту.

Claim 20 (Зависимый от 19): Связывает поиск и синтез.

После поиска система получает выбор объемов от клиента, извлекает их, компонует в composite video и сохраняет его в репозитории.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов работы поисковой системы, в основном связанных с обработкой и поиском видеоконтента.

CRAWLING – Сканирование и Сбор данных
Система собирает исходные видео данные (digital videos) с платформ (например, Video Sharing Service), которые затем сохраняются в Video Repository.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента для анализа контента.

1. Сегментация: Volume identification module анализирует видео для извлечения spatio-temporal volumes. Это включает стабилизацию видео и применение алгоритмов сегментации.
2. Извлечение признаков (Feature Extraction): Для каждого объема вычисляются визуальные и геометрические признаки (volume-level features), часто с использованием codebook.
3. Маркировка (Labeling): Система автоматически присваивает семантические метки (labels) объемам, используя слабый надзор (метаданные видео) и методы машинного обучения (consistency learning, weak classifiers).
4. Хранение: Маркированные объемы и их признаки сохраняются в специализированной базе данных (database storing volumes).

QUNDERSTANDING – Понимание Запросов
Система обрабатывает входящий поисковый запрос (search query), чтобы определить намерение пользователя найти видеоконтент или конкретные объекты/действия.

RANKING / METASEARCH – Ранжирование и Смешивание
При поиске система использует индекс маркированных объемов.

1. Отбор кандидатов: Система идентифицирует объемы, метки которых соответствуют запросу.
2. Ранжирование: Система может ранжировать как видео целиком, так и отдельные объемы. В патенте упоминается, что процент объемов в видео, соответствующих запросу, может использоваться как мера для ранжирования всего видео.
3. Формирование выдачи: Система предоставляет результаты (indicia), которые могут включать как ссылки на видео, так и прямые ссылки на конкретные объемы (включая таймкод и визуальный индикатор временной шкалы).

Входные данные:

• Набор цифровых видео (plurality of digital videos).
• Метаданные видео (Metadata), включая существующие метки (existing labels).
• Поисковые запросы пользователей.
• Выбор пользователей и инструкции по компоновке видео.

Выходные данные:

• База данных идентифицированных и маркированных пространственно-временных объемов.
• Признаки уровня объема (volume-level features).
• Сильные классификаторы объемов (strong volume classifiers), обученные на маркированных данных.
• Результаты поиска, включающие индикаторы конкретных объемов.
• Новые композитные видео (composite videos).

На что влияет

• Типы контента: Основное влияние оказывается на видеоконтент. Система позволяет анализировать видео на гораздо более глубоком уровне, чем просто анализ метаданных.
• Специфические запросы: Влияет на информационные и коммерческие запросы, где пользователь ищет конкретные объекты (например, «синий грузовик») или действия (например, «собака ловит фрисби»). Система позволяет находить именно эти моменты в видео.
• Форматы контента: Позволяет извлекать короткие клипы (объемы) из длинных видео и использовать их повторно.

Когда применяется

• Триггеры активации (Индексирование): Процесс идентификации и маркировки объемов применяется при обработке новых видео в репозитории или при периодическом переиндексировании существующего контента.
• Триггеры активации (Поиск): Механизм поиска по объемам активируется, когда пользователь вводит поисковый запрос, который может быть сопоставлен с метками индексированных объемов.
• Триггеры активации (Синтез): Процесс синтеза активируется, когда пользователь выбирает опцию создания нового видео из существующих объемов (например, через интерфейс «Add to new video»).

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов: Офлайн-обработка (Идентификация и маркировка) и Онлайн-обработка (Поиск и синтез).

Процесс А: Офлайн-идентификация и маркировка объемов

1. Сбор данных: Получение набора видео и связанных с ними метаданных (меток).
2. Сегментация объемов:
   1. Стабилизация видео для уменьшения эффекта движения камеры.
   2. Идентификация стабильных сегментов (где фон неподвижен).
   3. Применение иерархической сегментации на основе графов для извлечения немаркированных кандидатных объемов (candidate volumes).
3. Определение признаков:
   1. Генерация Codebook: Разделение объемов на короткие сегменты, извлечение признаков (цвет, текстура, SIFT и т.д.), кластеризация признаков для формирования кодовой книги.
   2. Вычисление признаков объема: Описание каждого объема с помощью Codebook (например, усредненные векторы признаков или гистограммы).
   3. (Опционально) Вычисление геометрических признаков: Анализ временных и пространственных отношений между признаками внутри объема.
4. Маркировка объемов (Volume Labeling): Применение методов слабого надзора для присвоения меток.
   • Вариант 1 (Clustering by Features): Кластеризация объемов по признакам. Анализ согласованности меток (унаследованных от видео) внутри кластера. Присвоение меток с высокой согласованностью.
   • Вариант 2 (Classifier Training): Обучение слабых классификаторов (weak classifiers) для каждой метки, используя все объемы с этой меткой как положительные примеры. Применение всех классификаторов ко всем объемам. Выбор меток с наивысшими оценками классификаторов.
5. Индексирование: Сохранение маркированных объемов и их признаков в базе данных.
6. (Опционально) Обучение сильных классификаторов: Использование полученных высокоточных меток для обучения более точных (сильных) классификаторов для последующего использования.

Процесс Б: Онлайн-поиск и синтез видео

1. Получение запроса: Получение поискового запроса от пользователя.
2. Поиск: Идентификация объемов в базе данных, метки которых соответствуют запросу.
3. Предоставление результатов: Отображение индикаторов найденных объемов (включая тамбнейлы, длительность, позицию на временной шкале видео).
4. Выбор пользователя: Получение выбора одного или нескольких объемов для синтеза (например, через «Add to new video»).
5. Редактирование: Предоставление интерфейса для компоновки. Получение инструкций от пользователя по временному упорядочиванию, пространственному расположению, масштабированию и фону.
6. Синтез (Compositing): Извлечение выбранных объемов из базы данных и их компоновка в новое composite video согласно инструкциям.
7. Сохранение: Сохранение нового композитного видео в репозитории.

Какие данные и как использует

Данные на входе

Система использует следующие типы данных:

• Контентные факторы (Видео): Пиксельные данные видео (последовательность кадров). Система анализирует визуальный контент для сегментации и извлечения признаков.
• Контентные факторы (Текст): Метаданные, связанные с видео (Metadata), такие как заголовки, описания и теги, предоставленные загрузчиком. Они используются как источник меток (labels) для слабого надзора при маркировке объемов.
• Пользовательские факторы: Поисковые запросы (search query) и действия пользователя в интерфейсе редактирования (выбор объемов, инструкции по компоновке).

Какие метрики используются и как они считаются

Патент описывает использование различных признаков и метрик для характеристики объемов и их маркировки.

Визуальные признаки (Visual Property Features):

• Используются для генерации Codebook и описания сегментов.
• Упомянутые типы: SIFT (Scale Invariant Feature Transform), цветовые гистограммы (Hue/Saturation в HSV), признаки жесткости движения (motion rigidity features), текстурные признаки, отклики фильтров (например, на основе вейвлетов Габора), признаки границ (Canny edge detector). Также упомянуты GLOH, LESH, HOG, SURF.

Признаки уровня объема (Volume Features):

• Volume Average Features: Усредненный вектор признаков для всего объема, нормализованный по длине. Рассчитывается путем сопоставления признаков сегментов с Codebook и усреднения результатов.
• Geometric Features: Матрицы или векторы, квантифицирующие отношения между признаками (code vectors).
  • Временные отношения: «before», «after», «at the same time». Например, «before» подсчитывает, сколько раз экземпляр признака CVi встречается до экземпляра признака CVj.
  • Пространственные отношения: «left-of», «right-of», «above», «below», «centered-on». Рассчитываются на основе пространственных позиций (центроидов) сегментов или точек интереса.

Метрики маркировки:

• Степень согласованности меток (Degree of label consistency): Используется при кластеризации. Квантифицируется как процент объемов в кластере, имеющих наиболее часто встречающуюся метку. Используется пороговое значение (например, 75%) для определения надежности кластера.
• Оценки классификаторов (Classifier Scores): Результат применения слабых или сильных классификаторов к объему. Метки выбираются на основе наивысших оценок, превышающих определенный порог и/или значительно превосходящих другие оценки.

Выводы

1. Гранулярное понимание видеоконтента: Google обладает механизмами для автоматической сегментации видео на семантически значимые объекты и действия (spatio-temporal volumes). Это выходит далеко за рамки анализа метаданных и позволяет понять, что именно происходит в кадре.
2. Автоматическая маркировка через слабый надзор: Система может использовать существующие метаданные видео (теги, заголовки) для автоматической маркировки конкретных объектов внутри него, используя методы consistency learning и слабые классификаторы. Это позволяет масштабировать процесс индексации визуального контента.
3. Визуальные и геометрические признаки: Для описания объектов и действий используются не только стандартные визуальные признаки (цвет, текстура), но и геометрические признаки, описывающие пространственные и временные отношения. Это важно для распознавания сложных действий и взаимодействий.
4. Индексация на уровне объектов/действий: Google может индексировать и искать не только видео целиком, но и отдельные volumes. Это позволяет предоставлять пользователям высокорелевантные сегменты видео в ответ на запрос.
5. Влияние на ранжирование видео: Релевантность видео может оцениваться на основе наличия и количества маркированных объемов, соответствующих запросу. Видео с большим процентом релевантных объемов могут ранжироваться выше.
6. Синтез видео и повторное использование контента: Запатентован механизм, позволяющий пользователям извлекать индексированные объемы и создавать из них новые композитные видео.

Практика

Best practices (это мы делаем)

• Создание семантически четкого видеоконтента: Структурируйте видео так, чтобы ключевые объекты и действия были визуально различимы. Это облегчит системе задачу сегментации и корректной идентификации volumes. Стабильная съемка и четкий фокус помогают алгоритмам стабилизации и сегментации.
• Точные и описательные метаданные: Поскольку система использует метаданные всего видео (заголовки, описания, теги) для слабого надзора при маркировке объемов, критически важно предоставлять точные и релевантные метаданные. Описывайте ключевые объекты и действия, присутствующие в видео.
• Оптимизация под гранулярные интенты: Понимая, что Google может идентифицировать конкретные действия, оптимизируйте видеоконтент так, чтобы он содержал четкие ответы на специфические запросы (например, демонстрация конкретной функции продукта). Это повышает вероятность того, что соответствующий volume будет проиндексирован и показан в поиске.
• Структурирование длинных видео: Для длинных видео убедитесь, что различные темы четко разделены. Это поможет системе корректно связать метаданные с соответствующими сегментами, улучшая точность маркировки и повышая шансы на появление в результатах поиска по конкретным темам (например, в формате Key Moments).

Worst practices (это делать не надо)

• Кликбейт и нерелевантные метаданные: Использование метаданных, не соответствующих содержанию видео, приведет к зашумлению данных для обучения (weak supervision). Система может некорректно маркировать объемы неправильными метками. Хотя патент фокусируется на использовании этих данных, нерелевантность в конечном итоге снизит эффективность видео в поиске.
• Визуально перегруженный контент: Видео с хаотичным движением, плохим освещением или слишком большим количеством объектов в кадре затрудняют автоматическую сегментацию и идентификацию volumes. Система может не справиться с выделением ключевых объектов или действий.
• Игнорирование Video SEO: Полагаться только на текстовый контент на странице, игнорируя оптимизацию самого видео и его метаданных, неэффективно. Google активно анализирует визуальную составляющую для определения релевантности.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google в глубоком понимании и индексации визуального контента. Для SEO это означает, что оптимизация видео перестает быть просто работой с тегами и описаниями. Качество, структура и визуальная ясность самого видеоряда становятся факторами, влияющими на его индексацию и видимость. Долгосрочная стратегия должна включать создание видеоконтента, который не только полезен для пользователя, но и понятен для алгоритмов машинного зрения, способных разбирать его на составляющие объекты и действия.

Практические примеры

Сценарий: Оптимизация видеообзора продукта для поиска по функциям

Цель: Обеспечить видимость видео в поиске по запросам о конкретных функциях нового смартфона.

1. Планирование контента: Вместо сплошного обзора создается структурированное видео с четкими сегментами для каждой функции (например, «тест камеры ночью», «скорость зарядки»).
2. Оптимизация визуального ряда: Во время демонстрации каждой функции камера фокусируется именно на этом действии, минимизируя отвлекающие факторы. Это помогает Volume Segmentation выделить действие как отдельный volume.
3. Оптимизация метаданных: В описании видео и тегах явно перечисляются все демонстрируемые функции («ночная съемка Galaxy S26», «быстрая зарядка 100W»).
4. Как работает Google (согласно патенту):
   1. Система сегментирует видео и выделяет объем, соответствующий ночной съемке.
   2. Система извлекает визуальные признаки этого объема.
   3. Используя слабый надзор, система сопоставляет этот объем с меткой «ночная съемка Galaxy S26» из метаданных, используя consistency learning или классификаторы.
   4. Объем индексируется с этой меткой.
5. Результат: Когда пользователь ищет «как Galaxy S26 снимает ночью», Google может идентифицировать этот конкретный маркированный объем как высокорелевантный и показать его в результатах поиска (например, как Key Moment или отдельный клип).

Вопросы и ответы