Как Google автоматически распознает лица в видео для аннотирования контента и улучшения поиска

Описание

Какую задачу решает

Патент решает проблему масштабируемости и точности аннотирования больших объемов видеоконтента. Ручное тегирование имен людей в видео требует значительных усилий, непоследовательно и непрактично в масштабах интернета. Существующие методы распознавания также сталкивались с трудностями из-за вариативности внешнего вида людей (поза, освещение, возраст) и низкого качества видео. Изобретение автоматизирует процесс идентификации людей для улучшения организации и поиска видео.

Что запатентовано

Запатентована система автоматического аннотирования видео, состоящая из двух ключевых компонентов. Первый — генератор моделей лиц (Face Model Generator), который автономно создает базу данных моделей лиц (Database of Face Models), используя общедоступные корпусы текстов и изображений. Второй — модуль распознавания лиц в видео (Video Face Recognition Module), который использует сложные методы отслеживания (tracking) и кластеризации (clustering) для надежной идентификации людей в видеопотоке и их аннотирования.

Как это работает

Система работает в два этапа:

1. Генерация моделей (Офлайн): Система анализирует текстовые и графические корпусы (например, новостные архивы) для выявления популярных имен. Она находит связанные изображения, извлекает лица и генерирует начальные модели. Для фильтрации шума и повышения надежности используется техника Consistency Learning.
2. Распознавание в видео (Индексирование): При обработке видео система обнаруживает и отслеживает лица, создавая Face Tracks. Она использует многоуровневую кластеризацию (Intra-track и Inter-track) для выбора ключевых изображений (Key Face Images) и группировки появлений одного человека. Затем эти данные сравниваются с базой моделей лиц, и видео аннотируется именами распознанных людей.

Актуальность для SEO

Высокая. Понимание мультимедийного контента и идентификация сущностей (людей) критически важны для Google (особенно для YouTube и Видеопоиска). Хотя конкретные алгоритмы компьютерного зрения, упомянутые в патенте 2008 года (например, признаки Габора в описании), могли быть заменены современными методами глубокого обучения, общая архитектура системы — автоматическое построение базы знаний и сложная обработка видеопотока — остается крайне актуальной.

Важность для SEO

Влияние на SEO значительно (7.5/10), особенно для Video SEO. Патент описывает механизм, позволяющий Google понять, кто именно находится в видео, не полагаясь только на метаданные, предоставленные пользователем. Это напрямую влияет на то, как видео индексируется и ранжируется по запросам, включающим имена людей, и способствует интеграции видеоконтента с Графом Знаний (Knowledge Graph).

Детальный разбор

Термины и определения

Consistency Learning (Согласованное обучение)

Техника машинного обучения (упоминается как bagging technique), используемая для фильтрации зашумленных данных при построении Database of Face Models. Позволяет выбрать надежные модели из большого количества слабо связанных изображений, найденных в интернете.

Database of Face Models (База данных моделей лиц)

Хранилище, содержащее одну или несколько Face Models для каждого идентифицированного человека, а также связанные с ними текстовые метки (например, имена).

Face Model (Модель лица)

Математическое представление лица человека, основанное на Feature Vectors. Используется для сравнения и распознавания.

Face Track (Трек лица)

Последовательность обнаружений одного и того же лица в последовательных кадрах видео, полученная в результате отслеживания.

Feature Vector (Вектор признаков)

Набор числовых значений, описывающих специфические свойства обнаруженного лица. Используется для создания Face Model.

Inter-track Clustering (Межтрековая кластеризация)

Процесс группировки разных Face Tracks, которые принадлежат одному и тому же человеку в рамках одного видео (например, если человек покинул кадр и вернулся).

Intra-track Clustering (Внутритрековая кластеризация)

Процесс группировки изображений внутри одного Face Track для учета вариаций (поза, мимика) и выбора репрезентативных Key Face Images.

Key Face Images (Ключевые изображения лиц)

Репрезентативный набор изображений, выбранных из Face Track путем кластеризации. Используются для надежного распознавания и снижения влияния шума.

Shot Boundary (Граница сцены)

Точка в видео, где происходит смена сцены или ракурса камеры. Используется для повышения эффективности отслеживания лиц.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации лиц в видео.

1. Генерация одного или нескольких Face Tracks из входного видеопотока.
2. Выбор одного или нескольких Key Face Images для каждого трека.
3. Кластеризация треков для генерации Face Clusters (каждый кластер ассоциирован с ключевыми изображениями).
4. Создание Face Models из кластеров. Важное уточнение: модели выводятся непосредственно из признаков (features) ключевых изображений, связанных с кластером.
5. Корреляция (сопоставление) этих моделей с Face Model Database.

Claim 8 (Независимый пункт): Описывает архитектуру системы для идентификации лиц.

1. Face Model Database, содержащая записи с моделями лиц и именами.
2. Video Face Identifier Module, включающий:
   • Модули обнаружения и отслеживания лиц (генерируют Face Tracks).
   • Модули Intra-track и Inter-track Clustering.
   • Модуль генерации моделей лиц (использует кластеры; модели выводятся из признаков выбранных изображений).
   • Модуль сравнения моделей (сравнивает с базой данных).

Claim 9 (Зависимый от 8): Дополняет систему модулем Face Model Generator (описывает офлайн-процесс построения базы).

1. Генерация списка имен.
2. Поиск изображений, связанных с этими именами.
3. Обнаружение лиц на изображениях.
4. Генерация начальных моделей лиц.
5. Сбор пар модель/имя.
6. Применение Consistency Learning для выбора репрезентативных моделей и их сохранения в базе данных.

Где и как применяется

Изобретение охватывает процессы, происходящие как офлайн (построение базы знаний), так и во время индексирования мультимедийного контента.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента.

1. Офлайн-процесс (Построение базы знаний): Система анализирует внешние Text Corpus и Image Corpus (например, интернет-новости, архивы). Происходит извлечение признаков (идентификация имен, обнаружение связанных лиц) и построение Database of Face Models. Это механизм обогащения базы знаний Google визуальными данными о сущностях (людях).
2. Индексирование видео: При индексировании контента из Video Corpus (например, на YouTube) активируется Video Face Recognition Module. Система анализирует видеопоток, извлекает и идентифицирует лица. Результатом является аннотирование видео (создание Database of Annotated Video).

RANKING – Ранжирование
Результаты работы системы (аннотированное видео) используются поисковой системой. При обработке запроса, связанного с персоной, система использует эти аннотации для поиска и ранжирования релевантных видео в вертикали Видео или в блоках универсального поиска.

Входные данные:

• Текстовые и графические корпусы (для генерации моделей).
• Видеопоток (для распознавания).
• Database of Face Models (для идентификации).

Выходные данные:

• Обновленная Database of Face Models.
• Database of Annotated Video (метаданные о присутствующих людях и времени их появления).

На что влияет

• Конкретные типы контента: В первую очередь влияет на видеоконтент (интервью, новостные сюжеты, конференции, видеоблоги).
• Специфические запросы: Запросы, связанные с персоналиями (имена знаменитостей, политиков, экспертов).
• Конкретные ниши или тематики: Новости, развлечения, спорт, образование — любые тематики, где ключевую роль играют известные личности, для которых в интернете достаточно данных для построения модели.

Когда применяется

• Генерация моделей: Происходит офлайн и периодически обновляется для анализа новых данных в текстовых и графических корпусах интернета.
• Распознавание в видео: Применяется во время индексации нового видеоконтента или при переиндексации существующего.
• Условия работы: Требуется наличие достаточно четкого изображения лица в видео для обнаружения и отслеживания. Для распознавания необходимо наличие предварительно созданной модели лица в базе данных.

Пошаговый алгоритм

Процесс А: Генерация базы моделей лиц (Офлайн)

1. Определение имен: Анализ Text Corpus (например, новостных архивов) для выявления часто встречающихся имен (популярных персон).
2. Поиск изображений: Поиск в Image Corpus изображений, ассоциированных с этими именами (например, по подписям или окружающему тексту).
3. Обнаружение лиц: Анализ найденных изображений для обнаружения лиц.
4. Генерация векторов признаков: Создание Feature Vectors для каждого обнаруженного лица.
5. Хранение пар: Сохранение векторов и ассоциированных имен (начальный набор данных с шумом).
6. Обучение согласованности: Применение Consistency Learning к собранным данным для фильтрации шума, отбрасывания неверных ассоциаций и выбора надежных, репрезентативных Face Models.
7. Сохранение: Запись надежных моделей в Database of Face Models.

Процесс Б: Распознавание лиц в видео (Индексирование)

1. Получение видео.
2. Обнаружение и отслеживание лиц: Система чередует ресурсоемкое обнаружение лиц и более быстрое отслеживание (tracking) для создания Face Tracks. Определяются границы сцен (Shot Boundary) для сброса трекинга.
3. Выбор ключевых лиц (Intra-track Clustering): Внутри каждого трека изображения группируются для выбора Key Face Images. Кластеры с малым количеством изображений или не фронтальными лицами могут отбрасываться для уменьшения шума.
4. Кластеризация треков (Inter-track Clustering): Разные треки, принадлежащие одному и тому же человеку в видео, группируются вместе на основе схожести их Key Face Images.
5. Распознавание лиц: Сравнение моделей из кластеров с Database of Face Models. Для определения личности используется комбинация алгоритма большинства голосов (Majority Voting) и вероятностного голосования (Probabilistic Voting), учитывающего оценку уверенности (Confidence Score).
6. Аннотирование: Если личность установлена (порог уверенности превышен), видео аннотируется и сохраняется в Database of Annotated Video.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст, окружающий изображения (подписи, текст статьи). Используется на этапе генерации моделей для установления первоначальной (слабой) связи между именем и изображением лица.
• Мультимедиа факторы: Изображения (Image Corpus) и Видео (Video Corpus). Анализируются пиксельные данные для обнаружения лиц и извлечения визуальных признаков.
• Пользовательские факторы: Патент упоминает возможность добавления пользователем вручную пар изображение-имя в базу данных (Claim 14).

Какие метрики используются и как они считаются

• Feature Vectors (Векторы признаков): Извлекаются из изображений лиц. В описании патента упоминается возможность использования local Gabor features, извлеченных из точек лицевых признаков.
• Distance/Similarity (Расстояние/Схожесть): Метрика для сравнения двух изображений лиц на основе их Feature Vectors. Используется для всех этапов кластеризации.
• Confidence Score (Оценка уверенности): Метрика, указывающая на надежность сопоставления лица в видео с моделью в базе данных. Используется в Probabilistic Voting.
• Методы анализа и алгоритмы:
  • Детекция и Трекинг: Упоминаются Cascade of boosted classifiers (для обнаружения) и Facial feature based tracking (для отслеживания).
  • Кластеризация: Упоминаются Hierarchical clustering и/или k-means clustering.
  • Распознавание: Majority voting и Probabilistic voting. Упоминается возможность использования k-nearest neighbor algorithm.
  • Очистка данных: Consistency Learning (техника бэггинга).

Выводы

1. Автоматизация понимания видеоконтента: Патент демонстрирует, как Google автоматически идентифицирует сущности (людей) внутри видео без опоры на предоставленные пользователем метаданные. Это ключевой шаг для глубокого понимания содержания видео.
2. Построение визуального профиля сущности из Веб-данных: Система способна самостоятельно формировать базу знаний (Face Models), используя неструктурированные и шумные данные интернета (текст + картинки). Consistency Learning критически важен для этого процесса.
3. Устойчивость к шуму и вариативности: Система разработана с учетом низкого качества видео и изменений во внешности. Для этого используются сложные механизмы отслеживания и многоуровневой кластеризации (Intra/Inter-track) для выбора лучших кадров (Key Face Images).
4. Улучшение поиска мультимедиа: Конечная цель — автоматическое аннотирование видео для того, чтобы сделать его доступным для поиска по именам людей, которые в нем появляются, что напрямую влияет на Video SEO.

Практика

Best practices (это мы делаем)

• Оптимизация качества видеопродукции: Создавайте высококачественный видеоконтент с хорошим освещением. Убедитесь, что лица ключевых спикеров или участников показаны четко. Это облегчает работу модулей обнаружения и отслеживания лиц.
• Использование фронтальных ракурсов: Патент отмечает, что не фронтальные изображения могут отбрасываться как менее надежные. Старайтесь включать в монтаж кадры, где ключевые персоны смотрят в камеру.
• Построение четких ассоциаций Сущности (Entity Building): Работайте над онлайн-присутствием ваших экспертов. Публикуйте качественные, четко атрибутированные изображения этих людей в интернете (на официальном сайте, в новостях, пресс-релизах). Это предоставляет Google надежные данные для построения точной Face Model.
• Выравнивание метаданных с содержанием: Четко указывайте имена людей, появляющихся в видео, в метаданных (заголовок, описание, субтитры). Это помогает поисковой системе валидировать автоматические аннотации.

Worst practices (это делать не надо)

• Игнорирование содержания видео: Полагаться только на оптимизацию метаданных. Системы, подобные описанной, позволяют Google визуально верифицировать содержание ролика.
• Низкое качество съемки: Публикация видео с плохим освещением, размытыми лицами или лицами, снятыми с невыгодных ракурсов, затрудняет работу системы и снижает потенциал находимости видео по персональным запросам.
• Манипуляции с ассоциациями (Имя-Лицо): Попытки связать изображения случайных людей с именами знаменитостей. Механизм Consistency Learning предназначен для фильтрации такого рода шума.

Стратегическое значение

Патент подтверждает стратегическую важность распознавания сущностей (Entities) в мультимедийном контенте. Понимание того, кто присутствует в видео, позволяет Google напрямую связывать контент с узлами в Графе Знаний (Knowledge Graph). Для SEO это подчеркивает необходимость интеграции Video SEO и стратегий построения сущностей. Оптимизация переходит на уровень продакшена: важно не только то, о чем видео, но и то, насколько легко оно анализируется автоматическими системами.

Практические примеры

Сценарий: Улучшение видимости видео с участием эксперта компании

Цель: Обеспечить ранжирование видео по запросам, связанным с именем эксперта (Иван Иванов).

1. Этап 1: Entity Building (Подготовка данных для Face Model):
   • На официальном сайте и в авторитетных СМИ публикуются качественные фото Ивана Иванова с корректными подписями.
   • Результат: Google (Процесс А) собирает эти данные и строит точную Face Model для Ивана Иванова.
2. Этап 2: Video Production и SEO:
   • Записывается видео интервью с Иваном в высоком качестве, с хорошим освещением и фронтальными планами.
   • Видео публикуется с оптимизированными метаданными.
3. Этап 3: Индексация и Распознавание:
   • При индексации Google (Процесс Б) успешно отслеживает лицо Ивана (Face Tracking) и выбирает качественные кадры (Key Face Images).
   • Система уверенно идентифицирует Ивана, сравнивая данные с его Face Model, и аннотирует видео.
4. Финальный результат: Видео высоко ранжируется в поиске по запросу «Иван Иванов интервью» благодаря автоматической аннотации и может отображаться в виде ключевого момента (Key Moment).

Вопросы и ответы