Как Google реализует интерактивный визуальный поиск объектов и людей внутри видеоконтента

Термины и определения

Character Recognition Algorithm (Алгоритм распознавания символов)

Метод (OCR), используемый для извлечения текста из изображения (например, с этикетки продукта в кадре) для последующей идентификации объекта.

Image Matching Module (Модуль сопоставления изображений)

Компонент системы (сервер или API), отвечающий за сравнение выделенных элементов кадра с базой данных известных изображений для их идентификации.

Items (Элементы)

Объекты, человеческие лица, текст, сцены или любые другие распознаваемые части изображения.

Known Identity (Известная идентичность)

Статус элемента, когда система однозначно идентифицировала его.

Overlay (Оверлей)

Слой интерфейса, отображаемый поверх основного видеоконтента, используемый для показа результатов поиска, информации о выбранном элементе и гиперссылок.

Plurality of Known Identities (Множество известных идентичностей)

Статус элемента, когда система нашла несколько потенциальных совпадений (например, похожие модели часов), требующих уточнения пользователя.

Predetermined Item Identifier Data (Предопределенные данные идентификатора элемента)

Метаданные, встроенные непосредственно в видеоконтент (например, продюсером), которые позволяют системе идентифицировать элементы без необходимости визуального распознавания.

Visual Indication (Визуальная индикация)

Графический элемент интерфейса. Патент разделяет First visual indication (индикация статуса поиска: идет/завершен) и Second visual indication (индикация статуса идентификации: известен/неизвестен/множество).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основную систему интерактивного поиска в видео.

1. Система получает видеоконтент.
2. Получает запрос пользователя на выбор изображения (кадра) из видео.
3. Определяет множество элементов (plurality of items) в кадре.
4. Проводит поиск для идентификации этих элементов, одновременно предоставляя первую визуальную индикацию для обозначения статуса поиска (изменение состояния с "поиск идет" на "поиск завершен").
5. На основе поиска определяет, что первый элемент имеет known identity (известен), а второй элемент имеет plurality of known identities (множество вариантов).
6. Предоставляет вторую визуальную индикацию для обозначения статуса идентификации путем подсветки элементов. Подсветка первого элемента отличается цветом от подсветки второго элемента, чтобы визуально различить их статусы уверенности.
7. Получает выбор пользователя одного из элементов.
8. Извлекает информацию о выбранном элементе.
9. Предоставляет данные для отображения в оверлее поверх видео, включая гиперссылку для получения дополнительной информации.

Claim 8 (Независимый пункт): Описывает аналогичный метод, но уточняет, что запрос пользователя инициируется командой паузы (pause command).

Claim 2 и 9 (Зависимые): Уточняют, что идентификация может включать выполнение Character Recognition Algorithm (OCR) для определения текста на изображении.

Система может использовать OCR для чтения текста (например, названия бренда на продукте) как часть процесса идентификации объекта.

Claim 3 и 10 (Зависимые): Уточняют, что идентификация может использовать Predetermined Item Identifier Data, встроенные в видеоконтент.

Производители контента могут встраивать метаданные в видеопоток, чтобы помочь системе точно распознать показанные объекты.

Claim 4 и 11 (Зависимые): Указывают на применение системы для рекламы, где изображение содержит рекламу (advertisement) с гиперссылкой на сайт рекламодателя.

Где и как применяется

Изобретение применяется в среде просмотра видео (например, Smart TV, веб-плеер) и затрагивает следующие этапы поиска:

INDEXING – Индексирование и извлечение признаков
Система полагается на предварительно созданные индексы и модели для визуального распознавания. Image Matching Module должен иметь доступ к обширной базе данных изображений и связанных с ними сущностей (Knowledge Graph). Также на этом этапе могут быть встроены или обработаны Predetermined Item Identifier Data.

QUNDERSTANDING – Понимание Запросов
В данном контексте «запрос» является визуальным и интерактивным. Система интерпретирует действия пользователя (пауза видео, выбор объекта) как намерение получить информацию. Автоматическое выделение объектов в кадре является частью понимания визуального контекста.

METASEARCH – Метапоиск и Смешивание
Основное применение патента. Система выполняет поиск информации об идентифицированной сущности (используя визуальный индекс, базу знаний, рекламный сервер) и смешивает результаты с основным видеоконтентом в виде интерактивного слоя (overlay).

Входные данные:

• Видеоконтент (включая потенциальные встроенные метаданные).
• Запрос пользователя на активацию поиска (например, пауза).
• Изображение (стоп-кадр).
• Выбор пользователем конкретного элемента.

Выходные данные:

• Визуальные индикаторы статуса поиска (First visual indication).
• Визуальные индикаторы статуса идентификации (Second visual indication – например, цветные рамки).
• Оверлей с информацией о выбранном элементе и гиперссылками.

На что влияет

• Конкретные типы контента: В первую очередь влияет на видеоконтент (фильмы, сериалы, обзоры продуктов, рекламные ролики).
• Специфические запросы: Влияет на неявные информационные и коммерческие запросы, возникающие при просмотре ("Кто этот актер?", "Что это за часы?").
• Конкретные ниши или тематики: Сильное влияние на E-commerce (идентификация продуктов в кадре), развлечения (идентификация актеров, локаций), и рекламу (интерактивные рекламные вставки).

Когда применяется

• Условия работы алгоритма: Требуется воспроизведение видеоконтента на совместимом устройстве или программном обеспечении.
• Триггеры активации: Активируется исключительно по действию пользователя – нажатие кнопки "Image Search" или команды паузы (pause command).

Пошаговый алгоритм

1. Получение контента: Система принимает поток видеоконтента от источника.
2. Инициация поиска: Пользователь подает команду (например, ставит видео на паузу) для анализа текущего кадра.
3. Захват и сохранение: Изображение (кадр) сохраняется в памяти.
4. Идентификация элементов: Система анализирует изображение для определения множества потенциальных элементов (объектов, лиц, текста).
5. Параллельный поиск: Система инициирует поиск для идентификации каждого элемента. Это может включать:
   • Отправку данных в Image Matching Module (визуальное сопоставление).
   • Выполнение Character Recognition Algorithm (OCR).
   • Проверку наличия Predetermined Item Identifier Data (метаданные).
6. Отображение статуса поиска (Первая индикация): Во время поиска система отображает индикатор процесса для каждого элемента (например, пульсирующая рамка), который меняется по завершении поиска.
7. Определение статуса идентификации: На основе результатов поиска каждому элементу присваивается статус: Known Identity, Plurality of Known Identities или Неизвестен.
8. Отображение статуса идентификации (Вторая индикация): Система подсвечивает элементы, используя разные цвета для визуального различения статусов уверенности.
9. Выбор пользователя: Система получает выбор одного из подсвеченных элементов от пользователя.
10. Извлечение информации: Система извлекает детальную информацию о выбранном элементе. Если выбрано "Множество идентичностей", может быть запрошено уточнение.
11. Отображение результатов: Система предоставляет информацию и гиперссылки в оверлее поверх видеоконтента.

Какие данные и как использует

Данные на входе

Система использует следующие данные для идентификации элементов:

• Мультимедиа факторы (Визуальные данные): Пиксельные данные изображения (стоп-кадра). Это основной источник данных для Image Matching Module.
• Контентные факторы (Текст на изображении): Текст, извлеченный из изображения с помощью Character Recognition Algorithm (OCR).
• Технические факторы (Метаданные видео): Predetermined Item Identifier Data – встроенные в видеопоток идентификаторы, которые позволяют определить объект без визуального анализа.
• Пользовательские факторы (Взаимодействие): Явные действия пользователя – инициация поиска и выбор конкретного элемента.

Какие метрики используются и как они считаются

Патент не описывает метрики ранжирования (как Ranking Score), так как система фокусируется на идентификации.

• Search Status (Статус поиска): Бинарное состояние (Выполняется / Завершен). Используется для управления первым визуальным индикатором.
• Identification Status (Статус идентификации): Категориальная метрика уверенности, определяемая как Known Identity, Plurality of Known Identities или Неизвестен. Она рассчитывается на основе отчета от Image Matching Module. Вероятно, используются внутренние пороги уверенности (confidence thresholds) для определения, является ли совпадение однозначным, множественным или недостаточным.

1. Интеграция поиска и потребления контента: Патент описывает механизм бесшовной интеграции поисковых функций непосредственно в процесс просмотра видео. Это часть стратегии Google по переходу к контекстному и визуальному поиску.
2. Мультимодальное распознавание в сложных сценах: Система способна одновременно анализировать и идентифицировать множество различных объектов в одном кадре, используя разные методы (визуальное сопоставление, OCR, встроенные метаданные).
3. Важность обратной связи интерфейса: Особое внимание уделяется пользовательскому опыту. Патент защищает использование двух distinct типов визуальных индикаторов: один для статуса процесса поиска, другой для результата идентификации (включая различие между однозначным и множественным совпадением).
4. Векторы идентификации: Визуальное сходство, OCR и Метаданные: Патент четко определяет три пути идентификации объектов, что дает создателям контента разные возможности для оптимизации.
5. Монетизация и E-commerce: Патент явно предусматривает использование этой технологии для рекламы (advertising labels) и коммерции, позволяя связывать объекты в кадре с гиперссылками на сайты рекламодателей.

Best practices (это мы делаем)

Хотя патент описывает интерфейс и технологию распознавания, а не алгоритм ранжирования, он дает важные инсайты для стратегий Video SEO и Visual Search Optimization (VSEO).

• Обеспечение визуальной четкости (VSEO): Для успешной работы Image Matching Module необходимо, чтобы ключевые объекты, продукты, логотипы и лица были четко видны в видеоконтенте. Используйте качественное освещение и фокусировку при создании видео и изображений.
• Усиление связи Визуальный образ -> Сущность: Необходимо укреплять связь между визуальным представлением продукта/бренда и его сущностью в Knowledge Graph. Это достигается путем последовательного использования изображений на официальном сайте, в Google Merchant Center и использования микроразметки (Schema.org для Product, Organization, Person).
• Оптимизация текста в кадре (OCR): Если в видео присутствуют важные текстовые элементы (названия брендов, модели), убедитесь, что они достаточно крупные и контрастные для распознавания с помощью Character Recognition Algorithm.
• Использование метаданных в видео (Video SEO): Если платформа (например, YouTube Shopping) предоставляет возможность встраивать метаданные для идентификации продуктов (аналог Predetermined item identifier data), необходимо использовать эту функцию для гарантии точного распознавания.
• Мониторинг визуальной выдачи: Используйте инструменты визуального поиска (например, Google Lens) на кадрах из ваших видео, чтобы понять, как Google идентифицирует их. Если система предлагает Plurality of Known Identities, это может указывать на недостаточно уникальный визуальный образ.

Worst practices (это делать не надо)

• Использование нечетких или затемненных изображений: Публикация видео или изображений низкого качества, где ключевые элементы трудно различимы, снижает вероятность их успешной идентификации системами визуального поиска.
• Игнорирование визуальной идентичности: Отсутствие последовательной визуальной стратегии для продуктов и брендов затрудняет для Google формирование однозначной связи между визуальным образом и сущностью.
• Слишком мелкий или нечитаемый текст в видео: Размещение важной информации текстом, который невозможно прочитать или распознать с помощью OCR.

Стратегическое значение

Патент подтверждает долгосрочную стратегию Google на развитие визуального и контекстного поиска. Для SEO-специалистов это означает, что оптимизация больше не ограничивается текстом. Визуальное представление сущностей становится полноценным фактором в экосистеме поиска. Стратегия должна включать управление визуальными активами и обеспечение их распознаваемости алгоритмами машинного зрения, особенно в контексте роста популярности Video Commerce.

Практические примеры

Сценарий: Оптимизация видеообзора гаджета для интерактивного поиска

1. Задача: Убедиться, что новый смартфон, показанный в обзоре, будет распознан системой интерактивного поиска с использованием всех трех векторов идентификации.
2. Действия (Визуальное сопоставление): Показать смартфон крупным планом с разных ракурсов, акцентируя внимание на уникальных элементах дизайна (например, блоке камер), чтобы помочь Image Matching Module.
3. Действия (OCR): Четко показать коробку смартфона, где крупно написано название модели и бренд, чтобы Character Recognition Algorithm мог его прочитать.
4. Действия (Метаданные): Если платформа позволяет, использовать инструменты для маркировки продуктов в видео, указав точное соответствие смартфона в каталоге (используя аналог Predetermined item identifier data).
5. Ожидаемый результат: Когда пользователь ставит видео на паузу, система подсвечивает смартфон зеленым цветом (known identity). При выборе смартфона появляется оверлей с названием модели, характеристиками и гиперссылкой на страницу покупки в интернет-магазине.