Как Google динамически выбирает лучший кадр из видео (thumbnail) и точку воспроизведения под конкретный запрос пользователя

Термины и определения

Embedding Layer (Слой встраивания/Эмбеддинга)

Дополнительный слой нейронной сети, добавляемый к сети классификации изображений. Его задача — преобразовать выходные данные классификатора в векторное представление кадра (Frame Representation) в нужном многомерном пространстве.

Frame Representation (Векторное представление кадра)

Вектор числовых значений в многомерном пространстве, представляющий семантическое содержание видеокадра. Находится в том же пространстве, что и представления текста.

High-dimensional space (Многомерное пространство)

Векторное пространство, используемое для представления слов, запросов и кадров. Близость расположения векторов в этом пространстве отражает семантическое сходство между элементами.

Image Classification Neural Network (Нейронная сеть для классификации изображений)

Модель машинного обучения (например, глубокая сверточная нейронная сеть, CNN), обученная распознавать объекты на изображении и присваивать ему оценки меток (Label Scores).

Label Representation (Векторное представление метки)

Векторное представление термина, используемого в качестве метки для классификации (например, «лошадь»). Обычно эквивалентно Term Representation этой метки.

Label Scores (Оценки меток)

Выходные данные классификатора изображений. Набор оценок, где каждая оценка показывает вероятность того, что кадр содержит объект, соответствующий определенной метке.

Query Representation (Векторное представление запроса)

Вектор числовых значений в многомерном пространстве, представляющий семантику поискового запроса. Обычно вычисляется путем комбинирования Term Representations слов запроса.

Representative Frame (Репрезентативный кадр)

Кадр из видео, выбранный системой как наиболее соответствующий поисковому запросу. Используется как thumbnail и потенциальная точка начала воспроизведения.

Term Representation (Векторное представление термина)

Вектор числовых значений в многомерном пространстве, представляющий семантику слова (аналогично Word2Vec).

Training Triplets (Обучающие триплеты)

Набор данных для обучения модифицированной нейронной сети. Триплет состоит из: (1) видеокадра, (2) позитивного представления запроса (запрос, который привел к клику на это видео), и (3) негативного представления запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы.

1. Система получает поисковый запрос.
2. Определяется Query Representation (вектор в многомерном пространстве).
3. Идентифицируется набор релевантных видео. Для каждого кадра этих видео имеется Frame Representation (вектор в том же пространстве).
4. Для каждого видео выбирается репрезентативный кадр путем сравнения Query Representation и Frame Representations.
5. Генерируется ответ на запрос, где для каждого видео отображается выбранный репрезентативный кадр.

Ядро изобретения — это динамический выбор отображаемого кадра на основе сравнения векторных представлений запроса и кадров в общем семантическом пространстве.

Claim 2 (Зависимый от 1): Уточняет, что результат поиска включает ссылку для воспроизведения видео, начиная с репрезентативного кадра. Это техническая основа для функции "Key Moments" (Deep Linking).

Claim 3 и 4 (Зависимые): Детализируют механизм выбора кадра.

1. Вычисляется мера расстояния (distance measure) между вектором запроса и вектором каждого кадра.
2. В качестве репрезентативного выбирается кадр, чей вектор наиболее близок к вектору запроса.

Claim 5 и 6 (Зависимые): Описывают механизм контроля качества выбора (Fallback).

1. На основе мер расстояния генерируется вероятность (оценка уверенности).
2. Проверяется, превышает ли наивысшая вероятность пороговое значение.
3. Если ДА: Выбирается кадр с наивысшей вероятностью.
4. Если НЕТ: Выбирается кадр по умолчанию (default frame), например, статичный thumbnail.

Claim 9 и 10 (Зависимые): Описывают первый метод генерации Frame Representation (Метод 1).

1. Кадр обрабатывается CNN для получения Label Scores (вероятностей наличия объектов).
2. Для каждой метки вычисляется взвешенное представление путем умножения Label Score на Label Representation (вектор текста метки).
3. Frame Representation вычисляется как сумма этих взвешенных представлений.

Этот метод позволяет перенести кадр в текстовое векторное пространство через распознанные объекты.

Claim 11, 12 и 13 (Зависимые): Описывают второй метод генерации Frame Representation (Метод 2) и его обучение.

1. Используется модифицированная сеть с Embedding Layer для прямой генерации вектора кадра.
2. Эта сеть обучается на Training Triplets (кадр, позитивный запрос, негативный запрос), используя данные о поведении пользователей (клики).

Этот метод позволяет напрямую обучить сеть генерировать векторы кадров, которые будут близки к релевантным поисковым запросам.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, обеспечивая связь между индексированием визуального контента и представлением результатов.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная предварительная обработка. Система анализирует видео, извлекает кадры и вычисляет Frame Representations для каждого кадра с использованием моделей машинного обучения (CNN). Эти векторные представления сохраняются в базе данных (Frame Representations repository). Также на этом этапе происходит обучение моделей (Процесс В).

QUNDERSTANDING – Понимание Запросов
При получении запроса система использует базу данных Term Representations для вычисления Query Representation. Это происходит в реальном времени.

RANKING – Ранжирование
Стандартный поисковый движок (Video Search Engine) определяет набор видео, релевантных запросу. Описанный в патенте механизм использует результаты этого этапа.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
На финальном этапе формирования выдачи активируется система выбора репрезентативного кадра (Representative Frame System). Она динамически выбирает, какой кадр показать и с какого момента начать воспроизведение, сравнивая Query Representation с Frame Representations.

Входные данные:

• Поисковый запрос.
• Набор релевантных видео.
• База данных Term Representations.
• База данных Frame Representations.

Выходные данные:

• Результаты поиска с динамически выбранными репрезентативными кадрами (thumbnails).
• Таймкоды (ссылки) для начала воспроизведения с выбранного кадра (Deep Links).

На что влияет

• Конкретные типы контента: В первую очередь влияет на видеоконтент (Video Search, YouTube, видео в веб-выдаче).
• Специфические запросы: Наибольшее влияние на информационные запросы типа «как сделать», обучающие материалы, обзоры продуктов, где ответ содержится в определенном фрагменте длинного видео.
• Форматы контента: Длинные видео с разнообразным визуальным рядом получают больше преимуществ, так как система имеет больше возможностей для выбора релевантного кадра под разные запросы.

Когда применяется

Алгоритм применяется при выполнении следующих условий:

• Триггеры активации: Когда в ответ на запрос поисковая система решает показать видеорезультаты.
• Условия работы: Система должна иметь предварительно рассчитанные Frame Representations для этих видео.
• Пороговые значения: Механизм динамического выбора активируется, только если система может найти кадр, чья близость к запросу превышает определенный порог уверенности (threshold value). Если уверенность низкая, используется кадр по умолчанию (default frame).

Пошаговый алгоритм

Процесс А: Обработка запроса и выбор кадра (Онлайн)

1. Получение запроса: Система получает поисковый запрос от пользователя.
2. Вычисление Query Representation: Система определяет Term Representations для слов в запросе и комбинирует их (например, усредняет) для получения Query Representation.
3. Идентификация релевантных видео: Поисковый движок определяет список видео, отвечающих запросу.
4. Сравнение векторов: Для каждого видео система извлекает Frame Representations всех его кадров. Вычисляется мера расстояния (например, косинусное сходство) между Query Representation и каждым Frame Representation.
5. Идентификация лучшего кадра: Определяется кадр, чей вектор наиболее близок к вектору запроса.
6. Проверка порога уверенности: Система проверяет, достаточно ли близок лучший кадр к запросу (превышает ли соответствующая вероятность пороговое значение).
   • Если ДА: Этот кадр выбирается как репрезентативный.
   • Если НЕТ: Выбирается кадр по умолчанию.
7. Генерация ответа: Формируется поисковая выдача. Видеорезультаты включают репрезентативный кадр (thumbnail) и ссылку для воспроизведения, начиная с этого кадра (Deep Link).

Процесс Б: Генерация Frame Representations (Офлайн)

Вариант 1: Использование классификатора и взвешивания (Claims 9, 10)

1. Классификация: Обработка кадра с помощью Image Classification Neural Network (CNN) для получения Label Scores (вероятностей наличия объектов).
2. Взвешивание меток: Каждая Label Score умножается на соответствующую Label Representation (текстовый вектор метки).
3. Агрегация: Полученные взвешенные векторы суммируются для формирования итогового Frame Representation.

Вариант 2: Использование модифицированной сети и Embedding Layer (Claim 11)

1. Обработка сетью: Кадр обрабатывается модифицированной нейронной сетью (включающей Embedding Layer), обученной в Процессе В.
2. Генерация вектора: Embedding Layer преобразует результаты классификации в итоговый Frame Representation.

Процесс В: Обучение модифицированной сети (Офлайн, для Варианта 2) (Claims 12, 13)

1. Сбор данных: Получение набора обучающих видео и связанных с ними поисковых запросов (запросы, по которым пользователи кликали на эти видео).
2. Генерация триплетов: Формирование Training Triplets: (Кадр, Позитивный запрос, Негативный запрос).
3. Обучение сети: Обучение модифицированной нейронной сети с целью минимизации функции потерь. Цель — сделать расстояние между кадром и позитивным запросом меньше, чем расстояние между кадром и негативным запросом.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Видеокадры. Являются основным источником данных для генерации Frame Representations. Анализируется пиксельное содержание изображений с помощью CNN.
• Контентные (Текстовые) факторы:
  • Термины поискового запроса (для Query Representation).
  • Метки (Labels) для классификации изображений (например, "собака", "мяч") (для Label Representations).
• Поведенческие факторы: Используются для обучения модели (Процесс В). Система использует данные о том, какие запросы привели к выбору (клику) конкретного видео (search queries that are associated with the training video) для формирования Training Triplets.
• Системные данные: Предварительно вычисленные Term Representations (векторы слов).

Какие метрики используются и как они считаются

• Distance Measure (Мера расстояния): Метрика для определения близости между векторами в многомерном пространстве. Упоминаются косинусное сходство (cosine similarity), Евклидово расстояние, расстояние Хэмминга. Используется для сравнения Query Representation и Frame Representation.
• Label Scores (Оценки меток): Вероятности, вычисляемые нейронной сетью, отражающие наличие определенных объектов на кадре.
• Probability (Вероятность/Уверенность): Метрика, используемая для проверки порога. Может вычисляться путем калибровки мер расстояния с использованием моделей (например, изотонической или логистической регрессии). Отражает вероятность того, что кадр точно представляет видео относительно запроса.
• Loss Function (Функция потерь): Используется при обучении модифицированной нейронной сети (Процесс В). Зависит от позитивного и негативного расстояний в триплетах.

1. Кросс-модальное понимание контента: Патент демонстрирует механизм, позволяющий Google напрямую связывать семантику текста (запрос) с семантикой изображения (кадр) путем помещения их в общее векторное пространство. Система понимает визуальное содержание видео на глубоком уровне.
2. Покадровая оценка релевантности: Релевантность видео оценивается не только на уровне всего видео (метаданные), но и на уровне отдельных кадров в контексте конкретного запроса.
3. Динамическая генерация сниппетов и Deep Linking: Система переопределяет стандартные thumbnails и точки входа в видео в реальном времени, адаптируя выдачу под интент пользователя. Это техническая основа для функций типа "Key Moments".
4. Два подхода к созданию векторов изображений: Описаны два ключевых метода переноса изображений в текстовое пространство: (1) через распознавание объектов и взвешивание их текстовых векторов, и (2) через прямое обучение эмбеддинга с использованием данных о поиске и кликах.
5. Использование поведенческих данных для обучения ML-моделей: Данные о кликах пользователей (какие запросы ведут к каким видео) используются для обучения систем компьютерного зрения понимать визуальную релевантность контента (Метод 2).
6. Механизм контроля качества (Fallback): Система включает предохранитель (порог уверенности), чтобы не показывать динамический кадр, если нет высокой уверенности в его релевантности, и откатываться к стандартному представлению.

Best practices (это мы делаем)

• Обеспечение визуального разнообразия и ясности: Создавайте видео с богатым и разнообразным визуальным рядом. Чем больше различных сцен, объектов и действий показано в видео, тем выше вероятность, что система найдет кадр, точно соответствующий специфическому запросу. Качество изображения должно быть высоким для корректной работы CNN.
• Четкая визуализация ключевых тем: Убедитесь, что основные темы видео имеют четкое визуальное представление. Если видео о том, "как заменить картридж в принтере X", в нем должны быть крупные планы принтера, картриджа и процесса замены. Это позволит системе точно сопоставить Frame Representation этого момента с соответствующим запросом.
• Структурирование длинных видео: Четкая структура видео помогает создавать семантически разделенные сегменты. Это увеличивает шансы на точное выделение "Key Moments" для разных запросов. Дополнение автоматического анализа ручными таймкодами (главами) является лучшей практикой.
• Анализ визуальной релевантности: При планировании контента думайте о том, что будет показано. Визуальный ряд должен быть самодостаточным для понимания контекста сегмента и соответствовать целевым поисковым интентам.

Worst practices (это делать не надо)

• Визуальная монотонность: Видео, состоящие из статических слайдов или долгого показа одного плана (например, "говорящая голова" без визуальных вставок), предоставляют системе мало возможностей для выбора релевантных кадров под разные запросы.
• Несоответствие визуального ряда и темы: Если видео ранжируется по определенным запросам, но визуально не содержит ничего, связанного с этими темами (например, использование нерелевантных стоковых футажей), система не сможет найти релевантный Frame Representation и будет использовать стандартный thumbnail.
• Использование кликбейтных обложек: Попытки манипулировать CTR с помощью нерелевантных статических обложек становятся менее эффективными, так как описанная система может динамически заменить их на реальный кадр из видео, если найдет его более релевантным запросу.

Стратегическое значение

Этот патент подтверждает переход Google к глубокому анализу содержания видеоконтента, выходящему далеко за рамки анализа метаданных и аудиодорожки. Визуальная составляющая является полноценным источником семантической информации. Для долгосрочной стратегии Video SEO критически важно инвестировать в качество продакшена и обеспечивать высокую визуальную релевантность контента на протяжении всего видео. Патент подчеркивает важность удовлетворения интента пользователя путем предоставления прямого доступа к нужному фрагменту контента.

Практические примеры

Сценарий: Оптимизация видео-обзора ноутбука

Видео: "Полный обзор MacBook Pro M3" (длительность 15 минут).

1. Запрос 1: "MacBook Pro M3 время работы батареи".
   • Работа системы: Google анализирует кадры видео. Находит сегмент (например, 10:00-11:30), где показаны графики тестов батареи. Векторы этих кадров (Frame Representations) оказываются наиболее близки к вектору запроса (Query Representation).
   • Результат: В выдаче показывается thumbnail с графиком теста батареи, ссылка ведет на 10:00.
2. Запрос 2: "MacBook Pro M3 порты".
   • Работа системы: Система находит сегмент (например, 03:00-04:00), где показаны крупные планы корпуса с портами Thunderbolt и HDMI. Векторы этих кадров наиболее близки к новому запросу.
   • Результат: В выдаче показывается thumbnail с изображением портов, ссылка ведет на 03:00.

Действия SEO-специалиста: Убедиться, что при монтаже видеообзора для каждого ключевого аспекта (батарея, порты, экран, производительность) были использованы четкие, крупные и информативные планы или графика, чтобы система компьютерного зрения могла их корректно классифицировать и создать релевантные Frame Representations.