Как Google автоматически понимает контекст запросов, заданных во время просмотра видео, используя временные метки и анализ N-грамм

Термины и определения

Entities (Сущности)

Значения, характеризующие объекты, представленные в мультимедийном контенте (например, имена людей, названия продуктов, локации). Извлекаются из контента, метаданных, комментариев или аннотаций.

Entity Extractor (Экстрактор сущностей)

Компонент, отвечающий за идентификацию и извлечение сущностей из мультимедийного контента и связанных данных.

Multimedia Content (Мультимедийный контент)

Контент, включающий видео, аудио, текст или их комбинацию. В патенте часто подразумевается потоковое видео (streaming video).

N-grams (N-граммы)

Непрерывные последовательности из N элементов (например, слов) из текста или речи. Используются для анализа истории запросов и определения вероятных связей между терминами запроса и типами сущностей.

Query Repository (Репозиторий/Хранилище запросов)

База данных или логи, хранящие историю поисковых запросов. Используется для анализа совместной встречаемости (co-occurrences) N-grams.

Query Rewrite Candidates (Кандидаты на переписанный запрос)

Варианты уточненных запросов, сгенерированные путем комбинирования исходного запроса пользователя с извлеченными контекстными сущностями.

Timestamps / Time Annotation (Временные метки / Временная аннотация)

Информация о времени, когда конкретная сущность появляется или упоминается в контенте. Критична для определения контекста в момент запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод контекстного поиска по мультимедийному контенту.

1. Система извлекает сущности (Entities) из мультимедийного контента.
2. Система получает запрос от пользователя во время потребления этого контента.
3. Автоматически генерируются кандидаты на переписывание запроса (Query Rewrite Candidates). Генерация включает ключевой механизм (ядро патента):
   • Оценка (Scoring) извлеченных сущностей. Оценка базируется на одном или нескольких факторах: (a) Времени, когда сущности аннотированы в контенте (временная релевантность), ИЛИ (b) Совместной встречаемости N-grams в репозитории запросов (вероятностная релевантность на основе истории поиска).
   • Ранжирование сущностей по этой оценке.
   • Комбинирование терминов запроса с высоко оцененными сущностями для создания кандидатов.
4. Кандидаты отправляются в поисковую систему.
5. Оценка кандидатов на основе характеристик полученных наборов результатов.
6. Ранжирование кандидатов.
7. Переписывание исходного запроса с использованием лучшего кандидата.
8. Предоставление набора результатов по переписанному запросу.

Изобретение защищает двухэтапный процесс оценки. Сначала оценивается релевантность самих сущностей (с учетом времени И/ИЛИ истории запросов), а затем оценивается качество результатов, которые генерируют переписанные запросы.

Claim 2 (Зависимый от 1): Уточняет критерии оценки кандидатов (Шаг 5).

Характеристики наборов результатов, используемые для оценки, включают: количество результатов, релевантность результатов терминам запроса и разнообразие (diversity) результатов (например, наличие текста, видео, аудио).

Claim 18 (Независимый пункт): Описывает систему, реализующую метод в конкретном сценарии.

Система получает запрос, относящийся к потоковому мультимедийному контенту. Уточняется, что запрос может быть предоставлен через голосовой ввод во время потребления. Процесс генерации и оценки аналогичен Claim 1. Система предоставляет результаты без прерывания потребления контента. Этот пункт подчеркивает важность бесшовной интеграции поиска в процесс просмотра.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, связывая понимание контента с пониманием и переписыванием запроса.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка мультимедийного контента. Entity Extractor анализирует контент, метаданные, комментарии и аннотации для извлечения сущностей и их временных меток (timestamps). Также происходит анализ Query Repository для построения моделей N-grams.

QUNDERSTANDING – Понимание Запросов
Основной этап применения патента. Когда пользователь задает запрос во время просмотра, система в реальном времени использует контекст (время просмотра) для извлечения релевантных сущностей. Происходит оценка этих сущностей (с использованием времени и N-grams) и генерация Query Rewrite Candidates. Это пример глубокой контекстуализации запроса.

RANKING / METASEARCH – Ранжирование / Метапоиск
Система выполняет предварительные поиски по сгенерированным кандидатам и анализирует характеристики полученных SERP (количество, разнообразие), чтобы выбрать лучший переписанный запрос. Финальные результаты отображаются пользователю.

Входные данные:

• Мультимедийный контент и связанные данные (метаданные, UGC).
• Запрос пользователя (текстовый или голосовой).
• Точное время запроса относительно временной шкалы контента.
• Query Repository (история поисковых запросов).

Выходные данные:

• Переписанный запрос, обогащенный контекстными сущностями.
• Набор поисковых результатов, предоставленный пользователю без прерывания потребления контента.

На что влияет

• Типы контента: Наибольшее влияние на видеоконтент, потоковое мультимедиа, прямые трансляции (Video SEO).
• Специфические запросы: Влияет на расплывчатые, неоднозначные или дейктические запросы (указывающие на контекст), заданные во время просмотра: «Кто это?», «Сколько это стоит?», «Где он играл?».
• Конкретные ниши: Фильмы, сериалы, обзоры продуктов (ecommerce), спорт, образовательный контент – везде, где важна идентификация объектов и людей на экране.

Когда применяется

• Триггеры активации: Пользователь отправляет поисковый запрос (текстом или голосом) во время активного потребления мультимедийного контента через поддерживаемый интерфейс.
• Условия работы: Наличие достаточного количества извлеченных и аннотированных сущностей, связанных с контентом, для генерации релевантных кандидатов.

Пошаговый алгоритм

Процесс А: Предварительная обработка (Офлайн / Индексирование)

1. Сбор данных: Анализ мультимедийного контента, метаданных, комментариев и аннотаций.
2. Извлечение сущностей: Идентификация сущностей (объекты, люди и т.д.).
3. Временное аннотирование: Присвоение временных меток моментам появления или упоминания каждой сущности в контенте.
4. Анализ логов запросов: Обработка Query Repository для определения совместной встречаемости N-grams.

Процесс Б: Обработка запроса (Реальное время)

1. Получение запроса и контекста: Система получает запрос от пользователя и фиксирует точное время запроса (T).
2. Оценка сущностей (Entity Scoring): Каждая извлеченная сущность оценивается на основе:
   • Временной релевантности: Насколько близко временная метка сущности находится ко времени T.
   • Вероятностной релевантности (N-gram analysis): Анализ Query Repository для определения вероятности того, что термины запроса относятся к типу данной сущности.
3. Ранжирование сущностей: Сущности сортируются по полученным оценкам.
4. Генерация кандидатов: Термины исходного запроса комбинируются с топовыми сущностями для создания Query Rewrite Candidates.
5. Оценка кандидатов (Candidate Scoring): Кандидаты отправляются в поисковую систему. Полученные результаты анализируются по характеристикам качества (количество, разнообразие, релевантность).
6. Ранжирование кандидатов: Кандидаты сортируются по их оценкам.
7. Переписывание запроса: Выбирается кандидат с наивысшим рейтингом. Исходный запрос заменяется этим кандидатом.
8. Предоставление результатов: Результаты поиска отображаются пользователю без прерывания потребления контента.

Какие данные и как использует

Данные на входе

Система использует следующие типы данных:

• Мультимедиа факторы: Видео и аудио контент, из которого могут быть извлечены сущности.
• Контентные и Структурные факторы (Метаданные): Названия файлов, описания видео, теги, транскрипты, временные метки (timestamps).
• Временные факторы: Временные метки, указывающие, когда сущность появляется в контенте. Точное время, когда пользователь задал запрос.
• Пользовательские данные (UGC): Комментарии и аннотации пользователей к контенту (user generated content), используемые для извлечения сущностей.
• Поведенческие факторы (Исторические данные): Query Repository – логи предыдущих поисковых запросов, используемые для анализа N-grams.
• Пользовательские факторы (Ввод): Исходный запрос пользователя (текст или голос).

Какие метрики используются и как они считаются

В патенте описаны две основные стадии оценки:

1. Entity Score (Оценка Сущности)
Метрика, определяющая релевантность извлеченной сущности к текущему контексту и запросу. Рассчитывается на основе:

• Temporal Relevance Score: Оценка, основанная на близости временной аннотации сущности к моменту запроса. Сущности на экране в момент запроса получают более высокую оценку.
• N-gram Co-occurrence Score: Оценка, основанная на анализе Query Repository. Определяет, насколько вероятно, что данная сущность или ее тип совместно встречается с терминами из запроса пользователя в исторических данных.

2. Query Rewrite Candidate Score (Оценка Кандидата на Переписывание)
Метрика, определяющая качество переписанного запроса. Рассчитывается на основе характеристик набора результатов, полученных при отправке кандидата в поисковую систему:

• Result Quantity: Количество полученных результатов.
• Result Diversity: Разнообразие типов результатов (видео, текст, изображения).
• Result Relevance: Релевантность полученных результатов.

1. Временной контекст критичен для Video SEO: Патент демонстрирует, как Google использует точную временную привязку (timestamps) для разрешения неоднозначности запросов. Релевантность сущности напрямую зависит от того, присутствует ли она на экране в момент запроса.
2. Двухэтапная валидация релевантности: Система использует сложный механизм оценки. Сначала оцениваются сами сущности (используя время и исторические данные N-grams), а затем валидируется качество результатов, которые генерируют переписанные запросы. Это обеспечивает высокую точность.
3. Использование исторических данных (Big Data) для понимания интента: Анализ N-grams в Query Repository позволяет системе предсказать, о каком типе сущности спрашивает пользователь, даже если запрос расплывчат.
4. Зависимость от качества метаданных и аннотаций: Эффективность системы напрямую зависит от качества и полноты извлеченных сущностей. Метаданные, транскрипты, комментарии и временные метки являются ключевыми источниками данных.
5. Приоритет бесшовного UX: Ключевой целью системы является предоставление информации без прерывания потребления контента (как указано в Claim 18), что важно для удержания пользователя на платформе.

Best practices (это мы делаем)

Рекомендации направлены на оптимизацию видеоконтента (VSEO), чтобы помочь системе корректно извлекать и аннотировать сущности.

• Используйте временные метки и главы (Chapters): Активно структурируйте видео с помощью точных временных меток и описательных названий глав (например, на YouTube). Это напрямую помогает системе аннотировать сущности и привязывать их ко времени, что является ключевым сигналом (Temporal Relevance Score).
• Загружайте качественные транскрипты и субтитры: Наличие точного транскрипта позволяет системе извлекать сущности непосредственно из аудиодорожки и точно привязывать их ко времени.
• Предоставляйте точные и полные метаданные: Убедитесь, что описание и название видео точно отражают его содержание и упоминают ключевые сущности (имена людей, названия продуктов, локации).
• Четкая идентификация сущностей в видео: При создании контента убедитесь, что ключевые сущности четко произносятся или отображаются на экране. Это увеличивает шансы на их корректное извлечение.
• Стимулируйте качественные комментарии (UGC): Патент упоминает использование пользовательского контента. Комментарии, упоминающие конкретные сущности и моменты видео, также являются источником данных для извлечения сущностей.

Worst practices (это делать не надо)

• Игнорирование структуры и транскриптов: Загрузка видео без субтитров и временных меток делает контент менее понятным для системы контекстного поиска, так как затрудняет извлечение сущностей и определение временной релевантности.
• Кликбейтные или нерелевантные метаданные: Использование метаданных, не соответствующих содержанию, может привести к извлечению неверных сущностей и нерелевантным результатам контекстного поиска, ухудшая UX.
• Слабое представление ключевых сущностей: Если продукт или эксперт плохо видны или их имена не упоминаются, система не сможет использовать их для контекстуализации запросов.

Стратегическое значение

Патент подтверждает стратегический курс Google на интеграцию поиска в мультимедийный опыт и глубокое понимание контента за пределами текста. Для VSEO это означает, что оптимизация переходит на уровень структурирования самого содержания и его временной структуры. Способность Google понимать контент на гранулярном уровне (сущность + время) открывает новые возможности для видимости контента через контекстные и голосовые запросы. Стратегии должны фокусироваться на максимальной ясности и структурированности мультимедиа для машинного понимания.

Практические примеры

Сценарий: Оптимизация видеообзора продукта для контекстного поиска

Ситуация: Публикация видеообзора нового смартфона «PhoneModel X».

1. Действия по оптимизации:
   • Транскрипт и главы: Создается точный транскрипт. Видео разбивается на главы с временными метками: «0:00 Вступление», «1:30 Дизайн PhoneModel X», «3:00 Тест камеры».
   • Метаданные: В описании и названии четко указано «Обзор PhoneModel X».
2. Работа системы (Индексирование): Google извлекает сущность «PhoneModel X» и связывает ее с временными сегментами, основываясь на главах и транскрипте.
3. Взаимодействие пользователя: Пользователь смотрит видео и на отметке 1:45 спрашивает голосом: «Сколько стоит этот телефон?».
4. Обработка запроса (Реальное время):
   • Система определяет контекст: время 1:45.
   • Извлекает релевантную сущность: «PhoneModel X» (высокий Temporal Relevance Score).
   • Генерирует и оценивает кандидата: «Сколько стоит PhoneModel X».
5. Результат: Система выполняет поиск по уточненному запросу и показывает ответ (цену), не прерывая видео.