Как Google использует темпоральное индексирование сущностей в видео для переписывания запросов в реальном времени

Описание

Какую задачу решает

Патент решает проблему обработки контекстно-зависимых, но сформулированных в общем виде запросов, которые пользователи задают во время потребления мультимедийного контента (например, потокового видео). Традиционный поиск не может обработать запрос вроде «Кто этот человек?» без ручного ввода контекста пользователем, что прерывает просмотр. Изобретение автоматизирует добавление этого контекста, используя сам контент как источник информации.

Что запатентовано

Запатентована система для контекстного поиска, которая выполняет темпоральное индексирование мультимедийного контента. Она извлекает сущности (entities) и временные метки (timestamps) их появления. При получении запроса от пользователя система идентифицирует сущности, релевантные текущему моменту воспроизведения, и использует их для автоматического переписывания (query rewrite) исходного запроса, добавляя необходимый контекст для точного ответа.

Как это работает

Система функционирует в двух режимах: офлайн и онлайн.

1. Офлайн-индексирование: Система анализирует контент, извлекая сущности из метаданных, комментариев и аннотаций. Фиксируются временные метки появления этих сущностей. Данные сохраняются в index database. Система также может заранее рассчитывать популярные варианты переписывания запросов.
2. Онлайн-обработка: Пользователь задает запрос (например, «Кто это?») во время просмотра.
3. Контекстуализация: Система определяет текущую временную метку и извлекает сущности, проиндексированные для этого момента.
4. Переписывание и Ранжирование: Генерируются и оцениваются кандидаты на переписывание (Query Rewrite Candidates). Выбирается лучший (например, «Кто такой Джон Доу?»).
5. Результат: Выполняется поиск по переписанному запросу, и ответ отображается пользователю без прерывания воспроизведения контента.

Актуальность для SEO

Высокая. Это патент-продолжение (Continuation), опубликованный в 2024 году на основе заявки 2014 года, что подтверждает стратегическую важность технологии. С развитием мультимодального поиска, голосовых ассистентов и платформ вроде YouTube, способность понимать и осуществлять поиск внутри видеоконтента с привязкой ко времени является критически важной.

Важность для SEO

Патент имеет высокое значение (8.5/10) для Video SEO и Entity SEO. Он демонстрирует механизм, позволяющий Google понимать контент на гранулярном уровне, выходя за рамки общих метаданных. Для SEO-специалистов это означает, что структурирование видеоконтента (например, через временные метки и главы) и обеспечение четкой идентификации сущностей становятся критически важными факторами для видимости контента в сценариях контекстного поиска.

Детальный разбор

Термины и определения

Entity (Сущность)

Значения, характеризующие объекты (людей, места, предметы, организации), представленные в мультимедийном контенте. Извлекаются из метаданных, комментариев или аннотаций.

Entity Extractor (Извлекатель сущностей)

Компонент, отвечающий за идентификацию, классификацию и извлечение сущностей и связанных с ними временных меток.

Index Database (Индексная база данных)

Хранилище, содержащее извлеченные сущности, их временные метки и, возможно, предварительно рассчитанные переписанные запросы.

Multimedia Content (Мультимедийный контент)

Контент, включающий видео, аудио, текст или их комбинацию. Часто подразумевается потоковое видео (streaming video).

N-grams (N-граммы)

Последовательности слов или терминов. Используются для анализа логов запросов (Query Repository) и определения вероятных типов сущностей, релевантных для данного запроса.

Query Repository (Репозиторий запросов)

Хранилище исторических поисковых запросов (логи). Используется для анализа поведения пользователей и офлайн-оптимизации.

Query Rewrite Candidates (Кандидаты на переписывание запроса)

Варианты запросов, сгенерированные путем объединения исходного запроса пользователя с контекстными сущностями.

Timestamp / Time Range (Временная метка / Временной диапазон)

Информация о том, когда конкретная сущность появляется в контенте. Основа темпорального индексирования.

Ключевые утверждения (Анализ Claims)

Анализ основан на Claims публикации US20240104104A1.

Claim 1 (Независимый пункт): Описывает базовый метод, включающий офлайн-индексацию и онлайн-обработку.

Офлайн фаза:

1. Идентификация мультимедийного контента.
2. Извлечение соответствующих сущностей (corresponding entities), характеризующих объекты в контенте.
3. Сохранение этих сущностей в index database.

Онлайн фаза (после сохранения):

1. Получение ввода (запроса) от пользователя, связанного с этим контентом.
2. Генерация (переписанного) запроса на основе сохраненных в индексе сущностей И ввода пользователя.
3. Выполнение поиска и предоставление результата.

Система предварительно индексирует сущности из мультимедиа, а затем использует этот индекс для контекстуализации ввода пользователя в реальном времени.

Claim 4 (Зависимый от 1): Вводит концепцию темпорального индексирования.

Метод включает извлечение и сохранение в index database соответствующих временных меток (timestamps) или временных диапазонов (time ranges), указывающих, когда каждая сущность появляется в контенте.

Это критически важно для определения контекста: система знает не только ЧТО есть в видео, но и КОГДА это появляется.

Claim 6 (Зависимый от 1): Описывает офлайн-оптимизацию через предварительный расчет запросов.

1. Идентификация исторических запросов (historical queries), связанных с контентом, из query repository.
2. Генерация множества переписанных версий этих исторических запросов с использованием извлеченных сущностей.
3. Сохранение этих переписанных запросов в index database.

Система заранее рассчитывает, как пользователи искали этот контент в прошлом, и сохраняет готовые к использованию переписанные запросы для ускорения работы.

Claims 7 и 8 (Зависимые от 6): Уточняют механизм выбора предварительно рассчитанных запросов.

Переписанные запросы ранжируются. Ранжирование основано на результатах, полученных при отправке этих запросов в поисковую систему. Сохраняется только наивысший по рангу (highest ranking) запрос.

Система индексирует наилучший способ поиска сущностей в контексте мультимедиа, основываясь на качестве результатов поиска.

Где и как применяется

Изобретение связывает этапы индексирования и понимания запросов для обеспечения контекстного поиска в мультимедиа.

INDEXING – Индексирование и извлечение признаков
Ключевой этап офлайн-обработки. Entity Extractor анализирует данные, связанные с мультимедиа (метаданные, комментарии, аннотации). Извлекаются сущности и timestamps их появления. Также на этом этапе могут анализироваться исторические логи для предварительного расчета Query Rewrite Candidates. Результаты сохраняются в Index Database.

QUNDERSTANDING – Понимание Запросов
Происходит онлайн-обработка. Когда пользователь вводит запрос во время просмотра, система использует текущую временную метку для извлечения релевантных сущностей из Index Database. Query Rewrite Engine преобразует исходный контекстно-свободный запрос в контекстуализированный.

RANKING – Ранжирование
Поисковая система выполняет поиск по переписанному запросу. Также ранжирование используется на этапе INDEXING для оценки предварительно рассчитанных запросов (Claim 8).

METASEARCH / RERANKING (Отображение)
Результаты предоставляются пользователю. Особенность в том, что они предоставляются без прерывания потребления контента (например, в виде оверлея).

Входные данные:

• Мультимедийный контент, его метаданные, комментарии и аннотации.
• Query Repository (исторические логи).
• Запрос пользователя и текущая временная метка воспроизведения (онлайн).

Выходные данные:

• Индексированные сущности с временными метками (офлайн).
• Предварительно рассчитанные и ранжированные переписанные запросы (офлайн).
• Контекстуализированный переписанный запрос (онлайн).
• Результаты поиска.

На что влияет

• Типы контента: Основное влияние на мультимедийный контент, особенно потоковое видео и аудио, где контекст меняется со временем.
• Специфические запросы: Влияет на информационные запросы, лишенные контекста («Кто это?», «Что это за место?»), часто задаваемые голосом.
• Ниши: Актуально для ниш с большим количеством идентифицируемых сущностей: кино, спорт, образование, обзоры продуктов.

Когда применяется

• Триггеры активации: Алгоритм активируется при получении запроса от пользователя во время активного потребления мультимедийного контента.
• Условия применения: Запрос пользователя требует контекстуализации, и для данного контента существуют предварительно проиндексированные сущности с временными метками.

Пошаговый алгоритм

Процесс А: Офлайн-индексирование (Подготовка данных)

1. Сбор данных: Получение доступа к мультимедийному контенту и связанным данным (метаданные, комментарии, аннотации).
2. Извлечение сущностей и временных меток: Entity Extractor идентифицирует сущности и определяет время их появления (Timestamps или Time Ranges) в контенте.
3. Индексирование: Сохранение сущностей и временных меток в index database.
4. (Опционально) Предварительный расчет запросов:
   • Анализ исторических запросов из Query Repository.
   • Генерация переписанных версий с использованием проиндексированных сущностей.
   • Ранжирование версий на основе качества результатов поиска.
   • Сохранение лучших переписанных запросов в индексе.

Процесс Б: Онлайн-обработка запроса (В реальном времени)

1. Получение запроса: Система получает запрос от пользователя (Q) и текущую временную метку воспроизведения (T).
2. Извлечение релевантных сущностей: Система запрашивает index database для получения сущностей, активных во время T.
3. Оценка сущностей (Скоринг): Сущностям присваивается оценка на основе:
   • Временной близости к T (сущность, аннотированная точно в момент T, получает более высокий балл).
   • Анализа N-grams из логов запросов для определения вероятного типа искомой сущности.
4. Генерация кандидатов: Candidate Generator объединяет Q с высоко оцененными сущностями для создания Query Rewrite Candidates.
5. Оценка кандидатов (Скоринг): Кандидаты отправляются в поисковую систему. Полученные результаты оцениваются по характеристикам качества (например, количество, разнообразие результатов).
6. Ранжирование и выбор: Выбирается кандидат с наивысшим рейтингом.
7. Переписывание и выполнение: Исходный запрос переписывается. Выполняется финальный поиск.
8. Отображение результатов: Результаты предоставляются пользователю без прерывания потребления контента.

Какие данные и как использует

Данные на входе

Система использует разнообразные источники для извлечения контекста:

• Контентные/Текстовые факторы:
  • Метаданные: Имя файла, свойства медиафайла, заголовки, описания (Claim 2).
  • Пользовательский контент (UGC): Комментарии и аннотации, связанные с контентом (Claim 3). Патент явно указывает эти источники для извлечения сущностей.
• Временные факторы:
  • Временные метки (Timestamps): Данные о том, когда сущности появляются в контенте (Claim 4).
  • Время запроса: Момент времени воспроизведения, когда пользователь отправил запрос.
• Поведенческие/Исторические факторы:
  • Логи запросов (Query Repository): Исторические данные о запросах. Используются для анализа N-grams и предварительного расчета переписанных запросов (Claim 6).

Какие метрики используются и как они считаются

Патент описывает два основных этапа оценки (скоринга):

1. Скоринг сущностей (Entity Scoring): Используется для выбора наиболее релевантных сущностей.

• Временная релевантность: Оценка основана на близости временной метки сущности ко времени запроса. Сущность получает положительную оценку (positive score), если она аннотирована в момент запроса, и штраф (penalty), если нет.
• Вероятность типа сущности (N-gram analysis): Система анализирует N-grams в Query Repository, чтобы определить, какие типы сущностей наиболее вероятны для данного запроса. Например, для запроса «следующая игра» повышается оценка сущностей типа «Спортивная команда».

2. Скоринг кандидатов на переписывание (Rewrite Candidate Scoring): Используется для выбора финального запроса.

• Характеристики набора результатов (Result Set Characteristics): Кандидаты оцениваются на основе результатов, которые они возвращают из поисковой системы (Claim 8).
• Качество результатов (Result Quality): Метрика, которая может включать:
  • Количество результатов.
  • Разнообразие результатов (Diversity): Наличие разных типов результатов (аудио, видео, текст) оценивается выше.
  • Релевантность результатов.

Выводы

1. Темпоральное индексирование мультимедиа: Ключевой вывод — Google индексирует контент внутри видео с точной привязкой ко времени (Timestamps). Система знает не только ЧТО находится в видео, но и КОГДА это появляется.
2. Автоматическая контекстуализация запросов: Система способна преобразовывать расплывчатые запросы в конкретные, используя текущий момент воспроизведения как основной контекстный сигнал.
3. Критические источники сущностей для видео: Патент явно указывает, что сущности извлекаются из метаданных, пользовательских комментариев и аннотаций. Это подтверждает, что текстовые данные, ассоциированные с видео, напрямую влияют на его понимание системой.
4. Использование исторических данных для оптимизации: Логи запросов (Query Repository) используются как для понимания интента в реальном времени (через N-gram анализ), так и для офлайн-оптимизации (предварительный расчет и ранжирование переписанных запросов).
5. Оценка качества переписанных запросов: Выбор финального запроса зависит от качества, количества и разнообразия результатов, которые он генерирует. Система стремится к созданию наиболее полезной выдачи.
6. Фокус на бесшовном UX: Цель технологии — предоставить информацию мгновенно, не прерывая потребление контента (without interrupting consumption).

Практика

Best practices (это мы делаем)

• Внедрение детальной временной разметки: Критически важно структурировать видеоконтент с помощью глав (Chapters) или временных меток в описании. Четко указывайте, какие сущности (продукты, люди, темы) обсуждаются в каждом сегменте. Это напрямую поддерживает механизм темпорального индексирования.
• Обогащение метаданных сущностями: Предоставляйте полные и точные метаданные (заголовки, описания), насыщенные релевантными сущностями. Это основной источник данных для Entity Extractor.
• Оптимизация под сущности (Entity SEO): Убедитесь, что ключевые объекты и люди в видео являются распознаваемыми сущностями (связаны с Knowledge Graph). Чем лучше Google понимает сущность, тем эффективнее она будет использоваться для контекстуализации.
• Использование качественных транскрипций/субтитров: Хотя патент явно фокусируется на метаданных и комментариях, качественные субтитры являются формой аннотаций с точной временной привязкой, что облегчает извлечение сущностей.
• Стимулирование осмысленного UGC: Поскольку комментарии указаны как источник сущностей, поощрение содержательных обсуждений, упоминающих ключевые моменты или сущности видео, может улучшить индексацию контента.

Worst practices (это делать не надо)

• Публикация неструктурированного контента: Длинные видео без временной разметки или глав затрудняют для системы привязку сущностей к конкретным моментам времени, снижая эффективность контекстного поиска.
• Скудные или отсутствующие метаданные: Игнорирование описаний и тегов затрудняет извлечение сущностей, заставляя систему полагаться на менее надежные источники.
• Спам сущностями (Entity Stuffing): Попытка манипулировать системой путем добавления нерелевантных сущностей в метаданные. Система использует скоринг, основанный на временной релевантности и качестве результатов, что может нивелировать эффект от спама.

Стратегическое значение

Этот патент подтверждает стратегический сдвиг в Video SEO от оптимизации «видео как документа» к оптимизации «моментов и сущностей внутри видео». Долгосрочная стратегия должна фокусироваться на предоставлении четких, структурированных сигналов, которые помогают поисковым системам разбирать контент на темпорально-связанные сегменты. Это также подчеркивает важность оптимизации под голосовой поиск и ассистентов, где контекст часто определяется окружением пользователя.

Практические примеры

Сценарий: Оптимизация видеообзора техники

• Задача: Улучшить видимость обзора нового смартфона «Galaxy S25» при контекстных запросах.
• Действия по патенту:
  • Метаданные: В описании четко указана модель «Galaxy S25».
  • Временные метки: Добавлены главы: «03:00 — Тест камеры Galaxy S25», «05:00 — Батарея и производительность».
• Как работает система:
  • Офлайн: Entity Extractor индексирует сущность «Galaxy S25» и связывает ее с временными метками глав.
  • Онлайн: Пользователь смотрит главу о камере (03:15) и спрашивает голосом: «Сколько он стоит?».
  • Контекстуализация: Система определяет текущую временную метку (03:15) и извлекает релевантную сущность «Galaxy S25».
  • Переписывание: Запрос переписывается как «Сколько стоит Galaxy S25».
• Результат: Пользователь получает точный ответ о цене Galaxy S25, не вводя название модели вручную и не прерывая просмотр.

Вопросы и ответы