Как Google автоматически определяет ключевые темы в медиапотоках (ТВ, аудио, текст) и использует механизм "Boosting" для поиска релевантного контента

Термины и определения

Boosting (Бустинг, Повышение)

Техника пост-обработки, при которой результаты поиска переранжируются на основе дополнительных терминов (Boost Terms) из исходного текста, которые не были включены в поисковый запрос.

Boost Terms (Термины для повышения)

Дополнительные весомые термины из текстового сегмента, используемые для перевзвешивания результатов на этапе Boosting.

Compound (Составной термин)

Двухсловный термин (например, "veterans administration"), который обрабатывается как единое целое. Им может присваиваться повышенный вес.

History Technique (Техника использования истории)

Метод генерации запросов, который учитывает предыдущие сегменты для определения контекста и обнаружения смены темы (Topic Shift Detection).

IDF (Inverse Document Frequency, Обратная частота документа)

Мера редкости термина в коллекции документов. Более редкие термины имеют более высокий IDF.

Similarity Score (Оценка сходства)

Числовая мера сходства между двумя наборами текста (например, сегментами, сегментом и документом, или двумя документами). Вычисляется как скалярное произведение (dot-product) векторов терминов.

Stem (Основа слова)

Базовая форма слова (например, первые пять букв). Используется для группировки словоформ.

Stem Vector (Вектор основ)

Структура данных, представляющая текстовый сегмент. Содержит основы слов, их веса, а также конкретные термины и их веса.

StemVectorOld

Агрегированный вектор основ, представляющий историю предыдущих текстовых сегментов (например, сумма векторов трех предыдущих сегментов).

Text Segment T (Текстовый сегмент T)

Фрагмент текста, сгенерированный за определенный период времени (например, 15 секунд).

TF (Term Frequency, Частота термина)

Частота появления термина в текстовом сегменте T или документе.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Определяет ядро изобретения, фокусируясь на механизме переранжирования (Boosting).

1. Система автоматически преобразует часть мультимедийного потока в текст.
2. Генерируются поисковые запросы из терминов этого текста.
3. Принимаются ранжированные документы на основе этих запросов.
4. Вычисляются веса для этих документов на основе дополнительных терминов (Boost Terms), извлеченных из текста, которые не использовались в исходном поисковом запросе (механизм Boosting).
5. Вычисление веса включает математический расчет, основанный на двух функциях:
   • Первая функция основана на частоте (TF) дополнительных терминов в документе и их IDF.
   • Вторая функция основана только на частоте (TF) дополнительных терминов в документе.
6. Документы переранжируются (re-ranking) на основе этих вычисленных весов.
7. Переранжированные документы предоставляются пользователю вместе с потоком.

Ключевой аспект — использование части контекста (основные термины) для первоначального поиска и другой части контекста (дополнительные термины) для уточнения и переранжирования результатов.

Claim 8 и 9 (Зависимые): Детализируют методы генерации запросов.

Описывается использование классических методов взвешивания терминов: $tf \cdot idf$ (Claim 8) или $tf \cdot idf^2$ (Claim 9). Запрос формируется из терминов с наивысшими значениями произведения. Использование $idf^2$ подчеркивает важность редких слов (например, именованных сущностей).

Claim 10, 11, 12 (Зависимые): Детализируют использование стемминга и истории.

Термины назначаются группам (Claim 10) на основе их основ (stems) (Claim 11). При генерации запросов могут использоваться предыдущие сегменты текста (History Technique) (Claim 12).

Где и как применяется

Это изобретение описывает отдельную систему, которая взаимодействует с основной поисковой системой.

QUNDERSTANDING – Понимание Запросов (Интерпретация потока)
Query Generation Component выполняет функцию понимания контекста мультимедийного потока и преобразует его в структурированные поисковые запросы. Это включает анализ истории, определение ключевых терминов (TF-IDF, стемминг) и обнаружение смены темы.

RANKING – Ранжирование (Взаимодействие)
Сгенерированные запросы отправляются во внешнюю поисковую систему (Search Engine), которая выполняет стандартное ранжирование.

RERANKING – Переранжирование
Основная часть изобретения. Post Processing Component выполняет переранжирование полученных результатов с использованием техник Boosting (описано в Claim 1), Similarity Re-Ranking и фильтрации для адаптации их к контексту потока.

Входные данные:

• Мультимедийный поток (ТВ, аудио, видео) или текстовый документ.
• Данные IDF из индекса поисковой системы.
• Дополнительные термины (Boost Terms) из текстового сегмента.

Выходные данные:

• Переранжированный и отфильтрованный набор релевантных веб-документов.

На что влияет

• Конкретные типы контента: В первую очередь влияет на мультимедийный контент (видео, аудио, прямые трансляции). Также может применяться к текстовым документам (например, при работе в редакторе).
• Специфические запросы: Система генерирует запросы автоматически, состоящие из 2-4 наиболее весомых терминов (часто существительных или составных терминов), характеризующих текущую тему.
• Ниши или тематики: Наиболее применимо к информационным потокам: новости, образовательные передачи, документальные фильмы.

Когда применяется

• Частота применения: Поисковые запросы генерируются периодически (например, каждые 15 секунд) на основе нового текстового сегмента.
• Адаптация к смене темы (Topic Shift): В технике A5-HIST, если текущий сегмент сильно отличается от предыдущих (сходство s ниже порога a2), история игнорируется. Если сходство высокое (выше a1) или среднее, история учитывается с понижающим коэффициентом (Aging).
• Условия для Query Shortening (A6-THREE): Если сгенерированный запрос (3+ термина) не возвращает результатов, он сокращается (удаляются термины с меньшим весом) и отправляется повторно.

Пошаговый алгоритм

Ниже приведен алгоритм, основанный на наиболее продвинутой технике с историей (A5-HIST) и постобработке.

Этап 1: Генерация запроса с учетом истории (A5-HIST)

1. Получение сегмента и Построение вектора: Извлечение текущего текстового сегмента T. Создание Stem Vector для T:
   1. Вычисление веса для каждого термина (например, по формуле $c \cdot tf \cdot idf$ или $tf \cdot idf^2$). Коэффициент 'c' повышается для существительных и Compounds.
   2. Группировка терминов по основам (stems).
   3. Вычисление веса для каждой основы как суммы весов ее терминов.
2. Агрегация истории: Суммирование векторов основ предыдущих сегментов (например, трех последних) для создания StemVectorOld.
3. Оценка сходства (Topic Shift Detection): Вычисление показателя сходства (s) между StemVectorOld и текущим вектором (скалярное произведение).
4. Адаптация контекста (Aging):
   1. Если похож (s > a1): StemVectorOld "состаривается" (умножается на константу, например, 0.9).
   2. Если несколько похож (a2 < s < a1): StemVectorOld состаривается сильнее (умножается на меньший фактор).
   3. Если непохож (s < a2): StemVectorOld обнуляется (история игнорируется).
5. Создание нового вектора: Сложение текущего вектора и адаптированного StemVectorOld.
6. Формирование запроса: Выбор X (например, 2) основ с наибольшим весом в новом векторе. Из них выбираются термины с наибольшим весом для формирования запроса. Также определяются Boost Terms (например, следующие 3 термина).

Этап 2: Поиск и Постобработка

1. Выполнение поиска и Получение документов: Отправка запроса и получение топ-N результатов.
2. Boosting (Переранжирование): Пересчет весов полученных документов на основе присутствия Boost Terms в тексте и заголовке. Документы сортируются по новым весам.
3. Filtering (Фильтрация):
   1. Для каждого документа (d) вычислить сходство S1(d) с текущим текстовым сегментом T.
   2. Если S1(d) < порога b (например, 0.1), удалить документ.
   3. Если осталось 2+ документа, вычислить сходство S2 между двумя лучшими документами (d1, d2).
   4. Если S2 < порога p (например, 0.35) (документы сильно отличаются), проверить индивидуальную релевантность: если S1(d1) или S1(d2) ниже порога g (например, 0.3), соответствующий документ удаляется.
4. Отображение: Показ оставшихся лучших документов.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Аудиодорожка (для распознавания речи) или данные субтитров мультимедийного потока являются основным источником данных.
• Контентные факторы: Текст, извлеченный из потока. На этапе пост-обработки анализируется текст и заголовки (Titles) полученных веб-документов.
• Временные факторы: История предыдущих сегментов используется для контекстуализации текущего запроса (A5-HIST).
• Структурные факторы: Система может анализировать части речи, предпочитая существительные (коэффициент 'c'), и распознавать составные термины (Compounds).

Какие метрики используются и как они считаются

Система использует классические метрики Information Retrieval:

• IDF (Inverse Document Frequency): Рассчитывается как $idf^2$