Как Google итеративно генерирует запросы из метаданных контента для поиска "Похожих Видео" (на примере YouTube)

Термины и определения

Content Item / Video (Элемент контента / Видео)

Любой тип медиаконтента (видео, аудио, документ), для которого система генерирует рекомендации.

Iterated Related Item Discovery (Итеративное обнаружение связанных элементов)

Процесс автоматического поиска релевантного контента путем последовательного уточнения (добавления или удаления слов) поискового запроса до достижения желаемого результата.

Metadata (Метаданные)

Информация, описывающая элемент контента. В контексте патента это Title (Название), Description (Описание) и Tags (Теги).

Ordered List of Words (Упорядоченный список слов)

Список слов, извлеченных из метаданных исходного элемента и ранжированных по определенному критерию (например, частоте или TF-IDF).

Set Range / Threshold (Заданный диапазон / Порог)

Желаемое количество результатов поиска (например, от 15 до 30 видео), которое система пытается получить в процессе итерации.

TF-IDF (Term Frequency-Inverse Document Frequency)

Статистическая мера для оценки важности слова (нормализованная частота). Упоминается как возможный метод ранжирования слов в Ordered list.

Word Frequency Profile (Профиль частотности слов)

Данные пользователя, отражающие частоту слов в метаданных контента, который пользователь ранее просматривал или загружал. Используется для персонализации рекомендаций.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько схожих независимых пунктов, описывающих процесс для видео (Claim 1) и обобщенный для элементов контента (Claim 19).

Claim 1 и 19 (Независимые пункты): Описывают основной метод идентификации набора связанных элементов.

1. Создание упорядоченного списка слов (ordered list) из метаданных первого элемента.
2. Формирование поискового запроса (search query) с использованием выбранного набора слов из списка.
3. Обработка запроса для получения результатов поиска.
4. Если количество связанных элементов НЕ находится в заданном диапазоне (set range), происходит итеративная модификация запроса и его повторная обработка. Модификация включает:
   • Если количество элементов превышает диапазон (слишком много): Выборочное добавление как минимум одного слова из ordered list в запрос (сужение поиска).
   • Если количество элементов меньше диапазона (слишком мало): Удаление как минимум одного слова из запроса (расширение поиска).
5. Если количество связанных элементов находится в заданном диапазоне, предоставление этих результатов.

Claim 2 и 20 (Зависимые): Уточняют, что создание упорядоченного списка включает ранжирование слов как функцию частоты (frequency) каждого слова в метаданных. Это может быть сырая частота (raw frequency) или нормализованная (например, TF-IDF).

Claim 3 и 21 (Зависимые): Уточняют, что формирование запроса включает выбор нескольких наиболее высокоранжированных слов (highest ranking words).

Claim 4 и 26 (Зависимые): Вводят механизм персонализации.

1. Хранение профиля частотности слов (word frequency profile) для пользователя на основе ранее просмотренного им контента.
2. Пересмотр (revising) упорядоченного списка на основе этого профиля. Это может включать переранжирование слов (Claim 5) или добавление слов из профиля (Claim 6).

Claims 22-25 (Зависимые от 19): Уточняют возможные модификации списка слов с использованием NLP: проверка орфографии (spell checking), стемминг (stemming), добавление синонимов (synonyms), удаление неподходящих слов (inappropriate words).

Где и как применяется

Этот патент не относится напрямую к архитектуре Google Web Search. Он описывает механизм работы системы рекомендаций внутри контентной платформы, такой как YouTube (упомянутой в патенте как Video Hosting Website).

INDEXING – Индексирование (на платформе)
На этом этапе система извлекает и индексирует метаданные (Title, Description, Tags) загружаемого контента. Также обрабатывается история просмотров пользователей для создания и обновления их Word frequency profiles. Могут рассчитываться глобальные метрики (например, IDF для TF-IDF).

RANKING / RETRIEVAL (Генерация рекомендаций)
Это основная область применения патента. Когда пользователь просматривает элемент контента (или когда контент загружается), активируется система генерации рекомендаций (Related Videos Server).

1. Система использует метаданные просматриваемого видео для генерации Ordered list of words.
2. (Опционально) Список корректируется с учетом профиля пользователя и NLP-обработки.
3. Система итеративно генерирует и отправляет внутренние поисковые запросы к поисковому движку платформы (Video Search Server).
4. Результаты оцениваются на соответствие Set Range. Процесс повторяется до получения оптимального набора.

Входные данные:

• Метаданные (Title, Description, Tags) исходного видео.
• (Опционально) Word frequency profile пользователя.
• Системные настройки Set Range (желаемое количество рекомендаций).

Выходные данные:

• Набор связанных элементов контента (список рекомендованных видео).
• (Опционально) Оптимальный поисковый запрос, который привел к этому набору.

На что влияет

• Типы контента: В первую очередь влияет на видеоконтент на хостинговых платформах. Также применим к аудио, документам и мультимедиа.
• Обнаружение контента (Discovery): Влияет на то, как трафик перераспределяется между элементами контента через блоки рекомендаций. Это ключевой механизм для продвижения контента, не связанный с прямым поиском пользователя.
• Персонализация: Система адаптирует рекомендации под конкретного пользователя, используя его историю взаимодействий.

Когда применяется

Алгоритм может применяться в двух режимах:

• Онлайн (Динамически): В момент запроса пользователя на просмотр видео (dynamically at the time of the request). Это позволяет учитывать персонализацию.
• Офлайн (Предварительный расчет): В момент загрузки видео на платформу или периодически (например, еженедельно). Результаты или оптимальный запрос кэшируются в базе данных (Related Videos Database).

Пороговые значения: Ключевым условием является Set Range (например, 15-30 результатов). Алгоритм работает до тех пор, пока это условие не будет выполнено.

Пошаговый алгоритм

Процесс идентификации связанных элементов.

1. Генерация упорядоченного списка слов: Система сканирует метаданные (название, описание, теги) исходного элемента. Слова извлекаются и ранжируются на основе их частоты или взвешенных мер, таких как TF-IDF.
2. Модификация списка (Опционально): Список может быть пересмотрен: применяется проверка орфографии, стемминг, добавление синонимов, удаление стоп-слов или нежелательных слов.
3. Персонализация списка (Опционально): Порядок слов в списке может быть скорректирован на основе Word frequency profile пользователя (его истории просмотров), или в список могут быть добавлены слова из профиля пользователя.
4. Формирование начального запроса: Система выбирает определенное количество наиболее высокоранжированных слов из списка (например, первые 4 слова) для формирования поискового запроса.
5. Выполнение поиска: Сформированный запрос отправляется во внутреннюю поисковую систему платформы.
6. Оценка результатов: Система проверяет, находится ли количество полученных результатов в заданном диапазоне (Threshold/Set Range).
7. Итеративная корректировка запроса:
   • Если НЕТ (слишком много результатов): Поиск слишком широкий. Система модифицирует запрос, добавляя в него следующее по рангу слово из упорядоченного списка (сужение поиска). Переход к шагу 5.
   • Если НЕТ (слишком мало результатов): Поиск слишком узкий. Система модифицирует запрос, удаляя из него слово с самым низким рангом (расширение поиска). Переход к шагу 5.
   • Если ДА: Переход к шагу 8.
8. Завершение и Вывод: Когда количество результатов попадает в заданный диапазон, процесс итерации завершается. Полученные результаты предоставляются как набор связанных элементов.

Какие данные и как использует

Данные на входе

• Контентные факторы (Метаданные): Критически важные данные. Используются Title (Название), Description (Описание) и Tags (Теги) исходного элемента. Это основа для генерации Ordered list of words.
• Пользовательские и Поведенческие факторы: История просмотров и загрузок пользователя. Эти данные агрегируются для создания Word frequency profile, который используется для персонализации (пересмотра Ordered list).

Какие метрики используются и как они считаются

• Frequency (Частота): Количество вхождений слова в метаданные. Используется для базового ранжирования слов в Ordered list. Патент упоминает сырую частоту (raw frequency) или нормализованную.
• TF-IDF: Упоминается как конкретный метод нормализованной частоты для взвешивания важности слов. Может рассчитываться на уровне всего корпуса (corpus wide) или специфично для пользователя (user-specific).
• Set Range / Threshold: Заданный администратором диапазон оптимального количества результатов (например, 15-30). Является условием для завершения итеративного процесса.
• Методы анализа текста (NLP): Упоминаются вспомогательные методы обработки списка слов: стемминг (stemming), проверка орфографии (spell checking), добавление синонимов (synonyms) и удаление стоп-слов/нежелательных слов.

1. Метаданные как основа рекомендаций: Патент четко показывает, что метаданные (Title, Description, Tags) являются основным источником информации для генерации списка связанных элементов в этой системе. Качество метаданных напрямую влияет на то, где контент будет рекомендован.
2. Важность частоты и уникальности слов (TF-IDF): Система ранжирует слова по важности, используя частотные метрики. Если используется TF-IDF, это подчеркивает важность уникальных и описательных терминов, а не только общих слов.
3. Итеративный баланс релевантности и полноты (Precision/Recall): Система автоматически ищет баланс. Она стремится использовать максимальное количество ключевых слов для обеспечения релевантности (сужение), но ограничивает их, чтобы гарантировать наличие достаточного количества результатов (расширение).
4. Встроенная персонализация: Алгоритм учитывает интересы пользователя через Word frequency profile. Это означает, что разные пользователи могут получить разные рекомендации для одного и того же видео, так как система адаптирует внутренний запрос под их историю.
5. Фокус на Video SEO: Практическая ценность патента сосредоточена на оптимизации контента для платформ типа YouTube, а не для веб-поиска Google.

Best practices (это мы делаем)

Рекомендации применимы для Video SEO (YouTube и аналогичные платформы) для повышения видимости в блоках «Похожие видео».

• Тщательная проработка метаданных: Обеспечьте максимальную релевантность и полноту Title, Description и Tags. Они являются топливом для этого алгоритма рекомендаций.
• Приоритезация ключевых слов (с учетом TF-IDF): Используйте наиболее важные и специфические (уникальные для темы) ключевые слова в метаданных. Это повысит их ранг в ordered list и гарантирует их использование во внутренних поисковых запросах. Общие термины менее ценны.
• Использование точных и специфичных тегов: Включайте теги, которые точно описывают содержание видео. Это поможет системе сформировать более точные запросы для поиска связанного контента.
• Оптимизация под целевые рекомендации: Анализируйте метаданные популярных видео в вашей нише, рядом с которыми вы хотите показываться. Используйте схожие термины и структуру метаданных (при условии релевантности вашему контенту), чтобы повысить вероятность того, что система установит связь.
• Создание серийного контента с консистентными метаданными: Убедитесь, что метаданные видео внутри одной серии согласованы. Это увеличит вероятность того, что система будет рекомендовать другие видео из этой же серии, так как их Ordered lists будут похожи.

Worst practices (это делать не надо)

• Вводящие в заблуждение метаданные (Misleading Metadata) и Кликбейт: Использование нерелевантных, хотя и популярных, ключевых слов в метаданных. Это приведет к генерации неточных внутренних запросов. Ваше видео будет рекомендовано нецелевой аудитории, что ухудшит поведенческие факторы.
• Переспам ключевыми словами (Keyword Stuffing): Искусственное завышение частоты ключевых слов может быть контрпродуктивным, если это нарушает правила платформы или если система использует TF-IDF (где переспам может исказить анализ).
• Слишком короткие или отсутствующие описания и теги: Предоставление недостаточного количества информации для анализа. Система не сможет сгенерировать качественный Ordered list и будет вынуждена использовать слишком широкие запросы, что приведет к нерелевантным рекомендациям.

Стратегическое значение

Патент подчеркивает стратегическую важность оптимизации под системы рекомендаций (Discovery) на контентных платформах. Трафик из рекомендаций часто превышает трафик из прямого поиска. Понимание того, что метаданные напрямую используются для генерации этих рекомендаций (по крайней мере, в рамках описанной системы), делает оптимизацию Title, Description и Tags ключевым элементом стратегии Video SEO, направленной на увеличение охвата.

Практические примеры

Сценарий: Оптимизация видеообзора нового смартфона для показа рядом с официальным запуском на YouTube.

1. Анализ цели: Определить целевое видео (официальное видео запуска) и проанализировать его вероятные метаданные (Бренд, Модель, "Официальный запуск", Спецификации).
2. Оптимизация метаданных своего видео: Включить в заголовок, описание и теги ключевые термины, пересекающиеся с целью (Бренд, Модель), но также добавить уникальные идентификаторы, отражающие суть вашего контента ("Детальный обзор", "Тест камеры").
3. Ожидаемый механизм работы системы:
   • Когда пользователь смотрит официальное видео, система генерирует Ordered List (например: ["Бренд", "Модель", "Запуск", "Официальный"]).
   • Система выполняет итеративный поиск по этим терминам.
   • Ваше видео имеет высокие шансы попасть в результаты, так как содержит высокочастотные термины ("Бренд", "Модель").
4. Результат: Ваше видео появляется в списке «Похожие видео» рядом с официальным запуском, получая релевантный трафик.