Как Google использует паттерны просмотра пользователей (Co-Visitation) и временную близость для определения тематики нетекстового контента (изображений и видео)

Термины и определения

Co-visitation data (Данные о совместных посещениях)

Данные, основанные на логах поведения пользователей (click log data), которые указывают, какие ресурсы часто запрашиваются одним и тем же пользователем в рамках короткого временного интервала.

Co-requested resource (Совместно запрошенный ресурс)

Ресурс, который был запрошен пользовательским устройством в течение порогового периода времени до или после запроса целевого ресурса тем же устройством.

Threshold period (Пороговый период времени)

Максимальное время между двумя запросами ресурсов, позволяющее считать их совместно посещенными (например, несколько минут).

Non-text content (Нетекстовый контент)

Контент, из которого сложно извлечь ключевые слова стандартными текстовыми методами (изображения, видео, музыка, скрипты).

Keyword Score (Оценка ключевого слова)

Метрика, определяющая релевантность ключевого слова, заимствованного из совместно посещаемого ресурса, для целевого ресурса. Рассчитывается на основе частоты, количества совместных посещений и временной задержки.

Co-visitation count (Счетчик совместных посещений)

Метрика, указывающая, сколько раз два ресурса были запрошены совместно.

Delay (Задержка)

Время, прошедшее между запросом целевого ресурса и запросом совместно посещаемого ресурса.

Relative weight (Относительный вес)

Весовой коэффициент, присваиваемый ключевому слову на основе задержки (Delay). Вес обратно пропорционален задержке (Time Decay).

Popularity score (Оценка популярности)

Общая мера запросов ресурса пользователями, определяемая независимо от совместных посещений. Используется для фильтрации шума.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод выбора ключевых слов для нетекстового ресурса с акцентом на временное взвешивание.

1. Идентификация целевого онлайн-ресурса с нетекстовым контентом.
2. Получение данных о совместных посещениях (co-visitation data), определяющих совместно запрошенные ресурсы в пределах порогового периода.
3. Идентификация ключевых слов из текстового контента этих совместно запрошенных ресурсов.
4. Критический шаг (Time Decay): Определение задержки (delay) между запросом целевого ресурса и запросом совместно запрошенного ресурса для каждого случая.
5. Присвоение относительного веса (relative weight) каждому случаю на основе задержки.
6. Определение оценки ключевого слова (Keyword Score). Оценка базируется на (i) количестве совместно запрошенных ресурсов, с которыми связано ключевое слово, и (ii) относительном весе (т.е. временной задержке), присвоенном запросам этих ресурсов.
7. Выбор ключевых слов для целевого ресурса на основе их Keyword Scores.

Claim 4 (Зависимый от 1): Уточняет механизм взвешивания.

Присвоение относительного веса (relative weight) обратно пропорционально задержке (delay). Это означает, что чем быстрее пользователь переходит между двумя ресурсами, тем сильнее связь между ними и тем больший вес получают ключевые слова.

Claim 6 (Зависимый от 5): Детализирует расчет Keyword Score.

Помимо относительного веса, Keyword Score также рассчитывается на основе счетчика совместных посещений (co-visitation count) для каждого совместно запрошенного ресурса. Это гарантирует, что ресурсы, которые часто посещаются вместе, вносят больший вклад в оценку.

Claim 7 (Зависимый от 6): Описывает механизм бустинга.

Система получает существующие ключевые слова целевого ресурса (если они есть, например, из заголовка или метаданных). Если заимствованное ключевое слово совпадает с существующим, его Keyword Score дополнительно увеличивается.

Claim 8 и 10 (Зависимые от 6): Описывают механизм фильтрации по популярности.

Определяется оценка популярности (Popularity Score) для совместно запрошенных ресурсов. Ключевые слова из ресурсов, чья популярность превышает верхний порог (Claim 8, фильтрация шума от слишком популярных сайтов) или ниже нижнего порога (Claim 10), исключаются из рассмотрения.

Где и как применяется

Изобретение применяется на стыке сбора поведенческих данных и индексирования для обогащения данных о ресурсах.

CRAWLING – Сканирование и Сбор данных (Data Acquisition)
На этом этапе система собирает необходимые поведенческие данные — логи кликов (click log data) или данные истории браузера. Эти данные содержат информацию о последовательности запросов ресурсов пользователями и временные метки этих запросов.

INDEXING – Индексирование и извлечение признаков (Feature Extraction)
Это основной этап применения патента. Система анализирует собранные co-visitation data. Происходит обработка данных для идентификации совместно запрошенных ресурсов, извлечение из них ключевых слов, расчет временных задержек, весов и итоговых Keyword Scores. В результате для целевого (нетекстового) ресурса генерируется новый набор признаков — релевантных ключевых слов, которые сохраняются в индексе.

RANKING – Ранжирование
Ключевые слова, полученные этим методом, используются системами ранжирования как сигналы релевантности. В патенте явно указано применение для выбора контента (рекламы) (Claim 2). Также это позволяет нетекстовым ресурсам (например, изображениям в Image Search) лучше ранжироваться по текстовым запросам.

Входные данные:

• Логи кликов (Click log data) с идентификаторами пользователей (анонимизированными), URL ресурсов и временными метками.
• Индекс ресурсов, содержащий существующие ключевые слова для текстовых ресурсов.

Выходные данные:

• Набор ключевых слов, ассоциированных с целевым нетекстовым ресурсом, и их Keyword Scores.

На что влияет

• Конкретные типы контента: В первую очередь влияет на ресурсы с преобладанием нетекстового контента (primarily non-text content) — изображения, видео, аудиофайлы, страницы с динамическими скриптами.
• Вертикали поиска: Значительное влияние на ранжирование в Google Images и Google Videos.
• Взаимосвязи контента: Влияет на понимание связей между страницами на основе реальных путей навигации пользователей, а не только на основе ссылочной структуры.

Когда применяется

• Условия работы алгоритма: Алгоритм применяется для ресурсов, для которых сложно определить тематику стандартными методами (например, если количество ключевых слов, извлеченных из текста страницы, ниже определенного порога).
• Триггеры активации: Для активации механизма необходимо накопление достаточного объема статистических данных о совместных посещениях. Требуется, чтобы пороговое количество пользователей (threshold number of user devices) совершило совместное посещение.
• Временные рамки: Анализ совместных посещений происходит только если запросы были сделаны в пределах установленного threshold period (например, несколько минут).

Пошаговый алгоритм

Этап 1: Сбор и предварительная обработка данных

1. Сбор данных: Получение логов кликов от множества пользовательских устройств.
2. Идентификация целевого ресурса: Определение ресурса (например, Видео А), который содержит преимущественно нетекстовый контент.
3. Анализ совместных посещений: Анализ логов для поиска ресурсов (например, Страница B, Страница C), которые пользователи запрашивали в пределах порогового периода времени до или после запроса Видео А.
4. Фильтрация (Порог посещений): Отбор только тех ресурсов (B, C), которые были совместно запрошены с Видео А как минимум пороговым количеством пользователей (высокий co-visitation count).

Этап 2: Фильтрация ресурсов и извлечение ключевых слов

5. Расчет популярности (Popularity Score): Для Страниц B и C рассчитывается общая популярность (независимо от Видео А).
6. Фильтрация по популярности: Исключение ресурсов, которые слишком популярны (например, главная страница Google) или недостаточно популярны, согласно установленным порогам.
7. Извлечение ключевых слов: Идентификация ключевых слов из оставшихся Страниц B и C (на основе их текстового контента).

Этап 3: Расчет оценок и выбор ключевых слов

8. Расчет задержки (Delay): Для каждого случая совместного посещения (Видео А -> Страница B) вычисляется время между запросами.
9. Расчет относительного веса (Relative Weight): Присвоение веса каждому случаю. Вес обратно пропорционален задержке (быстрый переход = высокий вес).
10. Расчет оценки ключевого слова (Keyword Score): Агрегация данных для каждого ключевого слова. Оценка учитывает, на скольких страницах (B, C) встречается слово, каков их Co-visitation count и каковы Relative Weights этих посещений.
11. Повышение оценки (Опционально): Если ключевое слово уже присутствует в метаданных Видео А, его оценка повышается (Бустинг, Claim 7).
12. Выбор ключевых слов: Выбор ключевых слов, чья Keyword Score превышает пороговое значение, и ассоциация их с Видео А.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Основной источник данных. Используются логи кликов (click log data), последовательность запросов ресурсов пользователем.
• Временные факторы: Временные метки запросов критичны для расчета задержек (delay) и определения порогового периода (Threshold period).
• Контентные факторы: Используются данные совместно запрошенных ресурсов. Система анализирует их текстовый контент для извлечения потенциальных ключевых слов. Также используются существующие ключевые слова целевого ресурса (если есть) для бустинга.
• Пользовательские факторы: Используются идентификаторы пользовательских устройств (анонимизированные) для отслеживания сессий и определения уникальных пользователей при расчете популярности (Claim 9).

Какие метрики используются и как они считаются

• Co-visitation count (Счетчик совместных посещений): Прямой подсчет количества раз, когда два ресурса были запрошены вместе в пределах порогового периода.
• Delay (Задержка): Разница во времени между двумя запросами в рамках одного совместного посещения.
• Relative Weight (Относительный вес): Функция от задержки. В патенте указано, что вес обратно пропорционален задержке (Claim 4). Например,