Как Google персонализирует рекомендации популярных запросов на основе истории поиска и браузинга пользователя

Термины и определения

Category to Query Mapping (Соответствие Категория-Запрос)

База данных, связывающая тематические категории с поисковыми запросами. Связь устанавливается, если пользователи, интересующиеся категорией, часто вводят запрос, или если результаты по запросу часто ведут на сайты в этой категории.

Derived Data (Производные данные)

Информация, выведенная из Event-Based Data. Включает профиль пользователя, Categories of Interest (Категории интересов) и агрегированные оценки.

Event-Based Data (Данные о событиях)

Сырые данные об активности пользователя: Query Events (введенные запросы), Result Click Events (клики по результатам), Browsing Events (посещенные URL, не связанные с поиском).

Internet Usage Data (Данные об использовании интернета)

Общий термин для данных об активности пользователя, включающий историю поиска, кликов и браузинга. Используется для персонализации.

Predefined Time Range (Предопределенный временной диапазон)

Временной порог (например, 1 неделя), используемый для фильтрации. Запросы, использованные пользователем в течение этого диапазона, исключаются из рекомендаций.

Submission Popularity Data (Данные о популярности отправки запросов)

Глобальная статистика о том, как часто запрос вводится всеми пользователями. Включает абсолютное количество отправок за период и изменение этого количества между периодами (тренды).

Website to Query Mapping (Соответствие Сайт-Запрос)

База данных, связывающая веб-сайты с поисковыми запросами. Связь устанавливается, если страницы сайта часто выбираются пользователями из результатов поиска по данному запросу.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько независимых пунктов (1, 7, 15), описывающих разные варианты реализации системы персонализированных рекомендаций с сильным акцентом на временные фильтры.

Claim 1 (Независимый пункт): Описывает общий процесс персонализации рекомендаций с акцентом на фильтрацию по давности (Recency Filter).

1. Система получает набор популярных запросов и Internet Usage Data пользователя, включая ранее введенные им запросы (например, Запрос А).
2. Система получает новый запрос от пользователя (Запрос Б).
3. Определяется разница во времени между отправкой Запроса А и Запроса Б.
4. Определяется персонализированный набор рекомендаций. Применяется фильтр давности:
   • (i) Запрос А исключается из рекомендаций, если разница во времени находится в пределах заданного диапазона (т.е. запрос был введен недавно).
   • (ii) Запрос А включается в рекомендации, если разница во времени выходит за пределы диапазона (т.е. запрос был введен давно) И он соответствует критериям персонализации.
5. Система отправляет результаты для Запроса Б и ссылки на рекомендованные запросы. Важно: и результаты поиска, и рекомендации упорядочиваются на основе Internet Usage Data пользователя (персонализированное ранжирование).

Claim 7 (Независимый пункт): Описывает процесс персонализации с использованием категорий интересов.

1. Система получает набор популярных запросов, связанных с категориями.
2. Система использует Internet Usage Data для определения Categories of Interest пользователя.
3. Определяется набор персонализированных популярных запросов путем выбора тех популярных запросов, которые соответствуют Categories of Interest пользователя.
4. Применяется фильтр давности: из рекомендаций исключаются запросы, которые пользователь выбирал (вводил) в течение заданного временного диапазона.
5. Система отправляет результаты поиска и рекомендации, упорядоченные на основе Internet Usage Data.

Claim 15 (Независимый пункт): Описывает процесс персонализации с использованием ассоциаций с веб-сайтами и фильтрацией по изменению популярности.

1. Система определяет популярность запросов и ассоциирует их с веб-сайтами (на основе кликов пользователей).
2. Система получает Internet Usage Data пользователя (посещенные веб-страницы).
3. Определяются персонализированные рекомендации, при этом применяются следующие критерии исключения:
   • (a) Исключаются запросы, связанные с сайтами, содержащими страницы, которые пользователь посетил в течение заданного временного диапазона (фильтр давности для посещений).
   • (b) Исключаются запросы, у которых изменение количества отправок за определенный период времени превышает заданное пороговое значение. (Это означает, что система может исключать запросы с чрезмерно резким ростом популярности).
4. Система отправляет результаты и рекомендации, упорядоченные на основе Internet Usage Data.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, преимущественно связанных с анализом данных, пониманием запросов и персонализацией.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит категоризация контента, необходимая для создания Website or Webpage to Category Mapping.

QUNDERSTANDING – Понимание Запросов (Офлайн-процессы)
Система анализирует глобальные логи запросов для расчета Submission Popularity Data и трендов. Также офлайн генерируются Website to Query Mapping и Category to Query Mapping на основе анализа коллективного поведения пользователей (кликов).

QUNDERSTANDING – Понимание Запросов (Обработка пользователя)
Система обрабатывает Internet Usage Data конкретного пользователя для обновления его профиля и определения Derived Data, таких как Categories of Interest.

RERANKING – Переранжирование / METASEARCH – Метапоиск
Основное применение патента. При генерации рекомендаций (например, на главной странице или в ленте Discover):

1. Идентификация кандидатов: Отбор запросов на основе популярности/тренда.
2. Персонализация: Сопоставление кандидатов с профилем пользователя (категории, посещенные сайты).
3. Фильтрация: Применение фильтров исключения (по давности запроса/посещения, по изменению популярности).

Кроме того, Claims 1, 7 и 15 явно указывают, что Internet Usage Data используется также для упорядочивания (переранжирования) результатов основного поиска по введенному пользователем запросу.

Входные данные:

• Глобальные логи запросов и кликов.
• Internet Usage Data пользователя (история поиска, браузинга).
• Мэппинги (Website/Category to Query).

Выходные данные:

• Список персонализированных рекомендаций популярных запросов (в виде ссылок).
• Переранжированный список результатов поиска (согласно Claims).

На что влияет

• Обнаружение контента (Content Discovery): Влияет на функции, помогающие пользователям находить новый контент: блоки "Связанные запросы", ленты рекомендаций (Google Discover) и персонализированные главные страницы.
• Специфические запросы: Наибольшее влияние оказывается на запросы, где наблюдаются явные тренды популярности и где можно четко определить интересы пользователя.

Когда применяется

• Условия работы: Система активируется, когда пользователь взаимодействует с интерфейсом, поддерживающим рекомендации.
• Требования к данным: Для работы механизма необходимо, чтобы пользователь был идентифицирован (например, залогинен) и разрешил сбор Internet Usage Data (Opt-in). Также требуется наличие достаточного объема глобальных данных для определения популярности.
• Пороговые значения: Запрос должен превысить пороги популярности или тренда и соответствовать порогам интереса пользователя.

Пошаговый алгоритм

Процесс А: Офлайн-подготовка данных

1. Сбор глобальных данных: Агрегация логов запросов и кликов от всех пользователей.
2. Расчет популярности: Определение Submission Popularity Data для каждого уникального запроса, включая частоту и тренды (изменение частоты между периодами).
3. Генерация мэппингов: Создание Website to Query Mapping (какие сайты получают клики по запросу) и Category to Query Mapping (с какими категориями связан запрос).

Процесс Б: Обработка данных пользователя

1. Сбор данных: Получение Internet Usage Data от клиента (история поиска, клики, браузинг).
2. Профилирование: Анализ данных и обновление Derived Data пользователя, в частности, определение и взвешивание Categories of Interest.

Процесс В: Генерация рекомендаций (Реальное время)

1. Идентификация кандидатов: Выбор запросов, удовлетворяющих критериям популярности (высокая частота или сильный тренд).
2. Персонализация (Сопоставление):
   • Вариант 1 (Категории, Claim 7): Сопоставление категорий запросов-кандидатов с Categories of Interest пользователя.
   • Вариант 2 (Сайты, Claim 15): Сопоставление сайтов, связанных с запросами-кандидатами, с сайтами, посещенными пользователем.
3. Применение фильтров исключения:
   • Фильтр давности запросов (Claim 1, 7): Удаление запросов, которые пользователь вводил в течение заданного периода (Predefined Time Range).
   • Фильтр давности посещений (Claim 15a): Удаление запросов, связанных с сайтами, которые пользователь посещал недавно.
   • Фильтр изменения популярности (Claim 15b): Удаление запросов, чей рост популярности превысил пороговое значение.
4. Ранжирование и доставка: Упорядочивание оставшихся рекомендаций (например, по весу категории интереса или силе тренда) и отправка Топ-N клиенту.

Какие данные и как использует

Данные на входе

Система полностью основана на анализе поведенческих факторов.

• Поведенческие факторы (Глобальные):
  • Журналы запросов всех пользователей (для расчета популярности и трендов).
  • Глобальные данные о кликах по результатам поиска (для создания мэппингов Website/Category to Query).
• Поведенческие факторы (Пользовательские): Internet Usage Data. Включают:
  • Query Events (история запросов).
  • Result Click Events (история кликов).
  • Browsing Events (история браузинга, посещенные URL).
  • Временные метки и продолжительность сессий.
• Структурные/Контентные факторы (Косвенно): Категоризация веб-сайтов и страниц (используется для создания Website/Webpage to Category Mapping и определения Categories of Interest).

Какие метрики используются и как они считаются

• Submission Popularity (Популярность запроса): Рассчитывается как количество отправок запроса за определенный период времени.
• Trend Score (Тренд): Изменение популярности между двумя периодами. Может быть абсолютным или относительным (процентное изменение).
• Categories of Interest (Категории интересов): Выводятся из анализа посещенных пользователем страниц и введенных запросов. Могут быть взвешенными на основе частоты и давности взаимодействий с контентом в категории.
• Query-Website Association (Связь Запрос-Сайт): Метрика связи, основанная на том, как часто пользователи переходят на сайт из результатов поиска по данному запросу (коллективные клики).
• Recency Thresholds (Пороги давности): Заданные временные диапазоны (Predefined Time Range), используемые для фильтрации исключений.
• Popularity Change Threshold (Порог изменения популярности): Пороговое значение для тренда (Claim 15b). Если изменение популярности превышает порог, запрос может быть исключен.

1. Персонализация основана на комплексных данных: Google использует не только историю поиска, но и историю браузинга (Internet Usage Data) для понимания интересов пользователя и персонализации рекомендаций.
2. Выведение интересов через категоризацию и ассоциации: Ключевой механизм — это построение ассоциативных связей (Mappings) между пользователями, сайтами, категориями и запросами. Система определяет интересы пользователя через категории и сайты, которые он посещает.
3. Баланс популярности и релевантности: Цель системы — найти пересечение между глобальными трендами (популярностью) и индивидуальными интересами. Популярный запрос не будет рекомендован, если он нерелевантен пользователю.
4. Критичность фильтров исключения (Recency): Патент уделяет большое внимание исключению из рекомендаций того, что пользователь уже недавно искал или видел. Система стремится предложить новый опыт.
5. Фильтрация экстремальных трендов: В одном из вариантов (Claim 15b) описано исключение запросов с чрезмерно резким ростом популярности. Это может быть механизмом защиты от спама или предотвращения сужения рекомендаций до одной глобальной темы.
6. Подтверждение персонализации ранжирования: Хотя основное внимание уделено рекомендациям запросов, патент явно упоминает (Claims 1, 7, 15), что результаты основного поиска также упорядочиваются на основе Internet Usage Data, подтверждая использование истории пользователя для персонализации SERP.

Best practices (это мы делаем)

• Развитие Topical Authority и четкая категоризация: Убедитесь, что Google может легко определить основные категории вашего сайта. Это критично для корректной работы Website to Category Mapping. Правильная категоризация увеличивает вероятность того, что трендовые запросы в этой нише будут рекомендованы заинтересованным пользователям.
• Оптимизация под удовлетворение интента (Long Click): Сила ассоциации в Website to Query Mapping основана на коллективных кликах пользователей. Если пользователи массово выбирают ваш сайт по запросу и остаются удовлетворенными, это укрепляет ассоциацию. Это необходимо, чтобы ваш сайт учитывался при генерации рекомендаций, связанных с этим запросом.
• Оптимизация под тренды в своей нише (Discovery Optimization): Отслеживайте возникающие тренды и популярные запросы в вашей тематике. Создание высококачественного контента по этим темам увеличивает шансы на привлечение трафика через механизмы рекомендаций (например, Google Discover), так как система ищет контент для удовлетворения трендового спроса у заинтересованной аудитории.
• Расширение семантического присутствия: Оптимизируйте контент под широкие темы и связанные сущности. Это помогает Google точнее определить профиль интересов вашей аудитории и ассоциировать ваш сайт с большим количеством потенциальных рекомендаций.

Worst practices (это делать не надо)

• Погоня за нерелевантными трендами (Trend-Jacking): Создание контента под популярные запросы, не соответствующие основной тематике сайта. Это не приведет к эффективным рекомендациям, так как тренд не будет соответствовать выведенным интересам целевой аудитории сайта и не сформирует сильных ассоциаций.
• Размытие тематики и игнорирование структуры: Хаотичная структура или контент на слишком разные темы затрудняют для Google определение основных категорий сайта, что снижает эффективность работы Category to Query Mapping и механизмов персонализации.
• Использование кликбейта и низкое качество контента: Если пользователи быстро покидают сайт после перехода из поиска, это препятствует формированию сильных ассоциаций в Website to Query Mapping.

Стратегическое значение

Патент подтверждает стратегию Google по созданию высоко персонализированного и проактивного поиска. Для SEO это означает, что помимо оптимизации под конкретные запросы, необходимо работать над формированием четкого тематического профиля сайта и его аудитории. Понимание Categories of Interest пользователя становится критически важным. Долгосрочная стратегия должна учитывать, что пути обнаружения контента смещаются от исключительно реактивных (поиск по ключевому слову) к проактивным (рекомендации на основе интересов).

Практические примеры

Сценарий: Укрепление ассоциации сайта с категорией для получения рекомендаций

Задача: Кулинарный сайт хочет получать трафик от пользователей, интересующихся вегетарианством, через системы рекомендаций.

1. Анализ категоризации: SEO-специалист обеспечивает четкую структуру раздела "Вегетарианские рецепты", помогая Google классифицировать сайт в категории "Кулинария/Вегетарианство" (Website to Category Mapping).
2. Анализ трендов: Отслеживается глобальный рост популярности запроса "рецепты из джекфрута".
3. Оптимизация интента: Создается качественная статья с рецептами из джекфрута. Пользователи активно переходят на нее из поиска и проводят много времени на странице. Google укрепляет связь между запросом и сайтом (Website to Query Mapping).
4. Профилирование пользователя: Пользователь А часто посещает этот и другие вегетарианские сайты. Google определяет его интерес к категории "Кулинария/Вегетарианство" (Derived Data).
5. Результат рекомендации: Система видит, что запрос "рецепты из джекфрута" популярен И соответствует категории интересов пользователя А. Система рекомендует этот запрос пользователю А (например, в Google Discover).