Как Google использует данные о закладках, сообществах и поведении пользователей для персонализации и контекстуализации поиска

Термины и определения

Centralized Database (Централизованная база данных)

Серверное хранилище, содержащее закладки всех пользователей системы.

Content Pointer (Указатель контента)

Закладка (Bookmark) или "Избранное" (Favorite). Указатель на объект (например, веб-страницу), включающий URL и заголовок.

Content Vector (Вектор контента)

Нормализованное числовое представление совокупного контента, на который ссылаются закладки пользователя или группы. Используется для определения контекста и профиля интересов.

Contextualization (Контекстуализация)

Процесс переранжирования результатов поиска на основе соответствия профилю интересов пользователя или группы.

Frequency (Частота)

Метрика использования, показывающая, как часто пользователи обращаются к определенной закладке.

Global Hierarchy / Standard Directory Model (Глобальная иерархия)

Стандартизированная иерархическая структура для организации информации (например, ODP). Система сопоставляет персональные иерархии пользователей с этой моделью.

Interest Immediacy (Непосредственный интерес)

Временная контекстуализация. Определение текущего намерения пользователя на основе его недавней активности просмотра (clickstream), даже если эта активность не соответствует его долгосрочному профилю.

Popularity (Популярность)

Метрика, показывающая, какая доля пользователей имеет определенную закладку в своей коллекции.

Query Augmentation (Дополнение запроса)

Процесс добавления дополнительных ключевых слов к исходному запросу пользователя. Дополнительные слова извлекаются из вектора контента, связанного с контекстом пользователя.

Recency (Новизна/Недавность)

Метрика, показывающая, как давно пользователи обращались к закладке или как давно обновлялся контент по ссылке.

Spatial Positioning (Пространственное позиционирование)

Использование текущего местоположения пользователя внутри его иерархической структуры закладок как сигнала непосредственного контекста.

Topical Categorical Hierarchy (Тематическая категориальная иерархия)

Иерархическая структура (например, папки), в которую пользователи организуют свои закладки. Используется для определения контекста.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод поиска в информационном репозитории.

1. Создание коллекции общих указателей контента (закладок).
2. Получение ключевого слова запроса.
3. Поиск по коллекции закладок.
4. Извлечение дополнительного ключевого слова из коллекции, связанного с исходным запросом.
5. Дополнение (Augmenting) запроса этим дополнительным словом.
6. Поиск в информационном репозитории (например, в Вебе) по дополненному запросу.
7. Получение группы объектов.
8. Определение контекста (Context).
9. Упорядочивание объектов на основе соответствия контексту.
10. И упорядочивание объектов в ранжировании, определяемом взвешенным набором пользовательских метрик (popularity, frequency of access, recency of access, link structure).

Это определяет комплексную систему, которая сочетает в себе как дополнение запроса (Query Augmentation), так и переранжирование результатов (Re-ranking) на основе контекста (извлеченного из закладок) и метрик использования.

Claim 9 (Независимый пункт): Метод поиска в иерархическом пространстве объектов с акцентом на композитную оценку.

1. Создание коллекции категоризированных указателей контента.
2. Поиск по коллекции и дополнение запроса.
3. Поиск в репозитории и получение группы объектов.
4. Определение контекста в коллекции.
5. Определение набора пользовательских метрик (включая популярность, частоту, новизну, структуру ссылок и метрику тематической категориальной организации).
6. Объединение соответствия контексту и пользовательских метрик в composite measure (композитную оценку).
7. Ранжирование объектов на основе композитной оценки.

Этот пункт похож на Claim 1, но делает акцент на иерархической природе данных и явно включает тематическую организацию (структуру категорий) как метрику. Он фокусируется на механизме ранжирования с использованием единой композитной оценки.

Claim 18 (Независимый пункт): Метод генерации упорядоченных рекомендаций.

1. Создание коллекции категоризированных указателей контента.
2. Получение запроса и поиск в репозитории.
3. Получение группы объектов.
4. Определение контекста в коллекции.
5. Ранжирование на основе соответствия между профилем объекта и контекстом.
6. И упорядочивание на основе метрик приоритета пользовательских рекомендаций (популярность, частота, новизна, структура ссылок).

Этот пункт фокусируется именно на аспекте переранжирования/рекомендации после выполнения поиска, используя как контекст, так и метрики использования.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя предварительно рассчитанные данные для персонализации обработки запроса и финального ранжирования.

INDEXING – Индексирование и извлечение признаков
Система выполняет фоновые процессы: индексацию базы данных закладок, анализ контента, на который они указывают (извлечение метаданных, суммирование). На этом этапе в офлайн-режиме рассчитываются профили пользователей и групп (User/Group Profiles, Content Vectors) и метрики использования, а также происходит сопоставление с глобальной иерархией (ODP).

QUNDERSTANDING – Понимание Запросов
Ключевой этап применения. Система выполняет Query Augmentation. Она определяет контекст пользователя (профиль, группа, недавняя активность или текущее положение в иерархии) и добавляет релевантные термины из соответствующего content vector к исходному запросу перед отправкой его в поисковую систему.

RANKING / RERANKING – Ранжирование / Переранжирование
Система переранжирует результаты, полученные от поисковой системы (Contextualization). Она рассчитывает композитную оценку (composite measure) для каждого результата, основываясь на степени его соответствия контексту пользователя и пользовательским метрикам (Popularity, Frequency, Recency).

Входные данные:

• Исходный запрос пользователя.
• Идентификатор пользователя/группы.
• Профили пользователей/групп (Content Vectors).
• База данных закладок (с иерархиями и метриками использования).
• Недавняя история просмотров пользователя (clickstream).
• Результаты поиска от внешней поисковой системы.

Выходные данные:

• Дополненный запрос (Augmented Query).
• Переранжированный список результатов поиска.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные запросы (например, "java", "apple"), где контекст (программист, путешественник, садовод) необходим для определения релевантности.
• Персонализация: Напрямую влияет на персонализацию поисковой выдачи. Результаты для разных пользователей или даже для одного пользователя в разное время (из-за временного контекста) будут отличаться.

Когда применяется

• Условия активации: Алгоритм активируется, когда пользователь инициирует поиск.
• Триггеры контекстуализации: Активируется, когда контекст пользователя может быть четко идентифицирован:
  • Долгосрочный профиль: У пользователя есть сильный профиль интересов.
  • Временной контекст (Temporal): Пользователь недавно просматривал контент по определенной теме (Interest Immediacy).
  • Пространственный контекст (Spatial): Пользователь инициировал поиск из определенной категории интересов (spatial positioning).

Пошаговый алгоритм

Процесс А: Офлайн-обработка и генерация профилей

1. Сбор данных: Сбор закладок пользователей и их организация в иерархические категории.
2. Анализ контента: Анализ содержания страниц, на которые указывают закладки.
3. Генерация векторов и Маппинг: Создание нормализованных векторов контента (Content Vectors) для пользователей и групп. Сопоставление персональных иерархий с глобальной моделью (ODP).
4. Расчет метрик: Вычисление и обновление метрик использования (Popularity, Frequency, Recency).

Процесс Б: Обработка запроса в реальном времени

1. Получение запроса: Пользователь отправляет поисковый запрос.
2. Идентификация контекста: Система определяет релевантный контекст (профиль пользователя/группы, spatial positioning или Interest Immediacy).
3. Дополнение запроса (Query Augmentation): Система извлекает наиболее важные термины из вектора контента, соответствующего контексту, и добавляет их к исходному запросу (с учетом Relevance Feedback, если применимо).
4. Выполнение поиска: Дополненный запрос отправляется во внешнюю поисковую систему.
5. Получение результатов: Система получает стандартные результаты поиска.
6. Переранжирование (Contextualization): Для каждого результата рассчитывается композитная оценка (composite measure). Оценка основывается на: (1) степени соответствия результата идентифицированному контексту/вектору контента и (2) взвешенных пользовательских метриках (Popularity, Frequency, Recency, Link Structure).
7. Презентация: Отображение переранжированного списка результатов пользователю.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные. Используются закладки (URL, заголовки, категоризация), частота доступа (логированные события), недавность доступа. Также используется данные кликстрима (clickstream data) для временной контекстуализации (Interest Immediacy).
• Контентные факторы: Содержание страниц, на которые указывают закладки. Это содержание анализируется для создания content vectors. Также могут извлекаться метаданные из этих страниц.
• Структурные факторы: Иерархическая организация (категории), созданная пользователями или группами. Структура помогает определить контекст и интересы. Также используется глобальная структура (ODP) для маппинга.
• Ссылочные факторы: Упоминается link structure metric как один из возможных компонентов ранжирования.

Какие метрики используются и как они считаются

• Content Vector (Вектор контента): Нормализованное представление совокупного контента закладок. Используется для сопоставления контекста с результатами поиска и для дополнения запросов.
• Popularity (Популярность): Доля пользователей (всей системы или конкретной группы), у которых есть данная закладка.
• Frequency (Частота): Как часто пользователи обращаются к закладке.
• Recency (Новизна/Недавность): Как давно был доступ к закладке или как давно обновлялся контент.
• Interest Immediacy (Непосредственный интерес): Метрика, полученная из анализа недавней активности пользователя (кликстрима), указывающая на текущий фокус внимания.
• Composite Measure (Композитная оценка): Итоговый балл ранжирования. Рассчитывается путем объединения оценки соответствия контексту (Content Vector match) и взвешенных пользовательских метрик (Popularity, Frequency, Recency, Link Structure).

1. Релевантность субъективна и контекстуальна: Патент подчеркивает, что релевантность сильно зависит от контекста пользователя – его личных интересов, принадлежности к группам и непосредственного намерения (Interest Immediacy). Универсального ранжирования недостаточно.
2. Поведенческие данные как сигнал релевантности: Закладки и история просмотров рассматриваются как сильные индикаторы интереса. Эти данные используются напрямую для модификации поисковой выдачи (как через профили, так и через метрики использования).
3. Двойной подход к улучшению поиска: Система использует две техники: Query Augmentation (улучшение запроса до поиска путем добавления контекстных терминов) и Re-ranking/Contextualization (фильтрация и переупорядочивание результатов после поиска).
4. Разрешение неоднозначности запросов: Система специально разработана для разрешения двусмысленности путем вывода намерения из долгосрочного и краткосрочного (Interest Immediacy) контекста.
5. Структура определяет контекст: То, как пользователи организуют информацию (Categorical Hierarchy) и где они находятся в этой структуре (Spatial Positioning), используется для построения модели интересов и определения текущего контекста.
6. Фундаментальные концепции персонализации: Патент вводит основные идеи персонализации и контекстного поиска, которые лежат в основе современных поисковых систем, даже если методы реализации (например, использование простых Content Vectors) с тех пор значительно эволюционировали.

Best practices (это мы делаем)

• Понимание разнообразных интентов и контекстов: Необходимо признать, что один и тот же ключевой запрос может иметь множество контекстов (программист ищет "Java" vs. путешественник ищет "Java"). Создавайте контент, который глубоко удовлетворяет конкретные интенты и четко сигнализирует о своем контексте.
• Ориентация на сообщества и группы интересов: Определите, каковы общие интересы и терминология вашей целевой аудитории (их "групповой профиль"). Релевантность для сообщества может повысить видимость вашего контента для его членов.
• Оптимизация для долгосрочного вовлечения: Цельтесь на создание контента, который пользователи захотят пересмотреть и поделиться ("контент, достойный закладок"). Эти сигналы соответствуют метрикам Popularity, Frequency и Recency, которые используются для повышения рейтинга в этой модели.
• Построение тематического авторитета (Topical Authority) и Четкая Структура: Широкий охват темы и логичная иерархия сайта соответствуют концепции сильного content vector и использованию Categorical Hierarchies. Это повышает вероятность того, что ваш контент будет признан релевантным для пользователей, интересующихся этим контекстом.

Worst practices (это делать не надо)

• Фокус только на ключевых словах без учета контекста: Игнорирование намерений пользователя, стоящих за ключевым словом, приведет к низкой эффективности в контекстуализированной и персонализированной поисковой среде.
• Погоня за краткосрочными всплесками трафика: Тактики, которые генерируют временный трафик, но не стимулируют повторные визиты или долгосрочное вовлечение, менее ценны согласно этой модели, ориентированной на качество и интересы пользователя.
• Игнорирование структуры сайта: Плохо организованный контент затрудняет системам понимание топической релевантности и иерархических связей, что противоречит принципам использования Categorical Hierarchies для определения контекста.

Стратегическое значение

Этот патент подтверждает, что Google с самого начала работал над персонализацией и контекстуализацией. Он подчеркивает отход от универсальной модели ранжирования к модели, где результаты адаптируются к индивидууму и его непосредственным потребностям (Interest Immediacy). Долгосрочная SEO-стратегия должна быть сосредоточена на понимании полного контекста целевого пользователя, а не только на ключевых словах, которые он вводит.

Практические примеры

Сценарий: Контекстуализация неоднозначного запроса ("Java") с учетом временного контекста

1. Пользователь: Программист, у которого в профиле много закладок по Python и C++ (Долгосрочный контекст/Профиль).
2. Недавняя активность (Interest Immediacy): Последние 30 минут пользователь активно просматривал сайты по бронированию авиабилетов и отелей на Бали и Ломбоке (Временной контекст).
3. Запрос: Пользователь вводит "Java".
4. Стандартный поиск: Вероятно, выдал бы результаты по языку программирования, основываясь на профессии или общей популярности темы.
5. Действие системы (Temporal Contextualization): Система обнаруживает высокую недавнюю активность по теме "путешествия в Индонезию".
6. Query Augmentation/Re-ranking: Система может неявно дополнить запрос терминами, связанными с путешествиями, и повышает в выдаче результаты, касающиеся острова Ява (Java).
7. Результат: Система балансирует выдачу, показывая результаты и по программированию (из-за профиля), и по путешествиям (из-за недавней активности), так как Interest Immediacy вносит сильную коррективу в данном сеансе.