Как Google создает детальные профили пользователей на основе истории поиска и поведения для персонализации выдачи

Описание

Какую задачу решает

Патент решает проблему нерелевантности стандартных результатов поиска, которые оптимизированы под абстрактного «случайного пользователя» (random surfer) и не учитывают индивидуальные предпочтения конкретного человека. Стандартные алгоритмы (например, основанные только на PageRank и текстовой релевантности) могут возвращать одинаковую выдачу всем пользователям, игнорируя их контекст и историю интересов (например, разный интент для запроса «blackberry» у кулинара и IT-специалиста). Изобретение направлено на повышение качества выдачи путем ее адаптации под персональный профиль пользователя.

Что запатентовано

Запатентована система и метод создания многофакторного профиля пользователя (User Profile) и его использования для персонализации результатов поиска. Профиль строится преимущественно на основе неявных поведенческих данных: анализа поисковых запросов, взаимодействия пользователя с документами (клики, время просмотра, скроллинг) и анализа содержания этих документов. Изобретение описывает, как модулировать стандартные оценки ранжирования (Generic Score) с помощью оценок релевантности профилю (Profile Rank) для пересортировки выдачи, используя при этом оценку уверенности (Confidence Score).

Как это работает

Система работает в двух направлениях: построение профиля и его применение.

• Построение профиля: Система отслеживает действия пользователя и анализирует посещенный контент. Для извлечения значимых данных используются методы Paragraph Sampling (выборка контента из длинных параграфов, игнорируя шум) и Context Analysis (анализ контекста для выявления важных терминов). На основе этого формируются три компонента профиля: Term-based (термины), Category-based (категории интересов) и Link-based (предпочитаемые сайты/домены).
• Применение профиля: При получении нового запроса система генерирует стандартные результаты с Generic Score. Затем она оценивает релевантность этих документов профилю пользователя, создавая Profile Rank. Финальный Personalized Score вычисляется путем комбинации Generic Score и Profile Rank, причем степень влияния регулируется Confidence Score. Результаты переранжируются и смешиваются (interleaving) с общими результатами.

Актуальность для SEO

Критически высокая. Персонализация является одним из ключевых направлений развития поиска Google. Понимание механизмов, с помощью которых Google интерпретирует историю поведения пользователей и связывает ее с контентом и интересами, остается фундаментально важным для современного SEO (на 2025 год). Несмотря на то, что конкретные алгоритмы (например, Context Analysis или использование PageRank в чистом виде) могли эволюционировать в более сложные нейросетевые модели, базовые принципы профилирования и адаптивного ранжирования, заложенные в этом патенте (который является продолжением заявок с 2003 года), крайне актуальны.

Важность для SEO

Патент имеет критическое значение (95/100) для SEO. Он детально описывает архитектуру, которая позволяет Google радикально изменять поисковую выдачу для конкретного пользователя на основе его поведения и истории. Это подчеркивает, что SEO-стратегия должна фокусироваться не только на соответствии контента запросу (Generic Score), но и на соответствии контента долгосрочным интересам целевой аудитории, стимулируя глубокую вовлеченность и повторные визиты для формирования устойчивых связей в профилях пользователей.

Детальный разбор

Термины и определения

Category-based Profile (Профиль на основе категорий)

Компонент профиля пользователя, характеризующий его интересы через набор категорий (например, тематики, форматы документов). Каждой категории присваивается вес.

Confidence Score / Profile Confidence (Оценка уверенности в профиле)

Метрика, определяющая надежность и актуальность профиля пользователя для текущего запроса. Учитывает объем собранных данных о пользователе, соответствие запроса профилю и возраст профиля. Используется для модуляции влияния персонализации на финальное ранжирование.

Context Analysis (Контекстный анализ)

Метод для выявления важных терминов в документах путем изучения контекстных шаблонов (префиксов и постфиксов), которые окружают известные важные/неважные термины. Состоит из фазы обучения и операционной фазы.

Generic Score / Generic Rank (Общая оценка / Ранг)

Оценка ранжирования документа, не зависящая от профиля пользователя. В патенте приводится пример: QueryScore * PageRank.

Link-based Profile (Профиль на основе ссылок)

Компонент профиля пользователя, идентифицирующий предпочитаемые ссылки (URL), хосты или домены. Вес присваивается на основе частоты доступа, времени просмотра и других активностей.

Paragraph Sampling (Выборка параграфов)

Процедура автоматического извлечения релевантного контента из документа. Фокусируется на длинных параграфах, игнорируя короткие сегменты (навигация, копирайт). При недостатке контента использует заголовки, ALT-теги, мета-теги.

Personalized Score / Personalized Rank (Персонализированная оценка / Ранг)

Оценка ранжирования документа, полученная путем комбинации Generic Score и Profile Rank.

Profile Rank/Score (Ранг/Оценка профиля)

Оценка, отражающая релевантность документа профилю пользователя. Может состоять из TermScore, CategoryScore и LinkScore.

Term-based Profile (Профиль на основе терминов)

Компонент профиля пользователя, состоящий из набора терминов (n-грамм) с весами, указывающими на их важность для пользователя (веса могут быть отрицательными).

User Profile (Профиль пользователя)

Набор данных, характеризующий предпочтения и интересы пользователя. Включает Term-based, Category-based и Link-based профили.

Ключевые утверждения (Анализ Claims)

Анализ основан на Claims патента US10839029B2, который является продолжением (continuation) более ранних заявок.

Claim 1 (Независимый пункт): Описывает метод персонализации результатов поиска с акцентом на взвешивание и смешивание.

1. Доступ к профилю пользователя (User Profile). Профиль основан на информации, извлеченной из набора документов (включая результаты поиска, посещенные пользователем документы и связанные с ними документы).
2. Получение поискового запроса от пользователя.
3. Идентификация набора документов по запросу, каждый из которых имеет общую оценку (Generic Score), не зависящую от профиля.
4. Присвоение персонализированной оценки (Personalized Score) подмножеству документов на основе профиля пользователя.
5. Определение финальной оценки (Final Score) для каждого документа. Эта оценка является функцией трех компонентов: Personalized Score, Generic Score И оценки уверенности (Confidence Score).
6. Confidence Score учитывает один или несколько факторов: количество информации о пользователе, степень соответствия запроса профилю, возраст профиля.
7. Предоставление результатов пользователю в соответствии с Final Scores. Причем выдача включает смешивание (interleaving/intermixing): как минимум один результат предоставляется на основе Personalized Score, а другие результаты предоставляются на основе Generic Scores (независимо от профиля).

Ядро изобретения в этом патенте заключается в механизме управления степенью персонализации через Confidence Score и в обязательном смешивании персонализированных и общих результатов в финальной выдаче.

Claim 2 (Зависимый от 1): Уточняет механизм взвешивания.

Определение Final Score включает взвешивание как Personalized Score, так и Generic Score в соответствии с Confidence Score. Это подтверждает, что система динамически решает, насколько доверять профилю по сравнению со стандартным ранжированием.

Где и как применяется

Изобретение затрагивает практически все этапы поискового процесса, но ключевые механизмы реализуются во время сбора данных о пользователе, индексирования/обработки профиля и во время ранжирования/переранжирования.

Сбор данных (Data Acquisition) и Обработка профиля (Вне стандартных этапов CRAWLING/INDEXING)

Система непрерывно собирает данные о поведении пользователя (запросы, клики, взаимодействие с контентом). Компонент User Profile Engine обрабатывает эти данные (в фоновом режиме или асинхронно) для построения и обновления User Profile. Это включает применение Paragraph Sampling и Context Analysis к посещенным документам.

INDEXING – Индексирование и извлечение признаков

На этом этапе рассчитываются общие сигналы (например, PageRank), которые лягут в основу Generic Score. Также извлекаются признаки документов (термины, категории, ссылки), которые позже будут сопоставляться с профилями пользователей.

QUNDERSTANDING – Понимание Запросов

В одном из вариантов реализации, описанном в патенте, профиль пользователя может использоваться для модификации исходного запроса до основного поиска, создавая Personalized Query Strategy (например, путем добавления терминов из профиля).

RANKING – Ранжирование

Основной поисковый движок генерирует первый набор результатов, присваивая документам Generic Score (например, QueryScore * PageRank).

RERANKING – Переранжирование и Смешивание

Основное применение патента. Система получает профиль пользователя и вычисляет Profile Ranks (TermScore, CategoryScore, LinkScore) для кандидатов. Затем вычисляется Confidence Score. Система рассчитывает Final Score, комбинируя Generic Score и Profile Rank, используя Confidence Score как вес. На этом этапе также происходит смешивание (interleaving) результатов.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные или широкие запросы (например, «Java», «Python», «Blackberry»), где контекст пользователя критичен для определения интента.
• Конкретные ниши: Влияет на тематики, связанные с хобби, исследованиями, покупками, где у пользователя есть четко выраженные долгосрочные интересы или предпочтения брендов/источников (Link-based Profile).
• Географические факторы: Профиль может включать географическую информацию (явно указанную или выведенную), что критично для локального поиска.

Когда применяется

Алгоритм применяется при обработке запросов от пользователя, для которого существует накопленный профиль.

• Триггеры активации: Наличие профиля пользователя и возможность сопоставить его с результатами поиска.
• Пороговые значения (Confidence Score): Степень влияния персонализации модулируется уровнем уверенности. Если Profile Confidence низкий (мало данных, профиль устарел или запрос не соответствует профилю), финальная оценка будет ближе к Generic Score. Если уверенность высокая, влияние Profile Score увеличивается.
• Смешивание: Система применяет смешивание (interleaving) для гарантии разнообразия, даже при высокой уверенности в профиле.

Пошаговый алгоритм

Процесс А: Построение и обновление профиля (Офлайн или Асинхронно)

1. Сбор данных: Система собирает информацию о действиях пользователя: поисковые запросы, клики по результатам, посещенные документы.
2. Анализ взаимодействия: Оценивается взаимодействие с документами: время просмотра, активность скроллинга, сохранение, печать. Документы с минимальным взаимодействием могут игнорироваться.
3. Извлечение контента (Paragraph Sampling): Из релевантных документов извлекается контент. Удаляются скрипты, стили, boilerplate. Выбирается текст из параграфов, длина которых превышает порог. При необходимости добавляются заголовки, ALT-теги, мета-теги.
4. Идентификация терминов (Context Analysis): К извлеченному контенту применяются заранее обученные контекстные шаблоны (префиксы/постфиксы) для выявления важных терминов и их весов.
5. Классификация и Анализ ссылок: Определяются категории документов и идентифицируются предпочитаемые URL/хосты на основе частоты доступа и взаимодействия.
6. Обновление профиля: Данные агрегируются в Term-based, Category-based и Link-based профили. При обновлении новые данные могут иметь больший вес, чем старые (затухание весов со временем).
7. Прунинг (Pruning): Удаление элементов профиля с наименьшими весами или устаревшей информации.

Процесс Б: Обработка запроса и Персонализация (В реальном времени)

1. Получение запроса: Система получает запрос и идентификатор пользователя.
2. Генерация общих результатов: Поисковый движок идентифицирует документы и присваивает им Generic Score (например, QueryScore * PageRank).
3. Получение профиля и Расчет Confidence Score: Система извлекает профиль пользователя и определяет уровень уверенности в профиле для данного запроса.
4. Расчет Profile Ranks: Для каждого документа-кандидата вычисляется его релевантность профилю: TermScore, CategoryScore, LinkScore.
5. Расчет Personalized Score: Агрегация оценок. Например: GenericScore * (TermScore + CategoryScore + LinkScore).
6. Расчет Final Score (Финальное ранжирование): Модуляция с учетом уверенности. Формула, предложенная в патенте: FinalScore = ProfileScore * ProfileConfidence + GenericScore * (1 — ProfileConfidence). (Здесь ProfileScore может означать PersonalizedScore или агрегированный Profile Rank, в зависимости от реализации).
7. Смешивание (Interleaving) и Выдача: Финальная выдача формируется путем сортировки по Final Score и смешивания персонализированных результатов с общими результатами для обеспечения разнообразия.

Какие данные и как использует

Данные на входе

Патент описывает широкий спектр данных, используемых для построения профиля:

• Поведенческие факторы (User Activities): История поисковых запросов. Клики по результатам поиска. Время, проведенное на документе (time spent). Активность скроллинга (scrolling activity). Действия с документом: печать, сохранение, добавление в закладки.
• Контентные факторы: Содержание посещенных документов. Для анализа используются заголовки (title), основной текст (извлекаемый через Paragraph Sampling), мета-теги, ALT-атрибуты. Термины, идентифицированные через Context Analysis.
• Ссылочные факторы: URL посещенных документов. Анкорный текст (Anchor Text) ссылок, ведущих на эти документы. Предпочитаемые хосты и домены. Ссылки, исходящие из посещенных документов (HREF links). PageRank используется для Generic Score.
• Технические/Структурные факторы (General Information): Формат документа (HTML, PDF, Word), тип документа (домашняя страница, статья и т.д.), категория документа.
• Географические и Пользовательские факторы (Personal Information): Демографические данные, возраст, образование, уровень дохода, языковые предпочтения, географическое положение (явно предоставленные или выведенные).

Какие метрики используются и как они считаются

• GenericScore: Общая оценка документа. Формула: QueryScore * PageRank.
• Веса элементов профиля (Weights): Веса для терминов, категорий и ссылок. Рассчитываются на основе частоты появления и анализа взаимодействия (время, скроллинг). Веса могут быть отрицательными (для нежелательных тем) и могут затухать со временем.
• Profile Rank (TermScore, CategoryScore, LinkScore): Оценка релевантности документа компонентам профиля. TermScore может рассчитываться с использованием TF-IDF. CategoryScore и LinkScore рассчитываются на основе совпадения с профилем и весов элементов в нем.
• PersonalizedScore: Агрегированная персонализированная оценка. В одном из вариантов: GenericScore * (TermScore + CategoryScore + LinkScore).
• ProfileConfidence (Confidence Score): Коэффициент уверенности (например, от 0 до 1). Зависит от объема данных о пользователе, возраста профиля и соответствия запроса профилю.
• FinalScore: Финальная оценка ранжирования. Формула с учетом уверенности: FinalScore = ProfileScore * ProfileConfidence + GenericScore * (1 — ProfileConfidence).
• Метрики Context Analysis: Веса контекстных шаблонов. Рассчитываются во время фазы обучения. Пример формулы: Weight(s) = Log(ImportantContext(s)+1) — Log(UnimportantContext(s)+1).

Выводы

1. Многофакторная Персонализация: Google строит комплексный профиль пользователя, включающий термины (Term-based), категории интересов (Category-based) и предпочитаемые источники (Link-based). Это не простая адаптация под последний запрос, а учет долгосрочных интересов.
2. Поведенческие сигналы критичны: Патент явно указывает на использование не только факта посещения документа, но и качества взаимодействия с ним (время, скроллинг, сохранение) для определения его важности для пользователя и взвешивания его вклада в профиль.
3. Продвинутые методы анализа контента: Использование Paragraph Sampling и Context Analysis показывает стремление Google игнорировать шаблонный/навигационный шум и фокусироваться на смысловом ядре контента для точного профилирования интересов.
4. Адаптивное Ранжирование и Уверенность (Confidence Score): Система не применяет персонализацию слепо. Confidence Score используется для динамической балансировки между персонализированными и общими результатами. Это механизм защиты от ошибок, когда данных мало или интент неясен.
5. Смешивание результатов (Interleaving): Патент и Claims явно предусматривают смешивание персонализированных и общих результатов в выдаче. Это гарантирует разнообразие и помогает пользователю находить новый контент, даже если у него сильный профиль (защита от «пузыря фильтров»).
6. Два пути реализации: Персонализация может быть реализована как через переранжирование результатов (пост-обработка), так и через модификацию запроса (Personalized Query Strategy) до его выполнения (пре-обработка).

Практика

Best practices (это мы делаем)

• Фокус на вовлеченности и качестве взаимодействия (Engagement): Необходимо оптимизировать контент для глубокого вовлечения. Метрики, коррелирующие с time spent и scrolling activity, критически важны. Сайт должен предоставлять ценность, которая заставляет пользователя изучать контент и возвращаться к нему. Это напрямую влияет на формирование положительного профиля пользователя, связанного с вашим сайтом.
• Оптимизация под долгосрочные интересы (Topic Clusters): Создавайте контент, который соответствует устойчивым интересам вашей аудитории. Это увеличивает вероятность того, что ваш сайт будет ассоциирован с соответствующими категориями (Category-based Profile) и терминами (Term-based Profile) в профилях пользователей.
• Укрепление авторитетности домена/бренда: Работайте над тем, чтобы ваш домен стал предпочитаемым источником в вашей нише. Высокая частота возвратов пользователей укрепляет позиции сайта в Link-based Profile пользователей, что дает преимущество в персонализированной выдаче.
• Чистая структура и выделение основного контента: Используйте семантическую верстку и избегайте больших объемов шаблонного текста. Основное содержание должно быть представлено в виде содержательных параграфов. Это помогает системам типа Paragraph Sampling корректно извлекать основной смысл страницы.
• Использование ключевых терминов в сильных контекстах: Обращайте внимание на контекст, в котором употребляются ключевые слова. Системы типа Context Analysis ищут лингвистические шаблоны. Использование терминов в четких, информативных конструкциях может повысить их вес при профилировании.

Worst practices (это делать не надо)

• Манипуляция кликами и привлечение нецелевого трафика (Clickbait): Привлечение пользователей, которые быстро покидают сайт или не взаимодействуют с контентом, негативно сказывается на профилировании. Система фиксирует низкое вовлечение, что может привести к понижению веса сайта или даже присвоению отрицательных весов в профилях этих пользователей.
• Размытие тематики сайта: Попытка охватить слишком много несвязанных тем может затруднить ассоциацию сайта с конкретными категориями в профилях пользователей (Category-based Profile), снижая шансы на получение преимуществ от персонализации.
• Перегрузка страниц навигацией, рекламой и короткими блоками: Если основной контент занимает малую часть страницы или разбит множеством коротких неинформативных параграфов, системы типа Paragraph Sampling могут извлечь нерелевантный контент или пропустить ключевую информацию.
• Игнорирование стандартных факторов ранжирования: Персонализация модулирует Generic Score, но не заменяет его. Если у сайта низкий Generic Score (например, из-за плохого технического SEO или слабого ссылочного профиля), даже сильная персонализация может не вывести его в топ.

Стратегическое значение

Этот патент подтверждает, что для Google пользователь и его опыт стоят в центре процесса ранжирования. Стратегическое SEO должно быть направлено на построение долгосрочных отношений с аудиторией. Успех зависит не только от того, насколько хорошо страница отвечает на один запрос, но и от того, насколько весь сайт соответствует паттернам поведения и интересам целевых пользователей. Персонализация может как значительно усилить видимость авторитетных и полезных сайтов для лояльной аудитории, так и скрыть сайты, которые не обеспечивают качественного взаимодействия. Это также усложняет традиционный мониторинг позиций, так как выдача становится динамической.

Практические примеры

Сценарий: Персонализация выдачи по многозначному запросу «Java»

1. Построение профиля: Пользователь часто ищет «Spring framework tutorial», «Java memory management», читает статьи на сайте Baeldung (bаeldung.com) и проводит там много времени (высокий time spent, активный scrolling).
2. Формирование профиля: Google создает профиль:
   • Term-based: «Spring», «Hibernate», «JVM».
   • Category-based: Высокий вес в категории «Компьютеры/Программирование».
   • Link-based: Высокий вес для домена baeldung.com.
3. Новый запрос: Пользователь вводит неоднозначный запрос «Java».
4. Обработка: Система генерирует общие результаты (язык программирования, остров Ява, кофе) с высокими Generic Scores. Затем рассчитывается Profile Score. Статьи о программировании на Java имеют высокий CategoryScore и TermScore. Confidence Score высок, так как запрос связан с категорией интересов.
5. Результат: Система переранжирует выдачу. На первых позициях пользователь видит учебники по программированию и ссылки на baeldung.com, а не информацию о кофе или острове Ява, так как их Final Score оказался выше.

Вопросы и ответы