Как Google использует фразы и тематические кластеры из истории пользователя для персонализации результатов поиска

Термины и определения

Cluster (Кластер)

Набор семантически связанных фраз, в котором каждая фраза имеет высокий показатель Information Gain по отношению хотя бы к одной другой фразе в наборе. Представляет собой тему или концепцию.

Cluster Counts (Счетчики кластеров)

Метрики в User Model, показывающие, как часто фразы из определенного кластера встречались в документах, потребленных пользователем.

Good Phrase (Хорошая фраза)

Фраза, которая встречается в корпусе достаточно часто и обладает предсказательной силой в отношении других фраз.

Information Gain (Прирост информации)

Метрика, используемая для определения связи между фразами. Рассчитывается как отношение фактической частоты совместной встречаемости (A) двух фраз к ожидаемой частоте (E). $I(j,k) = A(j,k)/E(j,k)$.

Mask Bit Vector (Масочный битовый вектор)

Вектор, используемый для персонализации. Он создается путем пересечения Related Phrases запроса и User Model. Биты устанавливаются только для тех фраз, которые присутствуют в обоих наборах.

Related Phrase (Связанная фраза)

Фраза Gk считается связанной с фразой Gj, если Information Gain между ними превышает высокий порог. Это указывает на сильную семантическую связь.

Related Phrase Bit Vector (Битовый вектор связанных фраз)

Структура данных, хранящаяся в индексе для пары (фраза, документ). Она указывает, какие из Related Phrases данной фразы также присутствуют в этом документе. Биты упорядочены по убыванию Information Gain.

User Model (Модель пользователя)

Профиль интересов пользователя, представленный как набор фраз (и/или Cluster Counts), извлеченных из документов, которые пользователь ранее посещал или с которыми взаимодействовал.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методах использования фраз, извлеченных из истории поведения пользователя, для изменения результатов поиска.

Claim 1 (Независимый пункт): Описывает базовый метод персонализации.

1. Система отслеживает документы, к которым обращается пользователь.
2. Идентифицируются фразы в этих документах (первые фразы) и их Related Phrases (первые связанные фразы).
3. Создается User Model, включающая эти первые связанные фразы.
4. При получении нового запроса (содержащего вторые фразы) система находит релевантные документы.
5. Система идентифицирует Related Phrases запроса (вторые связанные фразы), которые также присутствуют в User Model (пересечение интересов).
6. Оценки (scores) результатов поиска взвешиваются (корректируются) в соответствии с этими общими фразами.
7. Результаты ранжируются по скорректированным оценкам.

Claims 2-6 (Зависимые от 1): Уточняют, что такое "обращение к документу" (accessed by a user). Это включает действия высокого интереса: печать (Claim 2), сохранение (Claim 3), добавление в закладки (Claim 4), отправка по email (Claim 5) или удержание документа открытым в браузере в течение определенного времени (Claim 6).

Claim 11 (Независимый пункт): Уточняет механизм идентификации общих фраз с использованием битовых векторов.

Процесс аналогичен Claim 1, но детализирует, как происходит идентификация общих фраз: для фразы запроса извлекается Related Phrase Bit Vector, определяется, какие из связанных фраз есть в User Model, и формируется Related Phrase Bit Mask (маска). Эта маска затем используется для взвешивания (как описано в Claim 12).

Claim 13 (Независимый пункт): Описывает альтернативный метод персонализации с использованием кластеров.

Процесс аналогичен Claim 1, но User Model состоит из Cluster Counts (счетчиков интереса к темам/кластерам). Взвешивание результатов поиска происходит на основе этих Cluster Counts для фраз, связанных с запросом.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, опираясь на инфраструктуру фразового индексирования и влияя на финальное ранжирование.

CRAWLING – Сбор данных (Data Acquisition)
На этом этапе происходит сбор данных о поведении пользователя (через логи сервера, cookies или клиентские инструменты) для фиксации документов, с которыми он взаимодействует, что необходимо для построения User Model.

INDEXING – Индексирование и извлечение признаков
Вся инфраструктура создается здесь: идентификация Good Phrases, расчет Information Gain, определение Related Phrases, формирование Clusters и индексация документов с созданием Related Phrase Bit Vectors.

QUNDERSTANDING – Понимание Запросов
Система идентифицирует фразы в запросе пользователя и извлекает для них список связанных фраз (Qr).

RERANKING – Переранжирование (Персонализация)
Основное применение патента. На этом этапе система использует User Model для корректировки стандартных оценок ранжирования.

1. Извлечение интересов: Система определяет, какие из связанных фраз запроса (Qr) присутствуют в User Model.
2. Расчет корректировки: Формируется Mask Bit Vector или используются Cluster Counts для расчета персонализированного веса.
3. Пересчет оценок: Исходные оценки документов модифицируются.
4. Финальная сортировка: Документы сортируются по новым оценкам.

Входные данные:

• Запрос пользователя и идентификатор пользователя.
• User Model (набор фраз и/или Cluster Counts).
• Базовый набор результатов поиска.
• Данные фразового индекса (Related Phrase Bit Vectors, данные о Clusters).

Выходные данные:

• Переранжированный (персонализированный) набор результатов поиска.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные или широкие запросы, где знание предпочтений пользователя помогает уточнить его намерения.
• Конкретные ниши или тематики: Влияет на тематики, в которых у пользователя есть выраженная история интересов. Если пользователь часто читает о программировании на Python, при запросе "Panda" система с большей вероятностью покажет результаты о библиотеке данных, а не о животном.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда пользователь идентифицирован (логин, cookies) и для него существует непустая User Model.
• Условия применения: Применяется, если существует пересечение между Related Phrases текущего запроса и фразами/кластерами в User Model.
• Временные рамки: User Model может строиться на основе последних K запросов и P документов (в патенте упоминается около 250 каждого), может быть ограничена сессией или сохраняться длительное время с понижением веса старых данных.

Пошаговый алгоритм

Процесс А: Построение User Model (Фоновый процесс)

1. Мониторинг действий пользователя: Система отслеживает документы, к которым обращается пользователь. Учитываются действия, свидетельствующие о высоком интересе (печать, сохранение, длительный просмотр).
2. Извлечение фраз: Для каждого посещенного документа извлекаются присутствующие в нем Good Phrases.
3. Идентификация связанных фраз и кластеров: Определяются Related Phrases и Clusters, ассоциированные с извлеченными фразами.
4. Обновление модели: Related Phrases и информация о Clusters добавляются в User Model пользователя.
5. Обновление счетчиков кластеров: Для каждого затронутого кластера инкрементируется Cluster Count в User Model.

Процесс Б: Персонализация поиска (Обработка запроса)

1. Получение запроса и идентификация пользователя: Система получает запрос и загружает соответствующую User Model.
2. Генерация базовых результатов: Выполняется стандартный поиск и ранжирование.
3. Определение фраз запроса: Идентифицируются фразы в запросе (Qp) и их Related Phrases (Qr).
4. Анализ пересечения: Система определяет, какие из Qr также присутствуют в User Model.
5. Генерация маски (Вариант 1 - по Claim 11): Создается Mask Bit Vector. Биты устанавливаются только для тех Qr, которые найдены в User Model.
6. Корректировка оценок (Вариант 1): Mask Bit Vector применяется (например, через операцию AND) к Related Phrase Bit Vector каждого документа. Это обнуляет вклад фраз, не интересующих пользователя.
7. Использование весов кластеров (Вариант 2 - по Claim 13): Cluster Counts из User Model используются для взвешивания оценок документов, которые содержат фразы из соответствующих кластеров.
8. Переранжирование: Документы сортируются на основе скорректированных оценок.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании поведенческих данных для персонализации, опираясь на инфраструктуру фразового индексирования.

• Поведенческие факторы: Критически важные данные. История посещенных документов. Действия пользователя с документами (просмотр, печать, сохранение, отправка по email, время нахождения на странице/dwell time). История запросов.
• Контентные факторы: Фразы (Good Phrases), присутствующие в посещенных документах и в документах из результатов поиска.
• Пользовательские факторы: Идентификатор пользователя (логин, cookies).
• Системные данные: Related Phrase Bit Vectors для документов. Данные о Related Phrases и Clusters. Метрики Information Gain.

Какие метрики используются и как они считаются

• Information Gain (I(j,k)): Используется для определения базовых связей между фразами (описано в разделе Термины).
• Related Phrase Bit Vector Value: Числовое значение битового вектора используется как основа для оценки документа (например, Body Hit Score). Документы с большим количеством высокозначимых связанных фраз получают более высокую оценку.
• Cluster Counts: Счетчики в User Model, отражающие интерес пользователя к определенным темам (кластерам фраз). Используются как весовые коэффициенты при ранжировании.
• Mask Bit Vector: Результат пересечения интересов пользователя и темы запроса. Используется для фильтрации или корректировки Related Phrase Bit Vector Value.

1. Персонализация основана на семантике, а не ключевых словах: Система строит User Model на основе Related Phrases и Clusters, что позволяет понять глубокие тематические интересы пользователя, а не просто набор посещенных им страниц или введенных запросов.
2. История взаимодействия критична: User Model формируется из контента, который пользователь активно потреблял. Поведение пользователя напрямую влияет на его будущую выдачу, причем учитывается глубина взаимодействия (просмотр vs. сохранение/печать).
3. Механизм фильтрации и бустинга: Персонализация работает как фильтр (через Mask Bit Vector), отсекая или понижая контент, не соответствующий интересам пользователя, даже если он релевантен запросу. Альтернативно, она работает как бустинг (через Cluster Counts), повышая контент из интересующих пользователя тематик.
4. Важность тематической глубины контента (Topical Authority): Поскольку система оперирует кластерами связанных фраз, контент, который широко и глубоко охватывает тему (используя множество Related Phrases), с большей вероятностью попадет в User Model пользователя и будет лучше ранжироваться в персонализированной выдаче.
5. Лояльность и удержание как факторы ранжирования: Патент демонстрирует механизм, при котором повторные визиты и глубокое взаимодействие с сайтом улучшают его видимость для данного конкретного пользователя в будущем.

Best practices (это мы делаем)

• Фокус на вовлечении и удержании (Engagement & Retention): Необходимо стимулировать глубокое взаимодействие с контентом (длительное время чтения, сохранение в закладки, шеринг). Поскольку User Model строится на основе потребленного контента (особенно выделены действия в Claims 2-6), эти действия укрепляют модель пользователя в вашу пользу.
• Построение Topical Authority и глубина контента: Создавайте контент, который полностью покрывает тему, используя семантически связанные концепции (Related Phrases и Clusters). Это увеличивает вероятность того, что контент станет частью User Model пользователя в данной тематике.
• Стимулирование повторных визитов и построение бренда: Развивайте лояльность аудитории. Пользователи, которые регулярно возвращаются на ваш сайт, будут иметь User Model, насыщенную фразами вашего сайта, что даст вам преимущество в их персонализированной выдаче.
• Оптимизация под Google Discover (Концептуально): Механизмы, описанные в патенте, концептуально лежат в основе работы рекомендательных систем типа Discover, которые также опираются на модель интересов. Создание контента, который вызывает устойчивый интерес, напрямую тренирует систему рекомендовать ваш сайт.

Worst practices (это делать не надо)

• Использование кликбейта и стратегий низкого вовлечения: Стратегии, направленные на получение клика без последующего удержания пользователя. Если пользователь быстро покидает сайт, его User Model не будет эффективно сформирована в пользу вашего ресурса.
• Создание разрозненного или поверхностного контента: Публикация статей, оптимизированных только под основные ключевые слова, но игнорирующих связанные концепции. Такой контент менее эффективен для построения User Model и не формирует сильных кластеров интересов.
• Игнорирование анализа аудитории и её интересов: Непонимание того, какие темы интересуют вашу аудиторию и как они связаны между собой, приводит к неэффективной контент-стратегии, которая не использует преимущества персонализации.

Стратегическое значение

Патент подтверждает, что для Google долгосрочное взаимодействие пользователя с контентом является фактором ранжирования через механизм персонализации. Стратегия SEO должна смещаться от транзакционного подхода (получить клик по запросу) к подходу, основанному на взаимоотношениях (стать авторитетным источником для пользователя в определенной теме). Понимание этого механизма подчеркивает, что SEO – это оптимизация пользовательского опыта и ценности контента для формирования устойчивого спроса.

Практические примеры

Сценарий: Усиление видимости сайта по ремонту техники для лояльного пользователя

1. Действие пользователя: Пользователь регулярно посещает сайт TechMaster.com, читая статьи о ремонте ноутбуков и смартфонов. Он сохраняет несколько инструкций (глубокое взаимодействие).
2. Построение User Model: User Model пользователя наполняется фразами типа "замена матрицы ноутбука", "перегрев процессора", "ошибка обновления iOS". Счетчики (Cluster Counts) для кластера "Ремонт электроники" увеличиваются.
3. Новый запрос: Пользователь вводит общий запрос "как ускорить компьютер".
4. Персонализация: Система видит, что Related Phrases запроса пересекаются с кластером "Ремонт электроники" в User Model пользователя.
5. Результат: Статья с сайта TechMaster.com "Топ-10 способов ускорить ваш ноутбук или ПК" получает значительный бустинг в выдаче этого пользователя, опережая конкурентов с более высоким общим рейтингом, потому что система считает TechMaster.com более релевантным интересам данного пользователя.