Как Google использует агрегированное поведение аудитории сайта для контекстной персонализации результатов поиска

Описание

Какую задачу решает

Патент решает проблему контекстной слепоты поисковых систем при обработке запросов, поступающих со сторонних веб-сайтов. Традиционно поисковая система возвращает одинаковые результаты независимо от источника запроса. Например, запрос «apple», отправленный с технологического блога и с сайта продуктового магазина, давал бы одинаковую выдачу. Изобретение позволяет адаптировать результаты поиска (Contextual Search), учитывая тематику сайта-источника и вероятные интересы его аудитории.

Что запатентовано

Запатентована система генерации Website Profile (Профиля веб-сайта), который отражает коллективные интересы аудитории этого сайта. Профиль создается путем агрегирования и анализа истории поисковых запросов, отправленных с этого сайта (например, через встроенное поисковое окно), и последующих действий пользователей (клики, время пребывания). Этот профиль затем используется для переранжирования будущих результатов поиска, инициированных с того же сайта.

Как это работает

Система работает в двух основных режимах:

• Генерация профиля (Офлайн): Website Profiler анализирует данные из Search History Database (запросы с сайта и клики пользователей). Агрегируя профили документов (Document Profiles), на которые кликали пользователи, система создает Website Profile (на основе категорий, терминов или ссылок). При этом может применяться фильтрация шума (слишком популярных или редких запросов).
• Применение профиля (Ранжирование): Когда поступает новый запрос с этого сайта, Search Engine генерирует стандартные результаты с Generic Ranking Score. Затем Search Result Ranker использует Website Profile для вычисления Boost Factors (повышающих коэффициентов), сравнивая его с профилями документов. Генерируется Website-Dependent Ranking Score, и результаты переупорядочиваются.

Актуальность для SEO

Высокая. Понимание контекста и персонализация остаются ключевыми задачами поиска. Хотя прямым применением этого патента являются сервисы типа Google Custom Search Engine (GSE), базовая концепция профилирования сайтов на основе агрегированного поведения их аудитории является фундаментальной для понимания того, как Google оценивает тематическую направленность и интересы, связанные с ресурсом.

Важность для SEO

Патент имеет значительное стратегическое значение для SEO. Он детально описывает механизм, с помощью которого Google определяет коллективные интересы аудитории сайта на основе их поискового поведения. Это подтверждает важность формирования четкого тематического фокуса сайта (Topical Authority) и привлечения целевой аудитории. Агрегированное поведение пользователей формирует профиль сайта, который используется для контекстной адаптации ранжирования.

Детальный разбор

Термины и определения

Boost Factor (Повышающий коэффициент)

Метрика, вычисляемая на основе корреляции между Website Profile и Document Profile. Используется для модификации Generic Ranking Score. Может включать TermBoostFactor, CategoryBoostFactor и LinkBoostFactor.

Client Assistant (Клиентский помощник)

Компонент (например, скрипт на странице результатов), который отслеживает действия пользователя в результатах поиска и отправляет эти данные на информационный сервер.

Document Profile (Профиль документа)

Предварительно сгенерированное описание документа, созданное Document Profiler на основе анализа контента и ссылочной структуры. Может включать категории, термины и ссылки.

Generic Ranking Score (Общая оценка ранжирования)

Стандартная оценка ранжирования документа, независимая от профиля веб-сайта (например, основанная на релевантности запросу и PageRank).

Search History (История поиска)

Данные, связанные с поисковой активностью: отправленные запросы, полученные результаты и действия пользователей с этими результатами.

User Activities (Действия пользователей)

Поведенческие сигналы в результатах поиска, такие как клики по ссылкам (user selections), время наведения курсора (mouse hovering time) и время пребывания на документе (dwell time).

Website Profile (Профиль веб-сайта)

Агрегированное представление интересов аудитории конкретного веб-сайта, сгенерированное на основе их общей Search History. Может быть Category-based, Term-based или Link-based.

Webpage Profile (Профиль веб-страницы)

Более гранулярный профиль, созданный для конкретной страницы сайта (например, для раздела спорта или финансов).

Website Profiler (Профилировщик веб-сайтов)

Модуль, отвечающий за анализ истории поиска, связанной с конкретным сайтом, и создание/обновление Website Profiles.

Website-Dependent Ranking Score (Оценка ранжирования, зависимая от веб-сайта)

Итоговая оценка ранжирования документа, полученная путем модификации Generic Ranking Score с помощью Boost Factors.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод профилирования веб-сайта и применения профиля.

1. Сервер получает поисковые запросы от пользователей веб-сайта.
2. Предоставляет пользователям результаты поиска.
3. Обрабатывает действия пользователей (User Activities) в этих результатах поиска.
4. Генерирует Website Profile, используя обработанные действия пользователей.
5. Модифицирует ранжирование будущих результатов поиска для новых запросов с этого веб-сайта на основе сгенерированного профиля.

Claim 2 (Зависимый): Уточняет, что User Activities включают клики (user selections) и время наведения курсора (mouse hovering time).

Claim 4 (Зависимый): Указывает на фильтрацию запросов при генерации профиля. Используется подмножество запросов, выбранное на основе предопределенного диапазона частоты встречаемости (predefined range of occurrence frequency). Это механизм защиты от «загрязнения» профиля слишком популярными или слишком редкими запросами.

Claim 5 (Зависимый): Указывает, что недавним запросам и действиям пользователей придается больший вес, чем более старым.

Claim 7 (Зависимый): Детализирует процесс ранжирования. Generic Ranking Score модифицируется весовым коэффициентом (Boost Factor), который определяется Website Profile, для получения Website-Dependent Ranking Score.

Claim 10 (Зависимый): Расширяет концепцию с уровня сайта на уровень отдельной веб-страницы (Webpage Profile).

Claim 31 (Независимый пункт): Описывает альтернативный метод генерации профиля при отсутствии прямых данных о поведении. Система использует действия пользователей по тем же результатам поиска, но полученные *не с этого веб-сайта* (at venues other than the website) – использование прокси-данных.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, интегрируя офлайн-анализ и онлайн-ранжирование.

INDEXING – Индексирование и извлечение признаков
На этом этапе Document Profiler анализирует документы в индексе и создает для них Document Profiles (на основе категорий, терминов, ссылок).

CRAWLING / DATA ACQUISITION (Сбор данных)
Система собирает поведенческие данные. Client Assistant отслеживает запросы, отправленные с конкретного сайта (Website ID), и User Activities (клики, время), сохраняя их в Search History Database.

(Офлайн-процесс / Website Profiling)
Website Profiler периодически обрабатывает данные из Search History Database, агрегируя поведение пользователей для создания или обновления Website Profile.

RANKING – Ранжирование
Search Engine обрабатывает новый запрос и генерирует первичный набор результатов с Generic Ranking Scores.

RERANKING – Переранжирование
Основное место применения патента. Search Result Ranker извлекает Website Profile сайта-источника и Document Profiles кандидатов. Затем он вычисляет Boost Factors на основе корреляции между профилями и пересчитывает оценки, получая Website-Dependent Ranking Scores.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на многозначные запросы, где контекст сайта критически важен для определения интента (например, «apple», «java», «python»).
• Типы сайтов: В первую очередь влияет на сайты, использующие встроенные поисковые решения (например, Google Custom Search), где поисковая система может идентифицировать источник запроса.

Когда применяется

• Условия применения: Алгоритм применяется, когда поисковый запрос отправляется со стороннего веб-сайта (или конкретной веб-страницы), для которого система сгенерировала Website Profile или Webpage Profile.
• Триггеры активации: Идентификация источника запроса (Website ID или Webpage ID) при получении запроса.

Пошаговый алгоритм

Процесс А: Генерация и обновление Website Profile (Офлайн)

1. Сбор данных: Идентификация поисковых запросов, отправленных с конкретного веб-сайта, и действий пользователей (клики, dwell time, hovering time) в результатах поиска.
2. Фильтрация и Взвешивание: Отбор запросов в «разумно популярном» диапазоне частот. Исключение аномально частых или редких запросов. Применение временного взвешивания (приоритет свежим данным).
3. Анализ выбранных документов: Извлечение Document Profiles для документов, с которыми взаимодействовали пользователи.
4. Агрегация и Генерация профиля: Агрегация данных из Document Profiles для создания Website Profile (Category-based, Term-based, Link-based).
5. Обновление: Периодическое обновление профиля, возможно путем слияния инкрементальных профилей (Incremental Profile) с существующим профилем.

Процесс Б: Применение Website Profile (Онлайн-ранжирование)

1. Получение запроса: Система получает запрос и идентификатор сайта-источника.
2. Генерация базовых результатов: Поисковая система идентифицирует список документов и присваивает им Generic Ranking Score.
3. Извлечение профилей: Система извлекает Website Profile для сайта-источника и Document Profiles для документов-кандидатов.
4. Вычисление Boost Factors: Для каждого документа вычисляются Boost Factors путем определения корреляции (например, через скалярное произведение векторов) между Website Profile и Document Profile.
5. Расчет Website-Dependent Score: Generic Ranking Score модифицируется с помощью Boost Factors.
6. Переранжирование: Документы упорядочиваются в соответствии с их Website-Dependent Ranking Scores.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые данные):
  • Поисковые запросы, связанные с конкретным Website ID.
  • User Activities: клики (selections), время наведения курсора (mouse hovering time), время пребывания на документе (dwell time).
• Контентные факторы (Через профили): Используются предварительно рассчитанные Document Profiles, основанные на контенте документа (термины, категории).
• Ссылочные факторы (Через профили): Используются Document Profiles, основанные на ссылочной структуре (PageRank, предпочтительные URL/хосты).
• Временные факторы: Временные метки запросов и действий используются для придания большего веса более свежим данным.

Какие метрики используются и как они считаются

• Generic Ranking Score: Базовая оценка ранжирования. В патенте приводится пример формулы: GenericScore = Query Score * PageRank.
• Boost Factors (TermBoostFactor, CategoryBoostFactor, LinkBoostFactor): Коэффициенты, рассчитываемые на основе степени совпадения (корреляции, например, через dot product) между профилем документа и профилем сайта.
• Website-Dependent Ranking Score: Финальная оценка. В патенте приводятся примеры формул:
  • WebsiteScore = GenericScore * (TermBoostFactor + CategoryBoostFactor + LinkBoostFactor)
  • WebsiteScore = GenericScore * Boost Factor
• Occurrence Frequency (Частота встречаемости запросов): Используется для фильтрации запросов при генерации профиля (исключение «аномально популярных» и «непопулярных» запросов).

Выводы

1. Контекстная персонализация на основе агрегированных данных: Патент описывает механизм персонализации, основанный не на индивидуальной истории пользователя, а на контексте сайта-источника запроса. Этот контекст определяется через агрегированное поведение аудитории сайта (Website Profile).
2. Поведенческие сигналы как основа профилирования: Website Profile строится непосредственно на основе того, что пользователи ищут и как взаимодействуют с результатами (клики, dwell time, hovering time). Это демонстрирует методологию использования поведенческих сигналов для оценки интересов.
3. Многомерное профилирование: Google профилирует как сайты (аудиторию), так и документы по нескольким измерениям: тематика (Category-based), ключевые слова (Term-based) и ссылочные предпочтения (Link-based). Ранжирование корректируется на основе совпадения этих профилей.
4. Защита от искажения профиля и учет свежести: Система включает механизмы фильтрации шума (по частоте запросов) для предотвращения «загрязнения» профиля нерелевантными данными и придает больший вес свежим данным.
5. Использование прокси-данных: Если прямой сбор данных о кликах с сайта невозможен, Google может использовать общую статистику поведения пользователей по тем же запросам в качестве прокси для построения профиля сайта (Claim 31).
6. Гранулярность профилирования: Механизм может применяться как на уровне всего сайта, так и на уровне отдельных страниц (Webpage Profile) для более точного учета контекста.

Практика

Best practices (это мы делаем)

Хотя патент в первую очередь описывает механизм для продуктов типа Google Custom Search, он дает важные стратегические инсайты для общего SEO.

• Поддерживать четкий тематический фокус сайта (Topical Authority): Поскольку Website Profile строится на агрегированных интересах аудитории, четкая тематическая направленность сайта поможет сформировать сильный и когерентный профиль. Это усиливает понимание системой основной специализации ресурса.
• Привлекать и удерживать целевую аудиторию: Поведение привлеченной аудитории формирует профиль сайта. Привлечение пользователей, чьи интересы соответствуют тематике сайта, и обеспечение положительного взаимодействия (высокий dwell time) способствует формированию релевантного профиля.
• Создание сильных тематических разделов: Патент поддерживает идею структурирования контента. Механизм может генерировать отдельные Webpage Profiles. Развитие сфокусированных разделов помогает системе формировать точные профили для каждого из них.
• Анализировать логи внутреннего поиска (если используется технология Google): Данные внутреннего поиска (запросы и клики) – это именно та информация, которую механизм использует для генерации профиля. Анализ этих данных позволяет понять, как система видит интересы вашей аудитории.

Worst practices (это делать не надо)

• Размывать тематику сайта: Попытка охватить множество несвязанных тем может привести к формированию слабого или противоречивого Website Profile, так как интересы аудитории будут разрозненными.
• Привлекать нецелевой трафик в больших объемах: Если значительная часть аудитории приходит на сайт по нерелевантным причинам и демонстрирует поисковое поведение, не связанное с основной тематикой сайта, это может «загрязнить» Website Profile.
• Игнорировать поведенческие факторы: Генерация плохого поведения пользователей (низкий CTR, быстрое возвращение в выдачу) тренирует модели персонализации распознавать контент как неинтересный для данного сегмента аудитории.

Стратегическое значение

Патент подтверждает стратегию Google по использованию агрегированных поведенческих данных для понимания контекста и улучшения релевантности. Он демонстрирует, что тематический профиль ресурса может оцениваться не только по его контенту и ссылкам, но и по тому, как ведет себя его аудитория. Для SEO-специалистов это подчеркивает важность построения ресурса, который привлекает и удерживает целевую аудиторию с четко выраженными интересами.

Практические примеры

Сценарий: Разрешение неоднозначности запроса на новостном портале

Новостной портал имеет два раздела: «Внутренние новости США» (Page A) и «Международные новости» (Page B). Оба раздела используют одну и ту же поисковую систему.

1. Сбор данных и профилирование:
   • Пользователи на Page A ищут «футбол» и кликают на статьи об американском футболе (NFL). Система генерирует Webpage Profile A с высоким весом для категории «American Football».
   • Пользователи на Page B ищут «футбол» и кликают на статьи о европейском футболе (Soccer). Система генерирует Webpage Profile B с высоким весом для категории «Soccer».
2. Новый запрос: Пользователь вводит запрос «результаты футбола».
3. Применение профиля:
   • Если запрос отправлен с Page A, система использует Webpage Profile A. Документы, соответствующие категории «American Football», получают высокий Boost Factor.
   • Если запрос отправлен с Page B, система использует Webpage Profile B. Документы о «Soccer» получают высокий Boost Factor.
4. Результат: Пользователи на разных страницах получают разные, контекстуально релевантные результаты на один и тот же запрос.

Вопросы и ответы