Как Google персонализирует результаты поиска в зависимости от сайта, с которого отправлен запрос

Термины и определения

Website Profile (Профиль веб-сайта)

Структура данных, характеризующая коллективные интересы пользователей конкретного веб-сайта. Генерируется на основе агрегированной истории поиска, исходящей с этого сайта. Может включать Category-based, Term-based и Link-based компоненты.

Webpage Profile (Профиль веб-страницы)

Аналогичен профилю сайта, но генерируется на основе истории поиска, инициированной с конкретной веб-страницы.

Search History (История поиска)

Данные, включающие поисковые запросы, отправленные пользователями с конкретного сайта, предоставленные результаты и активность пользователей по этим результатам (клики, время пребывания).

Website Profiler (Профилировщик веб-сайтов)

Компонент системы, отвечающий за анализ Search History и генерацию/обновление Website Profiles.

Document Profile (Профиль документа)

Предварительно рассчитанная характеристика документа, основанная на его контенте и ссылочной структуре. Используется для сопоставления с Website Profile.

Category-based Profile (Профиль на основе категорий)

Компонент профиля, представляющий интересы в виде взвешенного списка категорий (например, из иерархии типа ODP/DMOZ).

Term-based Profile (Профиль на основе терминов)

Компонент профиля, представляющий интересы в виде взвешенного вектора ключевых терминов.

Link-based Profile (Профиль на основе ссылок)

Компонент профиля, идентифицирующий предпочтительные URL или хосты, часто посещаемые пользователями сайта.

Boost Factor (Повышающий коэффициент)

Метрика, рассчитываемая на основе корреляции между Document Profile и Website Profile. Используется для модуляции оценки ранжирования документа.

Generic Ranking Score (Общая оценка ранжирования)

Стандартная оценка ранжирования документа, не зависящая от контекста сайта-источника запроса (например, на основе PageRank и релевантности запросу).

Website-dependent Ranking Score (Оценка ранжирования, зависимая от сайта)

Итоговая оценка ранжирования, полученная путем применения Boost Factors к Generic Ranking Score.

Dwell Time (Время пребывания)

Время, проведенное пользователем за просмотром документа после клика по ссылке в результатах поиска.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод предоставления кастомизированных результатов поиска в зависимости от источника запроса.

1. Система получает один и тот же поисковый запрос от двух разных веб-сайтов (Сайт А и Сайт Б), отличных от самой поисковой системы.
2. Идентифицируется набор информационных элементов (документов), релевантных запросу.
3. В ответ на запрос с Сайта А система предоставляет результаты в Порядке 1.
4. В ответ на запрос с Сайта Б система предоставляет результаты в Порядке 2, отличном от Порядка 1.
5. Порядок 1 определяется Профилем Сайта А, а Порядок 2 – Профилем Сайта Б.
6. Профили сайтов связаны с историей поиска (search history) этих сайтов, которая включает запросы, отправленные множеством пользователей (multiple users) с этих сайтов, и активность этих пользователей в результатах поиска.

Ядро изобретения — использование агрегированного профиля сайта (а не индивидуального профиля пользователя) для кастомизации результатов поиска в зависимости от того, откуда пришел запрос.

Claim 4 (Независимый пункт): Применяет ту же логику, что и Claim 1, но на уровне отдельных веб-страниц одного сайта.

Система получает один и тот же запрос с двух разных веб-страниц (Страница А и Страница Б) одного сайта. Результаты ранжируются по-разному на основе Профиля Страницы А и Профиля Страницы Б. Это позволяет учитывать более узкий контекст внутри сайта (например, раздел внутренних новостей против раздела международных новостей).

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя данные, собранные в процессе взаимодействия с пользователем, и влияя на финальное ранжирование или понимание запроса.

CRAWLING & DATA ACQUISITION – Сбор данных
Система требует постоянного сбора и логирования данных о взаимодействии пользователей с поиском, исходящим с конкретных сайтов. Это включает логирование запроса, идентификатора сайта-источника (Website ID), предоставленных результатов и последующих действий пользователя (клики, dwell time). Эти данные сохраняются в Search History Database.

INDEXING & FEATURE EXTRACTION – Индексирование и извлечение признаков
На этом этапе Document Profiler анализирует контент и ссылочную структуру документов для создания Document Profiles. Эти профили необходимы для последующего сопоставления с профилями сайтов. Также в офлайн-режиме Website Profiler обрабатывает собранную историю поиска для генерации Website Profiles.

RANKING (RERANKING) – Ранжирование (Переранжирование)
Это основной сценарий применения (описанный в FIG. 9). После того как Search Engine сгенерировал результаты с Generic Ranking Scores, компонент Search Result Ranker извлекает Website Profile сайта-источника. Затем он рассчитывает Boost Factors для каждого документа путем сравнения Document Profile и Website Profile. Общие оценки модулируются для получения Website-dependent Ranking Scores, и происходит переранжирование.

QUNDERSTANDING – Понимание Запросов
Альтернативный сценарий применения (описанный в FIG. 11). Website Profile используется для модификации стратегии запроса (query strategy) до основного поиска. Например, в запрос могут быть добавлены релевантные термины из профиля сайта с определенными весами, создавая website-dependent query strategy.

Входные данные:

• Поисковый запрос и идентификатор сайта/страницы-источника.
• Search History (для генерации профиля).
• Document Profiles и Generic Ranking Scores (для ранжирования).

Выходные данные:

• Website Profile (после генерации).
• Кастомизированный набор результатов поиска с Website-dependent Ranking Scores (после ранжирования).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на многозначные запросы, интерпретация которых сильно зависит от контекста (например, "apple", "jaguar", "football").
• Типы сайтов: Влияет на сайты, использующие сторонний поисковый движок для поиска по интернету (например, Google CSE или AFS). Особенно актуально для крупных порталов с разнообразной тематикой, где профилирование может применяться на уровне отдельных страниц или разделов.

Когда применяется

• Условия применения: Алгоритм применяется, когда поисковая система получает запрос, содержащий идентификатор сайта или страницы-источника, для которого существует сгенерированный Website Profile или Webpage Profile.
• Триггеры активации: Активация происходит в момент обработки запроса либо на этапе переранжирования (FIG. 9), либо на этапе понимания запроса (FIG. 11).

Пошаговый алгоритм

Процесс А: Генерация профиля веб-сайта (Website Profile Generation)

1. Сбор данных: Идентификация поисковых запросов, отправленных с конкретного веб-сайта или страницы.
2. Фиксация результатов и Мониторинг активности: Идентификация предоставленных результатов и фиксация активности пользователей по этим результатам (клики, dwell time, возможно, mouse hovering time).
3. Фильтрация запросов (Опционально): Фильтрация истории поиска для исключения влияния "аномально" популярных, но нерелевантных запросов, а также слишком редких запросов (как показано на FIG. 4).
4. Анализ выбранных документов: Извлечение или генерация Document Profiles для документов, на которые кликнули пользователи.
5. Агрегация и взвешивание: Генерация Website Profile путем агрегации данных. Это включает:
   • Создание Category-based Profile: Сопоставление кликнутых документов или запросов с предопределенной иерархией категорий и присвоение весов.
   • Создание Term-based Profile: Извлечение ключевых терминов из запросов и/или кликнутых документов и присвоение весов.
   • Создание Link-based Profile: Идентификация часто кликаемых URL или хостов и присвоение им весов.
6. Хранение и обновление: Сохранение профиля в Website Profile Database и его периодическое обновление.

Процесс Б: Применение профиля для ранжирования (Website-dependent Ranking - FIG. 9)

1. Получение запроса: Система получает запрос и идентификатор сайта-источника.
2. Генерация общих результатов: Поисковая система идентифицирует набор документов и присваивает им Generic Ranking Scores.
3. Извлечение профиля сайта: Search Result Ranker извлекает Website Profile для данного сайта-источника.
4. Расчет повышающих коэффициентов: Для каждого документа система извлекает его Document Profile и рассчитывает Boost Factors (TermBoostFactor, CategoryBoostFactor, LinkBoostFactor) путем определения корреляции (например, через скалярное произведение векторов) между профилем документа и профилем сайта.
5. Расчет кастомизированной оценки: Присвоение документу Website-dependent Ranking Score. Например, по формуле: $WebsiteScore = GenericScore * BoostFactors$.
6. Переранжирование: Сортировка документов в соответствии с новыми оценками и предоставление пользователю.

Какие данные и как использует

Данные на входе

Ключевыми данными для работы системы являются поведенческие факторы, агрегированные на уровне сайта.

• Поведенческие факторы:
  • Поисковые запросы, отправленные с сайта.
  • Клики (selections) пользователей по результатам поиска.
  • Время пребывания (dwell time) на выбранных документах (рассчитывается как время между кликом на ссылку и выходом из документа).
  • Время наведения курсора (mouse hovering time) на ссылки в результатах поиска (упоминается как возможный сигнал интереса).
• Контентные факторы: Содержимое документов, на которые кликали пользователи. Используется для генерации Document Profiles.
• Ссылочные факторы: Ссылочная структура документов (используется для расчета PageRank и генерации Link-based Profiles).

Какие метрики используются и как они считаются

• Веса в Website Profile: Веса для категорий, терминов и ссылок. Рассчитываются на основе частоты их встречаемости в Search History и релевантности (например, с учетом dwell time). Патент упоминает, что недавняя история поиска может играть более важную роль, чем старая.
• Пороги популярности запросов: Используются для фильтрации запросов при генерации профиля (FIG. 4). Запросы делятся на "аномально популярные" (возможно, нерелевантные контексту сайта), "разумно популярные" и "непопулярные".
• GenericScore: Общая оценка ранжирования. Упоминается формула: $GenericScore = QueryScore * PageRank$.
• Boost Factors: TermBoostFactor, CategoryBoostFactor, LinkBoostFactor. Рассчитываются как корреляция (например, скалярное произведение) между соответствующими компонентами профиля документа и профиля сайта.
• WebsiteScore: Зависимая от сайта оценка. Упоминаются варианты расчета, например: $WebsiteScore = GenericScore * (TermBoostFactor + CategoryBoostFactor + LinkBoostFactor)$.

1. Контекст источника запроса имеет значение: Патент демонстрирует механизм, позволяющий Google динамически изменять ранжирование в зависимости от того, с какого сайта (или страницы) пришел пользователь. Ранжирование не универсально, а контекстуально.
2. Профилирование на основе агрегированного поведения: Website Profile представляет собой коллективный интерес аудитории сайта, а не отдельного пользователя. Он строится на основе анализа того, что ищут и на что кликают все пользователи, инициирующие поиск на этом сайте.
3. Поведенческие сигналы как основа профиля: Клики (click rate) и время пребывания (dwell time) являются прямыми входными данными для генерации профиля интересов сайта.
4. Многомерное профилирование: Google использует сложный подход к профилированию, включающий анализ тем (категорий), ключевых слов (терминов) и предпочтительных ресурсов (ссылок). Это позволяет точно настроить выдачу.
5. Механизмы кастомизации: Кастомизация может достигаться двумя путями: переранжированием стандартных результатов с помощью Boost Factors (основной сценарий) или модификацией самого запроса до начала поиска (альтернативный сценарий).
6. Защита от искажений: Система предусматривает фильтрацию аномально популярных или слишком редких запросов (FIG. 4), чтобы избежать искажения профиля нерелевантным шумом.

Best practices (это мы делаем)

Хотя патент в первую очередь описывает работу поиска на сторонних сайтах (CSE/AFS), он дает критически важные инсайты о том, как Google профилирует сайты и их аудиторию в целом.

• Укрепление тематической направленности (Topical Authority): Необходимо обеспечить четкую тематическую фокусировку сайта. Патент показывает, что Google стремится понять коллективный интерес аудитории сайта (Website Profile). Чем четче фокус сайта, тем более определенным будет его профиль в системах Google.
• Фокус на удовлетворении интента и поведенческих факторах: Поскольку профили строятся на основе кликов и dwell time, критически важно создавать контент, который полностью удовлетворяет запросы пользователей и удерживает их на сайте. Хорошие поведенческие метрики способствуют формированию сильного профиля сайта.
• Использование таксономий и категоризации: Патент активно использует Category-based Profiles. Создание контента, который четко соответствует известным категориям и сущностям, помогает Google правильно классифицировать сайт и его контент (Document Profiles).
• Анализ внутреннего поиска (если применимо): Если на сайте используется встроенный поиск (особенно Google CSE), необходимо тщательно анализировать логи запросов и кликов. Это дает прямое представление о том, как формируется Website Profile вашего сайта.

Worst practices (это делать не надо)

• Размытие тематики сайта: Создание сайта "обо всем" без четкой аудитории и фокуса приводит к размытому Website Profile. Это усложняет для Google понимание контекста сайта.
• Игнорирование качества контента и UX: Контент, ведущий к низкому dwell time и быстрым отказам, негативно влияет на формирование профиля сайта, так как эти сигналы используются для оценки релевантности и интереса.
• Привлечение нецелевого трафика: Привлечение пользователей, которые ищут информацию, не связанную с тематикой сайта, может «загрязнить» Website Profile нерелевантными терминами и категориями.

Стратегическое значение

Патент подтверждает стратегический приоритет Google на понимание контекста и интересов аудитории. Он показывает, что Google не просто индексирует контент, но и активно профилирует сайты на основе агрегированного поведения пользователей. Это подчеркивает важность построения Тематического Авторитета (Topical Authority) и работы над E-E-A-T. Сильный, четко определенный профиль сайта, отражающий реальные интересы целевой аудитории, является активом в долгосрочной SEO-стратегии.

Практические примеры

Сценарий 1: Контекстное ранжирование многозначного запроса

Рассмотрим запрос "Jaguar".

1. Сайт А (Автомобильный форум): Пользователи часто ищут "jaguar repair", "jaguar f-type review" и кликают на сайты автопроизводителя.
   • Website Profile Сайта А: Высокие веса в категориях "Автомобили", терминах "ремонт, обзор".
2. Сайт Б (Сайт зоопарка): Пользователи часто ищут "jaguar habitat", "jaguar speed" и кликают на статьи в Wikipedia и National Geographic.
   • Website Profile Сайта Б: Высокие веса в категориях "Животные, Наука", терминах "среда обитания, хищник".
3. Обработка запроса "Jaguar":
   • Запрос с Сайта А: Система применяет Профиль А. Документы об автомобилях получают высокий Boost Factor и поднимаются в топ выдачи.
   • Запрос с Сайта Б: Система применяет Профиль Б. Документы о животном получают высокий Boost Factor и поднимаются в топ выдачи.

Сценарий 2: Профилирование на уровне страницы (Webpage Profile)

Спортивный портал имеет разделы "Спорт США" и "Мировой спорт".

1. Профилирование: Пользователи раздела "Спорт США" ищут [football] и кликают на результаты об NFL. Пользователи раздела "Мировой спорт" ищут [football] и кликают на результаты о соккере.
2. Обработка запроса [football]:
   • Запрос из раздела "Спорт США": Используется профиль этой страницы. Результаты об NFL получают буст.
   • Запрос из раздела "Мировой спорт": Используется профиль этой страницы. Результаты о соккере получают буст.