Как Google динамически меняет формулы ранжирования, адаптируя веса факторов под контекст запроса и пользователя

Термины и определения

Search Context (Контекст поиска)

Значение или набор значений, характеризующих ситуацию поиска. Включает User Context и/или Query Context.

User Context (Контекст пользователя)

Аспекты контекста, связанные с пользователем. Примеры: язык, страна, демография, геолокация (по IP), недавняя история поиска (запросы и клики), параметры профиля пользователя (интересы).

Query Context (Контекст запроса)

Аспекты контекста, связанные с самим запросом. Примеры: количество терминов в запросе (мера неопределенности), классификация запроса (например, коммерческий, информационный).

Scoring Primitive (Примитив оценки)

Базовый сигнал ранжирования (фактор) или функция, которая выдает значение, предполагающее релевантность результата. Примеры: PageRank, базовая оценка IR (Information Retrieval), длина запроса, совпадение результата с интересами пользователя.

Predicted Performance Function (PPF) (Функция прогнозируемой эффективности)

Специализированная модель ранжирования, созданная с помощью машинного обучения для конкретного Search Context. Представляет собой взвешенное подмножество Scoring Primitives, которое лучше всего предсказывает клики пользователей.

Relevance Factor (Фактор релевантности)

Весовой коэффициент, присваиваемый конкретному Scoring Primitive в рамках PPF. Определяет значимость сигнала в данном контексте.

Actual User Selections (Фактические выборы пользователя)

Действия пользователя в отношении результатов поиска. В основном это клики, но может также включать Dwell Time (время пребывания на документе), наведение курсора (hovering) или добавление в закладки (bookmarking).

Click Through Rate (CTR)

Показатель кликабельности. Используется как основная метрика для обучения моделей (корреляция с фактическим CTR) и как целевая метрика для оптимизации (прогнозируемый CTR).

Context Correlation Table (Таблица корреляции контекстов)

Структура данных, которая связывает каждый Search Context с соответствующей ему Predicted Performance Function.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод, состоящий из двух фаз: предварительной подготовки моделей (офлайн) и их применения в реальном времени (онлайн).

Фаза 1: Подготовка моделей (Офлайн)

1. Система итерирует по множеству контекстов поиска (plurality of search contexts).
2. Для каждого контекста итерирует по множеству сигналов ранжирования (plurality of scoring primitives).
3. Анализируются ранее выполненные запросы, соответствующие данному контексту.
4. Определяется корреляция между значениями сигнала и фактическими кликами пользователей (actual user selections).
5. Для каждого контекста выполняется машинное обучение на основе этих корреляций.
6. Результат обучения — идентификация Predicted Performance Function (PPF) для данного контекста. Эта функция является взвешенным подмножеством сигналов, которые соответствуют предопределенным критериям качества прогнозирования.

Фаза 2: Обработка запроса (Онлайн)

1. Система получает и выполняет запрос пользователя.
2. Запрос ассоциируется с конкретным Search Context.
3. По крайней мере часть результатов упорядочивается в соответствии с PPF, которая была заранее определена для этого контекста.

Claim 2, 3, 4, 5, 6 (Зависимые): Уточняют определение контекста. Контекст может быть связан с группой пользователей (например, по языку или стране) и/или с классом запросов (например, по количеству слов или типу интента).

Claim 7, 8 (Зависимые): Указывают на интеграцию персонализации. Определение контекста и упорядочивание результатов могут включать использование параметров профиля пользователя.

Claim 9, 10, 11 (Зависимые): Детализируют процесс упорядочивания. PPF используется для прогнозирования CTR для результата на разных потенциальных позициях (Claim 9). Система сравнивает прогнозируемые CTR для разных вариантов порядка выдачи и выбирает тот порядок (пользовательски-зависимый), который увеличивает прогнозируемый CTR по сравнению с предварительным (пользовательски-независимым) порядком (Claim 10, 11).

Claim 12, 13 (Зависимые): Уточняют данные для обучения. Машинное обучение может использовать не только клики, но и другие действия пользователя, такие как Dwell Time, hovering и bookmarking.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поиска, соединяя офлайн-анализ данных с онлайн-ранжированием.

INDEXING / QUNDERSTANDING (Офлайн-процессы)
На этих этапах происходит подготовка данных. Training Data Collector анализирует исторические данные. Machine Learning Module обучается, генерирует множество PPF и сохраняет их в Context Correlation Table.

QUNDERSTANDING (Онлайн)
В реальном времени Query Analyzer определяет Query Context. Параллельно извлекаются данные из User Profile Database для определения User Context. Вместе они формируют текущий Search Context.

RANKING
Search Engine генерирует начальный набор результатов (Initial Search Results) с базовыми оценками ранжирования.

RERANKING (Переранжирование)
Основное место применения патента. Search Result Ranker получает начальные результаты и текущий Search Context. Он использует Context Correlation Table для выбора специализированной PPF. Затем эта функция применяется для пересчета оценок (прогнозирования CTR) и переупорядочивания результатов.

Входные данные:

• Запрос пользователя и UserID.
• Начальные результаты поиска (документы, базовые оценки).
• Параметры профиля пользователя и запроса (для определения контекста).
• Предварительно рассчитанная Context Correlation Table.

Выходные данные:

• Переранжированный список результатов (Re-ranked Search Results), оптимизированный для данного контекста.

На что влияет

• Специфические запросы: Наибольшее влияние на неоднозначные запросы (где контекст критичен для определения интента, например, [apple]), локальные запросы (где User Context включает местоположение) и запросы, подверженные персонализации (где User Context включает интересы).
• Языковые и географические ограничения: Патент явно указывает язык и страну как часть User Context. Это означает, что формула ранжирования может существенно отличаться для одного и того же запроса в разных регионах.
• Конкретные ниши или тематики: Влияет на все ниши, так как классификация запросов (например, коммерческие vs информационные) является частью контекста и активирует разные модели ранжирования.

Когда применяется

Алгоритм применяется в реальном времени на этапе переранжирования для каждого запроса, для которого система может определить Search Context и для которого существует соответствующая предварительно обученная Predicted Performance Function. Система спроектирована для постоянного использования контекстно-зависимых моделей.

Пошаговый алгоритм

Процесс А: Офлайн-обучение и генерация моделей

1. Инициализация Сбора Данных: Определение множества контекстов (Search Contexts) и сигналов (Scoring Primitives).
2. Итерация по Контекстам: Выбор контекста (например, "Коммерческий запрос, США, Английский язык").
3. Сбор Исторических Данных: Извлечение прошлых запросов, результатов, показов (impressions) и кликов (user selections), соответствующих этому контексту.
4. Итерация по Сигналам: Выбор сигнала (например, "PageRank").
5. Расчет Корреляций: Анализ, как значения этого сигнала коррелируют с фактическим CTR в данном контексте на разных позициях выдачи.
6. Повторение: Шаги 4-5 повторяются для всех сигналов.
7. Машинное Обучение: Обработка всех корреляций для данного контекста. Определение, какие сигналы лучше всего предсказывают клики и с какими весами (Relevance Factors).
8. Генерация Модели (PPF): Создание Predicted Performance Function — специализированной модели ранжирования для этого контекста, соответствующей критериям качества прогнозирования.
9. Сохранение: Сохранение PPF в Context Correlation Table в связке с контекстом.
10. Повторение: Шаги 2-9 повторяются для всех определенных контекстов.

Процесс Б: Онлайн-обработка запроса и переранжирование

1. Получение Запроса: Система получает запрос и UserID.
2. Генерация Начальных Результатов: Search Engine вычисляет начальный набор результатов.
3. Определение Контекста: Анализ запроса (Query Context) и данных пользователя (User Context) для формирования Search Context.
4. Выбор Модели Ранжирования: Search Result Ranker использует Search Context для запроса к Context Correlation Table и получает соответствующую PPF.
5. Применение Модели и Переранжирование: Выбранная PPF применяется к начальным результатам. Система оценивает прогнозируемый CTR для различных вариантов порядка выдачи.
6. Выбор Оптимального Порядка: Выбирается порядок, который максимизирует прогнозируемый CTR для топовых позиций.
7. Возврат Результатов: Переупорядоченные результаты возвращаются пользователю.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные как для обучения, так и для выполнения ранжирования.

• Поведенческие факторы (Критические для обучения): Исторические данные о фактических действиях пользователей: клики (user selections), показы (impressions). Также явно упоминаются (Claim 13): Dwell Time (время пребывания на документе), hovering (наведение курсора), bookmarking (добавление в закладки).
• Пользовательские факторы (Для определения User Context): Язык, страна, IP-адрес (для геолокации), недавняя история поиска (запросы и клики непосредственно перед текущим запросом), параметры профиля пользователя (интересы).
• Факторы запроса (Для определения Query Context): Термины запроса, длина запроса (количество терминов), классификация типа запроса.
• Базовые факторы ранжирования: Любые сигналы, используемые как Scoring Primitives. Патент упоминает исходные оценки поисковой системы (Information Retrieval Scores) и Page Ranks как примеры.

Какие метрики используются и как они считаются

• Click-Through Rate (CTR): Основная метрика эффективности. Используется для обучения (фактический CTR) и для оценки ранжирования (прогнозируемый CTR).
• Корреляция (Correlation): Метрика, измеряемая во время обучения между значениями Scoring Primitive и фактическим CTR в рамках определенного контекста.
• Relevance Factors (Веса): Числовые значения, определяющие важность каждого Scoring Primitive в рамках PPF. Являются результатом машинного обучения.
• Критерии качества прогнозирования (Predictive Quality Criteria): Пороговые значения, используемые во время ML, чтобы определить, достаточно ли полезен Scoring Primitive для включения в модель ранжирования.

1. Не существует единой модели ранжирования: Патент описывает архитектуру, позволяющую Google обучать и развертывать множество различных моделей ранжирования (Predicted Performance Functions), каждая из которых оптимизирована для определенного контекста (Search Context).
2. Веса факторов динамичны и зависят от контекста: Важность (вес) любого фактора ранжирования (Scoring Primitive) не фиксирована. Она полностью зависит от текущего контекста, включающего как характеристики пользователя (язык, местоположение, интересы), так и характеристики запроса (тип, длина).
3. Оптимизация на основе поведения пользователей (CTR как эталон): Модели ранжирования обучаются для оптимизации удовлетворенности пользователей, измеряемой через поведенческие сигналы (CTR, Dwell Time). Исторические данные о кликах диктуют веса ранжирования для конкретных контекстов.
4. Цель ранжирования — максимизация прогнозируемого CTR: Финальное переранжирование направлено на выбор такого порядка результатов, который, по прогнозам модели, приведет к наибольшему CTR.
5. Интеграция персонализации и локализации на уровне архитектуры: Персонализация и локализация интегрированы глубоко в систему. Они используются для определения контекста (выбор модели ранжирования) и потенциально внутри самой модели (как входные данные).

Best practices (это мы делаем)

• Оптимизация под контекст и интент, а не только ключевые слова: Необходимо глубоко понимать различные контексты, в которых пользователи ищут ваш контент (интенты, местоположение, типы запросов). Признайте, что факторы ранжирования меняются в зависимости от этих контекстов, и адаптируйте контент для удовлетворения специфических потребностей пользователя в каждом сценарии.
• Фокус на удовлетворении пользователя и метриках вовлеченности (CTR и Dwell Time): Поскольку модели обучаются на исторических данных CTR и времени пребывания (Dwell Time), критически важно создавать привлекательные сниппеты (Title, Description), стимулирующие клики, и контент, который удерживает пользователя на странице и удовлетворяет его интент.
• Стратегия международного SEO: Четко осознавайте, что разные страны и языки (явные примеры User Context) используют разные модели ранжирования, обученные на местных данных. Требуется локализованное исследование и адаптация стратегии под местные особенности и поведение пользователей, а не просто перевод контента.
• Развитие Topical Authority для разнообразных интентов: Стройте авторитет, который удовлетворяет различные контексты запросов (информационные, коммерческие, навигационные) в вашей нише, поскольку модели, применяемые к каждому из них, будут взвешивать факторы по-разному.

Worst practices (это делать не надо)

• Применение универсальных шаблонов и "правил SEO": Использование устаревших предположений о фиксированных весах факторов ранжирования. Этот патент доказывает, что веса зависят от контекста и динамичны.
• Игнорирование классификации интента (Query Context): Создание контента без учета того, как Google классифицирует запрос. Модель ранжирования для коммерческого запроса будет сильно отличаться от модели для информационного.
• Кликбейт и игнорирование качества взаимодействия: Использование вводящих в заблуждение заголовков для повышения CTR контрпродуктивно, если система также учитывает Dwell Time (что явно упомянуто в патенте). Низкое качество взаимодействия приведет к негативным данным для обучения моделей.
• Слепое копирование международных стратегий: Копирование подходов из другого региона без адаптации. User Context отличается, следовательно, применяется другая модель ранжирования.

Стратегическое значение

Этот патент описывает инфраструктуру для высокоадаптивного ранжирования, управляемого данными и машинным обучением. Он подтверждает стратегический сдвиг в сторону пользователь-центричного и контекстно-зависимого SEO. Успех зависит от способности понять, как Google интерпретирует контекст конкретного поиска и предоставить наиболее удовлетворительный результат для этого специфического сценария. Это подчеркивает критическую важность поведенческих данных в формировании ландшафта ранжирования.

Практические примеры

Сценарий 1: Разрешение неоднозначности запроса с учетом контекста (на основе примера из патента)

1. Запрос: [nola].
2. Определение контекста:
   • Query Context: Высокая неоднозначность.
   • User Context: Пользователь находится в Пало-Альто (Калифорния), его недавние запросы связаны со Стэнфордом и местными услугами. Профиль интересов: "Bay Area".
3. Начальные результаты (без учета контекста): В топе доминируют сайты о Новом Орлеане (NOLA.com).
4. Выбор модели (PPF): Система выбирает PPF, обученную для контекста "Неоднозначный запрос + Сильная локальная привязка пользователя в Bay Area".
5. Переранжирование: Эта модель повышает вес сигналов, связанных с локацией пользователя. Сайт ресторана "Nola Restaurant" в Пало-Альто получает значительный буст.
6. Результат: В переупорядоченной выдаче локальный ресторан занимает первую позицию, вытесняя глобально более авторитетные сайты о Новом Орлеане.

Сценарий 2: Адаптация весов для коммерческого запроса

1. Запрос: "Купить iPhone 15 Pro".
2. Контекст: Query Context = Коммерческий; User Context = Локация: Москва.
3. Выбор модели (PPF): Система выбирает PPF, обученную для коммерческих запросов в этом регионе.
4. Переранжирование: В этой модели Scoring Primitives, связанные с локальной доступностью, ценой, надежностью магазина и отзывами, получают значительно больший вес, чем, например, общая ссылочная масса домена или длина текста на странице.