Как Google использует агрегированные поведенческие данные для корректировки ранжирования на основе шаблонов запросов

Термины и определения

Abandonment Rate (Показатель отказов)

Частота, с которой пользователи не совершают кликов после отправки запросов, соответствующих данному шаблону. Ключевая метрика для оценки неудовлетворенности.

Aggregate Search Activity Statistics (ASAS) (Агрегированная статистика поисковой активности)

Статистика, собранная по всем поисковым запросам в логе, которые соответствуют определенному Query Pattern. Включает агрегированную post-search activity.

Click Position Statistics (Статистика позиций кликов)

Агрегированные данные о том, на какие элементы пользователи нажимали после отправки запросов, соответствующих шаблону (например, позиция веб-результата, подсказка, вертикальный блок).

Non-private N-grams (Неприватные N-граммы)

N-граммы (слова или фразы), которые удовлетворяют Privacy Criterion (например, встречаются в логе достаточно часто) и считаются безопасными для использования в шаблонах.

Performance Criterion (Критерий производительности)

Пороговое значение, применяемое к ASAS. Если критерий удовлетворен (например, Abandonment Rate превышает порог), это инициирует изменение методологии ранжирования или представления.

Post-Search Activity (Активность после поиска)

Действия пользователя после отправки запроса и получения результатов. Включает клики на результаты (и их ранг), отсутствие кликов (отказ) или клики на другие элементы интерфейса.

Privacy Criterion (Критерий конфиденциальности)

Условие, используемое для определения, является ли n-грамма приватной. Основано на частоте встречаемости n-граммы в логе (порог частоты или минимальное количество раз/пользователей).

Query Patterns (Шаблоны запросов)

Обобщенные представления групп запросов. Генерируются на основе Non-private N-grams, часто включают подстановочные знаки (Wildcards) вместо приватной информации. Пример: "[Название продукта] обзор *".

Wildcards (Подстановочные знаки)

Символы (например, *), используемые в Query Patterns для замены приватных n-грамм, которые не удовлетворяют Privacy Criterion.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод анализа логов и применения результатов для ранжирования.

1. Система анализирует лог приватных поисковых запросов и post-search activity.
2. Идентифицируются неприватные n-граммы (удовлетворяющие Privacy Criterion) и приватные n-граммы.
3. Генерируются Query Patterns на основе неприватных n-грамм. Приватные n-граммы заменяются на Wildcards.
4. Для каждого шаблона вычисляется ASAS, основанная на всех различных запросах, соответствующих этому шаблону.
5. Определяется, что ASAS для данного шаблона удовлетворяет Performance Criterion.
6. При получении нового поискового запроса:
7. ЕСЛИ новый запрос соответствует данному шаблону И Performance Criterion был удовлетворен, ТО ранжирование поисковых подсказок или результатов для нового запроса основывается, по крайней мере частично, на ASAS этого шаблона.
8. Ранжированные подсказки или результаты предоставляются пользователю.

Ядро изобретения — процесс генерации анонимизированных шаблонов запросов из логов и использование агрегированной поведенческой статистики этих шаблонов для динамической корректировки ранжирования будущих результатов или подсказок.

Claim 2 и 3 (Зависимые): Уточняют Privacy Criterion. Он удовлетворяется, если n-граммы встречаются в логе с частотой, удовлетворяющей пороговому значению (Claim 2), или встречаются минимальное количество раз (Claim 3).

Claim 7-10 (Зависимые): Детализируют состав ASAS. Он включает агрегированную статистику post-search activity (Claim 7), Click Position Statistics (Claim 8), частоту кликов (Click Rate) (Claim 9) или Abandonment Rate (Claim 10).

Claim 11 (Зависимый от 10): Уточняет Performance Criterion. Он может быть удовлетворен, если Abandonment Rate удовлетворяет минимальному порогу (т.е. слишком высок).

Где и как применяется

Изобретение затрагивает этапы понимания запросов (в режиме офлайн-анализа) и ранжирования (в режиме реального времени).

QUNDERSTANDING – Понимание Запросов (Офлайн-анализ)
Основная часть обработки происходит здесь. Query Analysis Engine работает в фоновом режиме, анализируя Search Log.

• Взаимодействие: Компоненты Privacy Engine, Query Pattern Generation Engine и Query Pattern Statistics Engine обрабатывают логи для генерации базы данных Query Patterns и связанных с ними ASAS.
• Входные данные: Лог поисковых запросов и соответствующая post-search activity.
• Выходные данные: База данных, содержащая соответствия между Query Patterns и их ASAS.

RANKING / RERANKING – Ранжирование и Переранжирование (Реальное время)
Применение результатов анализа происходит на этом этапе.

• Взаимодействие: Когда поступает новый запрос, система проверяет его на соответствие существующим Query Patterns. Если найдено соответствие и удовлетворен Performance Criterion, Ranking Engine и Presentation Engine используют связанную ASAS для изменения методологии генерации данных.
• Входные данные: Новый поисковый запрос; База данных Query Patterns и ASAS.
• Выходные данные: Ранжированные поисковые результаты или поисковые подсказки, скорректированные на основе ASAS соответствующего шаблона.

На что влияет

• Специфические запросы: Влияет на запросы, которые можно сгруппировать в общие шаблоны на основе часто встречающихся терминов (например, "[Название продукта] обзор", "[Название города] погода").
• Типы контента и форматы: Может влиять на то, какие типы контента или элементы интерфейса показываются. Например, если Click Position Statistics показывают, что для шаблона пользователи предпочитают видео, система может повысить ранжирование видеоконтента.
• Ниши и тематики: Особенно актуально в нишах с четко выраженными повторяющимися интентами и структурами запросов. Хотя патент мотивирован приватным поиском (Email, Documents), методология применима и к веб-поиску.

Когда применяется

• Условия работы алгоритма (Офлайн): Алгоритм генерации шаблонов применяется к логам поиска периодически или непрерывно в фоновом режиме.
• Триггеры активации (Реальное время): Корректировка ранжирования активируется при выполнении двух условий:
  1. Поступивший запрос соответствует существующему Query Pattern.
  2. Агрегированная статистика (ASAS) этого шаблона удовлетворяет определенному Performance Criterion (например, высокий показатель отказов или специфическое поведение кликов).

Пошаговый алгоритм

Процесс разделен на две основные фазы: Офлайн-анализ логов и Применение в реальном времени.

Фаза А: Офлайн-анализ и генерация шаблонов

1. Сбор данных: Система получает доступ к Search Log, содержащему поисковые запросы и post-search activity.
2. Идентификация неприватного контента (Privacy Engine): Лог анализируется для идентификации n-грамм. Применяется Privacy Criterion (например, порог частоты). N-граммы, удовлетворяющие критерию, помечаются как неприватные.
3. Генерация шаблонов (Query Pattern Generation Engine): На основе неприватных n-грамм генерируются Query Patterns. Контент запроса, который не соответствует неприватным n-граммам (т.е. приватный контент), заменяется Wildcards.
4. Вычисление статистики (Query Pattern Statistics Engine): Для каждого сгенерированного шаблона система определяет все соответствующие ему запросы в логе. Затем вычисляется ASAS (включая Click Position Statistics, Abandonment Rate и т.д.).
5. Хранение: Сгенерированные шаблоны и их ASAS сохраняются в базе данных.

Фаза Б: Применение в реальном времени

1. Получение запроса: Система получает новый поисковый запрос от пользователя.
2. Сопоставление с шаблоном: Система проверяет, соответствует ли новый запрос какому-либо из сохраненных Query Patterns.
3. Проверка критерия производительности: Система определяет, удовлетворяет ли ASAS соответствующего шаблона установленному Performance Criterion.
4. Изменение методологии: Если условия выполнены, система изменяет методологию генерации данных (ранжирования или представления). Примеры изменений:
   • Корректировка ранжирования результатов (например, повышение веса свежести, если ASAS показывает предпочтение недавним результатам для этого шаблона).
   • Корректировка ранжирования поисковых подсказок.
   • Предложение альтернативных запросов или исправлений (если ASAS показывает высокий Abandonment Rate для этого шаблона).
   • Изменение представления элементов интерфейса (например, выделение определенных блоков).
5. Предоставление результатов: Скорректированные результаты или подсказки предоставляются пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных из Search Log.

• Контентные факторы: Полный текст поисковых запросов (n-граммы). Используется для идентификации неприватных n-грамм и генерации Query Patterns.
• Поведенческие факторы: Это ключевые данные для расчета ASAS.
  • Post-search activity: Ранг результата, на который кликнул пользователь.
  • Индикация отказа (Abandonment): Отсутствие кликов после отправки запроса.
  • Клики на другие элементы: Клики на поисковые подсказки, вертикальные блоки (Картинки, Новости), рекламные объявления или информационные блоки.
• Пользовательские факторы: Идентификаторы пользователей (могут использоваться для расчета частоты n-грамм по уникальным пользователям для Privacy Criterion, но сами идентификаторы не сохраняются в шаблонах).

Какие метрики используются и как они считаются

• Privacy Criterion (Метрики конфиденциальности):
  • Порог частоты (Frequency Threshold): Минимальная частота, с которой n-грамма должна появляться в логе, чтобы считаться неприватной.
  • Минимальное количество (Minimum Number): Минимальное количество раз или уникальных пользователей, которое n-грамма должна иметь в логе.
• Aggregate Search Activity Statistics (ASAS) (Метрики поведения):
  • Click Rate (Частота кликов): Процент запросов, соответствующих шаблону, которые привели к клику.
  • Abandonment Rate (Показатель отказов): Процент запросов, соответствующих шаблону, которые не привели к клику.
  • Click Position Statistics: Распределение кликов по различным позициям результатов или типам элементов интерфейса.
  • Mean Reciprocal Rank (MRR): (Упоминается в описании). Средняя величина, обратная рангу первого релевантного результата.
• Performance Criterion (Пороги производительности): Пороги, применяемые к метрикам ASAS (например, Abandonment Rate > X%) для активации изменения методологии ранжирования.

1. Ранжирование на основе шаблонов (Pattern-Based Ranking): Патент описывает механизм, позволяющий Google корректировать логику ранжирования не на основе отдельного запроса, а на основе Query Pattern, которому этот запрос соответствует. Система использует агрегированные поведенческие данные, специфичные для этого класса запросов.
2. Агрегированные поведенческие данные как сигналы ранжирования: Агрегированная статистика (ASAS), такая как Click Position Statistics, частота кликов и Abandonment Rate для определенного шаблона, напрямую влияет на ранжирование и представление результатов для будущих запросов, соответствующих этому шаблону.
3. Динамическая адаптация весов сигналов: Методология ранжирования может быть изменена для конкретного шаблона. Например, если агрегированные данные показывают, что пользователи предпочитают самые свежие результаты для шаблона "* новости", система может увеличить вес сигнала свежести для всех запросов этого класса.
4. Механизм защиты конфиденциальности при анализе поведения: Система фильтрует редкие (потенциально приватные) n-граммы, полагаясь только на часто встречающиеся термины и Wildcards. Это демонстрирует, как поведенческие данные могут использоваться в масштабе с применением техник анонимизации.
5. Использование "Негативных" сигналов для улучшения: Высокий Abandonment Rate для шаблона используется как триггер для улучшения качества выдачи, например, путем инициирования более агрессивных поисковых подсказок или исправлений (даже для словарных слов, если они не соответствуют интенту).

Best practices (это мы делаем)

• Анализ интента на уровне шаблонов запросов (Кластеров): Необходимо анализировать, как пользователи взаимодействуют с SERP для целых категорий или шаблонов запросов, а не только для отдельных ключевых слов. Если пользователи постоянно ищут свежесть для определенного шаблона (например, "обновления [тема] *"), приоритет в контент-стратегии должен отдаваться свежести.
• Оптимизация под удовлетворенность пользователя (User Satisfaction): Высокие показатели отказов (Abandonment Rate) на уровне шаблона могут привести к изменениям в ранжировании. Критически важно убедиться, что контент четко удовлетворяет интент, связанный с шаблоном, чтобы минимизировать отказы (включая возврат к выдаче / pogo-sticking) и сигнализировать о положительном пользовательском опыте.
• Мониторинг поведения в разрезе кластеров/шаблонов: Отслеживайте метрики производительности (CTR, поведение на сайте) по группам схожих запросов (шаблонам). Это поможет понять, как агрегированные данные могут влиять на ранжирование в вашей нише.
• Адаптация контент-стратегии под поведение в SERP: Используйте данные о том, какие типы результатов предпочитают пользователи для разных шаблонов (на основе Click Position Statistics). Если для информационных шаблонов пользователи предпочитают быстрые ответы, оптимизируйте под Featured Snippets. Если для коммерческих – карточки товаров или видеообзоры.
• Семантическое покрытие: Патент упоминает группировку семантически схожих запросов (например, "resume" и "CV"). Используйте синонимы и широкий семантический охват темы для соответствия различным формулировкам в рамках одного шаблона интента.

Worst practices (это делать не надо)

• Игнорирование широкого шаблона запроса: Фокусироваться исключительно на оптимизации под точное соответствие ключевому слову, игнорируя более широкий шаблон или категорию. Логика ранжирования может определяться агрегированным поведением всего шаблона.
• Публикация "вечнозеленого" контента для быстро меняющихся шаблонов: Полагаться на статический контент в нишах, где шаблоны запросов демонстрируют явное предпочтение свежести. Если агрегированные данные показывают, что пользователи ищут актуальную информацию, устаревший контент может быть понижен.
• Использование Clickbait: Использование заголовков, которые вводят в заблуждение и приводят к высокому Abandonment Rate. Если такое поведение будет зафиксировано на агрегированном уровне (в ASAS) для определенного шаблона, это может привести к пессимизации.

Стратегическое значение

Патент подтверждает критическую важность поведенческих данных в агрегированной форме. Он показывает техническую реализацию использования этих данных как фактора ранжирования без необходимости отслеживания отдельных пользователей (решая проблему "privacy wall"). SEO-стратегии должны учитывать, как Google обобщает поведение пользователей по схожим запросам (шаблонам). Это также подчеркивает способность Google применять различные модели ранжирования к разным классам запросов на основе наблюдаемого поведения пользователей.

Практические примеры

Сценарий 1: Корректировка ранжирования на основе предпочтения свежести

1. Офлайн-анализ (Google): Google анализирует логи и идентифицирует шаблон "[Название события] билеты *". Система вычисляет ASAS и обнаруживает, что для этого шаблона пользователи overwhelmingly кликают на результаты, обновленные в течение последних 24 часов.
2. Performance Criterion: Срабатывает критерий, указывающий на сильное предпочтение свежести для этого шаблона.
3. Применение в реальном времени: Пользователь вводит запрос "Концерт Metallica билеты Москва".
4. Изменение методологии: Система распознает соответствие шаблону. Ranking Engine изменяет методологию, значительно увеличивая вес сигнала свежести при ранжировании результатов.
5. Результат для SEO: Страницы с самой актуальной информацией о наличии билетов ранжируются выше, даже если они имеют меньше ссылок, чем более старые, авторитетные страницы.

Сценарий 2: Генерация подсказок из-за высокого показателя отказов (Пример из патента)

1. Офлайн-анализ (Google): Система идентифицирует шаблон "no replay *" (с опечаткой) в логах поиска по электронной почте. ASAS показывает чрезвычайно высокий Abandonment Rate (95%). Система также идентифицирует похожий шаблон "no reply *", у которого Abandonment Rate низкий (10%).
2. Performance Criterion: Срабатывает критерий высокого показателя отказов для шаблона "no replay *".
3. Применение в реальном времени: Пользователь вводит запрос "no replay important".
4. Изменение методологии: Система распознает соответствие низкопроизводительному шаблону. Presentation Engine изменяет методологию представления, генерируя подсказку или исправление.
5. Результат: Пользователю показывается блок "Возможно, вы имели в виду: no reply important", несмотря на то, что "replay" является существующим словом (т.е. стандартный спеллчекер мог бы пропустить это).