Как Google снижает ценность кликов по результатам, полученным из слишком общих запросов

Термины и определения

Popularity Measure (Показатель популярности)

Метрика, используемая для оценки популярности документа. Может быть зависимой от запроса (query-dependent), например, click-through ratio (отношение кликов к показам по конкретному запросу), или независимой (query-independent), например, общее количество кликов (click count).

Query Breadth (Широта запроса)

Мера того, насколько общим или специфическим является запрос. Широкие запросы обычно имеют меньше терминов, чаще используются и возвращают больше результатов.

Query Breadth Analyzer (Анализатор широты запроса)

Компонент поисковой системы, отвечающий за определение меры широты запроса.

IR Score (Information Retrieval Score)

Показатель релевантности документа запросу, используемый в информационном поиске.

IR Score Drop-off (Снижение IR Score)

Скорость, с которой снижается IR score от первого результата к последующим (например, к N-му результату) в выдаче. Медленное снижение (slow drop-off) указывает на широкий запрос, так как много документов имеют схожую высокую релевантность.

Query/Clicked Result Pair (Пара Запрос/Кликнутый результат)

Запись, связывающая конкретный поисковый запрос с документом, на который кликнул пользователь в результатах этого запроса.

De-weighting (Снижение веса, де-вейтинг)

Процесс уменьшения значения показателя популярности, основанный на мере широты запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод корректировки популярности.

1. Система (server device) оценивает широту (breadth) поискового запроса.
2. Идентифицируется взаимодействие пользователя (user interaction) с первым документом в наборе результатов, отвечающем этому запросу.
3. Система изменяет рейтинг популярности (ranking of a popularity) первого документа на основе этого взаимодействия И широты запроса.
4. Ключевое условие: Величина изменения рейтинга популярности уменьшается с увеличением широты поискового запроса. (Чем шире запрос, тем меньше влияние взаимодействия).
5. Система делает этот рейтинг популярности доступным для ответа на последующие поисковые запросы.

Claim 2 (Зависимый от 1): Уточняет метод оценки широты. Широта оценивается на основе общего количества документов в наборе результатов.

Claim 3 (Зависимый от 1): Уточняет метод оценки широты. Широта оценивается на основе разницы в релевантности (differences in relevances) документов в наборе результатов. (Это относится к IR Score Drop-off).

Claim 5 (Зависимый от 1): Уточняет механизм изменения рейтинга. Изменение происходит путем взвешивания (weighting) взаимодействия пользователя на основе широты запроса.

Claims 7, 8, 9 (Зависимые от 1): Уточняют тип взаимодействия пользователя. Это может быть click count (Claim 7), click-through ratio (Claim 8) или взаимодействие, идентифицированное независимо от поискового запроса (Claim 9).

Где и как применяется

Изобретение затрагивает этапы сбора данных о поведении пользователей и последующее ранжирование.

CRAWLING (Data Acquisition) / INDEXING
На этих этапах система собирает данные, необходимые для расчета IR scores и индексирует документы. Это является предпосылкой для возможности расчета широты запроса (например, количества результатов или IR score drop-off).

RANKING – Ранжирование
Алгоритм напрямую влияет на этот этап. Предварительно рассчитанные и скорректированные показатели популярности (De-weighted Popularity Measure) используются как один из сигналов для определения итогового ранжирования документов в ответ на последующий запрос пользователя.

Офлайн-обработка данных (Log Processing)
Основная логика патента (расчет широты и корректировка популярности) применяется при обработке логов поисковой системы (например, в ночном пакетном процессе).

1. Сбор данных: Система анализирует логи, содержащие Query/Clicked Result Pairs.
2. Расчет широты: Для каждого запроса в логах Query Breadth Analyzer рассчитывает его широту.
3. Корректировка популярности: Ranking Processor использует данные о широте для корректировки вклада каждого взаимодействия в итоговый показатель популярности документа.

Входные данные:

• Логи поисковых запросов и кликов (Query/Clicked Result Pair).
• Данные индекса (для определения количества результатов по запросу).
• IR Scores документов для запросов (для расчета IR Score Drop-off).

Выходные данные:

• Скорректированные показатели популярности (De-weighted Popularity Measure) для документов, сохраненные в Popularity DB.
• Меры широты запросов, сохраненные в Query Breadth DB.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на ранжирование по широким, высокочастотным запросам (Head Terms). Документы, которые накапливают большую часть своей популярности из таких запросов, могут быть понижены по сравнению с документами, популярность которых основана на узких запросах.
• Типы контента: Влияет на все типы контента, популярность которых измеряется через взаимодействие пользователей (клики, показы). Особенно затрагивает абстрактные или общие информационные страницы, которые часто релевантны широким запросам.

Когда применяется

Алгоритм применяется постоянно в процессе обработки логов пользовательского поведения и обновления показателей популярности.

• Условия применения: Применяется к любому зафиксированному взаимодействию пользователя с результатом поиска (например, клику).
• Триггеры активации: Активируется, когда система обрабатывает Query/Clicked Result Pair для обновления показателей популярности документа. Степень корректировки зависит от рассчитанной широты запроса.

Пошаговый алгоритм

Описан процесс корректировки показателя популярности на основе анализа логов.

1. Получение данных о взаимодействии: Система извлекает запись из лог-файла, содержащую поисковый запрос и идентификатор результата, на который был совершен клик (Query/Clicked Result Pair).
2. Определение исходной популярности: Система определяет показатель популярности для этой пары. Например, подсчитывает количество вхождений этой пары в логе (т.е. сколько раз этот результат был кликнут в ответ на этот запрос).
3. Определение широты запроса: Query Breadth Analyzer определяет меру широты для данного запроса. Это может включать:
   • Подсчет общего количества возвращенных результатов.
   • Анализ длины или частоты запроса.
   • Расчет скорости снижения IR Score (например, вычисление отношения $IR_{n}/IR_{1}$).
4. Снижение веса (De-weighting): Система корректирует показатель популярности, используя меру широты. Если запрос широкий (например, IR Score Drop-off медленный, отношение близко к 1), показатель популярности снижается. В одном из вариантов реализации для снижения веса популярность умножается на (1 - Мера широты).
5. Сохранение скорректированного показателя: Скорректированный показатель популярности (De-weighted Popularity Measure) сохраняется в базе данных популярности.
6. Использование в ранжировании: При обработке последующих поисковых запросов система использует этот скорректированный показатель для ранжирования результатов.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Основные данные, используемые в патенте.
  • Click count (Количество кликов): Сколько раз на документ кликнули.
  • Impression count (Количество показов): Сколько раз документ был показан пользователям.
  • Click-through ratio (CTR): Отношение кликов к показам.
  • Журналы запросов и кликов (Query/Clicked Result Pair).
  • Частота использования запроса: Как часто конкретный запрос задается пользователями.
• Контентные/Системные факторы:
  • IR Scores: Показатели релевантности документов запросу.
  • Количество результатов: Общее число документов, найденных по запросу.
  • Длина запроса: Количество терминов в запросе.

Какие метрики используются и как они считаются

Система вычисляет Query Breadth, используя одну или несколько из следующих метрик:

1. Количество результатов: Чем больше результатов возвращает запрос, тем он шире.
2. Длина запроса: Чем меньше терминов в запросе, тем он шире. Может рассчитываться как отношение длины запроса к средней длине всех запросов.
3. Частота запроса: Чем чаще используется запрос, тем он шире.
4. IR Score Drop-off (Снижение IR Score): Скорость снижения релевантности в топе выдачи.
   • Рассчитывается как отношение IR Score N-го результата к IR Score первого результата: $IR_{n}/IR_{1}$.
   • Если отношение близко к 1, снижение медленное, запрос широкий.
   • Если отношение близко к 0, снижение быстрое, запрос узкий.

De-weighted Popularity Measure (Скорректированный показатель популярности):

• Показатель популярности корректируется на основе широты. В одном из описанных примеров, если используется IR Score Drop-off, формула может выглядеть так:
• Скорректированная Популярность = Исходная Популярность * (1 - $(IR_{n}/IR_{1})$).
• При широком запросе ($IR_{n}/IR_{1}$ близко к 1), множитель близок к 0, и популярность сильно снижается.

1. Не все клики имеют одинаковый вес: Патент явно утверждает, что вклад взаимодействия пользователя (например, клика) в показатель популярности документа должен зависеть от контекста запроса. Взаимодействия, произошедшие в рамках широких запросов, имеют меньшую ценность.
2. Борьба с искусственной популярностью: Основная цель — предотвратить ситуацию, когда общие документы получают незаслуженно высокий рейтинг популярности только потому, что они часто показываются по высокочастотным, но неспецифическим запросам.
3. Многофакторная оценка широты запроса: Google может определять широту запроса (Query Breadth) разными способами: по количеству результатов, длине запроса, частоте его использования и скорости снижения релевантности (IR Score Drop-off) в топе выдачи.
4. Предпочтение специфичности: Система стимулирует ранжирование документов, которые доказали свою популярность в ответ на узкие, специфические запросы. Это повышает общую точность и полезность поисковой выдачи.
5. Нормализация поведенческих сигналов: Этот механизм является способом нормализации поведенческих данных, позволяя отфильтровать шум от ценных сигналов о качестве и релевантности.

Best practices (это мы делаем)

• Фокус на средне- и низкочастотных запросах (Long-Tail): Сосредоточьтесь на создании контента, который максимально точно отвечает на специфические запросы пользователей. Клики, полученные по таким запросам, вероятно, будут иметь больший вес при расчете показателей популярности, так как эти запросы будут классифицированы как узкие.
• Повышение тематического авторитета через специфику: Развивайте глубину проработки темы, охватывая множество узких подтем и интентов, а не только самые общие аспекты. Это увеличивает вероятность получения высоковесомых кликов.
• Оптимизация под конкретные интенты, а не только ключевые слова: Убедитесь, что контент решает конкретную задачу пользователя. Если страница ранжируется по широкому запросу, но не удовлетворяет интент большинства пользователей, низкий CTR в сочетании с широтой запроса может быть особенно негативным сигналом (как упомянуто в патенте: низкий CTR подразумевает, что результат не особенно релевантен вопросам пользователей).
• Анализ качества трафика по запросам: Анализируйте, по каким запросам приходят пользователи и как они взаимодействуют с контентом. Если основной трафик идет по очень общим запросам с высоким показателем отказов, это может указывать на необходимость уточнения контента или пересмотра стратегии таргетинга.

Worst practices (это делать не надо)

• Исключительная ставка на Head Terms: Построение стратегии исключительно вокруг ранжирования по самым высокочастотным и общим запросам (1-2 слова). Даже при достижении топа и получении большого количества кликов, вклад этих кликов в общую популярность сайта может быть снижен (de-weighted) из-за широты запросов.
• Создание поверхностного контента для широких тем: Создание "обобщенных" статей, которые пытаются охватить слишком широкую тему без должной детализации. Такие страницы могут собирать показы по широким запросам, но их показатели популярности будут скорректированы в сторону уменьшения.
• Игнорирование специфики и интента: Оптимизация страницы под ключевое слово без учета того, насколько специфичен интент, стоящий за ним.

Стратегическое значение

Патент подтверждает стратегию Google по уходу от простых количественных метрик к более сложным, контекстуально-зависимым оценкам. Поведенческие факторы являются важной частью ранжирования, но они проходят сложный процесс нормализации и взвешивания. Для SEO это означает, что качество взаимодействия и точность попадания в интент пользователя важнее, чем абсолютный объем трафика. Долгосрочная стратегия должна фокусироваться на построении репутации ресурса как лучшего ответа на конкретные, четко сформулированные потребности аудитории.

Практические примеры

Сценарий: Сравнение веса кликов для интернет-магазина электроники

1. Ситуация А (Широкий запрос):
   • Запрос: "digital camera" (цифровая камера).
   • Характеристики: Очень высокая частота, миллионы результатов, медленное снижение IR Score. Google классифицирует его как очень широкий (Query Breadth = 0.95).
   • Действие: Пользователь кликает на результат магазина.
   • Результат: Вклад этого клика в популярность страницы снижается. Например, вес клика = 1 * (1 - 0.95) = 0.05.
2. Ситуация Б (Узкий запрос):
   • Запрос: "buy canon powershot s100 silver" (купить canon powershot s100 серебристый).
   • Характеристики: Низкая частота, тысячи результатов, быстрое снижение IR Score. Google классифицирует его как очень узкий (Query Breadth = 0.1).
   • Действие: Пользователь кликает на результат магазина.
   • Результат: Вклад этого клика в популярность страницы почти не снижается. Например, вес клика = 1 * (1 - 0.1) = 0.9.
3. Вывод для SEO: Для повышения показателей популярности, которые используются в ранжировании, магазину выгоднее получить 100 кликов по запросу Б (общий вес 90), чем 1000 кликов по запросу А (общий вес 50). Это стимулирует оптимизацию под конкретные модели и характеристики товаров.