Как Google использует данные о кликах разных групп пользователей (популяций) для локализации и персонализации ранжирования

Термины и определения

Population (Популяция)

Группа пользователей, объединенная общими характеристиками. Примеры включают местоположение (страна, регион, город), демографические данные (возраст, пол), язык, общие интересы или интернет-провайдера (ISP).

Population Signal (Сигнал Популяции)

Оценка, рассчитываемая для документа в контексте конкретного запроса и конкретной популяции. Отражает релевантность или популярность документа именно для этой группы пользователей на основе исторических кликов. Обозначается как $S(q, d_j)$.

Clickthrough Data / Selection Data (Данные о кликах / Данные о выборе)

Поведенческие данные, фиксирующие взаимодействие пользователей с результатами поиска (клики на ссылки). Эти данные хранятся и анализируются в привязке к запросу, документу и популяции пользователя.

Smoothing Factor (μ) (Коэффициент сглаживания)

Статистическая переменная (обозначаемая как µ - мю). Используется для корректировки Population Signal в условиях нехватки данных (data sparsity). Определяет степень доверия к данным о кликах конкретной популяции. Если кликов мало, система больше полагается на глобальные данные.

Automatic-identification data (Автоматически собираемые данные)

Данные, используемые для определения популяции пользователя без его прямого участия. Примеры: IP-адрес, доменное имя (например, .co.jp), cookies, версия и языковые настройки браузера.

Self-identification data (Данные самоидентификации)

Данные, предоставленные пользователем, которые помогают определить его популяцию. Примеры: данные регистрации, выбранные языковые предпочтения, указанное местоположение.

Sub-population (Субпопуляция)

Более узкая группа внутри популяции. Патент описывает иерархию: например, «Парижане» < «Франция» < «Европа».

Population Processor (Процессор популяции)

Компонент поисковой системы, отвечающий за определение популяции пользователя и расчет Population Signal.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод улучшения ранжирования.

1. Система получает поисковый запрос от пользователя.
2. Идентифицируется как минимум одна группа популяции (first population group), связанная с этим пользователем.
3. Определяется первый документ (first article), релевантный запросу.
4. Рассчитывается Population Signal для этого документа на основе данных, связанных с идентифицированной группой популяции.
5. Определяется оценка ранжирования (Ranking Score) для документа на основе этого Population Signal.
6. В ответ на запрос выводятся результаты поиска, в которых документ ранжируется с использованием этой оценки.

Claims 2-11 (Зависимые): Детализируют способы определения популяции пользователя.

Определение популяции может основываться на демографических данных, вероятном географическом местоположении (определенном через IP-адрес, введенный пользователем адрес), а также на Self-identification data или Automatic-identification data.

Claim 12, 13 (Зависимые): Определяют природу Population Signal.

Population Signal представляет собой оценку выбора (selection score) документа в контексте данной популяции. Эта оценка выбора, в частности, может быть количеством кликов (number of clicks) на документ, совершенных членами данной популяции по данному запросу.

Claim 14 (Зависимый от 13): Вводит понятие сглаживания.

Population Signal включает коэффициент сглаживания (Smoothing Factor), связанный с кликами. Это подтверждает использование статистических методов для повышения надежности оценки при малом количестве данных.

Claim 20 (Зависимый): Указывает на возможность использования нескольких популяций.

Система может определить вторую группу популяции (second population group) и использовать ее данные для расчета Population Signal. Это позволяет учитывать иерархии (Страна > Регион) или пересечения (например, язык и местоположение).

Где и как применяется

Изобретение применяется на финальных этапах обработки запроса для персонализации выдачи на основе группового поведения.

INDEXING – Индексирование и извлечение признаков (Офлайн-процессы)
На этом этапе происходит предварительная обработка данных. Clickthrough data и данные о популяциях собираются, анализируются и индексируются в Population DB и Click Through DB. Рассчитываются агрегированные статистики кликов (глобальные и по популяциям).

QUNDERSTANDING – Понимание Запросов (Идентификация пользователя)
В момент получения запроса система должна определить популяцию текущего пользователя. Это происходит путем анализа Automatic-identification data (IP, домен) и Self-identification data (язык браузера, настройки аккаунта).

RANKING / RERANKING – Ранжирование и Переранжирование
Основное применение патента. После того как базовый набор документов получен (Document Locator) и определена популяция пользователя:

1. Population Processor рассчитывает Population Signal для документов, используя данные из баз и применяя Smoothing Factor (µ).
2. Ranking Processor использует этот сигнал как один из факторов (наряду с другими сигналами) для определения финального Ranking Score.

Входные данные:

• Поисковый запрос (Q).
• Идентификатор популяции пользователя (P).
• Начальный набор результатов поиска.
• Агрегированные данные о кликах (глобальные и специфичные для популяции P).
• Коэффициент сглаживания (µ).

Выходные данные:

• Population Signal ($S(q, d_j)$) для каждого документа, который затем используется в ранжировании.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, интент которых зависит от местоположения (локальные запросы), культуры или языка (например, запрос "football" в США и Великобритании; запрос "cricket" в США и Индии).
• Локальный поиск и Международное SEO: Алгоритм напрямую используется для адаптации выдачи под конкретные страны и языки, гарантируя, что пользователи увидят результаты, популярные в их регионе или языковой группе.

Когда применяется

• Условия работы: Алгоритм применяется во время выполнения запроса (real-time ranking).
• Триггеры активации: Активируется, когда система может идентифицировать популяцию пользователя. Влияние алгоритма тем сильнее, чем больше специфичных для популяции данных собрано и чем сильнее они отличаются от глобальных данных.
• Обработка нехватки данных (Data Sparsity): Если данных для конкретной популяции (например, "пользователи из Люксембурга") недостаточно, система может использовать данные более высокого уровня иерархии (например, "пользователи из Европы") или полагаться на глобальные данные через механизм сглаживания (Smoothing Factor).

Пошаговый алгоритм

Процесс расчета Population Signal (на примере Формулы 1 из патента):

1. Инициализация: Система получает запрос "Q" от пользователя.
2. Определение популяции: Определяется популяция "P" пользователя (например, "Франция").
3. Определение параметров: Определяется коэффициент сглаживания (µ).
4. Сбор статистики по популяции (Агрегация): Система рассчитывает общее количество кликов по всем документам для запроса "Q", совершенных популяцией "P" ($\sum_i \#(q, d_i, P)$).
5. Сбор глобальной статистики (Агрегация): Система рассчитывает общее количество кликов по всем документам для запроса "Q", совершенных всеми пользователями ($\sum_i \#(q, d_i)$).
6. Обработка документа (Итерация): Для каждого конкретного документа $d_j$:
   • Получить количество кликов популяции P: $\#(q, d_j, P)$.
   • Получить количество глобальных кликов: $\#(q, d_j)$.
7. Расчет: Вычисление Population Signal по формуле (см. раздел Метрики), объединяющей эти данные с применением µ.
8. Применение: Передача Population Signal в Ranking Processor для корректировки ранга документа $d_j$.

Какие данные и как использует

Данные на входе

Система использует несколько типов данных для определения популяции и расчета сигнала:

• Поведенческие факторы: Clickthrough data (данные о кликах) являются основным источником информации. Система отслеживает, какие документы выбираются пользователями по конкретным запросам, сегментируя данные по популяциям.
• Географические факторы: IP-адрес пользователя, страна домена, используемого для доступа к поисковой системе (например, google.co.jp), информация о местоположении, указанная пользователем.
• Пользовательские факторы (Демография и Предпочтения): Языковые настройки браузера или ОС (Automatic-identification data), регистрационные данные (возраст, пол, если доступны), cookies, история интересов (Self-identification data).

Какие метрики используются и как они считаются

Ключевым элементом патента является формула для расчета Population Signal. В патенте приводится несколько примеров, основной из которых (Формула 1, согласно тексту патента в Col 12):

$S(q, d_j) = \frac{\#(q, d_j, P) + \mu \cdot \frac{\#(q, d_j)}{\sum_i \#(q, d_i) + \mu}}{\sum_i \#(q, d_i, P) + \mu}$

Где:

• $S(q, d_j)$: Итоговый Population Signal.
• $\#(q, d_j, P)$: Количество кликов на документ $d_j$ по запросу q, совершенных популяцией P. (Специфичный сигнал).
• $\#(q, d_j)$: Количество кликов на документ $d_j$ по запросу q, совершенных всеми пользователями. (Глобальный сигнал).
• $\sum_i \#(q, d_i)$: Сумма кликов по всем документам для запроса q всеми пользователями.
• $\sum_i \#(q, d_i, P)$: Сумма кликов по всем документам для запроса q популяцией P.
• $\mu$: Коэффициент сглаживания.

Интерпретация формулы (Байесовское сглаживание):

Эта формула реализует механизм, схожий с Байесовским сглаживанием. Она рассчитывает вероятность того, что пользователь из популяции P кликнет на документ $d_j$, используя глобальную вероятность клика как априорную (prior) вероятность.

Коэффициент $\mu$ определяет баланс:

• Если $\mu$ велик или данных популяции P мало, то итоговый сигнал приближается к глобальной вероятности клика. Система "не доверяет" разреженным данным популяции.
• Если $\mu$ мал или данных популяции P много, то итоговый сигнал приближается к вероятности клика именно внутри популяции P.

Иерархия популяций: Патент также упоминает, что если данных для субпопуляции недостаточно, система может использовать данные более высокого уровня иерархии (например, использовать данные по Европе, если данных по Франции мало).

1. Релевантность контекстуальна и зависит от популяции: Патент формализует идею о том, что наилучший результат не универсален, а зависит от того, к какой группе принадлежит пользователь (география, язык, демография). Глобальная релевантность уступает место групповым предпочтениям.
2. Сегментированные поведенческие сигналы: Clickthrough data используется не глобально, а в разрезе конкретных популяций. Высокое взаимодействие внутри группы повышает ранжирование для членов этой группы. Это механизм групповой персонализации.
3. Критичность обработки нехватки данных (Data Sparsity): Smoothing Factor (μ) является ключевым механизмом. Он позволяет системе динамически балансировать между специфичными (но разреженными) данными популяции и общими (надежными) глобальными данными, используя методы статистического (Байесовского) сглаживания.
4. Иерархический подход к популяциям: Система предусматривает использование иерархий (Субпопуляций). Если данных для узкой группы мало (например, город), можно использовать данные более широкой группы (например, страна или континент).
5. Многомерность популяций: Пользователь может принадлежать к нескольким популяциям одновременно (Claim 20), что дает возможность для сложной персонализации (например, по языку и местоположению одновременно).

Best practices (это мы делаем)

• Оптимизация под интент целевой популяции: Необходимо четко понимать целевую аудиторию (популяцию) и ее специфические интенты. Контент должен быть максимально релевантен именно для этой группы, чтобы максимизировать положительные поведенческие сигналы (клики/CTR) внутри сегмента.
• Глубокая локализация и культурная адаптация: При международном SEO критически важен не просто перевод, а адаптация контента под культурные и поведенческие особенности региона. Контент должен резонировать с местной аудиторией и стимулировать взаимодействие.
• Корректная техническая реализация международного SEO: Используйте инструменты (hreflang, локальные домены, настройка таргетинга), чтобы помочь Google правильно ассоциировать ваш контент с нужной популяцией.
• Локализованный мониторинг и анализ: Мониторьте ранжирование и показатели CTR не глобально, а в разрезе ключевых целевых рынков (популяций). Анализируйте выдачу в целевых регионах (используя VPN), чтобы понять предпочтения местной аудитории.

Worst practices (это делать не надо)

• Игнорирование локальных предпочтений: Применение универсальной SEO-стратегии ("one-size-fits-all"). Предположение, что страница, оптимизированная для одного рынка (например, США), будет автоматически хорошо ранжироваться в других (например, в Японии или Германии).
• Поверхностный перевод без адаптации: Использование машинного перевода без учета локальных особенностей. Такой контент получит низкое вовлечение от местной популяции, что приведет к низкому Population Signal.
• Манипуляции с поведенческими факторами из нецелевых регионов: Накрутка кликов (например, через клик-фермы) из случайных локаций не улучшит Population Signal для целевой аудитории, так как система анализирует поведение сегментированно.

Стратегическое значение

Этот патент является одним из фундаментальных документов, описывающих механизмы персонализации и локализации поиска на основе группового поведения. Он подтверждает стратегическую важность понимания и удовлетворения потребностей конкретных сегментов аудитории. Для SEO это означает, что невозможно разработать единую стратегию для всех рынков; успех определяется не абстрактной релевантностью, а реальным взаимодействием целевых пользователей с контентом в их локальном или демографическом контексте.

Практические примеры

Сценарий 1: Адаптация выдачи по запросу с различным культурным значением

1. Запрос (Q): "Cricket"
2. Пользователь 1 (Популяция: США): Система идентифицирует пользователя в США. Исторические Clickthrough Data показывают, что пользователи в США чаще кликают на результаты про насекомое или мобильного оператора Cricket Wireless.
3. Пользователь 2 (Популяция: Индия): Система идентифицирует пользователя в Индии. Исторические данные показывают, что пользователи в Индии почти исключительно кликают на результаты про спорт крикет.
4. Расчет Population Signal: Сайты про спорт получат высокий сигнал в Индии и низкий в США. Сайты про насекомых — наоборот.
5. Результат: Оба пользователя видят совершенно разную выдачу, адаптированную под предпочтения их популяции.

Сценарий 2: Обработка нехватки данных (Data Sparsity)

1. Запрос (Q): Редкий технический термин.
2. Пользователь: Находится в Люксембурге.
3. Анализ данных: Система обнаруживает, что из Люксембурга по этому запросу было всего 2 клика. Этого недостаточно для надежных выводов.
4. Активация Сглаживания (μ): Система активирует Smoothing Factor. Она будет больше полагаться на глобальные данные о кликах или данные более широкой популяции (например, «Европа»).
5. Результат: Выдача для пользователя из Люксембурга будет близка к глобальной выдаче, а не основана на случайных 2 кликах.