Как Google нормализует популярность для смешивания разных типов контента (например, платного и бесплатного) в единой выдаче

Термины и определения

Blended Ranking (Смешанное ранжирование)

Процесс объединения элементов контента из разных популяций в единый упорядоченный список.

Buckets (Корзины/Диапазоны)

Диапазоны значений метрик популярности, используемые для группировки данных. В патенте предлагается использовать степени десяти (1-10, 10-100, 100-1000 и т.д.).

Dissimilar Populations (Разнородные популяции)

Группы контента с существенно различающимися распределениями метрик ранжирования (например, бесплатный vs платный контент).

Geometric Mean (GM) (Геометрическое среднее)

Статистическая мера, используемая для определения типичного значения популярности в совокупности. В патенте GM вычисляется для Most Common Bucket.

Media Content Items (Элементы медиаконтента)

Объекты ранжирования: фильмы, аудио, изображения, приложения, ПО.

Most Common Bucket (Самая распространенная корзина)

Диапазон (Bucket), содержащий наибольшее количество элементов в данной популяции.

N-furcated Normalization (N-фуркационная нормализация)

Техника нормализации, которая разделяет данные на N популяций и нормализует каждую из них независимо для возможности сравнения.

Offset / Boost (Смещение / Повышающий коэффициент)

Значение, добавляемое к оценке ранжирования элементов для компенсации разницы в абсолютных метриках между популяциями. Рассчитывается как разница между GM.

Parent Population (Родительская популяция)

Набор элементов контента с общими свойствами (например, 'Бесплатные приложения').

View Count (Количество просмотров/взаимодействий)

Метрика популярности. Включает просмотры, клики, загрузки, установки.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает систему смешанного ранжирования с конкретным механизмом нормализации.

1. Система анализирует элементы контента из разных родительских популяций, используя user browsing information и social network tags для определения интереса пользователя.
2. Система присваивает оценки (scores) элементам, используя следующий процесс нормализации:
   1. Определение количества просмотров (view counts).
   2. Группировка просмотров в корзины (buckets) по степеням десяти.
   3. Идентификация корзины с максимальным количеством элементов для каждой популяции.
   4. Определение Геометрического Среднего (Geometric Mean, GM) этой корзины для каждой популяции.
   5. Определение смещений (offsets) на основе разницы между GM совокупностей.
   6. Генерация финальных оценок на основе этих смещений.
3. Система ранжирует элементы на основе этих оценок.
4. Система агрегирует элементы из разных популяций в упорядоченный список.

Ядро изобретения — это детально описанный процесс нормализации (шаги 2a-2f). Он защищает конкретный метод, основанный на сравнении Geometric Means наиболее заполненных диапазонов популярности для вычисления корректирующих смещений.

Claim 8 и Claim 11 (Зависимые): Упоминают использование медианы (median value или median distribution) для смешивания.

Обработка Неопределенности (GM vs Median): В патенте присутствует вариативность в описании статистической меры. Claim 1 и детальное описание алгоритма (Description) фокусируются на Geometric Mean (GM) самой распространенной корзины. Однако Abstract, Claim 8 и Claim 11 упоминают медиану. Это указывает на то, что система может использовать разные статистические меры для определения центра распределения, но основная защищенная реализация в Claim 1 использует GM.

Где и как применяется

Изобретение применяется на финальных этапах формирования выдачи для объединения результатов из разных индексов или категорий.

INDEXING – Индексирование и извлечение признаков
На этом этапе собираются необходимые данные: метрики популярности (view counts) и классификация контента по родительским популяциям (Parent Populations).

METASEARCH – Метапоиск и Смешивание (Universal Search & Blending)
Это основная область применения патента. Алгоритм используется для смешивания (Blending) результатов из разных популяций (например, разных вертикалей или разных типов контента внутри маркетплейса).

1. Статистический анализ: Система анализирует распределение метрик для каждой популяции (это может происходить офлайн).
2. Нормализация: Вычисляются коэффициенты нормализации (Offsets) на основе GM.
3. Смешивание: Результаты объединяются и переранжируются на основе нормализованных оценок.

Входные данные:

• Элементы контента и их принадлежность к Parent Populations.
• Метрики популярности (View counts).
• User browsing information и social network tags.

Выходные данные:

• Единый смешанный список (Blended List) с нормализованными оценками ранжирования.

На что влияет

• Конкретные типы контента: Приложения, фильмы, музыка, товары. Особенно сильно влияет на выдачу, где смешиваются платные и бесплатные предложения.
• Конкретные ниши или тематики: Маркетплейсы (Google Play, Google Shopping) и выдача Универсального поиска, где смешиваются результаты из разных вертикалей (Видео, Картинки, Новости, Веб).

Когда применяется

• Условия применения: Применяется, когда система формирует выдачу, включающую элементы из двух или более популяций.
• Триггеры активации: Наличие значительного расхождения (large disparity) в значениях метрик ранжирования между этими популяциями.

Пошаговый алгоритм

Процесс нормализации и ранжирования на примере двух популяций: Бесплатной (F) и Платной (P).

1. Сбор данных: Сбор данных о популярности (например, загрузок) для всех элементов в обеих популяциях.
2. Группировка (Bucketing): Показатели популярности группируются в диапазоны (Buckets) по степеням десятки (1-10, 10-100, 100-1000 и т.д.).
3. Идентификация пика распределения: Для каждой популяции (F и P) определяется диапазон с наибольшим количеством элементов (Most Common Bucket).
4. Вычисление Среднего Геометрического (GM): Вычисляется GM (GMf и GMp) для элементов, попавших в Most Common Bucket каждой популяции.
5. Расчет разницы (Adif): Вычисляется разница между средними геометрическими значениями: $Adif = GMf - GMp$.
6. Вычисление Смещений (Offsets/Boosts): Рассчитываются поправочные коэффициенты. Популяция с меньшим GM получает буст.
   • Если Adif > 0 (Бесплатные популярнее): Смещение для F (Fb) = 0. Смещение для P (Pb) = Adif.
   • Если Adif < 0: Смещение для F (Fb) = Adif. Смещение для P (Pb) = 0.
7. Расчет финальной оценки (Ranking Score): Для каждого элемента (x) рассчитывается итоговая оценка (Sx) путем добавления смещения к логарифму его популярности (count(x)):
   • $Sx = log(count(x)) + Offset$ (где Offset это Fb или Pb).
8. Смешивание и Сортировка: Все элементы объединяются и сортируются по финальной оценке (Sx).

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые): Основные данные для ранжирования. Используются показатели популярности: View counts (количество просмотров), кликов, загрузок (downloads), установок (installation).
• Пользовательские факторы: User browsing information (история поиска, история загрузок). User preference и user demographics также упоминаются как возможные факторы ранжирования.
• Социальные факторы: Упоминается анализ social network generated tags, связанных с контентом.
• Факторы классификации (Контентные/Технические): Данные, позволяющие отнести элемент к Parent Population (например, цена, тип контента).
• Временные факторы: Recency (свежесть) упоминается как возможный дополнительный фактор ранжирования (Claim 9).
• Факторы качества: Critical rating (оценки) и number of critical reviews (количество обзоров) упоминаются как дополнительные факторы (Claim 9).

Какие метрики используются и как они считаются

• Geometric Mean (GM) популяции: Среднее геометрическое значение популярности элементов в Most Common Bucket. Используется как эталон типичной популярности для группы.
• Adif (Разница GM): Разница между GM разных популяций. Определяет степень неравенства.
• Offset (Смещение/Boost): Поправочный коэффициент, основанный на Adif.
• Ranking Score (Sx): Финальная оценка ранжирования. Рассчитывается как логарифм популярности элемента плюс смещение его популяции.

1. Абсолютная популярность не является решающим фактором в смешанной выдаче: Патент демонстрирует, что Google активно нивелирует системные различия в метриках популярности (трафик, клики, загрузки) при сравнении разнородного контента.
2. Ключ к успеху — относительная популярность внутри популяции: Для ранжирования в смешанной выдаче критически важно быть популярнее своих прямых конкурентов в той же категории (Parent Population). Система нормализует оценки относительно этой категории.
3. Специфический механизм нормализации (GM и Offsets): Система использует статистический метод, основанный на сравнении Геометрических Средних (Geometric Means) наиболее типичных диапазонов популярности, для вычисления "буста" (Offset) для менее популярных категорий контента.
4. Компенсация для платного и нишевого контента: Механизм напрямую решает проблему доминирования бесплатного или массового контента, предоставляя компенсационный буст платному или нишевому контенту.
5. Важность правильной классификации: Корректное определение Parent Population контента критично, так как от этого зависит применение правильного коэффициента нормализации (Offset).

Best practices (это мы делаем)

• Фокус на доминировании в своей категории (Population): Сосредоточьте усилия на том, чтобы стать лидером по сигналам качества и популярности именно внутри вашей специфической ниши или типа контента. Если ваш контент генерирует меньше трафика по своей природе (например, дорогие B2B продукты, платные приложения), этот алгоритм позволит вам конкурировать с высокотрафиковыми категориями, если вы лидер в своей группе.
• Обеспечение четкой категоризации контента: Используйте структурированные данные (Schema.org), чтобы помочь Google правильно идентифицировать вашу Parent Population. Для товаров указывайте цену (Product/Offer), для контента — тип (VideoObject, Article). Это гарантирует применение корректного Offset.
• Оптимизация в вертикалях и маркетплейсах: При работе с Google Shopping, Google Play, YouTube (если рассматривать разные жанры как популяции) фокусируйтесь на качестве, рейтингах и конверсиях внутри вашей категории, а не на абсолютных показателях просмотров конкурентов из других категорий.
• Анализ конкурентов внутри популяции: При анализе SERP сравнивайте свои показатели (трафик, поведенческие факторы) именно с сайтами/элементами, которые принадлежат к вашей популяции, так как нормализация происходит относительно них.

Worst practices (это делать не надо)

• Попытки конкурировать по абсолютным показателям с другой популяцией: Бессмысленно пытаться нагнать трафик на страницу нишевого продукта до уровня популярного информационного ресурса. Алгоритм нормализации нивелирует эту разницу.
• Игнорирование категоризации или маскировка типа контента: Нечеткое позиционирование или попытки выдать платный контент за бесплатный могут привести к отнесению к неверной популяции и, как следствие, к потере необходимого повышающего коэффициента (Boost) при нормализации.
• Оценка успеха по общим метрикам: Оценка эффективности SEO только по общему объему трафика без учета разделения на популяции может привести к неверным стратегическим решениям в нишах со смешанной выдачей.

Стратегическое значение

Патент подтверждает, что Google рассматривает поиск как набор разнородных популяций данных, а не как единый индекс. Это фундаментальный механизм для работы Универсального Поиска (Universal Search). Стратегия SEO должна строиться на принципе относительного лидерства: лучше доминировать в нишевой популяции, чем быть середняком в общей популяции, так как нормализация повышает значимость лидеров ниш при смешивании результатов.

Практические примеры

Сценарий: Ранжирование приложений в Google Play

1. Популяции: Система идентифицирует две популяции для запроса "фоторедактор": Бесплатные (Population F) и Платные (Population P).
2. Анализ популярности: Система анализирует загрузки. Most Common Bucket для F — 100k-1M загрузок. Для P — 1k-10k загрузок.
3. Расчет GM и Разницы: Вычисляются GMf и GMp. GMf значительно выше GMp. Система вычисляет разницу Adif.
4. Нормализация (Offset): Так как бесплатные популярнее, платные приложения получают Boost (Pb = Adif). Бесплатные получают Fb = 0.
5. Ранжирование:
   • Приложение А (Бесплатное) имеет 500k загрузок. Его оценка: log(500k) + 0.
   • Приложение Б (Платное) имеет 5k загрузок. Его оценка: log(5k) + Pb.
6. Результат: Благодаря добавлению Pb (Boost), нормализованная оценка Приложения Б может превысить оценку Приложения А, позволяя качественному платному приложению занять высокую позицию в общем смешанном списке, несмотря на в 100 раз меньшее абсолютное число загрузок.