Как Google нормализует оценки релевантности из разных индексов для создания Универсальной поисковой выдачи (Universal Search)

Термины и определения

Blending (Смешивание)

Процесс объединения контента из разных коллекций (корпусов) в единый выходной набор данных (например, SERP).

Collections of content / Corpora (Коллекции контента / Корпуса)

Различные наборы данных или индексы. Примеры: News Feed (Новости), Web (Веб-контент), Blog (Блоги). Также могут включать контент по странам, языкам или демографии.

Content Relevance Scores (Оценки релевантности контента)

Метрики, указывающие на релевантность элемента контента запросу. Эти оценки генерируются специфично для каждого корпуса и могут иметь разные диапазоны.

Distribution / Histogram (Распределение / Гистограмма)

Статистическое представление частоты встречаемости различных Content Relevance Scores внутри одного корпуса.

Normalization Engine (Механизм нормализации)

Компонент поисковой системы, отвечающий за приведение оценок релевантности из разных корпусов к единой шкале.

Normalized Range / Normalized Scores (Нормализованный диапазон / Нормализованные оценки)

Единая шкала (в примере патента – от 0 до 1), к которой приводятся все оценки релевантности.

Quantiles / Subsets (Квантили / Подмножества)

Части, на которые делится распределение оценок (например, процентили). Используются как основа для маппинга исходных оценок в нормализованный диапазон (Квантильная нормализация).

Ranges (Диапазоны)

Верхние и нижние границы Content Relevance Scores, наблюдаемые для конкретного корпуса.

Ключевые утверждения (Анализ Claims)

Примечание: Формула изобретения (Claims 1-19) этого патента фокусируется исключительно на механизме нормализации. Хотя в основном описании (Description) патента подробно обсуждаются примеры применения, такие как смешивание социального контента и использование модели Затрат/Выгод (Cost/Gain Model), они не являются частью защищенного изобретения, описанного в Claims.

Claim 1 (Независимый пункт): Описывает полный процесс квантильной нормализации и ее использования для ранжирования смешанных результатов.

1. Система получает диапазоны (ranges) оценок релевантности для разных коллекций контента.
2. Генерируется нормализованный диапазон (normalized range) нормализованных значений.
3. Выполняется нормализация диапазона конкретной коллекции:
   1. Генерируется распределение (distribution) оценок для этой коллекции.
   2. Распределение делится на первые подмножества (first subsets – квантили/процентили).
   3. Нормализованный диапазон делится на вторые подмножества (second subsets).
   4. Генерируется маппинг (mapping) первых подмножеств ко вторым.
   5. Для конкретной оценки релевантности определяется, в какое первое подмножество она попадает, и ей присваивается нормализованное значение из соответствующего второго подмножества.
4. Выполняются поиски по разным коллекциям.
5. Определяется, куда в нормализованном диапазоне попадают оценки релевантности найденного контента (используя нормализацию из шага 3).
6. Контент ранжируется на основе того, куда его оценки попадают в нормализованном диапазоне.
7. Выводятся результаты на основе этого ранжирования.

Ядро изобретения – это применение статистического метода (квантильной нормализации) для обеспечения возможности сравнения метрик релевантности между разными корпусами. Это означает, что результат, находящийся в 90-м процентиле релевантности для Корпуса А, получит нормализованную оценку, эквивалентную результату в 90-м процентиле Корпуса Б, независимо от их исходных числовых значений.

Claim 2 (Зависимый от 1): Уточняет метод получения исходных диапазонов (Шаг 1 Claim 1). Это делается офлайн путем выполнения выборочных поисковых запросов (sample search queries) и идентификации верхних и нижних границ полученных оценок релевантности для каждой коллекции.

Claims 3 и 4 (Зависимые от 1): Уточняют, что процесс динамический. Диапазоны оценок обновляются (либо через предопределенные интервалы времени (Claim 3), либо на основе изменений в коллекциях контента (Claim 4)), и маппинг пересчитывается.

Где и как применяется

Изобретение является ключевым компонентом, обеспечивающим работу Универсального Поиска.

Офлайн Анализ (Связано с INDEXING/RANKING)
Система требует периодической калибровки. Normalization Engine анализирует данные, полученные путем выполнения выборочных запросов, для построения распределений (distributions) и генерации маппингов (mappings) для каждого корпуса (Веб, Новости, Видео и т.д.).

RANKING – Ранжирование (Рантайм)
На этом этапе для пользовательского запроса генерируются результаты из различных корпусов. Каждый результат имеет исходную (нативную) оценку релевантности, специфичную для его корпуса.

METASEARCH – Метапоиск и Смешивание (Universal Search & Blending)
Это основной этап применения патента. Normalization Engine используется для конвертации нативных оценок релевантности в Normalized Scores с использованием предварительно рассчитанных маппингов. Затем система смешивания (Blending Algorithm) сравнивает эти нормализованные оценки, чтобы определить финальный порядок результатов из разных корпусов в единой выдаче.

Входные данные:

• Нативные Content Relevance Scores результатов поиска из разных корпусов.
• Предварительно рассчитанные маппинги (данные о распределениях и квантилях).

Выходные данные:

• Normalized Scores (например, в диапазоне 0-1) для всех результатов.
• Смешанный (Blended) список результатов, отсортированный по Normalized Scores.

На что влияет

• Типы контента и Вертикали: Влияет на весь контент, который участвует в Универсальной выдаче: веб-страницы, новости, видео, изображения, товары. Определяет, какой тип контента займет более высокие позиции при смешивании.
• Специфические запросы: Наибольшее влияние на запросы, где интент пользователя может быть удовлетворен разными типами контента, что требует сравнения релевантности между вертикалями.
• Языковые и географические ограничения: Патент упоминает (Claims 6, 15), что корпуса могут быть разделены по странам или языкам. Механизм нормализации применим и для смешивания таких результатов.

Когда применяется

• Триггеры активации (Калибровка): Активируется периодически (офлайн) или когда обнаруживаются значительные изменения в корпусе контента или алгоритмах ранжирования, которые могут изменить распределение оценок.
• Триггеры активации (Рантайм): Активируется в реальном времени, когда поисковая система решает объединить результаты из более чем одного корпуса в ответ на запрос пользователя (активация Universal Search).

Пошаговый алгоритм

Процесс состоит из двух основных фаз: Офлайн-калибровка и Рантайм-смешивание.

Фаза А: Офлайн-калибровка и Генерация Маппинга

1. Сбор данных: Система выполняет набор выборочных поисковых запросов (sample search queries) к различным корпусам (например, Веб, Новости).
2. Определение диапазонов: Для каждого корпуса идентифицируются верхние и нижние границы полученных оценок релевантности.
3. Генерация распределений: Для каждого корпуса строится распределение (например, гистограмма) частоты встречаемости оценок релевантности.
4. Определение Нормализованного Диапазона: Устанавливается единая шкала (например, 0-1).
5. Квантизация: Распределение каждого корпуса делится на подмножества (квантили/процентили). Нормализованный диапазон также делится на соответствующие подмножества.
6. Генерация маппинга: Создается соответствие (маппинг) между квантилями корпуса и квантилями нормализованного диапазона. (Например, 95-й процентиль Веб-оценок сопоставляется со значением 0.95).
7. Обновление: Маппинги сохраняются и периодически обновляются.

Фаза Б: Рантайм-смешивание (Blending)

1. Выполнение поиска: В ответ на запрос пользователя система выполняет поиск по релевантным корпусам.
2. Получение исходных оценок: Система получает наборы результатов с нативными Content Relevance Scores.
3. Конвертация оценок (Нормализация): Используя сохраненные маппинги (из Фазы А), система конвертирует нативные оценки в Normalized Scores. Для каждой оценки определяется, в какой квантиль корпуса она попадает, и ей присваивается соответствующее значение из нормализованного диапазона.
4. Ранжирование и смешивание: Все результаты из разных корпусов объединяются и ранжируются на основе их Normalized Scores.
5. Вывод результатов: Смешанный список результатов предоставляется пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на обработке уже существующих оценок релевантности и не описывает, какие конкретные факторы (контентные, ссылочные, поведенческие и т.д.) используются для их генерации.

• Системные данные: Content Relevance Scores. Это основные входные данные для Normalization Engine. Эти оценки генерируются отдельными системами ранжирования для каждого корпуса.
• Данные о запросах: Sample search queries. Используются в офлайн-процессе для калибровки системы путем генерации выборки оценок релевантности.

Какие метрики используются и как они считаются

Система вычисляет и использует следующие метрики для нормализации:

• Верхние и нижние границы (Upper and lower bounds): Минимальные и максимальные значения Content Relevance Scores для корпуса.
• Распределение (Distribution/Histogram): Статистическая модель, описывающая частоту оценок в диапазоне.
• Квантили/Процентили (Quantiles/Percentiles): Метрики, разделяющие диапазон распределения на интервалы с равными вероятностями.
• Нормализованная оценка (Normalized Score): Итоговая метрика, рассчитанная путем применения квантильной нормализации. Если исходная оценка находится в X-м процентиле своего корпуса, ей присваивается значение, соответствующее X-му процентилю в нормализованном диапазоне.

Методы вычислений: Применение статистического метода – Квантильной Нормализации (Quantile Normalization).

1. Фундамент Универсального Поиска: Патент описывает критически важный инфраструктурный механизм, который решает проблему сравнения оценок релевантности из индексов, работающих по разным алгоритмам и шкалам, делая возможным Универсальный Поиск (Blended Search).
2. Квантильная нормализация как стандарт: Google использует сложный статистический подход (квантильную нормализацию), а не простое линейное масштабирование (min/max). Это позволяет более точно сравнивать оценки, учитывая форму их распределения.
3. Релевантность относительна корпуса: Ключевой вывод – позиция результата в смешанной выдаче определяется его положением в распределении оценок своего корпуса (процентилем), а не его абсолютным значением оценки релевантности.
4. Динамическая калибровка: Система не статична. Она периодически перекалибровывается офлайн (путем анализа выборочных запросов), чтобы адаптироваться к изменениям в индексах или обновлениям алгоритмов ранжирования вертикалей.
5. Инфраструктурный характер: Патент не раскрывает факторов ранжирования. Он описывает, что происходит с оценками после того, как они были сгенерированы.

Best practices (это мы делаем)

Хотя патент носит инфраструктурный характер, он имеет важные стратегические последствия для SEO:

• Максимизация релевантности внутри корпуса: Это ключевая стратегия. Цель SEO – достичь наивысшего возможного процентиля релевантности внутри целевого корпуса. Если ваш контент находится в 99-м процентиле в Google News, он получит максимальную Normalized Score (например, 0.99) и будет иметь высокие шансы конкурировать с лучшими результатами из Веб-индекса в смешанной выдаче.
• Оптимизация под вертикальные индексы: Необходимо рассматривать оптимизацию не только для веб-поиска, но и для релевантных вертикалей (Images, Video, News, Local). Поскольку релевантность нормализуется, высококачественный результат из вертикали может вытеснить стандартный веб-результат.
• Мониторинг смешанной выдачи (SERP Features): Анализируйте, какие типы контента (вертикали) Google предпочитает для целевых запросов. Это дает понимание того, какие Normalized Scores из каких корпусов выигрывают в процессе смешивания, и позволяет скорректировать контент-стратегию в пользу наиболее выигрышных форматов.

Worst practices (это делать не надо)

• Игнорирование вертикалей: Фокусироваться исключительно на оптимизации для основного веб-индекса – проигрышная стратегия в эпоху Универсального Поиска. Если конкуренты создают высокорелевантный контент в других форматах (например, видео), их Normalized Scores могут оказаться выше.
• Попытки манипулировать нормализацией: SEO-специалисты не могут напрямую влиять на процесс нормализации или калибровки диапазонов. Усилия должны быть направлены на повышение релевантности контента в рамках стандартных факторов ранжирования для каждого корпуса.

Стратегическое значение

Патент подтверждает, что Google рассматривает поиск как экосистему, состоящую из множества специализированных индексов (корпусов). Стратегическое значение заключается в понимании механизма, который позволяет этим индексам конкурировать за место на SERP. Долгосрочная SEO-стратегия должна быть мультиформатной и направленной на достижение максимальной релевантности (высшего процентиля) в наиболее подходящем для конкретного интента корпусе контента.

Практические примеры

Сценарий: Ранжирование в смешанной выдаче по запросу [обзор нового смартфона]

Система получает результаты из трех корпусов. Предположим, офлайн-калибровка определила следующие распределения:

1. Веб-индекс: Лучший результат – детальный текстовый обзор на сайте TechRadar. Исходная оценка 1500. Анализ распределения Веб-индекса показывает, что это 98-й процентиль. Normalized Score = 0.98.
2. Видео-индекс (YouTube): Лучший результат – видеообзор от MKBHD. Исходная оценка 50. Анализ распределения Видео-индекса показывает, что это 99-й процентиль. Normalized Score = 0.99.
3. Новостной индекс: Лучший результат – короткая заметка о старте продаж. Исходная оценка 1.8. Анализ распределения Новостного индекса показывает, что это 90-й процентиль. Normalized Score = 0.90.

Результат смешивания:

Система сравнивает Normalized Scores. Видео от MKBHD (0.99) будет ранжироваться выше, чем обзор TechRadar (0.98), несмотря на то, что абсолютное значение исходной оценки (50 против 1500) сильно различается. Это происходит потому, что видео является более сильным результатом в контексте своего корпуса, чем веб-страница в своем.