Как Google использует попарные сравнения (Side-by-Side тесты) для агрегации оценок качества и создания эталонного рейтинга

Термины и определения

Adjacency Matrix (Матрица смежности)

Квадратная матрица, представляющая предпочтения между элементами. Элемент матрицы $a_{ij}$ определяется как взвешенное соотношение проигрышей (weighted loss ratio) между элементом i и элементом j.

Damping Factor (Коэффициент затухания)

Параметр (d), используемый при итеративном вычислении собственного вектора (аналогично PageRank), который обеспечивает сходимость алгоритма. В патенте приведен пример d=0.85.

Dominant Eigenvector (Доминирующий собственный вектор)

Вектор, вычисляемый из Adjacency Matrix. Значения этого вектора определяют итоговый Preference Ranking. Это дает более точное различие в качестве (числа с плавающей запятой), чем простая сортировка.

Pairwise Comparison (Попарное сравнение / Side-by-Side)

Метод оценки качества, при котором пользователю (асессору) предъявляются два элемента одновременно для определения предпочтения.

Preference Ranking (Рейтинг предпочтений)

Итоговый результат работы алгоритма; глобальное ранжирование набора элементов, основанное на агрегированных попарных предпочтениях пользователей.

Rating Matrix (Матрица рейтингов)

Промежуточная матрица, хранящая исходные данные о предпочтениях для каждой пары элементов (W/L/T).

W/L/T (Wins/Losses/Ties)

Количество побед (Wins), проигрышей (Losses) и ничьих (Ties) при сравнении двух элементов пользователями.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс создания рейтинга предпочтений для набора элементов (где каждый элемент является результатом поиска).

1. Система получает набор элементов (результатов поиска).
2. Система собирает предпочтения пользователей между парами элементов (выбор пар, представление пользователям, сбор оценок).
3. Используя предпочтения, система вычисляет Adjacency Matrix.
4. Используя Adjacency Matrix, система вычисляет Preference Ranking.
5. Система присваивает рейтинг и предоставляет ранжированные результаты пользователю.

Claim 4 (Зависимый от 3): Детализирует способ вычисления Adjacency Matrix (размером nxn для n элементов). Это ядро изобретения.

Элемент $a_{ij}$ вычисляется следующим образом:

• Если предпочтения между i и j неизвестны: $a_{ij} = 0$.
• Если i ≠ j (не диагональные элементы, Weighted Loss Ratio): $a_{ij} = \frac{losses(i,j)}{(wins(i,j)+losses(i,j)+ties(i,j)) \cdot n}$.
• Если i = j (диагональные элементы, Нормализация): $a_{ii} = 1 - \sum_{k \neq i} a_{ik}$. (Обеспечивает, что сумма элементов строки равна 1).

Claim 5 (Зависимый от 1): Уточняет, что вычисление Preference Ranking включает вычисление Dominant Eigenvector для Adjacency Matrix.

Claim 6 (Зависимый от 1): Уточняет, что вычисление Dominant Eigenvector использует итеративный процесс с применением Damping Factor.

Где и как применяется

Этот патент описывает инфраструктуру оценки качества, а не компонент системы ранжирования в реальном времени. Он не встраивается напрямую в стандартный конвейер обработки запросов (Crawling-Indexing-Ranking).

Оценка качества и генерация обучающих данных (Evaluation & Training Data Generation)

Основное применение патента — это офлайн-процессы, направленные на оценку эффективности работы поисковой системы и создание эталонных наборов данных (Ground Truth).

1. Оценка результатов RANKING: Система используется для анализа результатов, сгенерированных на этапе RANKING. Путем сбора человеческих предпочтений генерируется Preference Ranking. Этот рейтинг затем сравнивается с рейтингом, сгенерированным поисковой системой, для оценки ее качества (например, при A/B тестировании обновлений).
2. Обучение моделей RANKING: Preference Ranking служит в качестве "идеального" ранжирования (Ground Truth). Эти данные используются для обучения и тонкой настройки моделей машинного обучения (например, на этапе L2/L3 Ranking), чтобы они лучше соответствовали человеческим предпочтениям.

Входные данные:

• Набор элементов для оценки (например, Топ-20 результатов поиска).
• Сырые данные о предпочтениях асессоров (W/L/T) для выбранных пар элементов.

Выходные данные:

• Dominant Eigenvector (Preference Ranking) — вектор числовых оценок качества для каждого элемента.

На что влияет

• Типы контента и форматы: Патент универсален и может применяться для оценки любых сравниваемых элементов: веб-страниц, документов, изображений, продуктов, рекламы, видео. Он также позволяет сравнивать качество между разными типами контента (например, новость против изображения), что важно для оценки Универсального Поиска (METASEARCH).
• Специфические ниши: Наиболее критичен в YMYL-тематиках, где точность оценки качества имеет решающее значение для валидации алгоритмов, отвечающих за E-E-A-T.

Когда применяется

• Условия работы: Алгоритм применяется в офлайн-режиме в рамках инфраструктуры оценки качества (Quality Evaluation pipelines). Он не используется в реальном времени.
• Триггеры активации: Необходимость оценить новый алгоритм ранжирования (A/B тестирование), провести мониторинг качества выдачи или сгенерировать свежие обучающие данные для ML-моделей.

Пошаговый алгоритм

Процесс генерации рейтинга предпочтений:

1. Получение набора элементов: Система получает набор из n элементов (например, результаты поиска).
2. Выборка пар для оценки: Из всех возможных пар выбирается подмножество. Выборка может быть случайной или использовать технику прогрессивного уточнения (progressive-refinement technique).
3. Представление пар пользователям (Pairwise Comparison): Выбранные пары представляются асессорам в формате Side-by-Side с исходным запросом.
4. Сбор предпочтений и заполнение Матрицы Рейтингов: Система получает оценки (Левый лучше, Правый лучше, Одинаково) и заполняет Rating Matrix данными W/L/T (Wins/Losses/Ties).
5. Вычисление Матрицы Смежности: Система вычисляет Adjacency Matrix из Rating Matrix, используя формулу Weighted Loss Ratio и нормализацию (см. Метрики).
6. Вычисление Доминирующего Собственного Вектора: Система итеративно вычисляет Dominant Eigenvector для Adjacency Matrix с использованием Damping Factor (например, 0.85).
7. Генерация Рейтинга Предпочтений: Полученный вектор определяет Preference Ranking.
8. Использование Рейтинга: Preference Ranking используется для оценки качества результатов поиска или как обучающие данные.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на использовании данных о предпочтениях.

• Поведенческие факторы (Human Judgment Data): Единственный тип входных данных для расчета — это прямые оценки предпочтений, полученные от асессоров в ходе попарных сравнений (W/L/T).
• Контентные факторы (Неявно): Сами элементы (веб-страницы и т.д.), которые предъявляются асессорам. Алгоритм агрегации не анализирует контент, но контент влияет на предпочтения асессоров.

Какие метрики используются и как они считаются

1. Rating Matrix (W/L/T): Агрегация исходных данных о количестве побед, проигрышей и ничьих для каждой пары (i, j).
2. Adjacency Matrix (A): Рассчитывается из Rating Matrix. Для набора из n элементов, элемент $a_{ij}$ определяется по формулам:
   • При i ≠ j (Weighted Loss Ratio): $a_{ij} = \frac{losses(i,j)}{(wins(i,j) + losses(i,j) + ties(i,j)) \cdot n}$
   • При i = j (Нормализация): $a_{ii} = 1 - \sum_{k \ne i} a_{ik}$
3. Dominant Eigenvector (R): Итоговый рейтинг. Вычисляется путем итеративного решения уравнения, включающего Adjacency Matrix (A) и Damping Factor (d):