Как Google тестирует, сравнивает и выбирает лучшие алгоритмы ранжирования

Термины и определения

Candidate Scoring Functions (Кандидатные функции ранжирования)

Набор потенциальных алгоритмов ранжирования, которые система тестирует и сравнивает между собой.

Diversity Score (Оценка разнообразия)

Ключевая метрика патента. Измеряет степень различия между двумя упорядоченными списками результатов поиска, сгенерированными двумя разными функциями ранжирования. Высокий Diversity Score означает, что функции ранжируют результаты по-разному.

Karma (Карма)

Метрика активности пользователей или команд, связанных с определенной функцией ранжирования. Отражает количество оценок других функций, выполненных этими пользователями. Может использоваться для определения частоты тестирования функции.

Scoring Function (Функция ранжирования)

Алгоритм или модель, которая получает на вход сигналы (Signals) о запросе и документе и генерирует оценку (Score), используемую для ранжирования документа.

Scoring Parameters (Параметры ранжирования)

Настраиваемые переменные или веса, которые можно предоставить функции ранжирования для её тюнинга (например, вес для термина в заголовке).

Signals (Сигналы)

Признаки (features), используемые функцией ранжирования для расчета оценки. Включают информацию о запросе, документе, ссылках и контексте.

Suspicious Input (Подозрительный ввод)

Обратная связь (оценка предпочтения), которая идентифицирована системой как вероятно ложная, предвзятая или случайная (например, оценщик всегда кликает на одну сторону).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной механизм выбора функций для тестирования.

1. Система получает первый запрос.
2. Система выбирает первую и вторую Candidate Scoring Functions из множества. Процесс выбора включает:
   • Получение результатов по запросу.
   • Применение всех кандидатных функций для расчета оценок.
   • Идентификацию пар функций (Альфа и Бета).
   • Расчет Diversity Score для каждой пары, измеряющего разнообразие между Топ-N результатами, упорядоченными функцией Альфа и функцией Бета.
   • Выбор первой пары функций на основе их Diversity Scores.
3. Система представляет результаты, упорядоченные первой функцией, И результаты, упорядоченные второй функцией.

Ядро изобретения — это метод интеллектуального выбора того, какие именно алгоритмы сравнивать. Система активно ищет пары алгоритмов, которые дают максимально разные результаты (высокий Diversity Score), чтобы тест был максимально информативным.

Claim 2 (Зависимый от 1): Описывает процесс использования результатов сравнения.

1. Получение первого ввода (обратной связи), указывающего предпочтение первой функции над второй.
2. Генерация общего порядка (глобального рейтинга) для всего множества функций ранжирования на основе этого ввода.

Claim 4 и 5 (Зависимые): Детализируют механизм контроля качества оценок.

1. Система обнаруживает, что ввод является suspicious. Это делается путем анализа истории вводов оценщика.
2. При генерации общего рейтинга функций подозрительному вводу придается меньший вес по сравнению с достоверным вводом.

Claim 6 (Зависимый от 2): Описывает обработку изменений в алгоритмах.

1. Система получает уведомление о модификации первой функции ранжирования.
2. Модифицированная функция применяется к тем же результатам, которые использовались в предыдущем сравнении.
3. Если новый порядок результатов отличается от старого, общий рейтинг функций модифицируется так, чтобы он больше не отражал предыдущий ввод (т.е. старые данные теста аннулируются).

Где и как применяется

Патент описывает систему тестирования (Scoring Function Evaluator), которая работает как надстройка над стандартной поисковой архитектурой для оценки качества алгоритмов.

INDEXING – Индексирование и извлечение признаков
На этом этапе извлекаются и сохраняются Signals (факторы ранжирования), которые затем будут использоваться тестируемыми функциями ранжирования.

RANKING – Ранжирование
На этом этапе выполняются тестируемые функции (Candidate Scoring Functions). Scoring Function Evaluator инструктирует движок ранжирования (Ranking Engine) применить различные функции-кандидаты к результатам поиска, используя сохраненные Signals.

RERANKING / METASEARCH (Слой Тестирования)
Основная логика патента реализуется здесь. Система анализирует выдачи, сгенерированные разными функциями на этапе RANKING. Она рассчитывает Diversity Score, выбирает оптимальную пару для тестирования и форматирует результаты для представления оценщику (например, side-by-side). После получения обратной связи этот компонент агрегирует данные.

Входные данные:

• Запрос.
• Набор релевантных документов из индекса.
• Набор Candidate Scoring Functions для тестирования.
• Signals для каждого документа и запроса.

Выходные данные:

• Два набора ранжированных результатов (для сравнения).
• Данные о предпочтениях (Pair-wise comparisons).
• Глобальный рейтинг (Order) функций ранжирования.

На что влияет

Система напрямую не влияет на ранжирование сайтов в продакшн-выдаче. Она влияет исключительно на внутренние процессы разработки и тестирования в Google, определяя методологию, по которой принимаются решения о запуске новых алгоритмов в продакшн. Таким образом, она косвенно влияет на все типы контента и тематик в долгосрочной перспективе.

Когда применяется

• Условия применения: Система используется в процессе разработки, тестирования и оценки новых алгоритмов ранжирования или при модификации существующих.
• Триггеры активации: Активируется для проведения A/B тестов, экспериментов на живом трафике или при оценке качества поиска асессорами (Quality Raters) с использованием интерфейса сравнения.

Пошаговый алгоритм

Процесс А: Выбор пары для тестирования

1. Получение запроса и результатов.
2. Выбор Кандидатов: Система выбирает набор Candidate Scoring Functions из доступных. Выбор может основываться на классификации запроса (Claim 7) или метрике Karma функций.
3. Применение Функций: Каждая кандидатная функция применяется к результатам поиска. Генерируются упорядоченные списки результатов.
4. Идентификация Пар: Определяются пары кандидатных функций.
5. Расчет Diversity Score: Для каждой пары вычисляется Diversity Score. Расчет включает сравнение результатов на одинаковых позициях в топе выдачи.
6. Выбор Пары: Система выбирает одну пару (Функция 1 и Функция 2) на основе Diversity Scores (например, пару с наивысшей оценкой разнообразия).
7. Презентация: Результаты, отранжированные Функцией 1 и Функцией 2, представляются оценщику (например, в интерфейсе Side-by-Side).

Процесс Б: Оценка и Ранжирование Функций

1. Сбор Обратной Связи: Получение ввода от оценщика, указывающего предпочтение одной функции над другой (или ничью).
2. Детекция Подозрительного Ввода: Анализ истории вводов оценщика для выявления паттернов (предвзятость, случайный выбор). Ввод маркируется как Suspicious при необходимости.
3. Взвешивание Ввода: Подозрительному вводу присваивается меньший вес.
4. Агрегация и Ранжирование: Система (Pair-Wise Scores to Rankings Engine) использует все собранные парные сравнения для генерации глобального порядка (Ranking) всех Scoring Functions.
5. Обработка изменений (Claim 6): Если функция модифицируется и ее результаты меняются, старые данные сравнений с ее участием аннулируются.

Какие данные и как использует

Данные на входе

Патент является инфраструктурным, но упоминает типы данных (Signals), которые передаются тестируемым функциям ранжирования. Это примеры, а не исчерпывающий список:

• Контентные факторы: Местоположение термина запроса (title, body, текст ссылок в документе), частота термина (term frequency), частота документа (document frequency).
• Ссылочные факторы (Anchor Signals): Текст анкоров ссылок, указывающих на результат; общее количество токенов в анкорах; количество внутренних и внешних документов, ссылающихся с определенным анкорным текстом.
• Технические и Структурные факторы: URL результата, географическое расположение хоста, дата первой индексации, язык, размер документа, длина заголовка.
• Пользовательские факторы (Контекст): Идентификатор пользователя, категоризация пользователя (геолокация, язык, интересы), тип устройства.
• Факторы качества: Мера качества результата (measure of the quality).

Какие метрики используются и как они считаются

• Diversity Score: Измеряет различие между двумя упорядоченными списками. Методы расчета:
  • Подсчет количества несовпадений результатов на одинаковых позициях в Топ-N.
  • Взвешенный подсчет, где различия на более высоких позициях имеют больший вес.
  • Использование мер сходства, таких как косинусное расстояние (cosine distance).
• Karma: Подсчет количества оценок, выполненных пользователями, ассоциированными с определенной функцией ранжирования.
• Suspicious Input (Мера подозрительности): Рассчитывается на основе анализа истории вводов пользователя для выявления аномальных паттернов (например, постоянный выбор одной стороны интерфейса или значительное расхождение с консенсусом).
• Overall Ranking Score (для функций ранжирования): Агрегированная оценка качества функции, основанная на парных сравнениях. Патент предлагает несколько методов расчета:
  • Пропорция побед: $\frac{(2 \times \text{wins} + \text{draws})}{2 \times \text{trials}}$.
  • Минимизация расхождений (Minimum disagreements): Ранжирование функций так, чтобы минимизировать количество случаев, когда функция А победила функцию Б в сравнении, но функция Б стоит выше в глобальном рейтинге.
  • Графовые алгоритмы: Использование алгоритмов типа PageRank, примененных к графу функций, где ребра основаны на победах в сравнениях.
  • Статистические модели (например, алгоритм Mease): Использование моделей максимального правдоподобия (likelihood function), учитывающих силу оппонента в каждом сравнении.

Патент описывает инфраструктуру тестирования и не содержит информации о конкретных факторах ранжирования. Основные выводы для понимания работы поиска:

1. Data-Driven Эволюция Поиска: Патент подтверждает, что Google полагается на строгие, основанные на данных методы (A/B тестирование, Side-by-Side сравнения) для развития своих алгоритмов. Изменения в ранжировании базируются на агрегированных данных о предпочтениях.
2. Интеллектуальный выбор тестов (Diversity Score): Ключевым элементом является автоматический выбор пар алгоритмов для сравнения на основе Diversity Score. Google стремится тестировать алгоритмы, которые дают максимально разные результаты, чтобы обеспечить тщательную и информативную оценку.
3. Контроль Качества Оценки: Система включает механизмы для обнаружения и нейтрализации предвзятой, случайной или низкокачественной обратной связи (Suspicious Input). Это повышает надежность результатов тестирования.
4. Постоянное Сравнение Алгоритмов: Существует внутренняя система рейтинга для самих алгоритмов ранжирования. Они постоянно сравниваются друг с другом, и лучшие из них продвигаются дальше.
5. Обработка обновлений алгоритмов: Фреймворк учитывает динамическую природу разработки: если алгоритм изменяется, старые данные тестирования, которые больше не актуальны, аннулируются (Claim 6).

ВАЖНО: Патент является инфраструктурным и описывает внутренние процессы тестирования Google. Он не дает практических выводов или конкретных рекомендаций для SEO-специалистов по продвижению сайтов.

Best practices (это мы делаем)

Патент не содержит конкретных best practices для SEO. Однако он дает стратегическое понимание:

• Фокус на Удовлетворении Интента и Качестве (E-E-A-T): Google использует этот фреймворк, чтобы найти алгоритмы, которые лучше всего удовлетворяют пользователей (что выражается в предпочтении одной выдачи над другой). SEO-стратегия должна быть направлена на создание контента и пользовательского опыта, который объективно лучше, чем у конкурентов, и соответствует критериям качества.
• Понимание эволюции поиска: Осознание того, что Google постоянно проводит масштабные тестирования различных подходов к ранжированию. Это подчеркивает необходимость адаптации и фокусировки на долгосрочных стратегиях, устойчивых к обновлениям.

Worst practices (это делать не надо)

• Попытки Оптимизации под Отдельные Сигналы из Патента: Рассматривать упомянутые в патенте Signals (например, "длина заголовка" или "TF/DF") как прямые факторы ранжирования. Это лишь примеры входных данных для тестируемых функций, а не гарантия их использования в продакшн-алгоритме.
• Фокус на краткосрочных лазейках: Попытки эксплуатировать временные слабости текущего алгоритма рискованны. Описанный фреймворк специально разработан для выявления и замены алгоритмов, которые показывают неоптимальные результаты или допускают манипуляции.

Стратегическое значение

Стратегическое значение патента заключается в понимании механизма эволюции поиска Google. Ранжирование — это не фиксированный набор правил, а динамическая система, которая постоянно самосовершенствуется посредством эмпирического тестирования. Наличие таких изобретателей, как Paul Haahr (ключевой инженер ранжирования) и Matt Cutts (экс-глава борьбы со спамом), подчеркивает важность этого фреймворка для поддержания качества поиска.

Практические примеры

Практических примеров применения для SEO нет, так как это внутренний инструмент Google. Пример использования внутри Google:

Сценарий: Тестирование нового алгоритма ранжирования

1. Кандидаты: У Google есть текущий алгоритм (ПРОД) и два новых кандидата (А и Б).
2. Запрос: Система получает запрос [лучшие смартфоны 2025].
3. Расчет Diversity Score:
   • ПРОД vs A: Diversity Score = 0.1 (очень похожи).
   • ПРОД vs Б: Diversity Score = 0.8 (сильно отличаются, например, Б агрессивно повышает свежие обзоры и понижает старые агрегаторы).
4. Выбор пары: Система выбирает пару ПРОД и Б для показа оценщикам (Quality Raters), так как их сравнение наиболее показательно.
5. Оценка: Raters видят две выдачи (Side-by-Side) и в большинстве предпочитают Б.
6. Агрегация: После тысяч таких сравнений система агрегирует данные, проверяет их на Suspicious Input, и вычисляет, что Алгоритм Б имеет более высокий глобальный рейтинг.
7. Результат: Алгоритм Б внедряется в продакшн.