Как Яндекс комбинирует метрики в A/B тестах для точной оценки качества поиска и какие KPI использует

Описание

Какую задачу решает

Патент решает фундаментальную проблему оценки качества поиска в рамках A/B тестирования: конфликт между интерпретируемостью (Directionality) и чувствительностью (Sensitivity) метрик. Чувствительные метрики (например, CTR) быстро показывают статистически значимые изменения, но могут быть неоднозначными в плане общего улучшения качества (например, рост из-за кликбейта). Интерпретируемые метрики (например, DAU или удержание пользователей) точно показывают направление изменения (хорошо/плохо), но медленно реагируют на тонкие изменения в алгоритмах. Изобретение позволяет Яндексу надежно обнаруживать даже незначительные улучшения в пользовательском опыте, будучи уверенным в их положительном направлении.

Что запатентовано

Запатентована система и метод генерации комбинированного метрического параметра (Combined Metric Parameter) для оценки A/B тестов. Суть изобретения заключается в математическом объединении двух типов метрик: направленной (M1) и чувствительной (M2). Система вычисляет оптимальные весовые коэффициенты (c1, c2) для создания единой метрики ($M_c = c_1 \cdot M_1 + c_2 \cdot M_2$), которая одновременно обладает высокой чувствительностью к изменениям и четкой интерпретируемостью их направления.

Как это работает

Система использует данные прошлых A/B тестов, где результат уже известен. Для двух выбранных метрик – направленной (M1) и чувствительной (M2) – система определяет оптимальные веса (c1 и c2). Процесс оптимизации, основанный на принципах Линейного Дискриминантного Анализа (LDA), стремится максимизировать статистическую значимость (Z-score) комбинированной метрики, гарантируя при этом, что ее направление совпадает с направлением метрики M1. Ключевая особенность: система стремится выбрать минимально возможный вес для направленной метрики (c1) и максимально возможный вес для чувствительной метрики (c2), сохраняя при этом влияние M1 на итоговую интерпретацию.

Актуальность для SEO

Высокая. A/B тестирование является основой разработки современных поисковых систем. Способность быстро и точно измерять влияние изменений критически важна для скорости внедрения инноваций и улучшения качества поиска. Описанная методология напрямую влияет на эффективность оценки новых алгоритмов ранжирования.

Важность для SEO

Влияние на SEO (6/10). Это инфраструктурный патент, описывающий методы внутренней оценки Яндексом своих алгоритмов, а не сами алгоритмы ранжирования. Он не дает прямых тактических рекомендаций. Однако он имеет критическое стратегическое значение, поскольку раскрывает, какие именно метрики пользовательского поведения Яндекс использует как целевые функции (Objective Functions) при обучении и валидации своих систем. Понимание того, что Яндекс оптимизирует (DAU, CTR, длина сессии, успешность запроса), позволяет выстроить долгосрочную SEO-стратегию, aligned с целями поисковой системы.

Детальный разбор

Термины и определения

A/B Testing (A/B тестирование)

Метод сравнения двух версий сервиса: Контрольной (A) и Тестовой (B), для оценки эффекта изменений.

Combined Metric Parameter (Комбинированный метрический параметр, Mc)

Новая метрика, созданная как линейная комбинация M1 и M2 ($M_c = c_1 \cdot M_1 + c_2 \cdot M_2$), обладающая одновременно направленностью и чувствительностью.

Directionality / Interpretability (Направленность / Интерпретируемость)

Свойство метрики (M1), позволяющее сделать четкий вывод о знаке изменения качества (лучше или хуже). Пример: DAU.

Sensitivity (Чувствительность)

Свойство метрики (M2), позволяющее обнаружить даже небольшие различия между версиями A и B с высоким уровнем статистической значимости. Пример: CTR.

Z-score (Z-оценка)

Статистическая мера, используемая для количественной оценки чувствительности метрики.

Weight Parameter (Весовой параметр, c1, c2)

Коэффициенты, определяющие относительный вклад M1 и M2 в комбинированную метрику.

LDA (Linear Discriminant Analysis)

Линейный дискриминантный анализ. Статистический метод, используемый для нахождения линейной комбинации признаков, которая наилучшим образом разделяет два класса (в данном случае A и B).

BFGS Algorithm

Алгоритм Бройдена — Флетчера — Гольдфарба — Шанно. Итеративный метод численной оптимизации, используемый в патенте для нахождения оптимальных весов c1 и c2.

COV (Covariance Matrix)

Ковариационная матрица. Используется при расчете взвешенной Z-оценки для учета взаимосвязи между M1 и M2.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методологии создания комбинированной метрики для повышения эффективности A/B тестирования.

Claim 1 (Независимый пункт): Описывает основной метод генерации комбинированного метрического параметра.

1. Сервер получает набор данных A/B теста (векторы признаков) для Контрольной (A) и Тестовой (B) версий за определенный период времени.
2. Сервер получает первый метрический параметр (M1) для A и B. Комбинация M1(A) и M1(B) указывает на направление (direction) изменения взаимодействия пользователей (положительное или отрицательное).
3. Сервер получает второй метрический параметр (M2) для A и B. Комбинация M2(A) и M2(B) указывает на величину (magnitude) изменения (т.е. обладает чувствительностью).
4. Генерация комбинированного метрического параметра (Mc) для A и B включает:
• Вычисление первого весового параметра (c1) для M1 и второго весового параметра (c2) для M2.
• Критически важно: Выбор минимального (minimal) c1 и максимального (maximal) c2.
• Формирование $M_c(A) = c_1 \cdot M_1(A) + c_2 \cdot M_2(A)$ и $M_c(B) = c_1 \cdot M_1(B) + c_2 \cdot M_2(B)$.
5. Итоговая комбинация Mc(A) и Mc(B) одновременно указывает и на величину, и на направление изменения взаимодействия пользователей.

Claims 5-8 (Зависимые пункты): Детализируют процесс вычисления весов c1 и c2 (оптимизацию).

• Для каждой единицы времени (например, дня i) вычисляется знак разницы M1(B) и M1(A) (Claim 5). Это определяет желаемое направление. $\Delta_i = sign(M_{1,Bi} — M_{1,Ai})$.
• Вычисляется взвешенный Z-score для комбинированной метрики (Claim 6), который указывает на уровень уверенности (confidence level) в величине изменения. Формула использует ковариационные матрицы (COV).
• Система суммирует произведение взвешенного Z-score и знака разницы M1 за весь период времени (Claim 8).
• Вычисление c1 и c2 сводится к решению оптимизационной задачи, максимизирующей это суммарное значение.

Где и как применяется

Изобретение не относится к пользовательским этапам поиска (Crawling, Indexing, Ranking). Оно применяется во внутренней инфраструктуре Яндекса, отвечающей за разработку и оценку качества.

QUALITY & GOVERNANCE LAYER (Слой Качества и Метрик)

• Платформа A/B тестирования: Метод интегрирован в аналитическую систему, которая обрабатывает результаты экспериментов. Он используется для оценки успешности тестов новых формул ранжирования, изменений интерфейса или функционала.
• Взаимодействие с данными: Система принимает на вход логи пользовательских взаимодействий (User Interaction Logs) из проведенных A/B тестов.
• Выходные данные: Определение оптимальных весов (c1, c2) и формула комбинированной метрики (Mc), которая затем используется аналитиками для принятия решений о запуске изменений (Ship/No Ship decisions).

На что влияет

• Принятие решений в Яндексе: Главное влияние патента — повышение скорости и точности принятия решений о том, является ли изменение в алгоритме ранжирования полезным. Это позволяет Яндексу быстрее улучшать поиск.
• Все типы контента и запросов: Поскольку метод является универсальным инструментом оценки, он косвенно влияет на все ниши, типы запросов и форматы контента. Любое изменение в поиске оценивается с помощью подобных метрик.

Когда применяется

Алгоритм применяется в двух фазах:

• Фаза Обучения (Офлайн): Применяется к данным завершенных A/B экспериментов, для которых известен достоверный результат. Цель — вычислить оптимальные веса (c1, c2) для комбинации метрик.
• Фаза Применения (Анализ): Применяется при анализе результатов новых A/B экспериментов. Особенно полезен, когда тестируются незначительные изменения в алгоритмах (subtle changes) или когда исходные метрики показывают противоречивые результаты.

Пошаговый алгоритм

Процесс генерации комбинированной метрики (Фаза Обучения).

1. Сбор данных: Сбор исторических данных A/B тестов (N периодов времени, например, дней), где известен предпочтительный исход (т.е. известно, какая версия лучше).
2. Идентификация метрик: Выбор направленной метрики M1 (например, DAU) и чувствительной метрики M2 (например, CTR).
3. Подготовка данных: Для каждого временного интервала (i) вычисляются средние значения M1, M2 и ковариационные матрицы (COV) для групп A и B.
4. Определение направления: Вычисление знака разницы M1 между группами B и A для каждого интервала: $$\Delta_{i} = sign(M_{1,B_i} — M_{1,A_i})$$
5. Вычисление взвешенного Z-score: Расчет Z-score для комбинированной метрики с использованием текущих весов c1, c2 (вектор c): $$Z_{AB_i}(c_1, c_2) = \frac{c^T \cdot M_{CA}^i — c^T \cdot M_{CB}^i}{\sqrt{c^T \cdot COV_A^i \cdot c + c^T \cdot COV_B^i \cdot c}}$$
6. Определение целевой функции: Формулирование задачи оптимизации. Цель — максимизировать сумму произведений Z-score и знака разницы M1 за все интервалы: $$\sum_{i=1}^{N} Z_{AB_i}(c_1, c_2) \cdot sign(M_{1,B_i} — M_{1,A_i})$$
7. Вычисление весов (Оптимизация): Использование алгоритма оптимизации (например, BFGS) для нахождения весов c1 и c2, которые максимизируют целевую функцию. При этом накладывается ограничение (например, c1 + c2 = 1).
8. Выбор весов: Выбор оптимального решения, которое минимизирует вес направленной метрики (c1) и максимизирует вес чувствительной метрики (c2), сохраняя при этом общую эффективность.
9. Генерация Метрики: Формирование финальной формулы комбинированной метрики Mc для использования в будущих тестах.

Какие данные и как использует

Данные на входе

Система использует исключительно Поведенческие факторы, собранные в ходе A/B тестирования. Патент приводит обширный и ценный список метрик (KPI), которые Яндекс отслеживает и может использовать в качестве M1 или M2:

• Sessions (Сессии): Количество сессий пользователя.
• DAU (Daily Active Users): Количество уникальных активных пользователей в день.
• S/U (Sessions per User): Среднее количество сессий на пользователя в день.
• Absence Time (Время отсутствия): Среднее время между сессиями (метрика удержания/Retention).
• Session Time (Время сессии): Средняя продолжительность сессии.
• Queries (Запросы): Количество отправленных запросов.
• Clicks (Клики): Количество кликов.
• CTR (Click-through rate): Отношение кликов к показам.
• Clicks per Query: Среднее количество кликов на запрос.
• QSuccess/U (Query Success Rate per User): Успешность запроса. Важное определение в патенте: запрос считается успешным, если пользователь кликнул на один или более результатов и остался на любом из них более 30 секунд.
• % Nav-Q/U (Percentage of navigational queries): Процент навигационных запросов. Определение в патенте: запрос считается навигационным, если >80% кликов приходится на Топ-3 результатов.
• QI/U (Query Interval per User): Средний интервал времени между последовательными запросами в сессии.
• QL/U (Query Length per User): Средняя длина запроса.

Какие метрики используются и как они считаются

• Z-score (Чувствительность): Основная метрика для оценки статистической значимости различий. Стандартная формула: $$Z = \frac{avg(M_A) — avg(M_B)}{\sqrt{var[avg(M_A) — avg(M_B)]}}$$
• Weighted Z-score (Взвешенный Z-score): Используется для комбинированной метрики, учитывает ковариацию между M1 и M2 (см. формулу в разделе Алгоритм).
• Sign of Difference (Направленность): Определяет знак изменения. $$\Delta = sign(avg(M_B) — avg(M_A))$$
• Методы оптимизации: Используется Linear Discriminant Analysis (LDA) как базовый статистический подход для разделения классов и BFGS (или градиентные методы) для численного решения оптимизационной задачи и нахождения весов.

Выводы

1. Патент об оценке, а не о ранжировании: Изобретение описывает, как Яндекс измеряет успех своих алгоритмов, а не как эти алгоритмы работают. Это методология валидации изменений.
2. Раскрытие целевых функций Яндекса (KPIs): Патент предоставляет ценнейший список метрик, которые Яндекс оптимизирует. Это метрики, определяющие, что такое «хороший поиск» для Яндекса: DAU, CTR, длина сессии, время отсутствия и, самое главное, Query Success Rate.
3. Определение успешного запроса (Query Success): Патент дает четкое определение: клик + пребывание на сайте более 30 секунд. Это прямое указание на важность не просто привлечения клика, но и удовлетворения интента пользователя (Dwell Time).
4. Определение навигационного запроса: Запрос является навигационным, если >80% кликов приходится на Топ-3.
5. Баланс краткосрочных и долгосрочных метрик: Методология специально разработана для того, чтобы изменения, улучшающие краткосрочные чувствительные метрики (CTR), не принимались, если они противоречат долгосрочным интерпретируемым метрикам (DAU, удержание).
6. Стратегический вывод для SEO: Успешная SEO-стратегия должна быть направлена на улучшение тех же метрик вовлеченности и удовлетворенности, которые оптимизирует Яндекс. Цель – способствовать успешному завершению поисковой сессии пользователя.

Практика

Best practices (это мы делаем)

Патент не дает прямых SEO-рекомендаций, но задает стратегическое направление, основанное на раскрытых KPI Яндекса.

• Оптимизация под Успешность Запроса (Query Success Rate): Сконцентрируйтесь на полном удовлетворении интента пользователя. Контент должен быть полезным и вовлекающим, чтобы удержать пользователя на странице более 30 секунд после клика (согласно определению в патенте). Это повышает вероятность того, что Яндекс зачтет сессию как успешную.
• Улучшение качества сессии: Работайте над увеличением глубины просмотра и времени сессии (Session Time). Используйте качественную перелинковку и блоки рекомендаций, чтобы вовлечь пользователя в изучение сайта, тем самым улучшая метрики Clicks per Query.
• Работа над CTR (Чувствительная метрика): Продолжайте оптимизировать сниппеты (Title, Description) для повышения кликабельности. CTR остается важной чувствительной метрикой, которую Яндекс использует для быстрой оценки релевантности.
• Фокус на удержании (Retention): Развивайте сайт как полезный ресурс, к которому хочется возвращаться. Это улучшает метрики DAU и Absence Time (время отсутствия должно уменьшаться), которые Яндекс использует как индикаторы направленности (качества).

Worst practices (это делать не надо)

• Накрутка CTR без удовлетворения интента: Использование кликбейтных заголовков или манипуляций для повышения CTR при низком качестве контента. Это приведет к низкому Query Success Rate (пользователь уйдет раньше, чем через 30 секунд). Система оценки Яндекса спроектирована так, чтобы отфильтровывать такие изменения.
• Игнорирование Dwell Time и качества контента: Фокус исключительно на технических факторах или ссылках без учета реальной полезности контента для пользователя противоречит целевым функциям Яндекса.
• Создание «одноразовых» сайтов: Сайты, не рассчитанные на повторные визиты и формирование лояльной аудитории, будут проигрывать в долгосрочной перспективе, так как метрики удержания (DAU) являются ключевыми для оценки качества.

Стратегическое значение

Патент подтверждает, что Яндекс управляется данными (data-driven) и имеет сложную систему оценки качества. Ранжирование — это лишь инструмент для достижения главной цели: роста вовлеченности и удовлетворенности пользователей. Этот патент раскрывает «линейку», которой Яндекс измеряет свои алгоритмы. Долгосрочная SEO-стратегия должна заключаться в том, чтобы сайт действительно нравился пользователям и решал их задачи лучше конкурентов, что будет отражаться в метриках, перечисленных в патенте (Query Success Rate, Session Time, DAU).

Практические примеры

Сценарий: Оптимизация информационной статьи с учетом KPI Яндекса

1. Задача: Улучшить ранжирование статьи «Как выбрать велосипед».
2. Стандартный подход (Фокус только на M2): Оптимизировать Title/Description для максимального CTR. Разместить краткий текст с ключевыми словами.
3. Подход с учетом патента (Фокус на M1 и M2):
   • Оптимизировать сниппеты для CTR (Чувствительная метрика M2).
   • Критически важно: обеспечить Query Success Rate (Направленная метрика M1). Контент должен быть исчерпывающим, структурированным, с видео и схемами, чтобы пользователь провел на странице значительно больше 30 секунд, изучая материал.
   • Улучшить Session Time (M1). Добавить блоки «Смотрите также» (например, «Обслуживание велосипеда»), чтобы вовлечь пользователя в дальнейшее взаимодействие с сайтом.
4. Ожидаемый результат: Алгоритмы ранжирования Яндекса, которые оптимизируются под улучшение этих метрик (как показано в патенте), будут предпочитать страницу, которая генерирует успешные и длинные сессии, а не страницу с высоким CTR, но быстрым отказом.

Вопросы и ответы