Как Яндекс комбинирует метрики в A/B тестах для точной оценки изменений в поиске

Описание

Какую задачу решает

Патент описывает внутренние процессы Яндекс, связанные с методологией A/B тестирования, без прямых рекомендаций для SEO. Он решает внутреннюю задачу повышения точности оценки результатов A/B тестов. Ключевая проблема — противоречие между двумя свойствами метрик: Направленностью (интерпретируемостью) — способностью метрики показать, является ли изменение положительным или отрицательным, и Чувствительностью — способностью метрики статистически значимо обнаружить эффект изменения, особенно если он незначителен. Часто чувствительные метрики плохо интерпретируемы, и наоборот. Это затрудняет принятие решений о выкатке обновлений (включая обновления алгоритмов ранжирования).

Что запатентовано

Запатентован способ и система формирования Обобщенного параметра метрики (Generalized Metric Parameter) для A/B тестирования. Суть изобретения — в создании новой комбинированной метрики путем линейной комбинации двух существующих: Метрики 1 (M1), обладающей высокой направленностью (например, DAU — суточное число активных пользователей), и Метрики 2 (M2), обладающей высокой чувствительностью (например, CTR — коэффициент переходов). Цель — получить обобщенную метрику, которая одновременно чувствительна и интерпретируема.

Как это работает

Система использует исторические данные A/B тестов, где результат (какая версия лучше) уже известен. Она вычисляет оптимальные Весовые коэффициенты (c1 и c2) для Метрики 1 и Метрики 2. Для этого используется подход, концептуально основанный на Линейном Дискриминантном Анализе (LDA), и решается оптимизационная задача (с помощью алгоритма BFGS). Цель оптимизации — максимизировать чувствительность (максимизировать вес c2) при сохранении правильной направленности (минимизировать, но сохранить вес c1). Полученная обобщенная метрика ($M_c = c_1 \cdot M_1 + c_2 \cdot M_2$) затем используется в будущих A/B тестах для более точной оценки результатов.

Актуальность для SEO

Высокая (для внутренней инфраструктуры Яндекса). A/B тестирование является фундаментом для развития поисковых систем. Повышение точности и чувствительности метрик, по которым принимаются решения о внедрении изменений в алгоритмы ранжирования, критически важно для качества поиска.

Важность для SEO

Влияние на SEO низкое (2/10). Это инфраструктурный патент, описывающий методологию оценки изменений, а не алгоритм ранжирования. Он не дает прямых рекомендаций о том, как оптимизировать сайт. Однако он предоставляет стратегически важную информацию о том, какие поведенческие метрики Яндекс считает ключевыми для измерения успеха (например, DAU как показатель направленности и CTR как показатель чувствительности), что подтверждает важность работы над вовлеченностью пользователей.

Детальный разбор

Термины и определения

A/B-тестирование

Метод сравнения двух версий сервиса (например, с разными алгоритмами ранжирования) путем демонстрации их разным группам пользователей для измерения влияния изменений.

BFGS (Алгоритм Бройдена-Флетчера-Голдфарба-Шэнно)

Итеративный алгоритм для решения задач нелинейной оптимизации. Используется в патенте для нахождения оптимальных весовых коэффициентов.

CTR (Click-Through Rate, Коэффициент переходов)

Метрика, определяемая как количество щелчков на элементе, деленное на количество показов. В патенте приводится как пример метрики с высокой чувствительностью (M2).

DAU (Daily Active Users, Суточное число активных пользователей)

Количество уникальных пользователей, взаимодействующих с сервисом в течение суток. В патенте приводится как пример метрики с высокой направленностью (M1).

LDA (Linear Discriminant Analysis, Линейный дискриминантный анализ)

Метод для поиска линейной комбинации признаков, которая наилучшим образом разделяет два класса. Концептуальная основа изобретения.

Z-оценка (Z-score)

Статистическая оценка, используемая для количественного измерения чувствительности метрики. Указывает на уровень статистической значимости различий между контрольной и экспериментальной группами.

Весовой коэффициент (Weight Coefficient, c1, c2)

Числовые значения, определяющие относительный вклад каждой исходной метрики в обобщенный параметр метрики.

Направленность (Directionality, Интерпретируемость)

Свойство метрики, позволяющее определить знак изменения (положительное или отрицательное влияние на восприятие пользователем).

Обобщенный параметр метрики (Generalized Metric Parameter, Mc)

Новая метрика, созданная путем линейной комбинации нескольких исходных метрик, обладающая одновременно чувствительностью и направленностью.

Чувствительность (Sensitivity)

Способность метрики обнаруживать статистически значимое различие между контрольной и экспериментальной версиями при наличии эффекта.

Ключевые утверждения (Анализ Claims)

Патент защищает метод создания комбинированной метрики для повышения точности A/B тестирования.

Claim 1 (Независимый пункт): Описывает способ формирования обобщенного параметра метрики.

1. Система получает данные о взаимодействии пользователей с контрольной (A) и экспериментальной (B) версиями сервиса за определенный период.
2. Получается Первый параметр метрики (M1) для A и B. Комбинация (например, разность) M1 указывает на Направление изменений в действиях пользователей (положительное или отрицательное).
3. Получается Второй параметр метрики (M2) для A и B. Комбинация M2 указывает на Величину изменений (Чувствительность).
4. Формируется Обобщенный параметр метрики (Mc). Этот процесс включает:
   • Вычисление Первого (c1) и Второго (c2) весовых коэффициентов для взвешивания M1 и M2 соответственно.
   • Выбор минимального c1 и максимального c2 (т.е. максимизация вклада чувствительной метрики при сохранении вклада направленной метрики).
   • Получение обобщенного параметра как взвешенной суммы: $M_{cA} = c_1 \cdot M_{1A} + c_2 \cdot M_{2A}$ и $M_{cB} = c_1 \cdot M_{1B} + c_2 \cdot M_{2B}$.
5. Результат: Обобщенные параметры Mc для A и B совместно указывают и на величину, и на направление изменений.

Claim 5, 6, 8 (Зависимые пункты): Уточняют метод вычисления весовых коэффициентов (c1, c2).

• Веса вычисляются на основе исторических данных, где результат эксперимента уже известен (Claim 4).
• Для каждого отрезка времени (i) в историческом периоде вычисляется знак разности для M1 (Направленность): $$\Delta_{i}=sign(M_{1_{Bi}}-M_{1_{Ai}})$$ (Claim 5).
• Для каждого отрезка времени вычисляется взвешенная Z-оценка для обобщенной метрики, которая зависит от весов c1 и c2 и матриц ковариаций (Claim 6). Z-оценка указывает на уровень доверия к величине изменений.
• Весовые коэффициенты находятся путем решения оптимизационного уравнения (Claim 8), которое суммирует взвешенные Z-оценки, умноженные на знак разности M1, по всем отрезкам времени.

Где и как применяется

Изобретение не применяется непосредственно в конвейере обработки запросов пользователя (Crawling, Indexing, Ranking). Оно относится к инфраструктуре оценки качества.

QUALITY & GOVERNANCE LAYER (Слой Качества и Метрик)
Алгоритм применяется внутри системы A/B тестирования Яндекса (в патенте упоминается «Сервер анализа»). Он используется для оценки результатов экспериментов, которые могут касаться любых изменений в сервисе, включая изменения в слое RANKING.

Взаимодействие с компонентами:

• Взаимодействует с хранилищем логов поведения пользователей и результатами прошлых A/B тестов.
• Использует вычислительные мощности для выполнения сложных оптимизационных задач (например, с помощью алгоритма BFGS).

Входные данные: Исторические данные A/B тестов, включающие векторы признаков (действия пользователей) для контрольной и экспериментальной групп, значения конкретных метрик (например, DAU, CTR).

Выходные данные: Оптимизированные весовые коэффициенты (c1, c2) для формирования Обобщенного параметра метрики.

На что влияет

Патент влияет на то, как Яндекс принимает решения о внедрении изменений в свои сервисы.

• Алгоритмы ранжирования: Влияет на оценку новых формул ранжирования. Если новая формула тестируется, этот метод позволяет точнее определить, улучшает ли она взаимодействие пользователей (направление) и насколько значимо это улучшение (величина).
• Типы контента и Ниши: Прямого влияния нет. Однако, если Яндекс тестирует изменения, специфичные для определенной ниши (например, E-commerce или YMYL), этот метод будет использоваться для оценки результатов теста в этой нише.

Когда применяется

Алгоритм имеет две фазы применения:

1. Фаза Обучения (Офлайн): Применяется аналитиками Яндекса для создания новой обобщенной метрики.
   • Триггер активации: Необходимость повысить точность оценки экспериментов или разрешить противоречия между существующими метриками.
   • Условие: Наличие достаточного объема исторических данных A/B тестов, для которых известен предпочтительный результат (величина и направление изменений).
2. Фаза Применения (Онлайн/Анализ): Применяется во время или после проведения новых A/B тестов.
   • Триггер активации: Необходимость оценить результаты текущего эксперимента с помощью ранее сформированной обобщенной метрики.

Пошаговый алгоритм

Процесс формирования Обобщенного параметра метрики (Фаза Обучения).

1. Сбор исторических данных: Получение набора данных из прошлых A/B тестов за период времени (например, N дней). Для этих данных известен истинный результат (какая версия лучше).
2. Определение метрик: Выбор Метрики 1 (M1, Направленность, например DAU) и Метрики 2 (M2, Чувствительность, например CTR).
3. Предварительные расчеты (для каждого дня i):
   • Вычисление средних значений M1 и M2 для контрольной (A) и экспериментальной (B) групп.
   • Вычисление матриц ковариаций ($COV_A^i$ и $COV_B^i$) между M1 и M2.
   • Вычисление знака разности для M1 (Направление изменения): $$\Delta_{i}=sign(M_{1_{Bi}}-M_{1_{Ai}})$$
4. Расчет взвешенной Z-оценки (для каждого дня i): Вычисление Z-оценки для линейной комбинации метрик, которая зависит от искомых весовых коэффициентов (c1, c2): $$Z_{AB_{i}}(c_{1},c_{2})=\frac{c^{T}\cdot M_{cA}^{i}-c^{T}M_{cB}^{i}}{\sqrt{c^{T}\cdot coV_{A}^{i}\cdot c+c^{T}\cdot coV_{B}^{i}\cdot c}}$$
5. Оптимизация: Решение уравнения оптимизации для нахождения вектора весов c=(c1, c2). Уравнение суммирует взвешенные Z-оценки, умноженные на знак разности M1, по всем дням: $$\sum_{i=1}^{N}Z_{AB_{i}}(c_{1},c_{2})\cdot sign(M_{1_{Bi}}-M_{1Ai})=\frac{avg(M_{CB})-avg(M_{CA})}{\sqrt{var[avg(M_{CB})-avg(M_{CA})]}}$$ Для решения используется алгоритм оптимизации (например, BFGS).
6. Выбор оптимальных весов: Выбор решения, которое минимизирует c1 и максимизирует c2 (часто при условии $c_1+c_2=1$).
7. Формирование метрики: Создание финального Обобщенного параметра метрики: $M_{c}=c_{1}\cdot M_{1}+c_{2}\cdot M_{2}$.

Какие данные и как использует

Данные на входе

Система использует исключительно данные, собранные в ходе A/B тестирования.

• Поведенческие факторы: Являются основой для расчета всех метрик. В патенте приведены следующие примеры метрик, основанных на поведении:
  • Сеансы (Количество, продолжительность, среднее количество сеансов в сутки на пользователя S/U).
  • Время (Время отсутствия, интервал между запросами QI/U).
  • Запросы (Количество, уникальные запросы на сеанс UQ/S, длина запроса QL/U, доля навигационных запросов).
  • Взаимодействия/Клики (Переходы, Число переходов на запрос, CTR).
  • Вовлеченность (DAU).
  • Успешность (Доля успешных попыток QSuccess/U). Важное определение из патента: «запрос пользователя считается успешным, если пользователь выбирает один или несколько результатов и остается на любом из них более 30 секунд».

Контентные, ссылочные, технические или другие факторы ранжирования в этом алгоритме не используются. Он измеряет эффект на пользователя, а не причину этого эффекта.

Какие метрики используются и как они считаются

• Чувствительность (Z-оценка): Основная метрика для измерения статистической значимости различий. Рассчитывается по стандартной формуле на основе средних значений и отклонений (дисперсии): $$Z=\frac{avg(M_{A})-avg(M_{B})}{\sqrt{var[avg(M_{A})-avg(M_{B})]}}$$
• Направленность (Знак разности): Измеряет направление эффекта (положительный или отрицательный). $$\Delta=sign(avg(M_{A})-avg(M_{B}))$$
• Матрица ковариаций (Covariance Matrix): Используется для расчета Z-оценки для линейной комбинации метрик, учитывая корреляцию между ними.
• Методы оптимизации: Используется Линейный Дискриминантный Анализ (LDA) как концептуальная основа и алгоритм BFGS (или градиентный/эвристический алгоритм) для нахождения оптимальных весовых коэффициентов.

Выводы

1. Патент инфраструктурный: Он описывает не алгоритм ранжирования, а методологию, которую Яндекс использует для оценки качества своих сервисов через A/B тестирование. Прямых SEO рекомендаций он не содержит.
2. Баланс Чувствительности и Интерпретируемости: Яндекс явно признает проблему конфликта между метриками, которые хорошо обнаруживают изменения (Чувствительность), и метриками, которые показывают, хорошие это изменения или плохие (Направленность).
3. Создание Обобщенных Метрик: Для решения этой проблемы используется сложный математический аппарат (LDA, BFGS, Z-оценки, матрицы ковариаций) для создания комбинированных метрик путем взвешивания существующих.
4. Ключевые Поведенческие Сигналы: Патент дает важное понимание того, какие метрики Яндекс считает эталонными. DAU (вовлеченность) приводится как пример ключевой метрики Направленности, а CTR — как пример ключевой метрики Чувствительности.
5. Определение Успеха (Dwell Time): В патенте содержится конкретное определение «успешного запроса» — это запрос, после которого пользователь кликнул на результат и остался на нем более 30 секунд. Это подтверждает критическую важность Dwell Time (времени на сайте) и минимизации возвратов к выдаче.

Практика

Best practices (это мы делаем)

Хотя патент описывает внутреннюю методологию Яндекса, он подтверждает важность следующих стратегических направлений в SEO:

• Фокус на Dwell Time и Успешности Сессии: Яндекс явно определяет успех как пребывание на сайте более 30 секунд после клика. Необходимо создавать контент, который удерживает пользователя, полностью отвечает на его запрос и предотвращает быстрый возврат на SERP.
• Оптимизация CTR на выдаче: CTR упоминается как ключевая «чувствительная» метрика, используемая для оценки изменений. Работа над привлекательностью сниппетов (Title, Description, микроразметка) остается критически важной.
• Повышение общей вовлеченности (Engagement): Метрики типа DAU, продолжительность сеанса и количество запросов на сеанс используются как показатели «Направленности» (качества). SEO-стратегия должна быть направлена на создание полезного ресурса, который стимулирует повторные визиты и длительное взаимодействие.

Worst practices (это делать не надо)

• Кликбейт и обман ожиданий: Использование заголовков, которые повышают CTR (чувствительная метрика), но приводят к быстрому отказу (неуспешная сессия). Это негативно скажется на метриках направленности. При проведении A/B тестов Яндекс увидит этот негативный эффект и откажется от изменений, которые его вызвали.
• Игнорирование поведенческих факторов: Фокусировка только на технических аспектах или ссылках без учета реального взаимодействия пользователей. Патент подтверждает, что именно поведение пользователей является мерилом качества для Яндекса.

Стратегическое значение

Патент подтверждает, что Яндекс является высокотехнологичной, data-driven компанией, которая полагается на A/B тестирование и сложные статистические методы для развития поиска. Для SEO это означает, что любые изменения в алгоритмах Яндекса проходят строгую проверку на основе поведенческих метрик. Долгосрочная SEO-стратегия должна быть полностью синхронизирована с целями Яндекса: повышение удовлетворенности и вовлеченности пользователей. Если сайт решает эти задачи, он будет высоко ранжироваться.

Практические примеры

Практических примеров применения этого патента для SEO нет, так как он описывает внутреннюю методологию оценки A/B тестов Яндекса. Однако можно проиллюстрировать, как эта система работает внутри Яндекса и почему это важно для понимания приоритетов поиска.

Сценарий: Тестирование нового алгоритма ранжирования

1. Тест: Яндекс запускает A/B тест. Группа A видит старую выдачу (Контроль), Группа B — выдачу с новым алгоритмом (Эксперимент).
2. Проблема: По результатам теста, в Группе B метрика CTR (Чувствительная) выросла на 5%, но метрика DAU (Направленная) упала на 0.5%. Аналитикам неясно, является ли изменение положительным.
3. Применение патента: Система использует ранее рассчитанную Обобщенную Метрику (например, $M_c = 0.3 \cdot DAU + 0.7 \cdot CTR$).
4. Результат: Система рассчитывает Z-оценку для Обобщенной Метрики. Если Z-оценка высока (статистически значима) и итоговое значение Mc положительно (с учетом весов DAU и CTR), изменение принимается. Если итоговое значение отрицательно (падение DAU перевесило рост CTR), изменение отклоняется.
5. Вывод для SEO: Алгоритмы, которые улучшают одни поведенческие метрики в ущерб другим, могут быть отклонены. Важен комплексный положительный эффект на пользователя.

Вопросы и ответы