Как Яндекс использует метод «линеаризации» для повышения точности и скорости A/B тестирования метрик поведения пользователей

Описание

Какую задачу решает

Патент решает задачу повышения эффективности и точности оценки результатов A/B тестирования (control/treatment testing) при измерении влияния изменений на поведение пользователей. Основная проблема существующих методов — это измерение метрик-отношений (ratio metrics), таких как CTR или Clicks per Query. Для определения статистической значимости таких метрик требуются сложные и ресурсоемкие вычисления (например, bootstrap или delta test). Кроме того, многие метрики обладают низкой чувствительностью (sensitivity), что требует огромного объема трафика для выявления незначительных улучшений.

Что запатентовано

Запатентован метод генерации значений Overall Evaluation Criterion (OEC), основанный на технике «линеаризации» (linearization). Суть изобретения — преобразование сложных метрик-отношений (например, Среднее(Клики)/Среднее(Запросы)) в более простую линейную метрику на уровне отдельного пользователя (Linearized Per-User Metric). Это позволяет использовать стандартный t-критерий Стьюдента (t-statistic test) для оценки значимости, что дешевле с точки зрения вычислений и позволяет применять стандартные алгоритмы повышения чувствительности.

Как это работает

Система сравнивает контрольную (A) и тестовую (B) версии сервиса. Для каждого пользователя в обеих группах рассчитываются две метрики: X (например, клики) и Y (например, запросы). Затем система вычисляет средние отношения этих метрик для каждой группы ($R_c$ и $R_t$). Выбирается коэффициент линеаризации ($\kappa$), который находится между значениями $R_c$ и $R_t$. Далее для каждого пользователя рассчитывается новая линеаризованная метрика L по формуле: $L = X — \kappa * Y$. Значения OEC для групп A и B рассчитываются как среднее значение L. Разница между этими OEC показывает величину и направление изменения во взаимодействии пользователей.

Актуальность для SEO

Высокая. Эффективное, быстрое и чувствительное A/B тестирование является критически важным элементом для непрерывного улучшения качества поиска и других веб-сервисов. Описанный метод позволяет Яндексу быстрее и точнее валидировать изменения алгоритмов на основе данных о поведении пользователей.

Важность для SEO

Влияние на SEO низкое (3/10). Патент описывает внутреннюю методологию измерения успеха экспериментов (A/B тестов), а не конкретный алгоритм ранжирования. Он не вводит новые факторы ранжирования. Однако он имеет высокое стратегическое значение, так как дает понимание того, что именно Яндекс измеряет (Клики, Запросы, Сессии) и насколько точно он это делает. Это подтверждает критическую важность поведенческих факторов и метрик вовлеченности для эволюции поиска Яндекса.

Детальный разбор

Термины и определения

Control/Treatment Testing (A/B тестирование)

Метод сравнения двух версий веб-сервиса (контрольной и тестовой) путем разделения трафика пользователей для определения влияния изменений («treatment effect»).

Directionality (Направленность)

Свойство метрики, позволяющее делать однозначные выводы о том, стало ли качество системы лучше или хуже (соответствие предпочтениям пользователей).

Linearization Value (Значение линеаризации, $\kappa$)

Коэффициент, используемый для взвешивания второй метрики (Y) при расчете линеаризованной метрики L. Выбирается в интервале между Control-Ratio и Treatment-Ratio.

Linearized Per-User Metric (Линеаризованная метрика на пользователя, L)

Новая метрика, являющаяся линейной комбинацией двух исходных метрик X и Y ($L = X — \kappa * Y$). Ядро изобретения.

OEC (Overall Evaluation Criterion, Общий критерий оценки)

Ключевая метрика, используемая для оценки качества веб-сервиса и принятия решений по результатам A/B теста. В данном патенте OEC основывается на линеаризованной метрике L.

Per-User Metric (Метрика на пользователя)

Поведенческая метрика, значение которой рассчитывается индивидуально для каждого пользователя (например, количество кликов на пользователя).

Ratio Metrics (Метрики-отношения)

Метрики, рассчитываемые как отношение двух других метрик (например, CTR, Clicks per Query). Именно для их анализа применяется линеаризация.

Sensitivity (Чувствительность)

Способность метрики обнаруживать реальные изменения качества (treatment effect) с высоким уровнем статистической значимости, отличая сигнал от шума.

T-statistic test (t-тест, t-критерий Стьюдента)

Стандартный статистический тест для проверки равенства средних значений в двух выборках. Применение линеаризации позволяет использовать этот тест для метрик-отношений.

Ключевые утверждения (Анализ Claims)

Патент защищает метод повышения эффективности оценки A/B тестов путем преобразования метрик.

Claim 1 (Независимый пункт): Описывает полный цикл метода генерации значений OEC для выбора текущей версии сервиса.

1. Для контрольной и тестовой версий собираются данные о взаимодействии пользователей.
2. Для каждой версии определяются значения первой (X) и второй (Y) метрик на уровне пользователя (Per-User Metric).
3. Вычисляются Control-Ratio ($R_c$ = Среднее(X_control)/Среднее(Y_control)) и Treatment-Ratio ($R_t$ = Среднее(X_treatment)/Среднее(Y_treatment)).
4. Выбирается значение линеаризации ($\kappa$), которое находится между $R_c$ и $R_t$.
5. Для каждого пользователя рассчитывается линеаризованная метрика (L): разница между значением первой метрики (X) и значением второй метрики (Y), взвешенным на $\kappa$. Формула: $L = X — \kappa * Y$.
6. Генерируются значения OEC для обеих версий на основе наборов значений L (например, среднее значение L).
7. Разница между значениями OEC указывает на величину и направление изменения во взаимодействии пользователей.
8. На основе направления изменения выбирается текущая (лучшая) версия сервиса, которая предоставляется пользователям.

Claim 4, 5, 6 (Зависимые пункты): Уточняют методы статистического анализа.

• Система применяет тест статистической значимости для определения уровня значимости разницы OEC (Claim 4).
• Тест может быть bootstrap, delta test или t-statistic test (Claim 5).
• Если используется t-statistic test, система может применять алгоритмы повышения чувствительности (sensitivity-enhancing algorithm) к линеаризованным данным перед генерацией финальных значений OEC (Claim 6).

Где и как применяется

Этот патент не описывает компонент системы ранжирования. Он описывает методологию, используемую во внутренней инфраструктуре A/B тестирования Яндекса.

Слой Качества и Метрик (QUALITY & GOVERNANCE LAYER)
Алгоритм применяется на этапе анализа результатов экспериментов для оценки качества внедряемых изменений. Он позволяет валидировать, действительно ли новая функциональность или изменение в алгоритме ранжирования улучшает пользовательский опыт.

• Взаимодействие: Система взаимодействует с платформой экспериментов (которая разделяет трафик и показывает разные версии) и системой логирования пользовательских взаимодействий.
• Входные данные: Логи взаимодействий пользователей (user interactions) для контрольной и тестовой групп. Конкретно: значения поведенческих метрик (клики, запросы, сессии) для каждого пользователя в эксперименте.
• Выходные данные: Значения OEC для контрольной и тестовой групп, разница между ними (ΔOEC) и уровень статистической значимости (p-value). На основе этих данных принимается решение о запуске новой версии.
• Ключевая техническая особенность: Преобразование метрик-отношений в линейную форму (линеаризация) для возможности использования t-теста и снижения вычислительной нагрузки по сравнению с методами bootstrap.

На что влияет

Методология влияет на процесс принятия решений о запуске любых изменений в сервисах Яндекса.

• Типы контента и запросов: Влияет косвенно. Если изменение в ранжировании (например, для ecommerce или информационных запросов) проходит A/B тест с использованием этой методологии и показывает улучшение OEC, оно будет внедрено. Таким образом, методология определяет, какие алгоритмы будут работать в продакшене для всех типов контента и запросов.
• Конкретные ниши: Не имеет специфических ограничений по нишам или географии. Применяется универсально для оценки качества сервиса.

Когда применяется

• Условия применения: Алгоритм применяется во время анализа результатов A/B тестов.
• Триггеры активации: Необходимость оценить влияние изменений на метрики-отношения (Ratio Metrics), такие как Clicks/Query, Clicks/Session, Queries/Session.
• Частота применения: Постоянно, так как Яндекс непрерывно проводит сотни или тысячи A/B тестов.

Пошаговый алгоритм

Процесс генерации значений OEC с использованием линеаризации.

1. Сбор данных (Data Acquisition):
   • Проведение A/B теста: пользователям случайным образом показывается контрольная (Control) или тестовая (Treatment) версия сервиса.
   • Сбор логов взаимодействий для обеих групп пользователей.
2. Расчет исходных метрик (Metric Calculation):
   • Для каждого пользователя в обеих группах определяются значения двух метрик на пользователя (Per-User Metrics): Метрика X (например, Клики) и Метрика Y (например, Запросы).
3. Расчет отношений (Ratio Calculation):
   • Вычисляется Control-Ratio ($R_c$): отношение среднего значения X к среднему значению Y в контрольной группе.
   • Вычисляется Treatment-Ratio ($R_t$): отношение среднего значения X к среднему значению Y в тестовой группе.
4. Выбор значения линеаризации (Linearization Value Selection):
   • Определяется коэффициент линеаризации $\kappa$. Согласно патенту, он должен находиться в интервале между $R_c$ и $R_t$ (включительно). Например, $\kappa$ может быть равен $R_c$.
5. Линеаризация (Linearization):
   • Для каждого пользователя рассчитывается Linearized Per-User Metric (L) по формуле: $L(u_{i}) = X(u_{i}) — \kappa * Y(u_{i})$.
   • В результате получаются два набора значений L: один для контрольной группы, другой для тестовой.
6. Повышение чувствительности (Опционально):
   • К наборам значений L могут быть применены алгоритмы повышения чувствительности (например, regression adjustment) для уменьшения дисперсии.
7. Генерация OEC и Анализ (OEC Generation and Analysis):
   • Рассчитываются значения OEC для обеих групп (как среднее значение L или среднего значения после повышения чувствительности).
   • Вычисляется разница между OEC (ΔOEC).
   • Применяется t-statistic test для определения статистической значимости этой разницы.
8. Принятие решения (Decision Making):
   • Если разница статистически значима, на основе ее направления (положительное или отрицательное) принимается решение о выборе лучшей версии сервиса.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Являются основными данными для этого метода. Патент явно упоминает примеры Per-User Metrics:
  • Количество кликов на пользователя (Number of clicks per user).
  • Количество запросов на пользователя (Number of queries per user).
  • Количество сессий на пользователя (Number of sessions per user).

Другие типы факторов (контентные, ссылочные, технические и т.д.) в этом патенте не упоминаются, так как он фокусируется исключительно на методологии измерения поведенческих метрик.

Какие метрики используются и как они считаются

• Метрики X и Y: Исходные поведенческие метрики на пользователя.
• Control-Ratio ($R_c$) и Treatment-Ratio ($R_t$): Метрики-отношения на уровне группы. Рассчитываются как отношение средних значений X и Y.

  Формулы:

  $R_{c} = \sum_{u_{i}\in U_{c}}X(u_{i}) / \sum_{u_{i}\in U_{c}}Y(u_{i})$

  $R_{t} = \sum_{u_{i}\in U_{t}}X(u_{i}) / \sum_{u_{i}\in U_{t}}Y(u_{i})$

  Где $U_c$ и $U_t$ — множества пользователей в контрольной и тестовой группах соответственно.

• Linearization Value ($\kappa$): Коэффициент взвешивания. Выбирается в интервале:

  $\kappa \in$

• Linearized Per-User Metric (L): Линеаризованная метрика. Рассчитывается по формуле:

  $L(u_{i}) = X(u_{i}) — \kappa * Y(u_{i})$

• OEC: Финальный критерий оценки, рассчитываемый как среднее значение L по группе.
• Статистические методы: Ключевым моментом является возможность использования t-statistic test для оценки значимости, что является более эффективной альтернативой методам bootstrap test и delta test.
• Алгоритмы повышения чувствительности: Упоминаются regression adjustment, future value prediction, learned linear combination. Они применяются к метрике L для улучшения способности обнаруживать слабые сигналы.

Выводы

1. Линеаризация как стандарт оценки качества: Яндекс использует сложный математический аппарат для валидации изменений в своих сервисах. Метод линеаризации позволяет эффективно и точно оценивать влияние изменений на метрики-отношения (Ratio Metrics).
2. Фокус на эффективности и чувствительности: Основные цели патента — снизить вычислительные затраты на анализ A/B тестов (за счет использования t-теста вместо bootstrap) и повысить чувствительность метрик для обнаружения даже незначительных улучшений пользовательского опыта.
3. Подтверждение ключевых поведенческих метрик: Патент явно указывает на метрики, которые Яндекс измеряет и оптимизирует: Клики, Запросы и Сессии. Это подтверждает, что оптимизация отношений между этими метриками (например, Clicks per Query, Clicks per Session) является целью Яндекса.
4. Скорость итераций: Эта методология позволяет Яндексу быстрее проводить и анализировать эксперименты, что ускоряет эволюцию алгоритмов ранжирования на основе реальных данных о поведении пользователей.
5. Инфраструктурный характер патента: Патент описывает внутренние процессы измерения и не дает прямых рекомендаций для SEO-специалистов по изменению сайтов.

Практика

Best practices (это мы делаем)

Хотя патент описывает внутреннюю методологию измерений Яндекса, он подтверждает важность стратегий, направленных на улучшение реального взаимодействия пользователей с сайтом.

• Оптимизация поведенческих метрик вовлеченности: Так как Яндекс точно и чувствительно измеряет метрики, основанные на Кликах, Запросах и Сессиях, необходимо фокусироваться на их улучшении. Это включает оптимизацию CTR на выдаче (привлекательные сниппеты), а также улучшение показателей внутри сайта (удовлетворенность интента, глубина просмотра).
• Улучшение Clicks per Session и снижение Pogo-Sticking: Яндекс оптимизирует метрики-отношения. Важно, чтобы пользователь нашел ответ на свой запрос и завершил сессию удовлетворенным (высокий Clicks per Session на релевантный контент), а не возвращался к выдаче и не переформулировал запрос (что может негативно влиять на Queries per Session или указывать на низкое качество найденных результатов).
• Фокус на качестве пользовательского опыта (UX): Любые улучшения UX, которые ведут к повышению вовлеченности (даже незначительные), могут быть обнаружены Яндексом благодаря повышенной чувствительности их метрик. Это подтверждает важность работы над скоростью загрузки, удобством навигации и качеством контента.

Worst practices (это делать не надо)

• Накрутка поведенческих факторов: Попытки искусственно завысить клики или сессии без реальной ценности для пользователя. Сложные системы анализа поведения и высокая чувствительность метрик делают такие манипуляции обнаруживаемыми.
• Игнорирование UX и фокус только на тексте/ссылках: Стратегии, которые не учитывают реальное взаимодействие пользователя с сайтом, будут проигрывать, так как эволюция алгоритмов Яндекса напрямую зависит от измеряемых улучшений поведенческих метрик.
• Создание Doorway-страниц: Страницы, созданные для привлечения трафика, но не удовлетворяющие интент пользователя, приведут к коротким кликам и возвратам на выдачу, ухудшая ключевые поведенческие метрики.

Стратегическое значение

Патент имеет высокое стратегическое значение для понимания того, как Яндекс развивается. Он подтверждает, что Яндекс является data-driven компанией, которая полагается на строгое измерение поведения пользователей для улучшения своих алгоритмов. Эффективность и чувствительность их системы A/B тестирования означают, что алгоритм поиска постоянно эволюционирует на основе даже небольших, но статистически значимых улучшений в метриках вовлеченности. Для SEO это означает, что долгосрочная стратегия должна быть неразрывно связана с улучшением реального пользовательского опыта и поведенческих сигналов.

Практические примеры

Патент описывает методологию измерения, поэтому прямых практических примеров для SEO (как изменить сайт) нет. Примеры ниже иллюстрируют, как Яндекс может использовать эту технологию для валидации изменений в поиске.

Сценарий: Валидация нового алгоритма ранжирования

1. Цель Яндекса: Внедрить новый алгоритм ранжирования (Версия B), который предположительно улучшает качество выдачи по сравнению с текущим (Версия A).
2. Метрика (OEC): Clicks per Query (Клики на Запрос). Это метрика-отношение.
3. Процесс: Яндекс запускает A/B тест. Для анализа используется метод линеаризации. X = Клики, Y = Запросы.
4. Расчет: Система рассчитывает линеаризованную метрику L для каждого пользователя в обеих группах.
5. Анализ: Используется t-тест для сравнения среднего значения L в группе A и группе B. Благодаря повышенной чувствительности метода, система обнаруживает, что Версия B дает статистически значимое улучшение на +0.5%.
6. Результат: Яндекс принимает решение о внедрении нового алгоритма (Версия B) для всех пользователей.
7. Вывод для SEO: Алгоритм, который победил в этом тесте, лучше ранжирует сайты, которые генерируют больше кликов при меньшем количестве запросов (т.е. лучше удовлетворяют интент).

Вопросы и ответы