Как Яндекс использует мультиклассификационную модель (Win/Loss) для определения оптимальной позиции элемента на SERP (Алгоритм Блендера)

Описание

Какую задачу решает

Патент решает задачу повышения точности смешивания (Blending) разнородных результатов поиска (веб-документы, виджеты, вертикальные результаты) на странице выдачи (SERP). Он направлен на устранение ограничений традиционных алгоритмов, которые используют единый показатель полезности и плохо учитывают позиционное смещение (positional bias) – зависимость полезности элемента от его места на SERP. Изобретение предлагает более точный механизм оценки, который позволяет ранжировать даже те результаты, которые ранее могли быть ошибочно исключены как «полностью проигравшие».

Что запатентовано

Запатентованы система и способ ранжирования, использующие Мультиклассификационную модель (Multiclassification Model) внутри Алгоритма смешивания (Blender Algorithm). Суть изобретения заключается в разделении оценки полезности на два независимых прогноза для конкретной пары «элемент-позиция»: прогнозируемую выгоду (Выигрышный класс/Win) и прогнозируемый ущерб (Проигрышный класс/Loss).

Как это работает

Система получает Контекстные данные (X) (запрос, пользователь, набор кандидатов) и передает их в модель. Для каждой возможной позиции (‘a’) модель рассчитывает две вероятности: (1) Вероятность Выигрыша $P(a^{+}|x)$ (взаимодействие с элементом) и (2) Вероятность Проигрыша $P(a^{-}|x)$ (взаимодействие с элементом, расположенным НИЖЕ). Финальный Показатель полезности (Utility Score) рассчитывается как разность: $P(a^{+}|x) — P(a^{-}|x)$. Элемент размещается на той позиции, где этот показатель максимален.

Актуальность для SEO

Высокая. Оптимизация компоновки SERP и смешивание разнородного контента с использованием сложных ML-моделей, учитывающих поведение пользователей и позиционное смещение, являются центральными задачами современных поисковых систем. Учитывая дату подачи (2024 год), патент описывает актуальные подходы Яндекса к архитектуре метапоиска.

Важность для SEO

Влияние на SEO значительно (8/10). Этот патент описывает ядро логики Блендера, который определяет финальную компоновку SERP. Он критически влияет на то, как органические результаты конкурируют с виджетами и друг с другом на финальной стадии. Понимание динамики Win/Loss подчеркивает важность не только высокого CTR (Win), но и полного удовлетворения интента, чтобы предотвратить возвраты пользователя на выдачу и клики по результатам ниже (Loss).

Детальный разбор

Термины и определения

Алгоритм смешивания (Blender Algorithm)

Алгоритм машинного обучения, используемый на этапе метапоиска для объединения и ранжирования разнородных результатов поиска (веб-документы, виджеты, вертикали) в финальную выдачу.

Виджет (Widget)

Интерактивный или информационный элемент на SERP (например, блок знаний, расширенный сниппет, Колдунщик). В патенте часто используется как пример элемента, который нужно смешать с веб-документами.

Выигрышный класс (Winning Class, $a^+$)

Один из двух классов в модели, назначенный определенной позиции. Указывает на прогнозируемую выгоду от размещения элемента на этой позиции. Связан с вероятностью взаимодействия пользователя с самим элементом.

Действие (Action, a)

Размещение заданного элемента веб-контента на конкретной позиции ранжирования. Набор действий А может включать все возможные позиции (например, $a_0…a_9$) и действие «не отображать» ($a_{100}$).

Контекстные данные (Context Data, X)

Входные данные для модели смешивания. Включают информацию о запросе, профиле пользователя (история, местоположение, устройство), а также о наборе элементов-кандидатов для ранжирования.

Мультиклассификационная модель (Multiclassification Model, M)

Модель машинного обучения, которая для заданного контекста (X) и действия (позиции ‘a’) прогнозирует вероятности принадлежности к нескольким классам. В данном патенте – к Выигрышному ($a^+$) и Проигрышному ($a^-$) классам.

Показатель полезности (Utility Score) / Значение метрики

Финальная метрика для ранжирования. Рассчитывается как разность между прогнозируемой вероятностью Выигрыша и прогнозируемой вероятностью Проигрыша.

Прирост (Gain, s)

Метрика, используемая в процессе обучения модели. Характеризует разницу между фактическим выигрышем и проигрышем в исторических данных.

Проигрышный класс (Losing Class, $a^-$)

Второй класс в модели. Указывает на прогнозируемый ущерб от размещения элемента на этой позиции. Критически важно: связан с вероятностью взаимодействия пользователя с другим элементом, находящимся ниже данной позиции.

Ключевые утверждения (Анализ Claims)

Патент защищает как сам метод формирования выдачи (Claim 1), так и способ обучения модели для этого метода (Claim 7).

Claim 1 (Независимый пункт — Метод формирования SERP): Описывает основной процесс работы системы в рантайме.

1. Получение запроса и определение набора элементов веб-контента.
2. Формирование контекстных данных.
3. Передача контекста в мультиклассификационную модель.
4. Ключевой аспект: Модель имеет два класса для каждой заданной позиции:
   • Выигрышный класс (прогнозируемая выгода).
   • Проигрышный класс (прогнозируемый ущерб).
5. Определение Значения метрики (Показателя полезности) для пары «элемент-позиция».
6. Ключевой расчет: Значение метрики = (Прогнозируемая выгода) — (Прогнозируемый ущерб).
7. Формирование SERP на основе этого значения метрики.

Claim 2 (Зависимый пункт): Уточняет Claim 1.

Модель выдает вероятности Выигрыша и Проигрыша для каждой возможной позиции. Заданная позиция для элемента выбирается на основе максимальной разности (максимального показателя полезности).

Claim 7 (Независимый пункт — Метод обучения модели): Описывает процесс обучения модели.

1. Получение исторических данных (запрос, элемент, позиция, взаимодействие пользователя).
2. Данные о взаимодействии характеризуют фактическую выгоду и фактический ущерб.
3. Ключевой аспект: Формирование двух обучающих наборов для каждой исторической пары «запрос-элемент»:
   • Положительный набор (Выигрышный пример): Вход (контекст), Метка (фактическая выгода/Win_W).
   • Отрицательный набор (Проигрышный пример): Вход (контекст), Метка (фактический ущерб/Loss_W).
4. Обучение мультиклассификационной модели с использованием этих двух наборов для прогнозирования Выигрышного и Проигрышного классов.

Claim 13 (Зависимый пункт): Уточняет Claim 7.

Обучение предусматривает сбор случайных данных, при котором позиция ранжирования выбирается случайным образом. Это необходимо для сбора непредвзятых данных (устранения bias).

Где и как применяется

Изобретение применяется на финальных этапах формирования поисковой выдачи.

BLENDER – Метапоиск и Смешивание (MetaSearch & Blending)

Это основная область применения. Описанный механизм является реализацией Алгоритма смешивания (Blender Algorithm). Он отвечает за интеграцию результатов из разных источников или модулей поисковой системы.

• Входные данные: Алгоритм получает данные от разных модулей (например, веб-поиск и виджеты), а также Контекстные данные (X).
• Процесс: Алгоритм использует Мультиклассификационную модель (М) для оценки оптимального размещения этих элементов, в частности, размещения виджетов среди веб-документов.
• Выходные данные: Модель выдает Вероятность выигрыша ($P(a^+|x)$) и Вероятность проигрыша ($P(a^-|x)$) для каждой позиции. Модуль ранжирования использует эти данные для расчета Показателя полезности и формирования финальной SERP.

На что влияет

• Компоновка SERP и Разнородные результаты: Алгоритм напрямую влияет на финальный вид страницы и на то, как смешиваются разные типы контента – веб-документы, результаты вертикального поиска и виджеты (Колдунщики).
• Конкуренция за видимость: Влияет на то, как стандартные веб-результаты конкурируют с обогащенными элементами за топовые позиции.
• Специфические запросы: Особенно важен для запросов с множественными или неоднозначными интентами, где система должна сбалансировать разные типы контента (например, запрос «Эквадор» или «Rihanna»).

Когда применяется

Алгоритм применяется на этапе смешивания при генерации SERP, после того, как основные модули ранжирования (веб-поиск, вертикали) предоставили свои списки кандидатов, и необходимо сформировать единую ранжированную выдачу.

Пошаговый алгоритм

Процесс А: Работа системы (Блендинг) в реальном времени

1. Получение кандидатов: Система получает списки результатов поиска (например, ранжированные веб-документы и набор релевантных виджетов) от различных модулей.
2. Формирование контекста: Сбор контекстных данных (X) – включает признаки запроса, информацию о пользователе и характеристики полученных кандидатов.
3. Мультиклассификационная оценка (Итерация): Система итерирует по каждому элементу-кандидату и каждой возможной позиции ранжирования (действие ‘a’) на SERP. Для каждой пары (элемент, позиция) Мультиклассификационная модель М оценивает:
   • Вероятность выигрыша: $P_M(a^+|x)$ (вероятность взаимодействия с элементом).
   • Вероятность проигрыша: $P_M(a^-|x)$ (вероятность взаимодействия с элементом ниже).
4. Расчет полезности: Вычисление Показателя полезности для каждой пары (элемент, позиция) как разности:

   $$Utility = P_M(a^+|x) — P_M(a^-|x)$$

5. Определение оптимальной позиции: Выбор позиции, которая максимизирует рассчитанный Показатель полезности для данного элемента. Если максимальное значение разности меньше нуля, система может принять решение не показывать элемент вообще (действие «без показа»).
6. Формирование SERP: Сборка финальной страницы результатов поиска с размещением элементов на оптимальных позициях.

Процесс Б: Обучение модели (Офлайн)

1. Сбор случайных данных: Элементы размещаются на случайных позициях в выдаче для сбора логов взаимодействий.
2. Обработка логов: Анализ фактического взаимодействия пользователя (Выигрыш и Проигрыш) для каждого показа.
3. Формирование обучающих примеров: Из одного показа формируются ДВА примера:
   • Выигрышный пример (Положительный набор): Контекст X, Метка фактической выгоды (Win_W).
   • Проигрышный пример (Отрицательный набор): Контекст X, Метка фактического ущерба (Loss_W).
4. Обучение модели: Модель М обучается на этих примерах, используя метод градиентной оптимизации стратегии (Policy Gradient Optimization) для максимизации ожидаемого Прироста.

Какие данные и как использует

Данные на входе

Система использует Контекстные данные (X), которые включают:

• Поведенческие факторы (Исторические): Критически важны для обучения. Исторические данные о взаимодействиях пользователей (CTR, время пребывания, конверсии, глубина прокрутки) определяют фактические метки Выигрыша (Win_W) и Проигрыша (Loss_W). Также используются как признаки в контексте (история пользователя).
• Пользовательские факторы: Данные профиля пользователя, история поиска, языковые настройки, демографические данные.
• Данные о запросе: Текст запроса, ключевые слова, предполагаемый интент.
• Географические и Временные факторы: Местоположение пользователя, время и дата поиска.
• Технические факторы (Контекст устройства): Тип устройства (десктоп, мобильный) и его возможности.
• Контентные факторы (Кандидаты): Характеристики веб-документов и виджетов, которые подлежат ранжированию.

Какие метрики используются и как они считаются

Метрики Ранжирования (Runtime):

• Вероятность Выигрыша ($P_M(a^+|x)$): Прогноз модели М. Характеризует вероятность положительного взаимодействия с элементом на позиции ‘a’ в контексте X.
• Вероятность Проигрыша ($P_M(a^-|x)$): Прогноз модели М. Характеризует вероятность взаимодействия с элементом, расположенным ниже позиции ‘a’.
• Показатель полезности (Utility Score): Рассчитывается как разность $P_M(a^+|x) — P_M(a^-|x)$.

Методы обучения и Алгоритмы (Offline):

• Случайный сбор данных (Random Data Collection): Для сбора непредвзятых данных модель обучается на результатах, где элементы размещались на случайных позициях.
• Градиентная оптимизация стратегии (Policy Gradient Optimization): Метод обучения с подкреплением, используемый для настройки параметров модели М с целью максимизации ожидаемого прироста (Gain).
• Функции потерь (Loss Functions): При обучении используются функции для максимизации сглаженного автономного прироста, например:

  $$ \frac{1}{N}\sum_{i}(w_{i}s_{i})\log P_{M}(a_{i}|x_{i}) $$

  или

  $$ \frac{1}{N}\sum_{i}(w_{i}s_{i})P_{M}(a_{i}|x_{i}) $$

  Где $w_i$ — вес запроса, $s_i$ — прирост, $P_M$ — вероятность действия по модели.

Выводы

1. Ранжирование как Мультиклассификация: Яндекс подходит к задаче смешивания (и финального ранжирования) как к задаче мультиклассификации, а не регрессии. Это позволяет модели более гибко обучаться на разных типах взаимодействий, предсказывая несколько исходов (Win/Loss) для одного события (размещения).
2. Два компонента Полезности (Win/Loss): Полезность элемента на позиции определяется двумя независимыми прогнозами: потенциальной выгодой (Win) и потенциальным ущербом (Loss). Система максимизирует разницу между ними (Чистую Полезность).
3. Критическое определение «Проигрыша» (Loss): Патент четко определяет Проигрыш как вероятность взаимодействия пользователя с элементами, расположенными ниже текущего. Это фундаментальное понимание для SEO: неудовлетворенность вашим результатом (Pogo-sticking) приводит к кликам по конкурентам ниже и генерирует для вас сигнал Loss.
4. Позиционное смещение (Positional Bias) встроено в модель: Поскольку полезность рассчитывается для каждой пары «элемент-позиция», система явно учитывает, что привлекательность элемента критически зависит от его места на SERP.
5. Доминирование поведенческих факторов в Блендинге: Вся модель обучается и работает на основе прогнозирования поведения пользователей. Это подтверждает, что на этапе финального ранжирования и компоновки SERP поведенческие факторы являются определяющими.

Практика

Best practices (это мы делаем)

• Максимизация «Выигрыша» (Win) — Привлекательность и Вовлеченность: Необходимо фокусироваться на максимальном CTR и качественной вовлеченности (Dwell time). Сниппеты, заголовки и представление контента должны быть максимально привлекательными и релевантными, чтобы пользователь выбрал ваш результат. Это увеличивает вероятность $P(a^+|x)$.
• Минимизация «Проигрыша» (Loss) — Полное Удовлетворение Интента: Контент должен исчерпывающе отвечать на запрос пользователя. Если пользователь переходит на ваш сайт, но затем возвращается на выдачу и кликает на результат, расположенный ниже вашего (Pogo-sticking), это генерирует сильный сигнал «Loss» для вашей позиции. Это уменьшает вероятность $P(a^-|x)$.
• Сильные ПФ для конкуренции с Виджетами (Колдунщиками): Чтобы органический результат мог конкурировать с виджетами, он должен демонстрировать исключительные ПФ. Если пользователи массово игнорируют виджет и кликают на вашу страницу под ним, это увеличивает «Проигрыш» виджета, что может привести к его понижению или удалению.
• Оптимизация под вертикали и виджеты: Активно оптимизируйте контент для попадания в специализированные блоки (видео, картинки, быстрые ответы), используя микроразметку. Такие элементы конкурируют в общем блендере, и высокие сигналы Win помогут им занять лучшие позиции.

Worst practices (это делать не надо)

• Кликбейт, ведущий к быстрому возврату: Это идеальный сценарий для генерации высокого Loss. Пользователь разочаровывается, возвращается на SERP и кликает ниже. Итоговая полезность (Win — Loss) будет низкой или отрицательной, что приведет к пессимизации.
• Неполный или поверхностный контент (Thin Content): Если контент не решает задачу пользователя, он вынужден искать дополнительную информацию у конкурентов ниже на SERP, что увеличивает ваш показатель Loss.
• Игнорирование качества сниппета и ПФ: Слабый сниппет приводит к низкому CTR (низкий Win). Игнорирование поведенческих метрик не позволяет оптимизироваться под этот алгоритм, так как он полностью основан на предсказании поведения.

Стратегическое значение

Патент демонстрирует высокую сложность алгоритмов смешивания Яндекса и подтверждает стратегический приоритет поведенческих факторов как основного мерила качества на уровне SERP. Видимость зависит не только от релевантности документа, но и от того, как его размещение влияет на всю поисковую сессию пользователя. Долгосрочная стратегия должна строиться на создании авторитетного контента, который обеспечивает успешное завершение задачи пользователя, чтобы минимизировать вероятность последующих кликов по конкурентам.

Практические примеры

Сценарий 1: Определение оптимальной позиции для Сайта А

Система решает, куда поставить Сайт А: на позицию 3 или позицию 5.

Анализ Позиции 3:

• Контекст (X): Над сайтом находятся два сильных конкурента.
• Прогноз Модели:
  • $P(Win|X)$ = 0.15 (15% вероятность клика).
  • $P(Loss|X)$ = 0.40 (40% вероятность, что пользователь пропустит Сайт А или вернется с него и кликнет на Позицию 4 или ниже).
• Полезность = 0.15 — 0.40 = -0.25.

Анализ Позиции 5:

• Контекст (X): Сайт находится ниже, но конкуренты вокруг слабее.
• Прогноз Модели:
  • $P(Win|X)$ = 0.08 (Вероятность клика ниже из-за позиции).
  • $P(Loss|X)$ = 0.05 (Вероятность клика ниже Позиции 5 мала).
• Полезность = 0.08 — 0.05 = +0.03.

Результат: Несмотря на более низкий ожидаемый CTR, система предпочтет Позицию 5, так как она приносит чистую положительную полезность (+0.03) по сравнению с чистым ущербом на Позиции 3 (-0.25).

Сценарий 2: Сильный органический результат против среднего виджета

1. Контекст: Запрос «как выбрать ноутбук 2025». Кандидаты: Виджет Яндекс.Маркета и высококачественная экспертная статья (Сайт Б) с сильными ПФ.
2. Оценка Позиции 1 для Виджета: Модель предсказывает:
   • Выигрыш $P(a^{+})$ = 0.4 (средняя вероятность клика по виджету).
   • Проигрыш $P(a^{-})$ = 0.5 (высокая вероятность, что пользователь проскроллит и кликнет на Сайт Б, так как он очень полезен).
3. Показатель полезности: 0.4 — 0.5 = -0.1.
4. Результат: Показатель полезности отрицательный. Модель не разместит виджет на Позиции 1, отдав предпочтение Сайту Б, так как размещение виджета наносит ущерб общей полезности SERP.

Вопросы и ответы