Как Яндекс определяет оптимальную позицию для колдунщиков (вертикальных результатов) в выдаче с помощью трех разных ML-моделей

Описание

Какую задачу решает

Патент решает задачу оптимизации размещения вертикальных результатов (колдунщиков, например, блоки видео, картинок, карты) внутри основной поисковой выдачи (Blending). Существующие методы, часто основанные на прямом анализе разницы CTR («win-loss») с помощью одной модели машинного обучения, могут быть неэффективны, когда CTR соседних результатов близки. Это затрудняет определение позиции, которая максимизирует полезность вертикального результата, и приводит к неоптимальной компоновке SERP.

Что запатентовано

Запатентована система и метод ранжирования, использующие три различных алгоритма машинного обучения (Machine Learning Algorithms — MLA) для определения оптимальной позиции результата. Суть изобретения заключается в независимом обучении и применении первой модели для предсказания интереса к целевому результату (Win parameter) и второй модели для предсказания интереса к соседнему результату (Loss parameter). Третья модель использует эти независимые предсказания для расчета итогового Параметра Полезности (Usefulness Parameter).

Как это работает

Система анализирует целевой результат (например, виджет видео) и результат, следующий сразу за ним (например, веб-ссылку). Используются две отдельные ML-модели (MLA 1 и MLA 2) для независимого предсказания вероятности клика (Interest Parameter) по каждому из них на данных позициях. Эти предсказания передаются в третью ML-модель (MLA 3), которая вычисляет общий Параметр Полезности размещения виджета на этой конкретной позиции. Система итеративно проверяет различные возможные позиции в SERP и выбирает ту, которая максимизирует этот Параметр Полезности.

Актуальность для SEO

Высокая. Оптимизация размещения специализированных поисковых блоков (колдунщиков) является центральной задачей современного поиска на этапе Метапоиска и Смешивания (Blending). Подход с использованием ансамбля специализированных, независимо обученных моделей для повышения точности предсказаний полностью соответствует современным практикам машинного обучения в ранжировании Яндекса.

Важность для SEO

Влияние на SEO значительно (8/10). Этот патент напрямую описывает механизмы, которые Яндекс использует для смешивания (blending) вертикальных и веб-результатов. Он определяет, насколько агрессивно колдунщики будут занимать верхние позиции, смещая органическую выдачу. Понимание этого механизма критически важно для оценки потенциальной видимости органических веб-результатов по запросам, где присутствуют сильные вертикали.

Детальный разбор

Термины и определения

First/Second/Third Machine Learning Algorithm (MLA) (Первый/Второй/Третий Алгоритм Машинного Обучения)

Три различных алгоритма, применяемые в системе. MLA 1 предсказывает Win parameter. MLA 2 предсказывает Loss parameter. MLA 3 использует выходы MLA 1 и MLA 2 для предсказания Usefulness Parameter.

Interest Parameter (Параметр Интереса)

Метрика, предсказываемая MLA 1 и MLA 2. Указывает на вероятность того, что пользователь проявит интерес к результату (например, кликнет по нему). Часто интерпретируется как предсказанный CTR (pCTR).

Intent Weight (iw)

Параметр, указывающий на позицию данного результата в SERP или определяющий эту позицию. Используется как признак в моделях.

Loss parameter (Параметр Потери)

Выход MLA 2. Interest Parameter для результата, следующего за целевым. Указывает на вероятность того, что пользователь кликнет на следующий результат вместо целевого.

Usefulness Parameter (Параметр Полезности)

Итоговая метрика, предсказываемая MLA 3. Используется для определения оптимальной позиции целевого результата в SERP. Цель системы — максимизировать это значение.

Vertical Search Result (Вертикальный результат)

Результат поиска, возвращаемый специализированным поисковым модулем (например, Картинки, Видео, Карты). В контексте патента часто реализуется как «виджет» (колдунщик).

Vertical preference parameter (Параметр предпочтения вертикали)

Целевая переменная (Target), используемая для обучения MLA 3. Основана на реальных исторических данных о кликах. Например, +1, если клик был по вертикальному результату; 0, если кликов не было; -2.5, если клик был по следующему результату (указывает на отказ от вертикального результата).

Web Search Result (Веб-результат)

Стандартный результат поиска (синяя ссылка), возвращаемый основным модулем веб-поиска.

Win parameter (Параметр Выигрыша)

Выход MLA 1. Interest Parameter для целевого результата. Указывает на вероятность клика по этому результату на данной позиции.

Ключевые утверждения (Анализ Claims)

Патент защищает многоуровневую систему предсказания полезности для оптимизации ранжирования, основанную на независимых моделях интереса.

Claim 1 (Независимый пункт): Описывает базовый метод работы системы.

1. Получение запроса и генерация списка результатов, содержащего Первый результат и Второй результат.
2. Ранжирование списка так, что Первый и Второй результаты находятся на соседних позициях.
3. Предсказание Первого Параметра Интереса для Первого результата с помощью Первого MLA. Этот параметр указывает на вероятность клика по Первому результату.
4. Предсказание Второго Параметра Интереса для Первого результата с помощью Второго MLA (отличного от Первого). Этот параметр указывает на вероятность того, что пользователь НЕ кликнет на Первый результат, а кликнет на Второй результат вместо него.
5. Важно: Первый и Второй MLA обучаются независимо и раздельно друг от друга на разных наборах обучающих данных (First training set и Second training set).
6. Предсказание Параметра Полезности для Первого результата с помощью Третьего MLA (отличного от первых двух), основываясь как минимум на Первом и Втором Параметрах Интереса.
7. Корректировка позиции Первого результата в ранжированном списке на основе предсказанного Параметра Полезности.
8. Генерация SERP с Первым результатом на скорректированной позиции.

Claim 13 (Независимый пункт): Описывает применение метода для оптимизации размещения Вертикального результата среди Веб-результатов.

1. Генерация списка, содержащего Первый (Вертикальный) результат, а также Второй и Третий (Веб) результаты.
2. Ранжирование Веб-результатов (Второй выше Третьего).
3. Итеративное определение Параметра Полезности для Вертикального результата для каждой возможной позиции (например, на Первой позиции и на Второй позиции).
4. Определение полезности на каждой позиции выполняется с использованием трехступенчатого процесса (MLA 1, MLA 2, MLA 3), как описано в Claim 1, анализируя Вертикальный результат и следующий за ним Веб-результат.
5. Выбор позиции для размещения Вертикального результата, которая ассоциирована с наивысшим значением Параметра Полезности.
6. Генерация SERP с Вертикальным результатом на выбранной позиции.

Где и как применяется

Изобретение применяется на финальных этапах формирования поисковой выдачи.

BLENDER – Метапоиск и Смешивание (MetaSearch & Blending)
Это основная область применения патента. Система функционирует как механизм Блендера (Blender), задача которого — определить оптимальный способ интеграции результатов из разных вертикалей (колдунщиков) в основную веб-выдачу.

RANKING – Ранжирование (Пост-обработка)
Процесс можно рассматривать как этап пост-ранжирования или переранжирования (Reranking), где позиции результатов корректируются для максимизации общей полезности SERP.

Взаимодействие и Потоки данных:

• Входные данные: Предварительно ранжированный список веб-результатов; кандидаты на вертикальные результаты; признаки ранжирования (f) для каждого результата (например, качество контента виджета, количество элементов в нем); позиционные признаки (iw — intent weight или номер позиции).
• Процесс: Система итеративно «примеряет» вертикальный результат на разные позиции. На каждой итерации активируются три ML-модели. MLA 1 и MLA 2 работают параллельно, предсказывая Interest Parameters. Их выходы поступают в MLA 3 для расчета Usefulness Parameter.
• Выходные данные: Финальный ранжированный список SERP, где вертикальные результаты размещены на позициях, максимизирующих их предсказанную полезность.

На что влияет

• Типы контента и запросы: Наибольшее влияние оказывается на запросы, для которых релевантны специализированные результаты (мультимедийные, локальные, товарные запросы). Патент напрямую влияет на видимость стандартных веб-результатов (синих ссылок), определяя, будут ли они смещены вниз вертикальными блоками.
• Конкретные ниши: Ниши с сильным визуальным или локальным интентом (например, рецепты, путешествия, недвижимость, e-commerce) подвержены сильному влиянию этого механизма из-за частого появления колдунщиков.

Когда применяется

• Условия работы: Алгоритм применяется во время генерации SERP (Blending), когда система идентифицирует релевантные вертикальные результаты (колдунщики), которые могут быть подмешаны в основную веб-выдачу.
• Триггеры активации: Наличие релевантного контента в вертикальных поисковых системах (Картинки, Видео, Карты и т.д.) в ответ на запрос пользователя.

Пошаговый алгоритм

Описание процесса оптимизации позиции Вертикального результата (A) среди Веб-результатов (B, C).

1. Получение запроса и генерация кандидатов: Система получает запрос и генерирует список релевантных результатов, включая вертикальный результат A и веб-результаты B и C.
2. Предварительное ранжирование: Веб-результаты ранжируются между собой (например, B на Позиции 1, C на Позиции 2).
3. Инициализация цикла оптимизации: Система начинает перебор потенциальных позиций для вставки вертикального результата A.
4. Оценка Позиции 1 (A над B):
   1. Предсказание Win (MLA 1): Предсказание вероятности клика по A на Позиции 1, используя признаки A и Позиции 1.
   2. Предсказание Loss (MLA 2): Предсказание вероятности клика по B на Позиции 2 (вместо A), используя признаки B и Позиции 2. MLA 2 обучен независимо от MLA 1.
   3. Расчет Полезности (MLA 3): Расчет Usefulness Parameter для A на Позиции 1, используя выходы MLA 1 и MLA 2 как входные признаки.
5. Оценка Позиции 2 (B над A над C):
   1. Предсказание Win (MLA 1): Предсказание вероятности клика по A на Позиции 2.
   2. Предсказание Loss (MLA 2): Предсказание вероятности клика по C на Позиции 3 (вместо A).
   3. Расчет Полезности (MLA 3): Расчет Usefulness Parameter для A на Позиции 2.
6. Сравнение и Выбор: Сравнение рассчитанных Usefulness Parameters для всех оцененных позиций.
7. Корректировка Ранжирования: Выбор позиции для результата A, которая максимизирует Usefulness Parameter.
8. Генерация SERP: Формирование финальной поисковой выдачи с результатом A на оптимальной позиции.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Исторические данные о кликах (CTR) критически важны для обучения всех трех моделей. «Actual past click-through data» используется как целевая переменная (target) для обучения MLA 1 и MLA 2. Данные о взаимодействии с соседними результатами используются для формирования Vertical preference parameter для обучения MLA 3.
• Технические/Позиционные факторы: Позиция результата в SERP (или связанный с ней параметр Intent Weight (iw)) является ключевым признаком для MLA 1 и MLA 2.
• Контентные/Структурные факторы: Патент упоминает общие признаки ранжирования (f), используемые как входы для MLA 1 и MLA 2. Примеры включают: количество результатов внутри вертикального виджета (например, сколько картинок показано), качество отдельных элементов внутри виджета, а также предопределенную вероятность клика на основе терминов в поисковом запросе.

Какие метрики используются и как они считаются

• Метрики:
  • Interest Parameter (Предсказанная вероятность клика / Predicted CTR).
  • Usefulness Parameter (Итоговая полезность размещения).
• Алгоритмы Машинного Обучения: Используются алгоритмы контролируемого обучения (Supervised learning). Конкретные реализации не указаны (на практике в Яндексе вероятно используется CatBoost).
• Формулы (Концептуально):
  • MLA 1: $P_{Win}(f, iw)$ (Предсказывает Win parameter).
  • MLA 2: $P_{Loss}(f’, iw’)$ (Предсказывает Loss parameter).
  • MLA 3: $S(f, iw)$ (Предсказывает Usefulness Parameter, используя предсказанные значения Win и Loss как основные входы).
• Обучение и Целевые Переменные (Targets):
  • MLA 1 и MLA 2: Обучаются независимо. Целевая переменная — бинарные данные о кликах (1 для клика, 0 для отсутствия клика) на исторических данных.
  • MLA 3: Обучается на выходах MLA 1 и MLA 2. Целевая переменная — Vertical preference parameter. В патенте приведены примеры значений: +1 (клик по вертикальному результату), 0 (нет кликов ни по вертикальному, ни по следующему результату), -2.5 (клик по следующему результату). Значение -2.5 используется для «штрафа» вертикального результата, если пользователь его увидел, но предпочел следующий результат (seen but rejected). Отмечается, что это значение может варьироваться в зависимости от позиции в SERP.

Выводы

1. Смешивание (Blending) как оптимизационная задача: Яндекс рассматривает компоновку SERP как задачу максимизации полезности. Система активно управляет размещением колдунщиков (вертикальных результатов), итеративно проверяя разные позиции и выбирая наилучшую.
2. Трехуровневая модель предсказания: Ключевой особенностью является использование трех отдельных ML-моделей (Win, Loss, Usefulness). Независимое обучение моделей Win и Loss позволяет более точно моделировать интерес пользователя к разным типам результатов, чем традиционный подход «win-loss» в рамках одной модели.
3. Определение Полезности (Штраф за отказ): При обучении модели Полезности (MLA 3) используется целевая метрика (Vertical preference parameter), которая жестко штрафует вертикальный результат (-2.5), если пользователь его проигнорировал и кликнул на следующий результат. Это указывает на то, что Яндекс стремится показывать колдунщики только тогда, когда они действительно востребованы, и избегать раздражающих или нерелевантных вставок.
4. Взаимное влияние результатов: Ранжирование результата зависит не только от его собственных характеристик, но и от характеристик соседних результатов. Оптимальная позиция для колдунщика зависит от того, какой именно веб-результат будет следовать за ним.
5. Видимость органики зависит от качества вертикалей: Чем выше предсказанная Полезность вертикальных результатов, тем агрессивнее они будут занимать топовые позиции, смещая стандартную органическую выдачу.

Практика

Best practices (это мы делаем)

• Оптимизация активов для вертикальных поисков: Поскольку система оптимизирует размещение колдунщиков (Картинки, Видео, Карты, Товары), необходимо уделять первостепенное внимание качеству и релевантности активов, которые могут в них попасть. Высокое качество активов увеличивает Win parameter (MLA 1).
• Повышение кликабельности в вертикальных блоках: Работайте над привлекательностью сниппетов внутри колдунщиков (например, оптимизация миниатюр изображений и видео, заголовков товаров). Высокий CTR внутри блока напрямую влияет на обучение MLA 1 и повышает шансы блока на высокое размещение в SERP.
• Усиление органических результатов для конкуренции с вертикалями: Веб-результаты должны быть максимально качественными и привлекательными. Если ваш сайт часто появляется сразу под колдунщиком, его высокий CTR будет увеличивать Loss parameter для колдунщика (MLA 2). Это может привести к тому, что MLA 3 снизит Usefulness Parameter колдунщика (из-за штрафа -2.5), потенциально переместив его ниже или убрав из топа.

Worst practices (это делать не надо)

• Игнорирование вертикального поиска: Фокусировка только на стандартном веб-поиске (10 синих ссылок) игнорирует реальность современной выдачи, где значительная часть видимости определяется механизмами Blending, описанными в патенте.
• Создание низкокачественного мультимедиа контента: Размещение неоптимизированных изображений или видео низкого качества может привести к формированию колдунщика, который пользователи будут игнорировать. Это приведет к высокому значению Loss parameter и штрафу (-2.5) при обучении MLA 3, что снизит вероятность показа этого блока в будущем.

Стратегическое значение

Патент подтверждает стратегическую важность Метапоиска и Смешивания (Blending) в Яндексе. Видимость в поиске — это игра с нулевой суммой между веб-результатами и колдунщиками, и этот патент описывает алгоритм, который решает, кто выиграет. Для SEO это означает необходимость комплексной стратегии, охватывающей оптимизацию не только веб-страниц, но и всех активов, участвующих в вертикальном поиске. Качество и привлекательность этих активов напрямую определяют их позицию в SERP.

Практические примеры

Сценарий: Оптимизация размещения блока Видео

1. Ситуация: По запросу «как завязать галстук» Яндекс рассматривает возможность вставки блока Видео (Колдунщик A) среди веб-результатов (Сайт B, Сайт C).
2. Анализ Позиции 1:
   • MLA 1 предсказывает высокий Win parameter для Видео A (тема визуальная).
   • MLA 2 предсказывает средний Loss parameter для Сайта B (хорошая статья с картинками).
   • MLA 3 рассчитывает высокий Usefulness Parameter.
3. Анализ Позиции 3:
   • MLA 1 предсказывает более низкий Win parameter для Видео A (ниже на экране).
   • MLA 2 предсказывает низкий Loss parameter для следующего сайта (слабый результат).
   • MLA 3 рассчитывает средний Usefulness Parameter.
4. Результат: Система выбирает Позицию 1, так как Usefulness Parameter там выше. Органические результаты смещаются вниз.

Сценарий: Влияние «Штрафа за отказ» (-2.5)

1. Ситуация: По запросу «новости экономики» Яндекс показывает блок Картинок (Колдунщик A). Картинки не очень релевантны (например, общие фото денег). Под ним находится ссылка на РБК (Сайт B).
2. Поведение пользователей: Пользователи видят блок Картинок, игнорируют его и кликают на РБК.
3. Обучение системы:
   • MLA 1 и MLA 2 обучаются на этих данных (низкий CTR для A, высокий для B).
   • MLA 3 обучается, используя Vertical preference parameter = -2.5 для этих сессий (штраф за отказ от колдунщика).
4. Результат: В будущем по этому запросу Usefulness Parameter для блока Картинок будет предсказываться как низкий, и система предпочтет не показывать его в топе, отдавая предпочтение новостным сайтам.

Вопросы и ответы