Как Яндекс обучает ранжирование, учитывая визуальный размер и позицию элементов (виджетов) на SERP

Описание

Какую задачу решает

Патент решает проблему корректной оценки и ранжирования гетерогенных элементов на странице результатов поиска (SERP). Традиционные методы ранжирования и модели кликов часто не учитывают, что элементы имеют разные визуальные размеры (Presentation Bias) и функциональность, особенно Content Elements (виджеты, колдунщики). Изобретение предлагает метод нормализации поведенческих сигналов с учетом размера и позиции элемента, что позволяет более точно обучать систему ранжирования для смешанной выдачи.

Что запатентовано

Запатентован метод обучения системы ранжирования (Ranking System), в котором целевая метрика обучения (Usefulness Score) явно учитывает визуальный размер (высоту) и позицию элемента на SERP, а также время взаимодействия с контентом. Ключевой механизм — это специфический метод расчета штрафа за пропуск элемента: штраф определяется как отношение высоты пропущенного элемента к высоте элемента, на который кликнули ниже. Это позволяет модели учитывать визуальную заметность при интерпретации кликов.

Как это работает

Система работает в двух фазах. Во время Training Phase анализируются логи взаимодействий. Для каждого элемента рассчитывается Usefulness Score. Если пользователь пропустил Элемент А и кликнул на Элемент Б ниже, Элемент А получает штраф, равный отношению Высоты А к Высоте Б. Таким образом, пропуск большого элемента штрафуется сильнее. На этих оценках обучается ML-модель. Во время In-use Phase обученная модель предсказывает полезность (Predicted Usefulness Score) для элемента на *каждой* потенциальной позиции, учитывая его размер и расстояние от топа, и выбирает позицию с максимальной оценкой.

Актуальность для SEO

Высокая. Современная выдача Яндекса насыщена элементами разного размера (колдунщики, виджеты, расширенные сниппеты). Корректное смешивание (Blending) и учет визуальных смещений (Position Bias, Presentation Bias) являются центральными задачами современных поисковых систем и моделей кликов (Click Models).

Важность для SEO

Влияние на SEO умеренное (6/10). Патент в первую очередь описывает механизмы оптимизации компоновки SERP и ранжирования виджетов (Blender). Однако он критически важен для понимания того, как рассчитываются поведенческие факторы. Он показывает, что визуальный размер сниппета (например, Rich Snippet) напрямую влияет на интерпретацию кликов. Большой сниппет создает высокие ожидания; если он не генерирует клики, он штрафуется сильнее, чем стандартный.

Детальный разбор

Термины и определения

Content Element (Контентный элемент)

Элемент на SERP, отличающийся от стандартного результата. Часто называется виджетом (widget) или колдунщиком. Позволяет взаимодействовать с контентом прямо на SERP (например, видеоплеер, карта, виджет погоды).

MLA (Machine Learning Algorithm)

Алгоритм машинного обучения, используемый в системе ранжирования для предсказания полезности.

Predicted Usefulness Score (Предсказанная оценка полезности)

Выходное значение MLA в фазе применения. Оценка, которую модель предсказывает для элемента на определенной позиции.

Ranking System (Система ранжирования)

Система (включающая MLA), определяющая порядок элементов на SERP.

Size / Height (Размер / Высота)

Физические измерения элемента на SERP (например, в пикселях). Высота является ключевым параметром в формуле расчета штрафа.

Usefulness Score (Оценка полезности)

Целевая метрика (Target/Ground Truth) для обучения MLA. Рассчитывается в фазе обучения на основе реальных взаимодействий пользователей с учетом размера, позиции элементов и времени взаимодействия.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методологии обучения ранжирования, которая интегрирует визуальные характеристики элементов в расчет целевых метрик.

Claim 1 (Независимый пункт): Описывает полный цикл работы системы для Content Elements.

Фаза Обучения (Training Phase):

1. Сбор данных о взаимодействиях пользователей с первой SERP.
2. Определение оценки (Score) для первого контентного элемента. Критически важно, что оценка базируется на: (i) сравнении размера первого элемента с размером другого элемента на той же SERP, (ii) ранге первого элемента, и (iii) количестве времени, которое пользователь просматривал контент, связанный с элементом (viewed content time).
3. Обучение системы ранжирования предсказывать эту оценку. Обучение включает определение разницы (loss) между прогнозом и фактической оценкой и корректировку системы.

Фаза Применения (In-use Phase):

1. Получение запроса и генерация второго списка.
2. Определение ранговой позиции для второго контентного элемента. Позиция определяется на основе его размера и расстояния от самого верхнего элемента списка.
3. Генерация второй SERP.

Claim 4 (Зависимый от 1): Детализирует ключевой механизм расчета оценки (штрафа за пропуск).

Если установлено, что пользователь выбрал (кликнул) элемент, отображаемый ниже первого контентного элемента:

1. Определяется первая высота (H1) первого контентного элемента.
2. Определяется вторая высота (H2) элемента, отображаемого ниже.
3. Из оценки вычитается значение (H1 / H2).

Если большой элемент (H1 велик) пропущен ради маленького (H2 мал), штраф будет большим. Это позволяет модели учитывать, что большие элементы более заметны и должны привлекать пропорционально больше кликов.

Claims 5 и 6 (Зависимые от 1): Описывают механизм выбора позиции в фазе применения.

Система определяет Predicted Usefulness Score для элемента на каждой позиции в списке (Claim 5) и выбирает позицию с наивысшей оценкой (Claim 6).

Claim 12 (Независимый пункт): Обобщает метод Claim 1 для всех элементов SERP, а не только для Content Elements.

Где и как применяется

Изобретение применяется на финальных этапах формирования выдачи и в процессах обучения моделей.

Офлайн-процессы (QUALITY & GOVERNANCE LAYER)
Фаза Обучения происходит офлайн. Система обрабатывает логи взаимодействий для расчета Usefulness Scores, которые учитывают размер, позицию и время взаимодействия. Эти оценки служат целевыми метриками (Targets) для обучения MLA.

BLENDER – Метапоиск и Смешивание
Это основной этап применения в онлайне (In-use Phase). Компонент Blender использует обученный MLA для определения оптимальной компоновки SERP и интеграции разнородных элементов (виджетов, органики).

• Взаимодействие: MLA принимает на вход характеристики элемента (включая размер) и потенциальную позицию. На выходе возвращает Predicted Usefulness Score для этой конфигурации.
• Технические особенности: Система должна знать точные визуальные размеры (например, в пикселях) элементов как в исторических логах, так и при генерации текущей SERP.

RANKING – Ранжирование (L3/L4)
Механизм также может применяться на поздних стадиях ранжирования для переоценки позиций органических результатов, особенно при выборе формата сниппета (стандартный vs. расширенный).

На что влияет

• Конкретные типы контента: Наибольшее влияние на Content Elements (виджеты, колдунщики). Также влияет на органические результаты с расширенными сниппетами (Rich Snippets), которые имеют больший размер.
• Структура SERP: Напрямую влияет на компоновку выдачи и баланс между органическими результатами и специализированными элементами.

Когда применяется

• Фаза Обучения: Офлайн, при обработке логов и обновлении моделей ранжирования.
• Фаза Применения: Онлайн, при генерации SERP в ответ на запрос, особенно когда необходимо смешать элементы разного типа и размера (Blending).

Пошаговый алгоритм

Процесс А: Фаза Обучения (Офлайн)

1. Сбор данных: Система логирует взаимодействия пользователей с SERP, фиксируя ранг и точный размер (высоту в пикселях) каждого элемента.
2. Расчет Usefulness Score: Для каждого элемента (Элемент А) рассчитывается оценка полезности на основе сессии пользователя.
3. Применение правил расчета оценки:
   • Если кликнут элемент ВЫШЕ А: Оценка(А) = 0.
   • Если кликнут только Элемент А: Оценка(А) = 1 (базовое значение).
   • Если кликнут элемент Б НИЖЕ А (А пропущен):

     $$Score(A) = — \frac{Height(A)}{Height(B)}$$

   • Если кликнут и А, и элемент Б НИЖЕ А:

     $$Score(A) = 1 — \frac{Height(A)}{Height(B)}$$

4. Корректировка по времени: Рассчитанная оценка может быть дополнительно скорректирована (взвешена) на основе времени взаимодействия с контентом (viewed content time).
5. Генерация обучающей выборки: Формируются пары (Признаки элемента + Контекст показа, Итоговый Usefulness Score).
6. Обучение MLA: Система ранжирования обучается предсказывать рассчитанный Usefulness Score.

Процесс Б: Фаза Применения (Онлайн — Blending)

1. Получение запроса и кандидатов: Генерируется базовый список и определяются релевантные контентные элементы (виджеты).
2. Итеративная оценка позиций: Для виджета система перебирает все потенциальные позиции ранжирования.
3. Предсказание оценок: Обученный MLA выводит Predicted Usefulness Score для виджета на каждой позиции, используя его размер и расстояние от топа как признаки.
4. Выбор оптимальной позиции: Выбирается позиция с максимальной предсказанной оценкой.
5. Генерация SERP: Виджет внедряется в выдачу на выбранной позиции.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Основа для расчета Usefulness Score. Используются: клики (selection), долгие клики, пропуски элементов. Критически важно (упомянуто в Claim 1): количество времени, которое пользователь просматривал контент, связанный с элементом (amount of time viewed content) — например, Dwell Time или время просмотра видео в виджете.
• Мультимедиа / Визуальные факторы: Размер элемента (Size), в частности высота (Height) в пикселях.
• Структурные факторы (SERP Structure): Ранг элемента (Ranking), расстояние от топа SERP (вертикальная позиция), горизонтальная позиция.

Какие метрики используются и как они считаются

• Usefulness Score: Основная метрика, используемая как цель для обучения. Расчет основан на модифицированной модели кликов, учитывающей размеры.
• Формула Штрафа за Пропуск: Ядро изобретения. Штраф рассчитывается как отношение высот пропущенного и кликнутого элементов.

  $$Penalty = \frac{Height_{current}}{Height_{lower}}$$

  Этот штраф вычитается из оценки полезности пропущенного элемента.

• Алгоритмы машинного обучения (MLA): Используются для предсказания Usefulness Score. Обучение происходит путем минимизации разницы (loss) между предсказанием и рассчитанной оценкой (Claim 1).

Выводы

1. Визуальный размер и позиция влияют на расчет ПФ: Яндекс явно моделирует влияние визуальных характеристик (Presentation Bias и Position Bias) при расчете целевых метрик для обучения ранжирования. Размер сниппета — это не просто визуальный аспект, это фактор, модулирующий поведенческие сигналы.
2. Штраф за пропуск пропорционален размеру: Ключевой механизм — штраф за пропуск элемента зависит от отношения его размера к размеру элемента, на который кликнули.
3. Высокие ожидания от больших элементов: Большие элементы (виджеты, Rich Snippets) более заметны. Если они пропускаются в пользу меньших элементов, они штрафуются значительно сильнее, чем стандартные сниппеты. Они должны оправдывать занимаемое пространство высокой релевантностью.
4. Оптимизация компоновки SERP (Blending): Система оптимизирует размещение элементов, предсказывая полезность на *каждой* потенциальной позиции и выбирая оптимальную.
5. Учет времени взаимодействия: Помимо кликов и размеров, в расчете Usefulness Score учитывается время взаимодействия с контентом (Dwell Time или время активности в виджете).

Практика

Best practices (это мы делаем)

• Максимизация качества и CTR обогащенных сниппетов (Rich Snippets): Если ваш сайт получает большой сниппет (например, FAQ, Product), ожидания системы от его CTR возрастают. Необходимо убедиться, что этот сниппет максимально привлекателен. Если его будут часто пропускать, штраф будет значительно выше, чем для стандартного сниппета.
• Оптимизация стандартных сниппетов для конкуренции с виджетами: Делайте стандартные сниппеты максимально информативными. Если ваш маленький сниппет привлекает клик, когда над ним находится большой виджет, этот виджет получит значительный штраф по формуле $H_{widget} / H_{snippet}$, что может улучшить ваши позиции.
• Улучшение вовлеченности на сайте (Dwell Time): Патент явно упоминает использование времени просмотра контента (viewed content time) при расчете Usefulness Score. Обеспечение длительного и качественного взаимодействия пользователя с сайтом после клика критически важно.

Worst practices (это делать не надо)

• Кликбейт или манипуляции в обогащенных сниппетах: Попытки получить большой сниппет, который не соответствует интенту. Пользователи будут пропускать такой элемент или быстро возвращаться на выдачу, что приведет к быстрому и значительному штрафу из-за его большого размера и низкого времени взаимодействия.
• Игнорирование визуальной структуры SERP: Разработка SEO-стратегии без учета внешнего вида выдачи, размеров виджетов и сниппетов конкурентов. Визуальный контекст напрямую влияет на расчет ПФ.

Стратегическое значение

Патент подтверждает использование Яндексом сложных моделей кликов (Click Models), учитывающих смещение представления (Presentation Bias). Это демонстрирует, что ранжирование — это результат сложного взаимодействия между визуальной презентацией контента на SERP и поведением пользователей. Стратегически важно фокусироваться на качестве представления сайта в выдаче (Snippet Optimization) и последующем удовлетворении интента, так как эти факторы напрямую модулируют сигналы, используемые для обучения ML-моделей.

Практические примеры

Сценарий: Расчет штрафа для Rich Snippet vs Стандартного сниппета

Предположим, стандартный сниппет имеет высоту 100px, а обогащенный сниппет (с блоком FAQ) имеет высоту 300px.

1. Ситуация 1: Пропуск обогащенного сниппета.
   • Позиция 1: Обогащенный сниппет (300px).
   • Позиция 2: Стандартный сниппет (100px).
   • Действие: Пользователь пропускает Поз. 1 и кликает на Поз. 2.
   • Штраф для Поз. 1 = $-(300 / 100) = -3$.
2. Ситуация 2: Пропуск стандартного сниппета.
   • Позиция 1: Стандартный сниппет (100px).
   • Позиция 2: Обогащенный сниппет (300px).
   • Действие: Пользователь пропускает Поз. 1 и кликает на Поз. 2.
   • Штраф для Поз. 1 = $-(100 / 300) \approx -0.33$.

Вывод: В Ситуации 1 обогащенный сниппет получает в 9 раз больший штраф, чем стандартный сниппет в Ситуации 2. Это демонстрирует, насколько критично для больших элементов оправдывать занимаемое место на выдаче высоким CTR.

Вопросы и ответы