Как Яндекс учитывает размер и позицию сниппетов (Presentation Bias) при обучении ранжирования и формировании выдачи

Описание

Какую задачу решает

Патент решает фундаментальную проблему в обучении систем ранжирования, известную как Presentation Bias (предвзятость представления), включая Position Bias и Size Bias. Проблема заключается в том, что взаимодействие пользователя (клик) зависит не только от релевантности контента, но и от того, как он представлен на SERP. В гетерогенной выдаче крупные элементы (расширенные сниппеты, колдунщики, видео) привлекают больше внимания. Традиционные ML-модели могут ошибочно интерпретировать эти клики как сигнал высокой релевантности. Данное изобретение предлагает механизм для корректировки этой предвзятости и более точной интерпретации поведенческих сигналов.

Что запатентовано

Запатентован способ и система для определения ранжированных позиций, который явно включает визуальные характеристики элементов (размер и позицию) в процесс обучения и ранжирования. Суть изобретения — в методе расчета Оценки (Score) полезности элемента во время обучения. Эта оценка корректируется с учетом размера элемента и контекста взаимодействия (что было пропущено, что было выбрано). Это позволяет модели лучше разделять истинную релевантность и влияние визуального дизайна.

Как это работает

Система работает в две фазы. Во время Фазы обучения система анализирует логи взаимодействий. Ключевым является расчет оценки: если элемент был выбран (кликнут), он получает положительную оценку (например, 1). Если элемент был пропущен (пользователь кликнул ниже), он штрафуется. Штраф рассчитывается на основе отношения высоты пропущенного элемента к высоте выбранного (Claim 4). Если большой элемент пропущен в пользу меньшего, он получает значительный штраф. Во время Фазы использования система определяет позицию элемента, учитывая его размер и расстояние от топа, стремясь максимизировать его Предсказанную оценку полезности на этой конкретной позиции.

Актуальность для SEO

Высокая. Борьба с различными видами смещений (Bias) является центральной темой в современных исследованиях Information Retrieval. По мере того как выдача Яндекса становится более визуально разнообразной (интеграция вертикалей, Колдунщики, расширенные сниппеты), необходимость учета влияния макета SERP на поведение пользователей критически важна для объективной оценки качества поиска и обучения моделей.

Важность для SEO

Влияние на SEO значительно (8/10). Патент демонстрирует, что Яндекс не просто учитывает CTR, а интерпретирует его в контексте визуального представления сниппета. Это означает, что стратегии, направленные на максимизацию размера сниппета (например, через микроразметку), являются стратегией повышенного риска. Большой, но нерелевантный сниппет будет строго пенализирован системой обучения, описанной в патенте. Это подчеркивает необходимость сочетания визуальной привлекательности с высокой релевантностью.

Детальный разбор

Термины и определения

SERP (Search Engine Results Page)

Страница результатов поисковой машины. В патенте упоминаются Первая SERP (во время обучения) и Вторая SERP (во время использования).

Система ранжирования (Ranking System)

Компонент поисковой системы (например, ML-модель), отвечающий за упорядочивание элементов на SERP. Обучается на основе предыдущих пользовательских взаимодействий.

Элемент контента (Content Item)

Отдельный результат на SERP (например, сниппет веб-документа, изображение, видео, колдунщик).

Фаза обучения (Training Phase)

Офлайн-процесс, во время которого система ранжирования обучается на исторических данных о взаимодействиях пользователей с SERP.

Фаза использования (In-use Phase)

Онлайн-процесс обработки запроса пользователя и генерации SERP в реальном времени.

Оценка (Score)

Метрика, рассчитываемая во время фазы обучения. Она служит целевой переменной (Ground Truth) и отражает полезность элемента с учетом его размера, ранжирования на конкретной SERP и действий пользователя.

Предсказанная оценка полезности (Predicted Utility Score)

Оценка, которую обученная система ранжирования предсказывает для элемента контента. Используется для определения финального ранжирования во время фазы использования.

Пользовательские взаимодействия (User Interactions)

Действия пользователя на SERP, такие как выбор (клик), длительный выбор, наведение курсора, воспроизведение аудио и т.д. (Claim 18).

Ключевые утверждения (Анализ Claims)

Патент фокусируется на том, как визуальные атрибуты элементов на SERP учитываются при обучении и применении модели ранжирования для борьбы с предвзятостью представления.

Claim 1 (Независимый пункт): Описывает общий процесс.

Фаза обучения:

1. Получение данных о взаимодействиях с Первой SERP в ответ на обучающий запрос.
2. Определение Оценки (Score) для первого элемента контента. Ключевой момент: Оценка основана, по меньшей мере частично, на (i) Размере первого элемента и (ii) его Ранжировании (позиции).
3. Обучение системы ранжирования предсказывать Предсказанную оценку полезности на основе этой Оценки.

Фаза использования:

1. Получение запроса пользователя.
2. Определение ранжированной позиции для второго элемента контента. Ключевой момент: Позиция определяется на основе, по меньшей мере частично, (i) Размера второго элемента и (ii) Расстояния между вторым элементом и наиболее высоко ранжированным элементом (расстояние от топа).
3. Генерация Второй SERP.

Claims 2-4 и 12-14: Детализируют расчет Оценки во время Фазы обучения. Это ядро механизма.

• Claim 2/12: Если пользователь выбрал элемент НАД текущим элементом, Оценка текущего элемента устанавливается на ноль. (Пользователь нашел ответ раньше).
• Claim 3/13: Если пользователь выбрал текущий элемент, Оценка устанавливается на единицу. (Элемент был полезен).
• Claim 4/14 (Критически важный механизм): Если пользователь выбрал элемент ПОД текущим элементом (т.е. текущий элемент был пропущен):
  1. Определяется Первая высота (H1) текущего (пропущенного) элемента.
  2. Определяется Вторая высота (H2) выбранного элемента ниже.
  3. Из Оценки вычитается Первая высота, деленная на Вторую высоту (H1/H2).

Эта формула означает, что чем больше размер (высота) пропущенного элемента по сравнению с выбранным, тем сильнее он штрафуется. Пропуск большого, заметного элемента интерпретируется как сильный негативный сигнал релевантности.

Claims 5-6 и 15-16: Описывают процесс оптимизации ранжирования во время Фазы использования.

• Система определяет Предсказанную оценку полезности для элемента на каждой возможной позиции (Claim 5/15).
• Финальная позиция выбирается так, чтобы иметь наивысшую предсказанную оценку полезности (Claim 6/16). Это означает, что система итеративно оптимизирует макет SERP, учитывая, как изменится полезность элемента при его размещении на разных позициях с учетом его размера.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поиска, интегрируя офлайн-обучение и онлайн-ранжирование.

Офлайн-процессы и Слой Качества (QUALITY & GOVERNANCE LAYER) (Фаза Обучения)
Система анализирует логи поведения пользователей. На вход поступают данные о макете SERP (размеры и позиции всех элементов из логов рендеринга) и взаимодействиях.

• Расчет Оценок (Labeling): Вычисление скорректированных оценок полезности (Ground Truth) для обучающей выборки с применением логики из Claims 2-4. Это позволяет очистить метрики качества (такие как компоненты Профицита или Proxima) от влияния дизайна (Presentation Bias).
• Обучение Модели: Обучение Системы Ранжирования (вероятно, CatBoost) предсказывать эти скорректированные оценки. Визуальные характеристики (размер, расстояние от топа, горизонтальная позиция (Claim 9)) используются как признаки (features) в модели.

RANKING – Ранжирование (L3/L4) и BLENDER – Метапоиск и Смешивание (Фаза Использования)
На поздних стадиях ранжирования и особенно на этапе смешивания (Blender), где объединяются элементы разных размеров (веб-результаты, картинки, видео, Колдунщики).

• Оптимизация позиций: Согласно Claims 5-6, система не просто сортирует элементы по убыванию скора, а итеративно определяет наилучшую позицию для каждого элемента, максимизируя его предсказанную полезность с учетом его размера и расстояния от топа (Claim 1) на этой позиции.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на элементы с переменным или большим размером: расширенные сниппеты (Rich Snippets), блоки изображений и видео (Claim 8), Колдунщики (Wizards), Турбо-страницы.
• Форматы контента: Система позволяет более справедливо сравнивать релевантность стандартных текстовых сниппетов и визуально богатых форматов.
• Специфические запросы: Особенно заметно на запросах, где выдача визуально разнообразна (мультимедийные, коммерческие, информационные с богатой разметкой).

Когда применяется

• Фаза обучения: Постоянно в офлайн-режиме при переобучении основных моделей ранжирования на свежих логах пользовательского поведения.
• Фаза использования: При генерации каждой страницы результатов поиска (SERP) для определения финального ранжирования и макета.
• Триггеры активации: Расчет штрафа активируется, когда пользователь пропускает элемент и кликает на элемент, расположенный ниже (Claim 4, 14).

Пошаговый алгоритм

Процесс А: Фаза Обучения (Офлайн)

1. Сбор данных: Получение исторических данных о SERP. Фиксируются размеры (высота) и позиции всех элементов, а также логи взаимодействий (клики).
2. Расчет Оценки (Labeling) для каждого элемента (E_i):
   1. Инициализация Оценки.
   2. Проверка клика выше: Если клик был выше E_i, Оценка = 0.
   3. Проверка клика на элементе: Если клик был на E_i, Оценка = 1. (Может быть скорректировано временем доступа/Dwell Time по Claim 7).
   4. Проверка клика ниже (Пропуск): Если клик был ниже E_i (на элементе E_click):
      
      Расчет штрафа: $Penalty = \frac{Height(E_i)}{Height(E_{click})}$.
      
      Корректировка Оценки: $Score = Score — Penalty$.
3. Обучение модели: Обучение системы ранжирования предсказывать рассчитанную Оценку (Ground Truth), используя признаки документа, запроса и визуальные признаки (размер, позиция, расстояние от топа).

Процесс Б: Фаза Использования (Онлайн)

1. Получение запроса и Генерация кандидатов.
2. Итеративная Оптимизация Ранжирования:
   1. Для каждого элемента-кандидата определяется его потенциальный размер.
   2. Система рассчитывает Предсказанную оценку полезности для каждого элемента на каждой доступной позиции, используя обученную модель и учитывая визуальные признаки этой позиции (расстояние от топа, размер).
   3. Выбирается комбинация элементов и их позиций, которая максимизирует полезность (Claims 5, 6).
3. Генерация SERP: Формирование финальной страницы выдачи.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные для Фазы обучения.
  • Выбор элемента (Клик) (Claim 18).
  • Контекст клика (что было выше/ниже кликнутого элемента).
  • Длительный выбор (Long Click) (Claim 18).
  • Количество времени доступа к элементу (Dwell Time) (Claim 7).
  • Наведение курсора, воспроизведение аудио (Claim 18).
• Визуальные/Структурные факторы (SERP Layout): Используются и в Фазе обучения, и в Фазе использования.
  • Размер элемента (Size) (Claim 1).
  • Высота элемента (Height) (Claim 4). Используется как мера размера для расчета штрафов.
  • Ранжирование/Позиция элемента (Ranking/Position) (Claim 1).
  • Расстояние от наиболее высоко ранжированного элемента (Distance from top) (Claim 1, 10).
  • Горизонтальная позиция элемента (Horizontal position) (Claim 9).
• Мультимедиа факторы: Учитывается наличие изображений или видео в элементе (Claim 8), что влияет на его размер и формат.

Какие метрики используются и как они считаются

• Оценка (Score): Рассчитывается во время обучения как Ground Truth. Изначально может быть бинарной (0 или 1), но затем модифицируется.
• Штраф за пропуск (Skip Penalty): Ключевая метрика патента. Рассчитывается как отношение высоты пропущенного элемента к высоте выбранного элемента (Claim 4/14).
  $$Penalty = \frac{Height_{skipped}}{Height_{selected}}$$
• Скорректированная Оценка: Результат вычитания Штрафа за пропуск из исходной Оценки.
• Предсказанная оценка полезности (Predicted Utility Score): Выход обученной модели ранжирования. Предсказание полезности элемента с учетом его размера и позиции.

Выводы

1. Яндекс активно борется с Presentation Bias: Патент подтверждает, что Яндекс не использует поведенческие данные (клики) напрямую для обучения, а активно корректирует их, чтобы нивелировать влияние дизайна и позиции на SERP на выбор пользователя.
2. Размер и позиция сниппета — явные признаки ранжирования: Визуальные характеристики сниппета (размер, высота, расстояние от топа, горизонтальное положение) являются явными признаками (features) как при обучении, так и при финальном ранжировании.
3. Штраф за нерелевантность пропорционален размеру: Ключевой механизм (Claim 4) — штрафование пропущенных элементов пропорционально их размеру относительно выбранного элемента. Чем больше и заметнее сниппет, тем сильнее он будет пессимизирован моделью обучения, если пользователи его игнорируют.
4. Богатые сниппеты — высокий риск и высокая награда: Визуально привлекательные форматы увеличивают заметность, но если они не соответствуют интенту пользователя, они генерируют сильные негативные сигналы из-за своего размера.
5. Оптимизация макета SERP: Система не просто ранжирует документы, но и оптимизирует их расположение (Claims 5-6), оценивая полезность элемента на каждой возможной позиции с учетом того, как он будет там выглядеть.

Практика

Best practices (это мы делаем)

• Стремиться к расширенным сниппетам только при высокой релевантности: Используйте микроразметку (Schema.org), Турбо-страницы и другие методы для получения крупных сниппетов, но только если ваш контент точно соответствует интенту запроса. Визуальное преимущество должно подкрепляться качеством, так как риски пессимизации выше.
• Максимизировать точность и привлекательность Title и Description: Сниппет должен максимально точно отражать содержание страницы и мотивировать клик. Это минимизирует вероятность пропуска вашего результата (Skip), что приведет к штрафам при обучении модели.
• Анализировать CTR в связке с формой сниппета: При анализе поведенческих метрик учитывайте, как выглядел ваш сниппет. Низкий CTR для расширенного сниппета — это гораздо более тревожный сигнал, чем для стандартного, так как система обучения Яндекса оштрафует его сильнее.
• Фокус на удовлетворении пользователя (Dwell Time): Патент (Claim 7) упоминает учет времени доступа к элементу при определении Оценки. Важно не просто получить клик, но и удержать пользователя качественным контентом (длинный клик), что повысит Оценку полезности при обучении.
• Релевантные визуальные элементы: Убедитесь, что изображения или видео в сниппете строго релевантны контенту. Они увеличивают размер сниппета и, следовательно, потенциальный штраф при пропуске.

Worst practices (это делать не надо)

• Кликбейт и вводящие в заблуждение сниппеты: Использование заголовков, изображений или описаний, которые привлекают внимание, но не соответствуют контенту. Это приведет либо к пропускам (Skips), либо к коротким кликам. Оба сценария негативно влияют на Оценку полезности, особенно для крупных сниппетов.
• Манипуляции с разметкой для увеличения размера сниппета: Попытки искусственно увеличить высоту сниппета (например, добавляя лишние элементы в разметку FAQ или используя нерелевантные изображения), не увеличивая его информативность. Если такой «раздутый» сниппет будут пропускать, он получит максимальный штраф по формуле из Claim 4.
• Игнорирование качества контента при фокусе на формате: Полагаться на то, что визуально привлекательный формат (например, Турбо-страница) сам по себе обеспечит хорошие позиции, игнорируя релевантность.

Стратегическое значение

Этот патент подчеркивает стратегический приоритет Яндекса на измерение истинной релевантности и удовлетворенности пользователя, очищенной от шумов и смещений. Система стремится понять, *почему* пользователь кликнул — из-за релевантности или из-за дизайна. Для SEO это означает, что долгосрочный успех зависит от способности предоставлять наилучший ответ, а не от способности создать самый заметный сниппет. Визуальная оптимизация SERP является важной частью стратегии, но она должна быть инструментом для демонстрации релевантности, а не ее заменой.

Практические примеры

Сценарий 1: Штраф за пропуск расширенного сниппета (Фаза Обучения)

Пользователь ищет «как приготовить пасту карбонара». На SERP:

• Элемент А (Позиция 1): Расширенный сниппет (Rich Snippet) с картинкой и рейтингом. Высота = 200px. Заголовок кликбейтный.
• Элемент Б (Позиция 2): Стандартный текстовый сниппет. Высота = 100px. Заголовок точный.

Пользователь пропускает Элемент А и кликает на Элемент Б.

Действие системы (по Claim 4):

1. Система фиксирует пропуск Элемента А.
2. Рассчитывается штраф для Элемента А: $Penalty = \frac{Height_A}{Height_Б} = \frac{200px}{100px} = 2$.
3. Оценка Элемента А уменьшается на 2.

Вывод: Модель ранжирования получает сильный сигнал о нерелевантности Элемента А. Если бы Элемент А был стандартного размера (100px), штраф был бы всего 1. Увеличение размера привело к удвоению штрафа.

Сценарий 2: Пропуск стандартного сниппета ради большого (Фаза Обучения)

• Элемент В (Позиция 1): Стандартный сниппет. Высота = 100px.
• Элемент Г (Позиция 2): Большой сниппет (например, видео блок). Высота = 300px.

Пользователь пропускает Элемент В и кликает на Элемент Г.

Действие системы (по Claim 4):

1. Рассчитывается штраф для Элемента В: $Penalty = \frac{Height_В}{Height_Г} = \frac{100px}{300px} \approx 0.33$.
2. Оценка Элемента В уменьшается на 0.33.

Вывод: Штраф для В меньше, так как он был пропущен ради очень крупного и заметного результата Г. Система учитывает, что В было сложнее конкурировать за внимание.

Вопросы и ответы