Как Яндекс использует рандомизацию позиций в выдаче для определения «истинной» полезности результатов и оптимизации блендинга

Описание

Какую задачу решает

Патент решает задачу оптимизации смешанного ранжирования (Blended Ranking) на странице результатов поиска (SERP). Основная проблема заключается в том, чтобы определить оптимальное расположение различных типов результатов (общего поиска и вертикального поиска) для максимизации удовлетворенности пользователя. Существующие модели ранжирования могут страдать от позиционного смещения (position bias), что затрудняет оценку реальной полезности конкретного результата.

Что запатентовано

Запатентован метод и система для определения «Параметра Полезности» (Utility Parameter) результатов поиска посредством активного экспериментирования. Суть изобретения заключается в намеренной рандомизации позиции конкретного результата (вертикального или общего) на SERP, показываемой тестовой группе пользователей (TUG), и измерении поведенческого отклика. Это позволяет оценить полезность результата независимо от его исходного ранга.

Как это работает

Система работает в два этапа: обучение (определение параметра) и применение.

Обучение:

1. Система показывает SERP тестовой группе пользователей (TUG).
2. Исходный ранг определенного результата (например, блока вертикального поиска) намеренно модифицируется, и результат размещается на случайной позиции (выше или ниже исходной).
3. Система анализирует поведение пользователей (клики, время просмотра) в отношении этого результата на случайной позиции.
4. На основе этого анализа вычисляется Параметр Полезности. Например, если результат получает клики, будучи расположенным низко, это указывает на высокую полезность. Если результат игнорируется, будучи расположенным высоко, это указывает на низкую полезность.

Применение:

В реальном поиске система использует предварительно вычисленный Параметр Полезности как фактор в формуле смешанного ранжирования (Blender) для определения оптимальной позиции этого результата на SERP.

Актуальность для SEO

Высокая. Активное экспериментирование (A/B-тестирование) и использование поведенческих сигналов в качестве «Ground Truth» для оценки полезности являются фундаментальными подходами в современных поисковых системах. Описанный механизм критически важен для эффективной работы слоя Метапоиска и Блендинга (смешивания результатов разных вертикалей).

Важность для SEO

Влияние на SEO умеренное (6/10). Патент в первую очередь описывает внутренний механизм Яндекса для оптимизации Блендинга — смешивания вертикальных результатов (Колдунщики, Картинки, Видео) с результатами общего поиска. Прямое влияние SEO-специалистов на этот механизм ограничено. Однако патент подчеркивает, что поведенческие факторы являются ультимативной мерой полезности, и указывает (Claim 7), что этот метод применим и к общему поиску. Позиция результата активно тестируется, и его способность привлекать вовлечение на разных позициях определяет его будущее ранжирование.

Детальный разбор

Термины и определения

Blended Ranking / Смешанное ранжирование

Множество поисковых результатов, в котором результаты общего поиска и результаты вертикального поиска сгруппированы и ранжированы относительно друг друга.

General Search Result / Результат общего поиска

Результат поиска, полученный из общего домена (например, проиндексированного веб-контента). Обычно это стандартные органические ссылки («сетевые результаты»).

Intent Weight / Весовой коэффициент намерения

Параметр, используемый в ранжировании для определения позиции результата. В патенте предлагается способ рандомизации позиции путем присвоения случайного числа в качестве этого коэффициента во время обучения, а также способ определения оптимального коэффициента на основе Параметра Полезности.

Original Rank / Исходный ранг

Ранг, который присваивается результату поиска с использованием стандартных (известных или общепринятых) способов ранжирования до применения рандомизации.

Random Position / Случайная позиция

Позиция на SERP, на которую результат помещается в результате намеренной модификации его исходного ранга в рамках эксперимента.

TUG (Test User Group) / Тестовая группа пользователей

Группа пользователей, чье поведение оценивается в рамках эксперимента для определения Параметра Полезности. Этим пользователям показывается SERP с рандомизированными позициями.

Utility Parameter / Параметр полезности

Инструмент ранжирования, указывающий на оптимальное положение конкретного результата поиска на SERP для максимизации пользы для пользователя. Определяется на основе анализа поведения TUG по отношению к результату, расположенному на случайной позиции.

Vertical Search Result / Результат вертикального поиска

Результат поиска, полученный из специализированного домена (вертикали), например, Новости, Картинки, Видео, Карты, Товары (Колдунщики).

Ключевые утверждения (Анализ Claims)

Патент защищает метод определения полезности результатов поиска через активное вмешательство в ранжирование для тестовой группы.

Claim 1 (Независимый пункт, Формула изобретения п.1): Описывает основной способ создания SERP с использованием предварительно определенного Параметра Полезности для результатов вертикального поиска.

Ядро изобретения — метод предварительного определения этого параметра:

1. Получение запроса от пользователя из Тестовой группы (TUG).
2. Создание предыдущей SERP со смешанным ранжированием (общие + вертикальные результаты).
3. Критический шаг: Модификация исходного ранга результата вертикального поиска таким образом, чтобы он был ранжирован случайным образом и размещен на случайной позиции.
4. Анализ поведения пользователя (TUG) по отношению к этому результату на случайной позиции.
5. Определение полезности и создание Параметра Полезности на основе этого поведения.

Claims 2-6 (Зависимые пункты, пп. 2-6): Уточняют детали анализа поведения и интерпретации результатов эксперимента.

• Поведение включает CTR (отношение щелчков к показам) и Dwell Time (время, проведенное за просмотром после перехода). (п. 2)
• Случайная позиция может быть ниже (п. 3) или выше (п. 4) исходного ранга.
• Интерпретация (п. 5): Если пользователь кликает (или проводит время) на результате, который был случайно размещен ниже, это определяет высокую полезность.
• Интерпретация (п. 6): Если пользователь не кликает (или не проводит время) на результате, который был случайно размещен выше, это определяет отсутствие полезности.

Claim 7 (Зависимый пункт, п. 7): Важное расширение. Указывает, что ранжирование также может основываться на Втором Параметре Полезности, который рассчитывается аналогичным методом (рандомизация позиции и анализ поведения), но уже для результатов общего поиска (т.е. стандартных органических результатов).

Claims 17-19 (Зависимые пункты, пп. 17-19): Описывают техническую реализацию.

• Параметр полезности может создаваться с использованием алгоритма машинного обучения (п. 17).
• Рандомизация может достигаться путем создания случайного числа в качестве «весового коэффициента намерения» (Intent Weight) результата (п. 18).
• В дальнейшем, Параметр Полезности определяет оптимальный весовой коэффициент намерения для использования в ранжировании (п. 19).

Где и как применяется

Изобретение затрагивает офлайн-процессы обучения моделей и онлайн-процессы ранжирования и блендинга.

Офлайн-процессы (Слой Качества и Метрик)

Основная часть механики патента происходит офлайн. Система управляет экспериментами на Тестовых группах пользователей (TUG).

• Сбор данных: Система идентифицирует пользователей TUG, намеренно искажает для них выдачу (рандомизирует позиции) и логирует их поведение (клики, dwell time).
• Вычисление метрик: На основе логов экспериментов анализируется полезность результатов на разных позициях.
• Обучение модели: Алгоритм машинного обучения используется для создания Параметра Полезности (или функции полезности) на основе этих данных.

BLENDER – Метапоиск и Смешивание (Онлайн)

На этом этапе происходит применение предварительно вычисленного параметра. Компонент Blender получает результаты от общего поиска и вертикалей.

• Применение параметра: Параметр Полезности используется для определения оптимальной позиции (например, через установку оптимального Весового коэффициента намерения) вертикальных результатов при их смешивании с общими результатами.

RANKING – Ранжирование (Онлайн)

Хотя фокус патента на смешивании вертикалей, Claim 7 указывает, что этот же механизм может применяться для определения полезности и ранжирования результатов общего поиска. В этом случае Параметр Полезности может использоваться как фактор на поздних стадиях ранжирования (L3/L4) для корректировки позиций органических результатов.

На что влияет

• Вертикальные результаты и Колдунщики (Wizards): Патент напрямую влияет на то, насколько агрессивно и на каких позициях будут показаны блоки вертикального поиска (Картинки, Видео, Карты, Товары и т.д.). Их видимость зависит от их доказанной полезности в ходе экспериментов.
• Результаты общего поиска (Органика): Согласно Claim 7, механизм также применим к стандартным органическим результатам. Это значит, что их позиции также могут подвергаться рандомизированному тестированию для определения их истинной полезности.
• Поведенческие факторы: Патент усиливает значимость CTR и Dwell Time как метрик, определяющих полезность.

Когда применяется

• Определение параметра (Обучение): Происходит непрерывно в фоновом режиме на ограниченной выборке пользователей (TUG). Активируется, когда система проводит эксперимент по оценке полезности.
• Применение параметра (Ранжирование): Происходит в реальном времени при обработке поискового запроса на этапе смешивания (Blending) результатов.

Пошаговый алгоритм

Процесс разделен на две фазы: Офлайн-обучение (определение Параметра Полезности) и Онлайн-применение.

Фаза 1: Офлайн-обучение (Эксперимент)

1. Инициация эксперимента: Определение цели эксперимента (например, оценить полезность блока Картинок или конкретного веб-сайта) и выбор Тестовой группы пользователей (TUG).
2. Получение запроса от TUG: Система получает запрос от пользователя, участвующего в эксперименте.
3. Расчет исходного ранга: Определение стандартного ранжирования результатов.
4. Рандомизация: Модификация исходного ранга целевого результата. Например, путем присвоения ему случайного Весового коэффициента намерения. Результат помещается на случайную позицию (выше или ниже исходной).
5. Отображение тестовой SERP: Пользователю TUG показывается выдача с рандомизированной позицией.
6. Сбор данных (Логирование): Фиксация поведения пользователя по отношению к результату на случайной позиции (Клик/Не клик, Dwell Time).
7. Анализ и Определение Полезности: Агрегация данных по множеству экспериментов. Анализ того, как поведение коррелирует с позицией (например, высокий CTR на низких позициях или низкий CTR на высоких позициях).
8. Создание Параметра: Использование алгоритма машинного обучения для вычисления Параметра Полезности на основе собранных данных. Сохранение параметра.

Фаза 2: Онлайн-применение (Ранжирование)

1. Получение запроса: Система получает запрос от обычного пользователя.
2. Генерация кандидатов: Получение результатов из общего и вертикальных поисков.
3. Извлечение Параметра: Доступ к предварительно вычисленному Параметру Полезности для релевантных результатов.
4. Смешанное Ранжирование (Blending): Использование Параметра Полезности (например, для определения оптимального Весового коэффициента намерения) в формуле блендинга для определения финальных позиций на SERP.
5. Создание SERP: Отображение ранжированного множества результатов пользователю.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Являются основными данными для обучения. В патенте явно упоминаются: отношение количества щелчков мышью к количеству показов (CTR); время, проведенное за просмотром после перехода по щелчку (Dwell Time); и другие данные на основе щелчков мышью.
• Системные данные: Исходный ранг результата, Случайная позиция, на которой результат был показан в эксперименте, данные о пользователях (принадлежность к TUG).

Какие метрики используются и как они считаются

• Параметр Полезности (Utility Parameter): Ключевая вычисляемая метрика. Указывает на оптимальное положение результата.
• Весовой коэффициент намерения (Intent Weight): Вспомогательная метрика. Используется для технической реализации рандомизации (присвоением случайного значения) и для применения Параметра Полезности (параметр определяет оптимальное значение коэффициента).
• Методология расчета: Основана на активном экспериментировании (методология A/B-тестирования с рандомизацией позиций).
• Алгоритмы машинного обучения: Упоминается, что параметр полезности может создаваться с использованием ML на основе обучающей выборки (логов экспериментов).

Выводы

1. Активное тестирование позиций: Яндекс не полагается слепо на свои формулы ранжирования. Он активно проверяет их эффективность, намеренно рандомизируя позиции результатов для тестовых групп (TUG) и измеряя отклик, чтобы бороться с позиционным смещением (position bias).
2. Поведенческие сигналы как «Ground Truth»: Патент четко определяет, что реальная полезность результата определяется поведением пользователей (клики, Dwell Time), а не теоретической релевантностью. Способность результата привлекать внимание на разных позициях является ключевым фактором.
3. Оптимизация Блендинга (Метапоиска): Основная цель патента — найти оптимальный баланс между результатами общего поиска и вертикальными вставками (Колдунщиками). Параметр Полезности определяет, насколько агрессивно вертикаль должна быть подмешана в выдачу.
4. Применимость к органике: Критически важно, что механизм (Claim 7) также распространяется на результаты общего поиска. Это означает, что органические результаты также оцениваются по их способности генерировать позитивные поведенческие сигналы на экспериментально измененных позициях.
5. Интерпретация поведения: Ключевой инсайт патента: клики по результату, искусственно заниженному в выдаче, свидетельствуют о его высокой полезности. Игнорирование результата, искусственно завышенного в выдаче, свидетельствует о его низкой полезности.

Практика

Best practices (это мы делаем)

• Максимизация поведенческих сигналов на любой позиции: Критически важно добиваться высокого CTR и вовлеченности (Dwell Time) независимо от текущей позиции сайта. Если ваш сайт демонстрирует высокий уровень вовлечения, даже находясь на низких позициях, это является сильным сигналом полезности для системы во время ее экспериментов (если ваш сайт попадет в выборку для рандомизации, согласно Claim 7).
• Оптимизация сниппетов для повышения CTR: Сниппет должен быть максимально привлекательным и релевантным, чтобы пользователь выбрал его, даже если система экспериментально поместит его ниже конкурентов. Это напрямую влияет на расчет Параметра Полезности.
• Работа над качеством вертикальных ассетов: Поскольку патент сфокусирован на блендинге, важно иметь качественные изображения, видео и другие вертикальные элементы, которые могут быть подмешаны в основную выдачу. Их полезность также будет тестироваться через рандомизацию.
• Удержание пользователя на сайте (Dwell Time): Контент должен не только привлекать клик, но и удерживать пользователя. Длительное время просмотра после клика подтверждает полезность результата в ходе экспериментов.

Worst practices (это делать не надо)

• Кликбейт и обман ожиданий: Использование кликбейтных заголовков для привлечения трафика, который быстро покидает сайт (короткий Dwell Time). В ходе экспериментов такой результат покажет низкую полезность, даже если CTR высок.
• Игнорирование поведенческих метрик: Фокусировка только на традиционных факторах (текст, ссылки) и игнорирование того, как реальные пользователи взаимодействуют с сайтом в выдаче.
• Создание контента низкого качества: Контент, который пользователи игнорируют. Если такой контент будет искусственно поднят в выдаче в ходе эксперимента и не получит кликов, его Параметр Полезности будет низким.

Стратегическое значение

Патент подтверждает стратегический приоритет Яндекса на использование машинного обучения, основанного на поведенческих данных, и активного экспериментирования для калибровки формул ранжирования и блендинга. Он демонстрирует, что позиция в выдаче не является статичной, а постоянно валидируется через тесты. Для SEO это означает, что долгосрочная стратегия должна быть направлена на максимизацию удовлетворенности пользователя (измеряемой через поведение), так как это единственный способ доказать системе свою полезность.

Практические примеры

Сценарий 1: Оценка полезности вертикального блока (Колдунщика)

1. Ситуация: По запросу Яндекс обычно показывает блок с Видео на 2-й позиции (Исходный ранг).
2. Эксперимент (Рандомизация): Для тестовой группы (TUG) Яндекс перемещает этот блок на 7-ю позицию (Случайная позиция).
3. Анализ поведения: Система фиксирует, что пользователи TUG часто прокручивают страницу и активно кликают на Видео блок даже на 7-й позиции.
4. Результат: Система определяет высокую полезность блока. Параметр Полезности увеличивается, что может привести к перемещению блока на 1-ю позицию в будущем.

Сценарий 2: Оценка полезности органического результата (Применение Claim 7)

1. Ситуация: Сайт А ранжируется на 8-й позиции по запросу (Исходный ранг).
2. Эксперимент (Рандомизация): Для тестовой группы (TUG) Яндекс перемещает Сайт А на 2-ю позицию (Случайная позиция).
3. Анализ поведения: Система фиксирует, что пользователи TUG игнорируют Сайт А (низкий CTR) и кликают на результаты, расположенные ниже, или быстро возвращаются на выдачу (короткий Dwell Time).
4. Результат: Система определяет низкую полезность Сайта А. Параметр Полезности уменьшается, что гарантирует, что сайт не поднимется в топ, несмотря на возможные позитивные сигналы от других факторов ранжирования.

Вопросы и ответы