Как Яндекс сохраняет релевантность выдачи при сортировке результатов по цене или дате (Learning to Select with Order)

Описание

Какую задачу решает

Патент решает критическую проблему в поиске (особенно в E-commerce, новостях и агрегаторах): потерю релевантности выдачи, когда пользователь применяет сортировку по вторичному атрибуту, не связанному с релевантностью (например, по цене, дате, популярности). Существующие системы часто показывают в топе отсортированной выдачи нерелевантные результаты, которые случайно оптимизированы под атрибут сортировки (например, дешевые аксессуары вместо основного товара при сортировке по цене). Изобретение улучшает пользовательский опыт, гарантируя, что даже отсортированная выдача остается релевантной исходному запросу.

Что запатентовано

Запатентован способ и система для выбора подмножества результатов поиска перед их переранжированием по вторичному атрибуту. Суть изобретения — это метод Learning to Select with Order (LSO), описанный в приложении к патенту. Система не просто пересортировывает все результаты, а обучается определять для каждого объекта «Параметр объекта». Этот параметр указывает на вероятность того, что включение данного объекта в переранжированный список увеличит итоговую метрику качества (например, DCG) этого списка. Объекты с низким параметром исключаются перед финальной сортировкой.

Как это работает

Когда пользователь вводит запрос, система сначала ранжирует результаты по «Целевой характеристике» (релевантности). Если пользователь затем запрашивает сортировку по «Дополнительной характеристике» (например, цене), активируется запатентованный механизм. Алгоритм машинного обучения (MLA), обученный на оценках асессоров, вычисляет для каждого результата «Параметр объекта». Этот параметр оценивает компромисс между релевантностью объекта и его позицией в новом порядке сортировки. Объекты, которые сильно снижают общую метрику качества (например, нерелевантные, но дешевые), отфильтровываются. Оставшееся подмножество релевантных объектов ранжируется согласно запрошенной дополнительной характеристике.

Актуальность для SEO

Высокая. Проблема сохранения релевантности при сортировке по цене или дате является фундаментальной для всех крупных E-commerce платформ и новостных агрегаторов. Использование GBDT и методов прямой оптимизации метрик ранжирования (Direct Optimization of Ranking Metrics) является современным подходом в машинном обучении для поиска.

Важность для SEO

Влияние на SEO значительно (7/10), особенно для E-commerce, агрегаторов и новостных сайтов. Патент показывает, что для попадания в топ при сортировке по цене или дате недостаточно быть самым дешевым или самым свежим. Релевантность (Целевая характеристика) остается критически важной, так как она определяет, будет ли объект вообще включен в отсортированный список. Нерелевантные предложения могут быть полностью исключены из выдачи, отсортированной по цене.

Детальный разбор

Термины и определения

Патент включает в себя научную статью (Приложения А и Б), которая вводит дополнительную терминологию.

Additional Characteristic (Дополнительная характеристика)

Атрибут цифрового объекта, отличный от релевантности (Целевой характеристики). Используется пользователем для вторичной сортировки/фильтрации (например, цена, дата публикации, рейтинг).,

Digital Object (Цифровой объект)

Элемент поисковой выдачи. В контексте патента часто подразумеваются товары в E-commerce или посты/новости в социальных сетях.

Filtering Request (Запрос фильтрации)

Действие пользователя, направленное на переранжирование результатов поиска на основе Дополнительной характеристики (например, «Сортировать по цене»).

Learning to Select with Order (LSO)

Название задачи машинного обучения, сформулированной в патенте (Приложение А): обучение выбору набора элементов для максимизации качества списка, порядок в котором задан заранее (например, по цене), а не по релевантности.

MLA (Machine Learning Algorithm / Алгоритм машинного обучения)

Алгоритм (например, GBDT), обученный предсказывать Параметр объекта.,

Object Parameter (Параметр объекта)

Ключевая метрика изобретения. Значение, указывающее на вероятность того, что включение данного объекта в переранжированный набор увеличит Метрику качества этого набора.

OSP (Optimal Selection Predictor)

Один из предложенных методов LSO (Приложение А). Обучение классификатора предсказывать оптимальное решение о выборе элемента. Использует логистические потери.

PG (Policy Gradient) и LBO (Lower Bound Optimization)

Методы прямой оптимизации (Direct Optimization) сглаженной метрики качества Q_smooth (Приложение А). Используются для дообучения модели после OSP.

Quality Metric (Метрика качества)

Метрика, оценивающая качество (полезность) переранжированного списка. Примеры: DCG, NDCG, ERR, MAP, MRR.

Target Characteristic (Целевая характеристика)

Основной параметр ранжирования, обычно указывающий на релевантность цифрового объекта запросу.,

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной способ ранжирования с учетом вторичной сортировки.

1. Система выбирает начальный набор цифровых объектов, релевантных запросу, на основе Целевой характеристики (релевантности).
2. Система получает от пользователя Запрос фильтрации (например, «сортировать по цене»), основанный на Дополнительной характеристике (цене).
3. Ключевой этап: Выбор объектов для включения в переранжированный набор. Для этого система определяет Параметр объекта.
4. Параметр объекта указывает на вероятность того, что включение этого объекта увеличит общую Метрику качества (например, DCG) финального переранжированного набора.
5. Система выбирает объекты на основе этих параметров (например, применяя порог).
6. Финальный этап: Ранжирование выбранного подмножества объектов согласно Дополнительной характеристике (цене).

Claim 8, 9, 10 (Зависимые пункты): Уточняют механизм работы и обучения.

• Claim 8: Параметр объекта определяется с помощью Алгоритма машинного обучения (MLA).
• Claim 10: Описывает процесс обучения MLA. Обучающий набор включает объект, запрос, значение дополнительной характеристики и формируемую оценщиком метку. Эта метка указывает, должен ли объект быть включен в итоговый список (с учетом баланса релевантности и дополнительной характеристики). Это подтверждает использование асессорских данных для обучения системы пониманию «идеального» отсортированного списка.

Claim 13 (Зависимый пункт): Уточняет суть Параметра объекта.

• Параметр объекта основан на компромиссе (trade-off) между количеством включенных объектов и их релевантностью. Система стремится максимизировать качество, балансируя полноту и точность в отсортированном списке.

Где и как применяется

Изобретение применяется на поздних стадиях обработки поискового запроса, после основного ранжирования, и активируется в ответ на действие пользователя.

RANKING – Ранжирование (Пост-обработка / Reranking)

Алгоритм применяется после того, как основной слой ранжирования (L1-L3) сформировал выдачу на основе релевантности (Целевой характеристики). Когда пользователь запрашивает сортировку по Дополнительной характеристике (цена, дата), система не просто переупорядочивает существующий список, а запускает процесс LSO:

1. Вычисление Параметра Объекта: Запускается обученный MLA (вероятно, GBDT/CatBoost), который использует признаки объекта, запроса и контекста списка для предсказания Параметра объекта.
2. Фильтрация (Selection): Объекты, чей параметр ниже определенного порога, исключаются из набора.
3. Переранжирование (Reranking): Оставшиеся объекты сортируются согласно запрошенной Дополнительной характеристике.

В Приложении А (Секция 2.1) уточняется, что этот алгоритм должен быть «локальным» (local), то есть способным принимать решение по каждому элементу независимо, что необходимо для распределенной архитектуры поиска (обработка на шардах).

На что влияет

• Конкретные ниши и типы контента: Наибольшее влияние оказывается на вертикали, где сортировка по вторичным признакам является стандартной практикой:
  • E-commerce: Сортировка товаров по цене (наиболее частый сценарий, описанный в патенте).
  • Новости и Социальные сети: Сортировка постов или новостей по времени публикации.
  • Агрегаторы (Недвижимость, Авто): Сортировка по цене, площади, году выпуска и т.д.
• Специфические запросы: Влияет на все типы запросов (информационные, коммерческие) в рамках этих вертикалей, если пользователь активирует соответствующую сортировку.

Когда применяется

• Триггер активации: Действие пользователя — отправка Запроса фильтрации (выбор опции сортировки по атрибуту, отличному от релевантности).
• Условия работы: Наличие у объектов как Целевой характеристики (релевантность), так и Дополнительной характеристики (атрибут для сортировки).

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени (Этап использования)

1. Начальный выбор: Получение запроса и формирование начального набора цифровых объектов, ранжированных по Целевой характеристике (релевантности).
2. Получение Запроса Фильтрации: Пользователь запрашивает переранжирование по Дополнительной характеристике (например, цене).
3. Вычисление Параметра Объекта: Для каждого объекта в наборе система применяет обученный MLA (LSO модель) для определения Параметра объекта. Этот параметр оценивает влияние включения объекта на итоговую метрику качества.
4. Выбор (Фильтрация): Система выбирает подмножество объектов на основе вычисленных параметров (например, используя заранее заданный порог). Объекты, снижающие качество (нерелевантные), исключаются.
5. Переранжирование: Выбранное подмножество объектов ранжируется на основе значений Дополнительной характеристики (по цене).
6. Выдача: Представление переранжированного и отфильтрованного набора пользователю.

Процесс Б: Офлайн-обучение MLA (Этап обучения)

1. Сбор данных: Сбор обучающих запросов и соответствующих наборов объектов с их характеристиками.
2. Симуляция сортировки: Переранжирование обучающих наборов по Дополнительной характеристике.
3. Асессорская разметка: Оценщики размечают объекты в переранжированном списке метками, указывающими, следует ли включать объект в итоговый список (баланс релевантности и сортировки).
4. Формирование «Идеального» списка: Создание уточненного поднабора, содержащего только объекты, помеченные асессорами как обязательные к включению.
5. Генерация признаков: Формирование признаков для обучения, включая агрегированные признаки по Топ-N результатам «идеального» списка (например, средняя цена и средняя релевантность в Топе).
6. Обучение MLA: Обучение модели (например, GBDT) предсказывать Параметр объекта, используя асессорские метки как целевую переменную. В Приложении А описан двухэтапный процесс: сначала OSP, затем дообучение PG или LBO для прямой оптимизации метрики.

Какие данные и как использует

Данные на входе

• Контентные/Системные данные:
  • Цифровые объекты и их атрибуты.
  • Целевая характеристика (Оценка релевантности): Предварительно рассчитанный скор релевантности объекта запросу.
  • Дополнительная характеристика: Значение атрибута, по которому производится сортировка (цена, дата и т.д.).
• Поведенческие факторы: Используются косвенно. Данные о прошлых действиях (CTR, MRR, коэффициент отказов) используются для определения Целевой характеристики (релевантности).
• Данные Асессоров (для обучения): Метки, формируемые оценщиками, которые указывают на обязательность включения объекта в переранжированный список. Это ключевые данные для обучения MLA.

Какие метрики используются и как они считаются

• Параметр объекта: Вычисляется с помощью MLA. Представляет собой вероятность того, что включение объекта увеличит метрику качества. Основан на компромиссе между релевантностью и количеством объектов.
• Метрика качества (Целевая функция): Используется для оценки итогового переранжированного списка и для обучения MLA. Патент упоминает DCG, NDCG, ERR, MAP, MRR. В Приложении А используется DCG-RR (DCG с весами обратных рангов).
• Алгоритмы машинного обучения: Упоминается MLA на основе дерева решений с градиентным бустингом (GBDT). В Приложении А используется CatBoost.
• Методы оптимизации (Приложение А):
  • OSP (Optimal Selection Predictor): Использует логистические потери (LogLoss) для обучения классификатора.
  • Прямая оптимизация (Direct Optimization): Оптимизация сглаженной метрики качества (Q_smooth) с использованием методов оценки градиента: Policy Gradient (PG) и Lower Bound Optimization (LBO).
• Агрегированные признаки: Для обучения MLA используются признаки, агрегированные по Топ-N результатам «идеального» списка (сформированного асессорами): наибольшее/среднее значение Дополнительной характеристики и наибольшее/среднее значение Целевой характеристики (релевантности) в Топе. Это позволяет модели учитывать контекст всего списка.

Выводы

1. Сортировка в Яндексе — это не просто переупорядочивание: Когда пользователь сортирует выдачу (например, по цене), Яндекс активно фильтрует результаты. Это не просто сортировка Топ-N релевантных документов, а выбор подмножества для максимизации качества отсортированного списка.
2. Релевантность остается критичной при любой сортировке: Система стремится найти компромисс между релевантностью (Целевая характеристика) и атрибутом сортировки (Дополнительная характеристика). Объекты с низкой релевантностью могут быть исключены, даже если они оптимальны по атрибуту сортировки (например, очень дешевые).
3. Learning to Select with Order (LSO): Яндекс использует сложный подход LSO, который напрямую оптимизирует целевые метрики качества (например, DCG), а не просто применяет фиксированный порог релевантности. Это более эффективно, чем стандартные методы отсечки (Cutoff).
4. Роль Асессоров: Модель LSO обучается на данных асессоров, которые размечают, как должен выглядеть «идеальный» список, отсортированный по вторичному признаку. Система учится воспроизводить этот баланс.
5. Сложная оптимизация для борьбы с локальными оптимумами: Патент (Приложение А) признает, что прямая оптимизация метрик может застревать в локальных оптимумах. Для решения этой проблемы используется двухэтапное обучение (OSP + PG/LBO), комбинирующее выпуклую аппроксимацию и прямую оптимизацию.

Практика

Best practices (это мы делаем)

Рекомендации особенно актуальны для E-commerce, новостных сайтов и агрегаторов.

• Обеспечение максимальной релевантности предложений: Ключевая задача — максимизировать Целевую характеристику (релевантность). Даже если ваш товар самый дешевый, он может быть исключен из выдачи при сортировке по цене, если его релевантность запросу низкая. Работайте над качеством фидов, точностью названий и описаний товаров.
• Точное соответствие интенту пользователя: Убедитесь, что страница товара точно соответствует тому, что ищет пользователь. Если пользователь ищет «iPhone 15 Pro», а ваша страница предлагает чехол для него, система LSO с высокой вероятностью отфильтрует ваше предложение при сортировке по цене.
• Поддержание актуальности и качества контента (для новостей): При сортировке по дате система также оценивает релевантность и качество. Свежий, но низкокачественный или нерелевантный контент может быть отфильтрован в пользу чуть более старого, но авторитетного и релевантного материала.
• Оптимизация поведенческих факторов: Поскольку Целевая характеристика (релевантность) часто опирается на поведенческие данные (CTR, MRR), важно обеспечивать привлекательные сниппеты и высокий уровень удовлетворенности пользователей на странице.

Worst practices (это делать не надо)

• Манипуляции с ценой для нерелевантных товаров: Попытки занять топ выдачи при сортировке по цене, предлагая очень дешевый, но нерелевантный основному запросу товар (например, аксессуар вместо основного устройства). Алгоритм LSO направлен на борьбу с этой практикой.
• Игнорирование релевантности в пользу свежести: Публикация частого, но поверхностного или кликбейтного контента в надежде занять топ при сортировке по дате. Система оценит компромисс и может предпочесть более качественный контент.
• Неточное категорирование товаров: Размещение товаров в неверных категориях может привести к низкой оценке релевантности и последующему исключению из отсортированной выдачи.

Стратегическое значение

Патент демонстрирует, что Яндекс рассматривает пользовательский опыт в комплексе. Система не позволяет жертвовать релевантностью ради соблюдения формальных критериев сортировки. Для SEO-стратегии это означает, что фундаментальная релевантность и качество предложения являются необходимым условием для ранжирования при любых настройках выдачи. Это повышает порог входа для низкокачественных предложений и спама в конкурентных нишах E-commerce и новостей.

Практические примеры

Сценарий 1: E-commerce (Сортировка по цене)

1. Запрос: «Купить холодильник Bosch KGN39VI31».
2. Действие пользователя: Сортировка по возрастанию цены.
3. Работа системы БЕЗ LSO: В топе могут оказаться полки для холодильника, средства для чистки или фильтры по цене 500 руб, так как они дешевле холодильника.
4. Работа системы С LSO:
   • Система анализирует аксессуары. Несмотря на низкую цену, их релевантность запросу низкая. MLA вычисляет низкий Параметр объекта (включение снизит DCG списка). Аксессуары исключаются.
   • Система анализирует предложения холодильника KGN39VI31. Релевантность высокая. Параметр объекта высокий. Предложения остаются.
5. Результат: Выдача содержит только релевантные холодильники, отсортированные по их реальной цене.

Сценарий 2: Новости (Сортировка по дате)

1. Запрос: «Землетрясение в Турции».
2. Действие пользователя: Сортировка по дате (сначала свежие).
3. Работа системы БЕЗ LSO: В топе могут оказаться свежие посты из блогов или неавторитетных источников с минимальной информацией.
4. Работа системы С LSO:
   • Система анализирует свежий пост из неавторитетного блога. Релевантность и качество низкие. Параметр объекта низкий. Пост исключается или сильно понижается.
   • Система анализирует новость от крупного СМИ, опубликованную на 5 минут раньше блога. Релевантность и качество высокие. Параметр объекта высокий. Новость остается.
5. Результат: Выдача содержит наиболее свежие, но при этом качественные и релевантные новости по теме.

Вопросы и ответы