Как Яндекс использует машинное обучение для пессимизации кликбейта и нежелательного контента в системах рекомендаций

Описание

Какую задачу решает

Патент решает проблему завышенного ранжирования нерелевантного или нежелательного контента в системах рекомендаций. Основная уязвимость, которую устраняет изобретение, — это манипуляции типа «click-bait» (приманка для клика). Традиционные рекомендательные системы часто полагаются на предыдущие взаимодействия пользователей (клики) как на основной сигнал релевантности. Кликбейт эксплуатирует это, используя провокационные заголовки, что приводит к высокой вовлеченности, даже если сам контент не представляет ценности. Патент внедряет механизм для идентификации и понижения такого контента в выдаче.

Что запатентовано

Запатентована система и способ для уточнения списка рекомендаций путем интеграции независимых оценок качества контента. Суть изобретения заключается в использовании двух разных алгоритмов машинного обучения (MLA): одного для определения персонализированной релевантности (MLA персонализированного ранжирования) и второго, независимого от пользователя, для определения степени нежелательности контента или его источника (MLA классификации). Система генерирует «понижающую оценку» для нежелательного контента и использует ее для корректировки персонализированной оценки, понижая финальный ранг таких элементов.

Как это работает

Система работает в несколько этапов. Сначала MLA персонализированного ранжирования (MLA 1) генерирует исходный список рекомендаций, оценивая релевантность элементов для пользователя на основе его истории и факторов элемента. Затем не зависящий от пользователя MLA классификации (MLA 2) анализирует контент и/или веб-ресурс (источник). Этот второй MLA обучен классифицировать контент на основе заранее определенных правил (например, выявлять кликбейт, шок-контент) и генерирует понижающую оценку. На финальном этапе система создает уточненную оценку ранжирования, комбинируя персонализированную и понижающую оценки. Список переранжируется, в результате чего нежелательный контент опускается ниже.

Актуальность для SEO

Высокая. Борьба с кликбейтом, фейковыми новостями и низкокачественным контентом является ключевым приоритетом для всех крупных контентных платформ и рекомендательных систем (таких как Дзен). Описанный механизм, разделяющий оценку вовлеченности и оценку качества контента, является стандартным подходом в современных системах ранжирования и анти-спама.

Важность для SEO

Влияние на SEO значительно (7/10). Хотя патент напрямую описывает работу рекомендательных систем, используемые технологии оценки качества контента и источников (MLA классификации) универсальны и, вероятно, применяются Яндексом повсеместно, в том числе в основном поиске (например, алгоритмы Антикачества). Патент демонстрирует конкретный механизм пессимизации, который может аннулировать позитивные поведенческие сигналы, если контент или сайт классифицирован как нежелательный или манипулятивный.

Детальный разбор

Термины и определения

MLA персонализированного ранжирования (Первый MLA / MLA 1)

Алгоритм машинного обучения (MLA 116), который определяет релевантность элемента для конкретного пользователя. Он обучается и работает на основе факторов элемента и истории взаимодействий пользователя с сервисом. Генерирует Персонализированную оценку ранжирования.

Не зависящий от пользователя MLA классификации (Второй MLA / MLA 2)

Алгоритм машинного обучения (MLA 118), который оценивает качество и тип контента независимо от пользователя. Он обучается на основе заранее определенных правил или оценок асессоров для классификации контента (например, как нежелательный или нейтральный). Генерирует Понижающую оценку.

Персонализированная оценка ранжирования (Personalized Ranking Score)

Оценка, генерируемая Первым MLA. Указывает на расчетную релевантность элемента для конкретного пользователя.

Понижающая оценка (Downgrading Score)

Оценка, генерируемая Вторым MLA. Указывает на степень нежелательности содержимого или его источника (веб-ресурса). Используется как штрафной фактор.

Уточненная оценка ранжирования (Refined Ranking Score)

Финальная оценка, используемая для ранжирования. Является результатом комбинации Персонализированной и Понижающей оценок. В патенте указано, что уточненная оценка меньше персонализированной оценки для нежелательного контента.

Нежелательное содержимое (Undesirable Content)

Контент, который нарушает правила платформы или является манипулятивным. Примеры в патенте: «click-bait» (приманка для клика), жестокое, сексуального характера, кровавое, непристойное содержимое.

Веб-ресурс

Источник контента. Может интерпретироваться как отдельная веб-страница или как множество веб-страниц, расположенных на общем домене (сайт).

Факторы элемента (Item Factors)

Признаки, описывающие элемент контента. Включают характеристики, основанные на содержимом (тема, длина), и метрики популярности (число лайков, кликов).

Ключевые утверждения (Анализ Claims)

Патент защищает метод уточнения рекомендаций путем введения независимой от пользователя оценки качества контента для пессимизации нежелательных элементов.

Claim 1 (Независимый пункт): Описывает основной процесс работы системы.

1. Получение запроса на рекомендации и истории пользователя.
2. Создание исходного ранжированного списка с помощью MLA 1. Для каждого элемента генерируется Персонализированная оценка ранжирования (релевантность для пользователя).
3. Создание Понижающей оценки для каждого элемента с помощью MLA 2 (не зависящего от пользователя).
   • Этот MLA обучен классифицировать содержимое, поступающее с веб-ресурса, на классы и генерировать оценку, указывающую на степень нежелательности.
4. Создание Уточненной оценки ранжирования на основе Персонализированной и Понижающей оценок. Уточненная оценка меньше персонализированной (т.е. применяется штраф).
5. Создание Модифицированного ранжированного списка путем сортировки по Уточненным оценкам. Ранг нежелательного элемента понижается (уточненный ранг меньше данного ранга).
6. Представление модифицированного списка пользователю.

Claim 4, 5, 6 (Зависимые пункты): Уточняют, как MLA 2 определяет Понижающую оценку. Это критически важные пункты, определяющие скоуп анализа качества.

• Claim 4 (Оценка ресурса): Понижающая оценка может основываться на агрегированном содержимом ВСЕХ элементов, содержащихся на соответствующем веб-ресурсе (оценка качества сайта/домена в целом).
• Claim 5 (Оценка элемента): Понижающая оценка может основываться только на содержимом соответствующего элемента (оценка качества конкретной страницы/статьи).
• Claim 6 (Гибридная оценка): Понижающая оценка может быть взвешенной комбинацией оценки ресурса (Claim 4) и оценки элемента (Claim 5).

Claim 13, 14 (Зависимые пункты): Уточняют временные аспекты.

• Классификация содержимого веб-ресурса с помощью MLA 2 может выполняться на периодической основе (Claim 13) и может меняться со временем (Claim 14).

Где и как применяется

Изобретение применяется в рамках рекомендательных систем (таких как Дзен или рекомендательные блоки Яндекса). Оно затрагивает этап RANKING, а именно пост-обработку и переранжирование результатов.

Слой Ранжирования (RANKING LAYER)

На этом этапе работает MLA 1 (Модуль Персонализации). Он отвечает за генерацию первичного ранжированного списка.

• Вход: История пользователя, Факторы элементов.
• Выход: Персонализированные оценки ранжирования.

Слой Качества и Метрик (QUALITY & GOVERNANCE LAYER)

На этом этапе работает MLA 2 (Модуль Классификации/Антикачества). Он оценивает качество и безопасность контента независимо от пользователя. Функционально схож с фильтрами Anti-Quality.

• Вход: Содержимое элемента и/или агрегированное содержимое веб-ресурса.
• Выход: Понижающие оценки (штрафы).

Reranking/Post-processing

На финальном этапе система объединяет выходы MLA 1 и MLA 2 для создания Уточненной оценки и формирования Модифицированного списка.

На что влияет

• Конкретные типы контента и тактики: Алгоритм напрямую влияет на видимость контента, использующего манипулятивные тактики, в первую очередь кликбейт. Также он направлен против контента, нарушающего правила: жестокого, сексуального характера, кровавого, непристойного.
• Веб-ресурсы (Сайты): Патент явно указывает (Claim 4, 6), что оценка может применяться на уровне всего веб-ресурса. Это означает, что сайты, систематически публикующие нежелательный контент, могут получить штраф, который повлияет на все их материалы в рекомендациях.
• Ниши и тематики: Влияние будет сильнее в тематиках, где часто используется кликбейт (новости, знаменитости, здоровье (YMYL), финансы).

Когда применяется

• Условия работы: Алгоритм применяется при генерации списка рекомендаций для пользователя.
• Триггеры активации: Активация штрафа (генерация ненулевой Понижающей оценки) происходит, когда MLA 2 классифицирует контент или его источник как принадлежащий к одному из классов «нежелательного содержимого».
• Временные рамки: Оценка релевантности (MLA 1) происходит в реальном времени. Оценка качества (MLA 2) может происходить как в реальном времени (для элемента), так и периодически в офлайн-режиме (для всего веб-ресурса) (Claim 13).

Пошаговый алгоритм

Процесс А: Офлайн-процессы (Обучение и Периодическая Классификация)

1. Определение правил: Оператор системы определяет правила для нежелательного контента.
2. Подготовка данных: Создание обучающих данных (с помощью асессоров) или эвристических индикаторов.
3. Обучение MLA 2: Алгоритм обучается классифицировать контент и генерировать Понижающие оценки.
4. Периодическая классификация: MLA 2 периодически анализирует контент веб-ресурсов и обновляет Понижающие оценки (Claims 13-15).

Процесс Б: Обработка запроса в реальном времени

1. Получение запроса: Сервер получает запрос на рекомендации и историю пользователя.
2. Персонализированное ранжирование (MLA 1): Генерация Персонализированных оценок ранжирования для кандидатов. Создание Первичного ранжированного списка.
3. Получение Понижающих оценок (MLA 2): Для каждого элемента извлекается (если рассчитана заранее) или рассчитывается Понижающая оценка.
4. Расчет Уточненных оценок: Комбинирование Персонализированной оценки и Понижающей оценки для каждого элемента.
5. Переранжирование: Создание Модифицированного ранжированного списка на основе Уточненных оценок. Ранги элементов с высокими Понижающими оценками уменьшаются.
6. Фильтрация (Опционально): Ограничение списка до Топ-N.
7. Выдача: Представление Модифицированного списка пользователю.

Какие данные и как использует

Данные на входе

Система использует разные наборы данных для двух разных MLA.

Для MLA 1 (Персонализация):

• Поведенческие факторы: Предыдущие взаимодействия пользователя с сервисом (клики, лайки, репосты, прокрутки, загрузки).
• Факторы элемента: Метрики популярности элемента среди всех пользователей (общий CTR), а также присущие элементу характеристики (категория, длина, тема и т.д.).

Для MLA 2 (Классификация Качества):

• Контентные факторы: Содержимое элемента (заголовки, текст, изображения). Анализ на наличие признаков кликбейта или запрещенных тем.
• Структурные/Технические факторы: В патенте упоминаются индикаторы нежелательного контента, такие как наличие триггеров для всплывающих окон или чрезмерное количество рекламы (Параграф).
• Данные о Веб-ресурсе: Агрегированное содержимое всех элементов, поступающих с данного веб-ресурса (домена).

Для обучения MLA 2:

• Правила в отношении содержимого (Политики платформы).
• Данные асессоров или эвристические индикаторы.

Какие метрики используются и как они считаются

• Персонализированная оценка ранжирования: Метрика релевантности. Вычисляется MLA 1.
• Понижающая оценка: Метрика нежелательности (штраф). Вычисляется MLA 2. Расчет может производиться тремя способами (Claims 4, 5, 6):
  • На основе анализа только данного элемента.
  • На основе анализа всего веб-ресурса (домена).
  • Как взвешенная сумма оценки элемента и оценки веб-ресурса (Гибридный расчет):
    $Score_{Downgrade} = W_1 \cdot Score_{Host} + W_2 \cdot Score_{Item}$
• Уточненная оценка ранжирования: Итоговая метрика для ранжирования. Комбинация Персонализированной и Понижающей оценок. Патент не дает конкретной формулы, но указывает, что Уточненная оценка меньше Персонализированной, если контент нежелателен.

Выводы

1. Разделение Релевантности и Качества: Яндекс четко разделяет персонализированную релевантность (основанную на интересах и вовлеченности) и объективное качество/безопасность контента (основанное на правилах платформы). Это два независимых процесса, выполняемых разными ML-моделями (MLA 1 и MLA 2).
2. Пессимизация за Кликбейт: Патент явно нацелен на борьбу с кликбейтом. Система спроектирована так, чтобы высокие показатели вовлеченности (CTR) не гарантировали высокий ранг, если контент признан манипулятивным.
3. Важность Качества Источника (Веб-ресурса): Критически важным является возможность применения Понижающей оценки на уровне всего веб-ресурса (домена) (Claim 4, 6). Если сайт в целом классифицирован как нежелательный, все его материалы могут быть оштрафованы.
4. Гибкость Оценки Качества: Яндекс может использовать гибридный подход, учитывая как качество отдельного материала, так и репутацию источника, и настраивать веса между ними.
5. Динамическая классификация: Оценка качества ресурса не является постоянной. Она может пересматриваться периодически (Claim 13) и меняться со временем (Claim 14), позволяя ресурсам как попадать под санкции, так и выходить из-под них.

Практика

Best practices (это мы делаем)

Рекомендации актуальны в первую очередь для платформ дистрибуции контента, таких как Яндекс Дзен, но отражают общие принципы качества Яндекса.

• Отказ от кликбейта в заголовках: Необходимо использовать точные, информативные и не манипулятивные заголовки. Патент прямо указывает, что провокационные или скандальные заголовки являются признаком нежелательного контента, который будет пессимизирован MLA классификации (MLA 2).
• Поддержание высокого качества всего веб-ресурса: Поскольку Понижающая оценка может рассчитываться на основе агрегированного контента всего сайта (Claim 4, 6), критически важно поддерживать стабильно высокое качество всех материалов. Нельзя компенсировать низкокачественный контент наличием нескольких хороших статей.
• Соблюдение правил платформы: Необходимо строго соблюдать правила контентных платформ Яндекса. Контент, классифицированный как жестокий, непристойный или иным образом нежелательный, будет автоматически понижен в ранге.
• Обеспечение чистого пользовательского опыта: Избегайте агрессивной монетизации. В патенте (Параграф) упоминаются всплывающие окна и избыток рекламы как примеры индикаторов нежелательного контента, которые могут использоваться для обучения MLA 2.

Worst practices (это делать не надо)

• Использование кликбейтных заголовков и шок-контента: Это основная тактика, против которой направлен патент. Высокий CTR, полученный таким образом, будет нивелирован Понижающей оценкой.
• Смешивание качественного и низкокачественного контента на одном домене: Если часть контента на сайте будет классифицирована как нежелательная, это может негативно повлиять на ранжирование всего веб-ресурса из-за механизма агрегированной оценки источника (Claim 4, 6).
• Манипуляции поведенческими факторами: Попытки искусственно завысить показатели вовлеченности на низкокачественном контенте. Система компенсирует высокую вовлеченность за счет Понижающей оценки, если контент признан нежелательным.

Стратегическое значение

Этот патент подтверждает стратегию Яндекса по автоматизированному контролю качества контента и борьбе с манипуляциями (Anti-Quality). Он показывает, что поведенческие факторы не являются единственным мерилом успеха; они проходят через фильтр качества. Для SEO это означает, что соответствие редакционным стандартам и политикам качества Яндекса является обязательным условием для успешного ранжирования в рекомендательных системах. Долгосрочная стратегия должна строиться на создании авторитетного веб-ресурса с чистой репутацией.

Практические примеры

Сценарий 1: Пессимизация кликбейта

1. Контент: Статья с заголовком «ШОК! Вы не поверите, что этот политик сделал прошлой ночью!».
2. Работа MLA 1: Статья получает много кликов из-за заголовка. MLA 1 рассчитывает высокую Персонализированную оценку (например, 0.9). Исходный ранг – 1.
3. Работа MLA 2: MLA 2 анализирует заголовок и текст, идентифицирует паттерны кликбейта. Классифицирует статью как «Нежелательное содержимое» и генерирует высокую Понижающую оценку (например, 0.7).
4. Результат: Уточненная оценка рассчитывается (например, 0.9 — 0.7 = 0.2). Статья переранжируется и падает на 20 позицию в ленте, уступая место менее популярному, но более качественному контенту.

Сценарий 2: Пессимизация на уровне хоста (Гибридный подход)

1. Контент: Нормальная статья о садоводстве на сайте, который в основном публикует «желтые» новости.
2. Работа MLA 1: Статья релевантна пользователю. Персонализированная оценка – 0.8.
3. Работа MLA 2 (Гибридный анализ — Claim 6):
   1. Анализ статьи (Item): Статья нейтральна. Оценка на уровне документа – 0.1.
   2. Анализ хоста (Host): Анализ агрегированного контента сайта показывает систематическое использование кликбейта. Оценка на уровне хоста – 0.8.
   3. Расчет Понижающей оценки (взвешенная сумма, например, 50/50): (0.5 * 0.1) + (0.5 * 0.8) = 0.45.
4. Результат: Уточненная оценка (0.8 — 0.45 = 0.35). Даже качественная статья пессимизируется из-за плохой репутации источника.

Вопросы и ответы