Как Google рассчитывает «Рейтинг безопасности» запроса для фильтрации или блокировки выдачи (SafeSearch)

Термины и определения

Content Rating Score / Safety Score (Оценка рейтинга контента / Оценка безопасности)

Метрика, рассчитываемая для поискового запроса. Отражает пропорцию результатов поиска, принадлежащих к определенным Content Ratings Classes среди Топ-N результатов. Может быть взвешенной.

Content Ratings Classes (Классы рейтинга контента)

Категории, присваиваемые контенту, указывающие на его пригодность для разных аудиторий. Например, "Suitable for all ages" (Безопасный/Safe) и "Suitable for adults" (Небезопасный/Unsafe/Mature).

Safe Results / Unsafe Results

Результаты поиска, классифицированные как подходящие или неподходящие для презентации соответственно.

Known Safe Results (Известные безопасные результаты)

Подмножество Safe Results, для которых система имеет высокую степень уверенности (Confidence Value) в их классификации.

Borderline Queries (Пограничные запросы)

Запросы, которые возвращают смесь безопасного и небезопасного контента и требуют более глубокого анализа релевантности для принятия решения о фильтрации.

Weight (Вес)

Множитель, применяемый к результатам при расчете Safety Score. Может основываться на популярности (popularity) или релевантности (relevance) результата.

Relevance Score (Оценка релевантности)

Метрика, указывающая, насколько результат поиска соответствует запросу. Рассчитывается на основе различных "типов доказательств" (types of evidence).

Predetermined Threshold Value (Предопределенное пороговое значение)

Значение, с которым сравнивается Safety Score. Может быть динамическим, например, зависеть от длины запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт, выдан в 2023): Описывает основной метод представления результатов поиска.

1. Система получает текст поискового запроса.
2. Определяется пороговое значение (predetermined threshold value) на основе количества слов в запросе. (Логика: более длинные запросы ассоциируются со взрослыми, более короткие — с детьми).
3. Определяется, находится ли Content Rating Score запроса ниже этого порога. Расчет оценки включает:
   • Идентификацию первого набора результатов и их Content Ratings Classes.
   • Определение веса (weight) для каждого результата на основе его популярности (popularity).
   • Расчет оценки как взвешенной пропорции результатов определенных классов.
4. Если оценка НИЖЕ порога:
   • Блокируется показ первого набора результатов.
   • Идентифицируется ВТОРОЙ набор результатов (отфильтрованный).
5. Система вызывает показ второго набора результатов вместе с указанием причины блокировки первого набора.

Claim 2 (Зависимый от 1): Уточняет, что вес также может определяться на основе релевантности (relevance) результата запросу.

Claim 6 (Зависимый от 1): Детализирует логику, если оценка ВЫШЕ порога (т.е. запрос потенциально разрешен).

Система сравнивает релевантность результатов первого класса (например, Safe) и второго класса (например, Unsafe). Если релевантность первого класса схожа или больше, чем второго, идентифицируется и показывается третий набор результатов. Это гарантирует, что безопасный контент достаточно релевантен для показа.

Где и как применяется

Изобретение является ключевым компонентом систем фильтрации контента, таких как SafeSearch или Родительский Контроль.

INDEXING – Индексирование и извлечение признаков
На этом этапе контент должен быть проанализирован и ему должны быть присвоены Content Ratings Classes (Safe/Unsafe). Эти данные сохраняются в индексе.

QUNDERSTANDING – Понимание Запросов
Система анализирует характеристики запроса в реальном времени (например, длину запроса согласно Claim 1), чтобы скорректировать пороговые значения безопасности.

RANKING – Ранжирование
Генерируется первоначальный (неотфильтрованный) набор результатов (Топ-N) и рассчитываются базовые Relevance Scores и метрики популярности.

RERANKING – Переранжирование / METASEARCH – Метапоиск и Смешивание
Основное применение патента. Search Server и Safety Score Server анализируют результаты этапа RANKING:

1. Расчет оценки: Вычисляется Safety Score для запроса на основе рейтингов и весов (популярности/релевантности) топовых результатов.
2. Принятие решения: Оценка сравнивается с порогами (используя логику, например, из FIG. 5) для определения действия (Allow, Block, Filter).
3. Фильтрация: При необходимости генерируется второй набор результатов, состоящий только из безопасного контента, который заменяет исходный набор.

Входные данные:

• Поисковый запрос и его длина.
• Топ-N результатов ранжирования.
• Content Ratings Class и Confidence Value для каждого результата.
• Веса для результатов (популярность, релевантность).

Выходные данные:

• Финальный набор результатов (SERP) или уведомление о блокировке.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные или широкие запросы (Borderline Queries), которые могут возвращать смесь безопасного и зрелого контента.
• Конкретные ниши или тематики: Ниши, связанные со здоровьем, развлечениями, новостями, социальными темами и любым контентом, который может быть классифицирован как Mature (насилие, сексуальный контент, ненормативная лексика).
• Типы контента: В патенте особо упоминаются видео и медиаконтент, но механизм применим к любому типу индексируемого контента.

Когда применяется

• Условия работы: Алгоритм применяется, когда активированы функции безопасности контента (SafeSearch, родительский контроль, детские аккаунты) или когда система идентифицирует пользователя как ребенка (например, на основе длины запроса).
• Триггеры активации: Действия по блокировке или фильтрации активируются, когда Safety Score запроса пересекает определенные пороги (Thresholds).

Пошаговый алгоритм

Описание процесса на основе наиболее детализированной логики принятия решений (FIG. 5).

1. Получение данных и расчет Safety Score: Система рассчитывает Safety Score (взвешенную пропорцию Safe и Unsafe результатов в Топ-N).
2. Проверка на безопасность (Threshold 1): Превышает ли пропорция Safe Results первый высокий порог?
   • Если ДА: Проверяется релевантность Safe Results. Если они релевантны, запрос разрешается (Allow).
3. Проверка на опасность (Threshold 2): Если Threshold 1 не достигнут, превышает ли пропорция Unsafe Results второй порог?
   • Если ДА: Запрос блокируется (Block).
4. Обработка пограничных случаев (Borderline): Если ни Threshold 1, ни Threshold 2 не сработали.
5. Идентификация надежных результатов: Идентифицируются Known Safe Results (результаты с высокой уверенностью в безопасности).
6. Проверка количества (Threshold 3): Превышает ли количество Known Safe Results третий порог?
   • Если НЕТ: Запрос блокируется (Block).
7. Сравнение релевантности: Если Threshold 3 достигнут, система сравнивает агрегированную релевантность Known Safe Results с агрегированной релевантностью Unsafe Results.
8. Финальное решение:
   • Если Safe релевантнее или схожи по релевантности с Unsafe: Показывается отфильтрованная выдача (Filter).
   • Если Safe значительно менее релевантны, чем Unsafe: Запрос блокируется (Block).

Какие данные и как использует

Данные на входе

• Данные о классификации контента (Системные): Критически важные данные – Content Ratings Class (Safe/Unsafe), присвоенный каждому документу в индексе. Также используется Confidence Value этой классификации.
• Поведенческие факторы (Popularity): В Claim 1 явно указано использование популярности (popularity) для взвешивания результатов при расчете Safety Score. Упоминаются просмотры, длительность просмотра, клики.
• Метрики релевантности: Relevance Score результатов по отношению к запросу.
• Технические факторы (Характеристики запроса): Длина запроса (number of words) используется для динамической настройки пороговых значений безопасности (Claim 1).
• Пользовательские факторы (Опционально, FIG. 6): Возраст, пол, история поиска, IP-адрес (локация), информация об устройстве могут использоваться обученным классификатором для оценки безопасности запроса.

Какие метрики используются и как они считаются

• Safety Score (Content Rating Score): Взвешенная пропорция Safe/Unsafe контента в Топ-N. Пример формулы (без весов):