Как Google использует «Оценку безопасности» (Safety Score) для блокировки запросов и фильтрации выдачи (SafeSearch)

Описание

Какую задачу решает

Патент решает проблему предотвращения показа нежелательного или зрелого контента (mature content – насилие, сексуальный контент, ненормативная лексика и т.д.) в результатах поиска, особенно для уязвимых пользователей, таких как дети. Основная задача — улучшить работу систем фильтрации (например, SafeSearch) путем точной идентификации запросов, которые могут привести к появлению такого контента, и динамического управления выдачей.

Что запатентовано

Запатентована система для оценки безопасности поискового запроса и принятия решений о фильтрации. Система вычисляет Safety Score (или Content Rating Score) для запроса, анализируя пропорцию безопасных и небезопасных результатов в выдаче. Ключевым элементом является сложная логика принятия решений, которая учитывает не только эту оценку, но и релевантность безопасных результатов, а также контекстные сигналы (например, длину запроса), чтобы решить: разрешить, заблокировать или отфильтровать запрос.

Как это работает

Система работает после основного ранжирования:

• Сбор данных: Извлекаются Топ-N результатов и их предварительно присвоенные классы рейтинга контента (Content Ratings Classes, например, Safe/Unsafe).
• Расчет Safety Score: Вычисляется пропорция безопасных/небезопасных результатов. Эта пропорция взвешивается по релевантности или позиции результата (более высокие результаты имеют больший вес).
• Динамические пороги: Строгость фильтрации может корректироваться. Например, короткие запросы считаются более вероятно детскими и фильтруются строже (Claim 2).
• Принятие решения: Оценка сравнивается с порогами. В пограничных случаях (Borderline Queries) система сравнивает релевантность безопасных и небезопасных результатов. Если безопасные результаты недостаточно релевантны, запрос может быть заблокирован полностью.
• Действие: Выдача разрешается, фильтруется (показываются только надежно безопасные результаты) или блокируется.

Актуальность для SEO

Высокая. Хотя это продолжение заявки 2015 года, механизмы, лежащие в основе SafeSearch, родительского контроля и специализированных продуктов (например, YouTube Kids), остаются критически важными для Google. Обеспечение безопасности контента является постоянным приоритетом.

Важность для SEO

Влияние на SEO: 6/10 (Значительное в контексте фильтрации). Патент не описывает основное ранжирование, но он критически важен для видимости в фильтрованных средах (SafeSearch). Если контент или сайт ошибочно классифицирован как Unsafe, он будет полностью исключен из выдачи для значительной части пользователей (дети, школы, пользователи с включенными фильтрами). Понимание механизмов классификации безопасности и взаимодействия с релевантностью жизненно важно для многих вертикалей.

Детальный разбор

Термины и определения

Borderline Queries (Пограничные запросы)

Запросы, которые возвращают смешанный набор безопасного и небезопасного контента. Требуют сложной логики для принятия решения о фильтрации.

Content Rating Score / Safety Score (Оценка рейтинга контента / Оценка безопасности)

Ключевая метрика, рассчитываемая для поискового запроса. Отражает пропорцию результатов, принадлежащих к определенным классам безопасности, среди Топ-N результатов.

Content Ratings Classes (Классы рейтинга контента)

Предварительно присвоенные категории контента, указывающие на его пригодность для аудитории (например, G, Y, PG, MA, X). Часто упрощаются до Safe (Безопасный) и Unsafe/Mature (Небезопасный/Взрослый).

Information Retrieval (IR) Score (Оценка информационного поиска)

Базовая оценка релевантности и качества результата. Может использоваться для взвешивания результатов при расчете Safety Score.

Known Safe Results (Известные безопасные результаты)

Результаты, классифицированные как безопасные с высоким уровнем уверенности (Confidence Value). Критичны для обработки пограничных запросов.

Relevance Score (Оценка релевантности)

Метрика, указывающая, насколько результат соответствует запросу. Используется для взвешивания и сравнения релевантности Safe и Unsafe результатов.

Trained Classifier (Обученный классификатор)

ML-модель, используемая для классификации самого запроса по уровню безопасности на основе контекстных признаков (пользователь, история, текст запроса) (FIG. 6).

Ключевые утверждения (Анализ Claims)

Анализ основан на Claims, представленных в публикации US20240086413A1 (начиная с Claim 2, так как Claim 1 отменен).

Claim 2 (Независимый пункт): Описывает метод адаптивной фильтрации с динамическими порогами.

1. Система получает текст поискового запроса.
2. Определяется пороговое значение (predetermined threshold value) на основе количества слов в запросе. Это используется как прокси возраста пользователя: длинные запросы = вероятно взрослый (порог менее строгий); короткие запросы = вероятно ребенок (порог более строгий).
3. Определяется, находится ли content rating score (Safety Score) запроса ниже этого динамически установленного порога.
4. Если ДА (оценка ниже порога), система блокирует первую часть результатов (небезопасные) и показывает вторую часть (безопасные), а также уведомление о причине блокировки.

Ядро изобретения в этом патенте — использование длины запроса для динамической корректировки строгости фильтрации.

Claim 6 (Зависимый): Детализирует логику сравнения релевантности (соответствует логике FIG. 5).

Если content rating score выше порога (т.е. выдача потенциально допустима), система сравнивает релевантность безопасных результатов (первый класс) с релевантностью небезопасных (второй класс). Если безопасные результаты схожи по релевантности или более релевантны, система показывает набор результатов.

Claim 8 (Зависимый): Описывает процесс тестирования и калибровки системы с помощью асессоров (human annotator), которые пытаются обойти фильтры, вводя различные варианты запросов. Система анализирует эти попытки для корректировки расчета content rating score.

Где и как применяется

Изобретение применяется на финальных этапах обработки запроса для фильтрации выдачи в защищенных средах.

INDEXING – Индексирование и извлечение признаков
На этом этапе контенту присваиваются Content Ratings Classes (например, Safe/Unsafe) и рассчитывается уровень уверенности (Confidence Value) в этой классификации. Эти данные сохраняются в индексе.

RANKING – Ранжирование
Генерируется первоначальный Топ-N результатов на основе стандартных сигналов (IR Scores, Relevance Scores).

RERANKING – Переранжирование (Фильтрация)
Основное применение патента. Система действует как фильтр (Twiddler).

1. Расчет оценки: Safety Score Server анализирует Топ-N результатов и вычисляет Safety Score для запроса.
2. Принятие решения: Search Server применяет сложную логику (FIG. 5). Он сравнивает Safety Score с порогами (которые могут быть динамическими согласно Claim 2) и сравнивает релевантность Safe и Unsafe результатов.
3. Корректировка SERP: Система удаляет небезопасные результаты или блокирует всю выдачу.

Входные данные:

• Поисковый запрос и его характеристики (длина).
• Топ-N результатов ранжирования.
• Content Ratings Classes и Confidence Values для каждого результата.
• Relevance Scores результатов.

Выходные данные:

• Отфильтрованный набор результатов поиска.
• ИЛИ: Сообщение о блокировке запроса.

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние в чувствительных тематиках (взрослый контент, насилие, ненормативная лексика) и детских нишах.
• Специфические запросы: Влияет на неоднозначные или широкие запросы (Borderline Queries), которые могут возвращать смешанный контент.
• Типы контента: Особенно актуально для медиаконтента (видео, изображения), но применимо ко всем типам.

Когда применяется

• Условия применения: Алгоритм активируется в средах с включенной фильтрацией контента: SafeSearch, Родительский контроль (Parental Controls), специализированные детские приложения (например, YouTube Kids) или сети с принудительной фильтрацией (школы).
• Триггеры активации: Решение о фильтрации или блокировке принимается, когда Safety Score достигает определенных пороговых значений.

Пошаговый алгоритм

Детальный алгоритм принятия решений о фильтрации (на основе FIG. 5):

1. Получение данных и расчет Safety Score: Система вычисляет пропорцию безопасных (Safe) и небезопасных (Unsafe) результатов.
2. Проверка высокой безопасности (Порог 1): Превышает ли доля Safe результатов Порог 1 (например, 90%)?
   • Если ДА: Проверяется, релевантны ли Safe результаты. Если да -> Разрешить запрос (Allow).
   • Если НЕТ (или нерелевантны): Переход к шагу 3.
3. Проверка высокой опасности (Порог 2): Превышает ли доля Unsafe результатов Порог 2 (например, 50%)?
   • Если ДА: Блокировать запрос (Block).
   • Если НЕТ: Переход к шагу 4 (Пограничный случай).
4. Анализ пограничного случая: Идентифицируются результаты, известные как безопасные с высокой уверенностью (Known Safe Results).
5. Проверка достаточности (Порог 3): Превышает ли количество Known Safe Results Порог 3 (например, минимум 3 результата)?
   • Если НЕТ: Блокировать запрос (недостаточно качественной безопасной выдачи).
   • Если ДА: Переход к шагу 6.
6. Сравнение релевантности: Сравнивается агрегированная релевантность Known Safe Results с релевантностью Unsafe результатов.
   • Если Known Safe менее релевантны, чем Unsafe: Блокировать запрос (чтобы не показывать нерелевантную выдачу).
   • Если Known Safe схожи или более релевантны: Разрешить частично (Allow Some Results) — показываются только Known Safe Results.

Какие данные и как использует

Данные на входе

• Классификационные факторы (Ключевые): Предварительно рассчитанные Content Ratings Classes (рейтинги контента: G, Y, PG, MA, X) и связанные с ними Confidence Values (уверенность в рейтинге).
• Контентные факторы: Заголовки, описания, метаданные результатов используются для расчета Relevance Score (FIG. 7).
• Поведенческие факторы: Популярность результата, статистика просмотров, данные о кликах, данные о совместных посещениях (co-visitation information). Используются для оценки релевантности и взвешивания при расчете Safety Score.
• Факторы запроса: Длина запроса (количество слов). Используется для динамической корректировки порогов фильтрации (Claim 2).
• Пользовательские и контекстные факторы (FIG. 6): Данные профиля пользователя (возраст), информация об устройстве, IP-адрес (например, школа), время запроса, предыдущая активность. Используются для классификации запроса.

Какие метрики используются и как они считаются

• Safety Score (Content Rating Score): Рассчитывается как пропорция. Пример формулы для доли зрелого контента (MA/X) среди классифицированных результатов (MA/X + G/Y): (MA & X) / ((MA & X) + (G & Y)).
• Взвешивание (Weighting): При расчете Safety Score результаты взвешиваются. Вес может определяться на основе:
  • Релевантности/Позиции (R). Пример формулы веса: 1 / ((R+1)^p). Более высокие результаты имеют больший вес.
  • Information Retrieval Score или Популярности.
• Relevance Score: Рассчитывается путем комбинирования оценок вероятности релевантности для каждого термина запроса и каждого типа доказательств (FIG. 7).
• Пороги (Thresholds 1, 2, 3): Значения для принятия решений в логике FIG. 5. Могут быть динамическими (например, корректироваться на основе длины запроса).

Выводы

1. Оценка безопасности на уровне запроса (SERP): Safety Score вычисляется не для URL, а для всего набора Топ-N результатов по запросу. Безопасность выдачи зависит от контекста запроса и совокупности результатов.
2. Релевантность критична для показа безопасного контента: В пограничных случаях система активно сравнивает релевантность Safe и Unsafe результатов. Если безопасный контент значительно менее релевантен, запрос будет заблокирован полностью, чтобы не ухудшать пользовательский опыт.
3. Взвешивание по релевантности/позиции: При расчете Safety Score больший вес придается результатам в топе. Небезопасный контент на первой позиции оказывает большее влияние на оценку, чем на десятой.
4. Динамическая адаптация порогов (Claim 2): Система использует характеристики запроса (например, длину) как прокси для определения возраста пользователя, динамически корректируя строгость фильтрации. Короткие запросы фильтруются строже.
5. Важность уверенности в классификации: Для пограничных запросов система полагается только на результаты, классифицированные как безопасные с высокой степенью уверенности (Known Safe Results).
6. Многофакторный анализ: Помимо анализа результатов, система может использовать ML-классификатор для анализа самого запроса и контекста пользователя (FIG. 6).

Практика

Best practices (это мы делаем)

• Обеспечение четких сигналов о характере контента: Используйте ясные заголовки, описания и структуру, чтобы помочь системам Google корректно определить Content Rating Class вашего контента. Избегайте двусмысленностей, которые могут привести к классификации как Mature Content.
• Фокус на высокой релевантности для безопасного контента: В неоднозначных нишах ваш безопасный контент должен быть максимально релевантным. Это критично, так как в пограничных случаях система сравнивает релевантность Safe и Unsafe результатов. Высокая релевантность увеличивает шансы на показ в отфильтрованной выдаче (SafeSearch).
• Сегментация контента: Если сайт содержит контент разной направленности, четко разделяйте безопасный и зрелый контент (например, по поддоменам или директориям), чтобы избежать перекрестного влияния на классификацию.
• Мониторинг видимости в SafeSearch: Регулярно проверяйте, как ваш контент ранжируется при включенном режиме SafeSearch. Падение видимости указывает на проблемы с классификацией безопасности.

Worst practices (это делать не надо)

• Двусмысленные или кликбейтные заголовки: Использование терминов, которые могут быть интерпретированы как зрелый контент, для привлечения трафика к безопасному контенту может привести к его фильтрации.
• Смешивание контента: Размещение контента для детей рядом со зрелым контентом усложняет классификацию и повышает риски пессимизации безопасного контента.
• Игнорирование релевантности: Создание контента, который является «безопасным», но нерелевантным запросам. Система может заблокировать выдачу, если безопасные результаты значительно уступают в релевантности небезопасным.

Стратегическое значение

Патент демонстрирует сложность систем фильтрации Google (SafeSearch). Для SEO важно понимать, что это не просто бинарный фильтр, а сложная система, которая взвешивает риск показа нежелательного контента против риска показа нерелевантного контента. Стратегия должна быть направлена на то, чтобы контент был не только корректно классифицирован как безопасный, но и обладал высокой конкурентоспособной релевантностью, чтобы пройти через все этапы проверки в пограничных случаях.

Практические примеры

Сценарий: Обработка двусмысленного запроса в режиме SafeSearch

1. Запрос: Пользователь с включенным SafeSearch ищет «Bands» (Группы).
2. Исходная выдача (Топ-5): 1. Рок-группа (Unsafe); 2. Рок-группа (Unsafe); 3. Статья о рок-музыке (Unsafe); 4. Детская музыкальная группа (Safe); 5. Резиновые ленты (Safe).
3. Расчет Safety Score: 3/5 результатов небезопасны. Это пограничный случай (Borderline Query).
4. Анализ пограничного случая: Система идентифицирует результаты 4 и 5 как Known Safe Results. Допустим, порог количества (Threshold 3) пройден.
5. Сравнение релевантности: Система сравнивает релевантность результатов 1-3 с результатами 4-5.
6. Вариант А (Фильтрация): Если детская группа и резиновые ленты признаны достаточно релевантными запросу «Bands». Система покажет отфильтрованную выдачу, состоящую только из результатов 4, 5 и других безопасных результатов.
7. Вариант Б (Блокировка): Если система считает, что результаты 4 и 5 слабо релевантны по сравнению с результатами 1-3. Система полностью блокирует запрос и показывает сообщение: «Sorry, your search query has been blocked».

Вопросы и ответы