Как Google использует машинное обучение для обнаружения и удаления "revenge porn" и другого неконсенсусного контента из поиска

Термины и определения

Amateur Imagery (Любительские изображения)

Контент, классифицированный как не являющийся профессионально созданным. Ключевой индикатор для POC.

Content Evaluation Engine (Механизм оценки контента)

Компонент, который получает контент (по жалобам или проактивно) и классифицирует его как POC или нет, используя два классификатора.

Filtering Engine (Механизм фильтрации)

Компонент, который удаляет результаты поиска из выдачи на основе данных из Resource Attributes и классификации запроса.

Objectionable Content (Нежелательный контент)

Контент, который является оскорбительным, неприятным или неприемлемым в целом (например, порнография, насилие).

Objectionable Content Classifier (Классификатор нежелательного контента)

Модель (например, нейронная сеть), обученная определять, содержит ли контент нежелательные элементы.

Personally Objectionable Content (POC) (Лично нежелательный контент)

Нежелательный контент, связанный с конкретным человеком и размещенный без его согласия. Определяется как (Нежелательный контент) И (НЕ Профессиональный контент).

Pro Content Classifier (Классификатор профессионального контента)

Модель, обученная определять, выглядит ли контент как профессионально созданный (Professionally Produced Content).

Query Classifier (Классификатор запросов)

Компонент, определяющий намерение запроса — ищет ли он POC. Использует сигналы запроса и сигналы результатов поиска.

Resource Attributes (Атрибуты ресурса)

База данных (черный список), хранящая информацию о ресурсах (страницах, изображениях, сайтах), которые были идентифицированы как содержащие POC.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает процесс проактивного (preemptive) обнаружения и фильтрации POC, инициированный поисковым запросом.

1. Система получает первый поисковый запрос (Query 1).
2. Определяется, что Query 1 запрашивает POC. Ключевой фактор для этого определения, указанный в патенте: измерение популярности запроса (measure of popularity) НЕ достигает порогового значения (popularity threshold).
3. В ответ на это инициируется процесс классификации ресурса, найденного в результатах Query 1:
   • Получение изображения из ресурса.
   • Классификация изображения как содержащего Objectionable Content (Классификатор 1).
   • Классификация изображения как содержащего Amateur Imagery (т.е. НЕ профессионального) (Классификатор 2).
   • Ресурс помечается как вероятно содержащий POC.
4. Система получает второй поисковый запрос (Query 2) от пользователя.
5. Получаются результаты для Query 2, включающие ресурс, классифицированный на шаге 3.
6. Система проактивно фильтрует (удаляет) этот ресурс из результатов Query 2 до того, как они будут показаны пользователю.

Ядро изобретения — использование непопулярности запроса как триггера для запуска глубокого анализа контента (двойная классификация) и последующая проактивная фильтрация этого контента в будущих запросах.

Claim 3 (Зависимый от 1 и 2): Детализирует последствия классификации.

Если ресурс определен как содержащий Objectionable Content и Amateur Imagery, он официально обозначается (designating) как содержащий POC. После этого он фильтруется как из результатов Query 1, так и из результатов Query 2.

Claim 6-10 (Зависимые от 1): Детализируют дополнительные методы определения того, что запрос ищет POC (в дополнение к низкой популярности из Claim 1).

• (Claim 6, 7): Определение, что имя в запросе НЕ является именем известной личности (famous person) или порноактера/актрисы.
• (Claim 8): Определение, что запрос включает термин, связанный с POC (например, «revenge», «nude»).
• (Claim 9): Определение, что результаты поиска НЕ идентифицируют ресурсы с профессионально созданным контентом.
• (Claim 10): Определение, что топовые результаты поиска НЕ имеют оценок качества (quality scores), удовлетворяющих пороговому значению.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, фокусируясь на обработке запросов и финальной фильтрации.

CRAWLING & INDEXING – Сканирование и Индексирование
Indexing Engines могут использовать базу данных Resource Attributes (черный список) при создании или обновлении индексов. Они могут либо полностью исключать ресурсы с POC из индекса, либо помечать их соответствующим образом. Content Evaluation Engine работает в офлайн или периодическом режиме для анализа контента и обновления Resource Attributes.

QUNDERSTANDING – Понимание Запросов
Query Classifier работает на этом этапе в реальном времени. Он анализирует запрос и начальные результаты поиска, чтобы определить намерение пользователя — ищет ли он POC. Это критически важно для активации агрессивной проактивной фильтрации.

RERANKING / METASEARCH – Переранжирование и Смешивание
Filtering Engine работает на финальном этапе формирования выдачи. Он выполняет подавление результатов:

1. Стандартная фильтрация: Удаление ресурсов, уже известных как POC (из Resource Attributes).
2. Агрессивная фильтрация: Если Query Classifier определил, что запрос ищет POC, Filtering Engine может удалить все ресурсы, классифицированные как Objectionable Content (даже если они еще не подтверждены как POC).
3. Инициация анализа: Filtering Engine может передавать новые подозрительные ресурсы (New Objectionable Resources) обратно в Content Evaluation Engine для глубокого анализа.

Входные данные:

• Жалобы пользователей (URL, образцы контента).
• Поисковые запросы и статистика их популярности.
• Начальные результаты поиска (Initial Search Results).
• База данных Resource Attributes.
• Выходные данные классификаторов (Objectionable, Pro Content).
• Данные о сущностях (знаменитости, порноактеры).

Выходные данные:

• Отфильтрованные результаты поиска (Filtered Search Results).
• Обновления базы данных Resource Attributes (новые записи в черном списке).

На что влияет

• Конкретные типы контента: В первую очередь влияет на изображения и видео (мультимедийный контент).
• Специфические запросы: Запросы, содержащие имена людей, особенно в сочетании с чувствительными терминами. Наиболее сильно влияет на запросы с низкой популярностью (long-tail), касающиеся непубличных лиц.
• Конкретные ниши: Критически влияет на Online Reputation Management (ORM). Также влияет на сайты в нише Adult, которым необходимо четко позиционировать себя как профессиональные ресурсы, и на UGC-платформы.

Когда применяется

Система применяется в нескольких сценариях:

• Периодически: При пакетной обработке накопленных пользовательских жалоб.
• В реальном времени (при каждом запросе): Filtering Engine всегда активен для удаления известного POC.
• Триггеры активации проактивного анализа: Активируется, когда Query Classifier определяет, что запрос ищет POC. Основной триггер (согласно Claim 1) — низкая популярность запроса (popularity threshold не достигнут). Дополнительные триггеры включают наличие имени, отсутствие признаков знаменитости, наличие чувствительных терминов и низкое качество выдачи (low quality scores).

Пошаговый алгоритм

Процесс А: Обработка пользовательских жалоб (Реактивный режим)

1. Получение данных: Система получает жалобы (через Reporting Engine), идентифицирующие URL изображений, которые предположительно являются POC.
2. Классификация нежелательности: Изображения классифицируются как содержащие Objectionable Content или нет (например, порнография, насилие).
3. Классификация профессионализма: Изображения классифицируются как Professionally Produced или нет (Amateur Imagery).
4. Фильтрация кандидатов: Отфильтровываются изображения, которые НЕ являются нежелательными ИЛИ являются профессионально созданными. Оставшиеся считаются POC.
5. Поиск дубликатов: Система ищет URL точных или близких дубликатов (near-duplicates) для подтвержденных POC изображений.
6. Обновление базы данных: Документы, содержащие эти изображения или их дубликаты, помечаются как содержащие POC в базе Resource Attributes.

Процесс Б: Обработка запроса и проактивная фильтрация (Проактивный режим)

1. Получение запроса: Система получает запрос и начальные результаты поиска.
2. Классификация запроса: Query Classifier определяет, ищет ли запрос POC (используя сигналы: низкая популярность, наличие имени, отсутствие знаменитости и т.д.).
3. Применение фильтрации (Ветвление):
   • Если запрос НЕ ищет POC: Система фильтрует только те результаты, которые уже помечены как POC в Resource Attributes.
   • Если запрос ищет POC: Система агрессивно фильтрует все результаты, идентифицирующие документы с Objectionable Content (используя Objectionable Content Classifier).
4. Инициация глубокого анализа: (Только если запрос ищет POC) URL отфильтрованного нежелательного контента отправляются в Content Evaluation Engine для дальнейшего анализа (Процесс А, начиная с шага 3) для подтверждения, являются ли они POC.
5. Предоставление результатов: Пользователю возвращается отфильтрованная выдача.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Пиксельные данные изображений и видео. Это основной объект анализа для классификаторов контента.
• Пользовательские факторы (Жалобы): Жалобы пользователей (user reports), включающие URL ресурсов, URL изображений или сами файлы, а также метаданные (например, имя жертвы).
• Поведенческие факторы (Популярность): Используется measure of popularity (мера популярности) запроса. Также может использоваться популярность изображения (например, на основе статистики выбора в поиске).
• Контентные факторы (Запросы): Текст запроса (для выявления имен и триггерных слов).
• Системные данные: Списки известных личностей, порноактеров. Оценки качества сайтов (quality scores) в выдаче.

Какие метрики используются и как они считаются

Система использует несколько ключевых метрик и моделей:

• Objectionable Content Score: Вероятность того, что контент является нежелательным. Вычисляется классификатором (упоминается нейронная сеть), обученным на размеченных данных.
• Professionally Produced Score: Оценка того, насколько профессионально выглядит контент. Вычисляется классификатором, обученным на парах изображений с метками, какое из них выглядит более профессиональным.
• Query Popularity (Популярность запроса): Метрика частотности запроса. Сравнивается с popularity threshold. Низкая популярность является ключевым индикатором потенциального поиска POC (Claim 1).
• Сигналы для Query Classifier:
  • Наличие имени в запросе.
  • Является ли имя именем знаменитости или порноактера (негативный индикатор).
  • Наличие терминов, связанных с POC (позитивный индикатор).
  • Quality scores топовых результатов (низкое качество — позитивный индикатор).
• Алгоритмы машинного обучения: Упоминаются нейронные сети для классификации контента. Query Classifier также является моделью машинного обучения, использующей вышеупомянутые сигналы как признаки.

1. Ключевой критерий POC — любительское происхождение: Система Google считает, что неконсенсусный контент (POC) в подавляющем большинстве случаев является любительским. Поэтому главным отличием POC от разрешенного нежелательного контента (например, профессиональной порнографии) является классификация «Профессиональный» vs «Любительский» (Amateur Imagery).
2. Двойная классификация обязательна: Чтобы ресурс был признан POC, он должен быть классифицирован как Objectionable Content И как Amateur Imagery (не профессиональный).
3. Два режима работы: реактивный и проактивный: Система не только реагирует на жалобы, но и активно ищет новый POC во время обработки поисковых запросов.
4. Низкая популярность запроса как главный триггер: Запросы с низкой частотностью (не достигающие popularity threshold), особенно содержащие имена, рассматриваются как потенциально ищущие POC (Claim 1). Это запускает агрессивную фильтрацию и глубокий анализ контента.
5. Интент запроса определяет агрессивность фильтрации: Если система считает, что пользователь ищет POC, она фильтрует весь Objectionable Content, даже если он еще не подтвержден как POC. Если интент другой — фильтруется только подтвержденный POC.
6. Это система подавления, а не ранжирования: Патент не описывает изменение позиций, а полное удаление (подавление) определенных результатов из выдачи на основе классификации контента и запроса.

Best practices (это мы делаем)

Для большинства SEO-специалистов этот патент имеет ограниченное применение. Он актуален для ORM и специфических ниш.

• (ORM) Использование механизма для защиты клиентов: Специалисты по управлению репутацией должны понимать этот механизм для помощи клиентам, ставшим жертвами POC (например, revenge porn). Необходимо использовать официальный Reporting Engine Google для отправки жалоб. Патент подтверждает, что система обработает эти жалобы, найдет дубликаты и удалит контент из поиска.
• (Сайты в чувствительных нишах, например, Adult): Если сайт работает с Objectionable Content (например, порнографией), критически важно убедиться, что контент выглядит профессионально и имеет высокое качество. Это необходимо, чтобы Pro Content Classifier четко отличал ваш контент от любительского POC. Сигналы качества сайта (quality scores) также должны быть высокими.
• (UGC платформы): Необходима строгая модерация пользовательского контента, особенно изображений и видео, чтобы предотвратить размещение POC. Появление такого контента может привести к фильтрации страниц или всего сайта из поиска.

Worst practices (это делать не надо)

• Размещение любительского нежелательного контента: Сайты, специализирующиеся на любительском контенте, который может быть классифицирован как Objectionable, находятся в зоне высокого риска. Система активно ищет и подавляет такой контент, считая его потенциальным POC.
• Игнорирование качества в чувствительных нишах: Создание низкокачественных сайтов вокруг чувствительных тем или имен людей. Низкие quality scores в выдаче являются сигналом для Query Classifier, что запрос может искать POC (Claim 10), что приведет к агрессивной фильтрации.
• Хостинг неконсенсусного контента: Размещение revenge porn или материалов с буллингом гарантированно приведет к подавлению в поиске после обнаружения системой (через жалобу или проактивно).

Стратегическое значение

Патент демонстрирует сложность систем Google в обеспечении безопасности пользователей (Trust & Safety). Он показывает, как глубоко интегрированы классификаторы изображений (на основе ML/нейронных сетей) и классификаторы запросов для решения узких, но критически важных задач. Для SEO это подчеркивает, что Google может и будет полностью удалять контент из выдачи, если он нарушает определенные политики, используя при этом сложные технические критерии (как различие между профессиональным и любительским контентом).

Практические примеры

Сценарий 1: Управление репутацией (ORM) — Реактивный режим

1. Ситуация: Клиент стал жертвой revenge porn. Фотографии размещены на нескольких сайтах.
2. Действие ORM-специалиста: Используя интерфейс Google (Reporting Engine), специалист отправляет жалобы на URL страниц и URL изображений.
3. Работа системы Google: Content Evaluation Engine анализирует контент. Objectionable Content Classifier подтверждает наличие порнографии. Pro Content Classifier определяет контент как любительский. Контент признается POC. Система находит дубликаты на других сайтах.
4. Результат: Все найденные страницы и изображения добавляются в Resource Attributes и удаляются из поисковой выдачи.

Сценарий 2: Проактивное обнаружение системой

1. Ситуация: Пользователь ищет [Имя Фамилия nude]. [Имя Фамилия] — непубличное лицо.
2. Работа системы Google: Query Classifier анализирует запрос. Сигналы: содержит имя, содержит чувствительный термин («nude»), запрос имеет низкую популярность (ниже popularity threshold), [Имя Фамилия] не является знаменитостью.
3. Решение системы: Запрос классифицируется как ищущий POC.
4. Действие системы: Filtering Engine активирует агрессивный режим. Все результаты в выдаче, которые классифицируются как Objectionable Content, удаляются из SERP. Одновременно эти URL отправляются на глубокий анализ в Content Evaluation Engine.
5. Результат: Пользователь видит выдачу без нежелательного контента. Система потенциально обнаружила новый POC еще до получения жалобы.