Как Google автоматизирует удаление персональных данных (PII) из поиска и расширяет блокировку на связанные запросы и дубликаты контента

Термины и определения

Document Extent (Объем по документам)

Модуль, идентифицирующий другие веб-документы, похожие на исходный, которые также следует заблокировать.

Embedding Space (Пространство эмбеддингов)

Векторное пространство, в котором поисковые запросы представлены в виде векторов (эмбеддингов). Используется для определения семантической близости между запросами для Query Extent.

MLM (Machine Learning Model / Модель машинного обучения)

Модель, обученная на основе предыдущих запросов и решений ревьюеров, используемая для прогнозирования того, следует ли одобрить или отклонить запрос.

New Document Monitor (Монитор новых документов)

Компонент, который проверяет новые или недавно обнаруженные веб-документы на схожесть с контентом, который был ранее удален по запросу.

Prevention Determination Engine (Механизм определения предотвращения)

Компонент, который определяет, следует ли удовлетворить запрос. Может использовать Rules и/или MLM.

Prevention Extent Engine (Механизм определения объема предотвращения)

Компонент, определяющий, следует ли расширить удаление за пределы исходного запроса и результата.

Public Interest Website (Сайт, представляющий общественный интерес)

Категория сайтов (например, .edu, .gov, новостные ресурсы), запросы на удаление контента с которых часто автоматически отклоняются, если информация служит законным общественным интересам.

Query Extent (Объем по запросам)

Модуль, идентифицирующий дополнительные поисковые запросы, для которых следует заблокировать показ веб-документа.

Request Vector (Вектор запроса)

Структурированное представление запроса на удаление, используемое как входные данные для MLM. Включает информацию о поисковом запросе, результате поиска, веб-документе и аккаунте пользователя.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс обработки запроса на удаление с расширением блокировки по запросам.

1. Система получает запрос от пользователя на удаление конкретного результата поиска (для веб-документа), появляющегося по определенному поисковому запросу. Запрос включает данные аккаунта пользователя.
2. Определяется, следует ли предотвратить показ этого результата по этому запросу.
3. Если ДА (запрос одобрен): Конкретный результат блокируется для будущих показов по этому запросу.
4. Система определяет, следует ли предотвратить показ любого результата для этого же веб-документа по одному или нескольким дополнительным запросам.
5. Если ДА (расширение одобрено): Веб-документ блокируется для показа по этим дополнительным запросам.

Ядро изобретения — это автоматизированное принятие решения о расширении блокировки на другие запросы, связанные с тем же документом.

Claim 2 (Зависимый от 1): Описывает расширение блокировки на другие документы (Document Extent).

1. Идентифицируется второй веб-документ.
2. На основе сходства (similarity) между исходным и вторым документом определяется, следует ли заблокировать показ второго документа по дополнительным запросам.
3. Если ДА: Второй документ блокируется.

Это механизм борьбы с дублированием или перемещением контента (зеркалами).

Claim 3 (Зависимый от 1): Детализирует использование машинного обучения для определения расширения блокировки по запросам (Query Extent).

Решение о том, следует ли блокировать документ по дополнительным запросам, принимается путем обработки части запроса с помощью MLM, который генерирует выходные данные (output). Решение принимается на основе этих данных.

Claim 4 (Зависимый от 3): Описывает определение списка дополнительных запросов на основе "магнитуды" (значения) выходных данных MLM.

Чем выше уверенность MLM в необходимости удаления, тем шире может быть список блокируемых дополнительных запросов.

Claim 8 (Зависимый от 3): Описывает использование разных порогов для удаления по исходному запросу и для расширения блокировки.

1. Решение об удалении по исходному запросу принимается, если выходные данные MLM удовлетворяют первому порогу.
2. Решение о расширении блокировки на дополнительные запросы принимается, если выходные данные MLM удовлетворяют второму порогу, который является более строгим (more restrictive), чем первый порог.

Для расширения блокировки требуется более высокая степень уверенности системы.

Где и как применяется

Изобретение в основном функционирует на финальных этапах поисковой архитектуры, но зависит от данных, собранных на ранних этапах.

CRAWLING & INDEXING
На этих этапах система собирает и индексирует веб-документы. Происходит классификация сайтов (например, определение Public Interest Website, спам-сайтов) и анализ контента. New Document Monitor (упомянутый в описании) работает на этом этапе, проверяя новые документы на сходство с ранее заблокированным контентом, чтобы предотвратить повторное появление информации.

QUNDERSTANDING – Понимание Запросов
Модуль Query Extent использует методы понимания запросов, такие как анализ Embedding Space, для идентификации семантически связанных запросов, на которые следует расширить блокировку.

RERANKING (Переранжирование и Фильтры)
Основное применение патента. Система функционирует как фильтр на этапе формирования финальной выдачи (SERP). Одобренные запросы (включая расширенные блокировки по запросам и документам) применяются как фильтры. Если документ должен быть показан в ответ на запрос, но он заблокирован, он удаляется из SERP.

Входные данные (для системы обработки запросов):

• Поисковый запрос, указанный пользователем.
• Идентификатор результата поиска (URL/документа).
• Тип информации, которую пользователь хочет удалить (например, адрес, телефон).
• Данные аккаунта пользователя (возраст аккаунта, история запросов на удаление, PII, связанная с аккаунтом).
• Данные о веб-документе (контент, домен, классификация сайта).

Выходные данные:

• Решение по запросу (Одобрено / Отклонено / Ручная проверка).
• Объем блокировки (только исходный запрос / дополнительные запросы / дополнительные документы).
• Данные для обучения MLM (на основе результатов ручной проверки).

На что влияет

• Конкретные типы контента: В первую очередь влияет на контент, содержащий персональные данные (PII), финансовую информацию, медицинские данные, интимные изображения.
• Специфические запросы: Наибольшее влияние на запросы, связанные с именами людей, контактной информацией или другими идентификаторами (например, "Имя Фамилия адрес", "Имя Фамилия номер телефона").
• Конкретные ниши или тематики: Сайты-справочники, агрегаторы персональных данных, форумы и социальные сети, где может происходить несанкционированное раскрытие личной информации (doxxing).
• Исключения: Минимальное влияние на Public Interest Websites.

Когда применяется

• Триггеры активации: Система активируется при получении запроса от пользователя на удаление результата поиска.
• Пороговые значения (MLM): Используются настраиваемые пороги уверенности (low threshold и high threshold) для автоматического принятия решений. Например, порог 0.25 для отказа и 0.75 для одобрения.
• Пороговые значения (Расширение): Для расширения блокировки на дополнительные запросы или документы могут использоваться более строгие пороги уверенности MLM, а также пороги сходства документов (similarity measure).

Пошаговый алгоритм

Процесс А: Обработка запроса на удаление (Триаж)

1. Получение запроса: Система получает запрос от пользователя (Q1, R1 для документа D1) и данные аккаунта (A1).
2. Генерация вектора запроса: Request Processor формирует Request Vector.
3. Предварительная проверка (Rules - Гибридный подход): Система проверяет запрос по набору правил.
   1. Проверка домена D1: Является ли D1 Public Interest Website? Если да, автоматический отказ.
   2. Проверка аккаунта: Возраст аккаунта, история предыдущих запросов. Если подозрительно, может быть отправлено на ручную проверку.
4. Обработка с помощью MLM: Если правила не дали окончательного ответа, Request Vector обрабатывается моделью машинного обучения.
5. Генерация оценки: MLM генерирует оценку (Score), например, от 0 до 1.
6. Принятие решения:
   1. Если Score > High Threshold: Автоматическое одобрение.
   2. Если Score < Low Threshold: Автоматический отказ.
   3. Иначе: Отправка на ручную проверку. Результаты используются для дообучения MLM.
7. Применение блокировки (если одобрено): R1 блокируется для будущих показов по запросу Q1.

Процесс Б: Определение объема предотвращения (Expansion)

1. Активация (если запрос одобрен): Prevention Extent Engine активируется.
2. Определение Query Extent:
   1. Система определяет, нужно ли расширить блокировку (может зависеть от оценки MLM, требуя более высокого порога).
   2. Идентификация связанных запросов (Q2, Q3...): Используются методы манипуляции терминами или анализ расстояния в Embedding Space.
   3. Применение блокировки: D1 блокируется для показа по Q2, Q3...
3. Определение Document Extent:
   1. Система ищет документы (D2, D3...), похожие на D1 (используя similarity measure).
   2. Применение блокировки: Если сходство превышает порог, D2, D3... блокируются для показа по Q1 и/или дополнительным запросам.

Процесс В: Мониторинг нового контента

1. Обнаружение нового документа (DN): Краулер находит новый документ.
2. Проверка сходства: New Document Monitor сравнивает DN с ранее заблокированными документами (D1).
3. Превентивная блокировка: Если сходство превышает порог, DN может быть не проиндексирован или помечен как заблокированный.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные для принятия решений об удалении контента, формирующие Request Vector:

• Контентные факторы: Текст веб-документа анализируется для идентификации персональной информации (PII), указанной в запросе (например, с помощью регулярных выражений).
• Технические факторы (Доменные/Сайтовые): Домен веб-документа (URL) используется для определения категории сайта. Упоминается проверка на принадлежность к Public Interest Website (.edu, .gov, новостные сайты) или к известным спам-сайтам.
• Поведенческие/Пользовательские факторы (Метрики популярности): Упоминается возможность использования популярности документа (количество кликов на результат, количество и продолжительность просмотров) как фактора при принятии решения.
• Пользовательские факторы (Данные аккаунта): Критически важные данные для верификации запроса.
  • PII аккаунта: Телефон, email, адрес, используемые для сравнения с данными в документе.
  • Возраст аккаунта: Время с момента создания (например, проверка, старше ли аккаунт 48 часов).
  • Стабильность данных: Как давно менялась информация в аккаунте.
  • История запросов: Количество предыдущих запросов на удаление от этого пользователя и процент их одобрения/отклонения.

Какие метрики используются и как они считаются

• MLM Output Score (Оценка MLM): Числовое значение (например, от 0 до 1), генерируемое моделью машинного обучения, указывающее на вероятность того, что запрос следует одобрить.
• Thresholds (Пороги):
  • High Threshold: Порог для автоматического одобрения.
  • Low Threshold: Порог для автоматического отказа.
  • Пороги расширения: Могут быть более строгими, чем High Threshold, для активации Query Extent или Document Extent (Claim 8).
• Similarity Measure (Мера сходства): Метрика, указывающая, насколько похожи два веб-документа. Может основываться на текстовом сходстве, сходстве HTML/XML тегов, источниках и доменах.
• Embedding Distance (Расстояние между эмбеддингами): Мера семантической близости между поисковыми запросами в векторном пространстве. Используется для идентификации связанных запросов для расширения блокировки.
• Алгоритмы машинного обучения: Используется MLM, обученный с учителем (supervised training) на основе исторических данных о запросах и решениях ручных ревьюеров.

1. Автоматизация удаления контента — приоритет: Google активно инвестирует в автоматизацию обработки запросов на удаление (PII, ORM), используя гибридный подход (правила и MLM) для снижения нагрузки на ручных ревьюеров и ускорения процесса.
2. Критерии оценки запросов многофакторны: Система учитывает не только сам контент, но и авторитетность источника (Public Interest Website vs спам) и надежность запрашивающего пользователя (возраст аккаунта, история запросов).
3. Расширенная блокировка (Expansion) как ключевой механизм: Патент фокусируется на том, что удаление не ограничивается исходным запросом. Система активно ищет связанные запросы (Query Extent) и дубликаты контента (Document Extent) для превентивной блокировки.
4. Использование эмбеддингов для определения объема блокировки: Для идентификации связанных запросов используются современные NLP-технологии, такие как эмбеддинги запросов. Это позволяет блокировать семантически близкие запросы, даже если они не содержат тех же ключевых слов.
5. Динамические пороги уверенности: Система использует разные пороги уверенности MLM для разных действий. Для расширения блокировки требуются более высокие (строгие) пороги, чем для базового удаления, что указывает на стремление сбалансировать полноту удаления и точность.
6. Превентивное удаление (New Document Monitor): Система может отслеживать новые документы во время сканирования и превентивно блокировать их, если они похожи на ранее удаленный контент.

Best practices (это мы делаем)

Хотя патент описывает внутренние механизмы Google по удалению контента, он дает важные инсайты для SEO, особенно в области управления репутацией (ORM) и работы с нежелательным контентом.

• Использование официальных каналов и доверенных аккаунтов: При работе над ORM-проектами необходимо использовать официальные формы Google для запросов на удаление PII. Подавайте запросы с устоявшихся аккаунтов Google. Патент подтверждает, что возраст аккаунта и история успешных запросов являются сигналами для автоматического одобрения.
• Предоставление точной информации в запросе: Необходимо точно указывать тип PII и контактные данные. Эта информация используется для верификации (сравнение данных аккаунта с данными на странице) и включается в Request Vector для обработки MLM.
• Мониторинг связанных запросов и дубликатов: При успешном удалении нежелательного контента не стоит полагаться только на исходный запрос. Патент указывает, что Google пытается расширить блокировку, но SEO/ORM-специалисты должны самостоятельно отслеживать семантически связанные запросы и появление дубликатов контента на других доменах.
• Поддержание качества и авторитетности сайтов (для защиты от удаления): Для контентных проектов, новостных сайтов и образовательных ресурсов критически важно поддерживать сигналы авторитетности. Патент явно выделяет Public Interest Websites как категорию, защищенную от автоматического удаления. Работа над E-E-A-T помогает попасть в эту категорию.

Worst practices (это делать не надо)

• Попытки обойти удаление путем перемещения контента: Если контент был удален за нарушение правил (например, PII), попытка переопубликовать его на другом URL или домене будет неэффективной. Система Document Extent и New Document Monitor предназначены для обнаружения и превентивной блокировки такого контента на основе сходства.
• Манипуляции с запросами на удаление и использование "одноразовых" аккаунтов: Попытки использовать систему для удаления легитимного контента или создание фейковых/новых аккаунтов для подачи запросов рискованны. Система анализирует возраст аккаунта, историю запросов и процент отказов для выявления злоупотреблений, что может привести к ручной проверке или отказу.
• Игнорирование статуса "Public Interest": Не тратьте ресурсы на попытки удалить информацию с правительственных сайтов или авторитетных новостных ресурсов через стандартные формы удаления PII. Система запрограммирована на автоматический отказ в таких случаях.

Стратегическое значение

Патент демонстрирует сложность инфраструктуры Google для управления контентом на стыке конфиденциальности, права и доступности информации. Для SEO это подчеркивает важность семантического понимания контента и запросов (через эмбеддинги) не только для ранжирования, но и для модерации контента. Стратегически, это подтверждает, что Google рассматривает контент не изолированно, а в контексте всего интернета, активно борясь с распространением нежелательной информации путем блокировки как по запросам, так и по сходству контента.

Практические примеры

Сценарий: Управление репутацией (ORM) и удаление PII (Doxxing)

Клиент обнаружил, что по запросу "[Имя Клиента] контакты" в выдаче появляется сайт (example-dox.com), публикующий его домашний адрес и телефон без согласия.

1. Действие SEO/ORM специалиста: Подача запроса на удаление PII через официальную форму Google с использованием устоявшегося аккаунта.
2. Работа системы (согласно патенту):
   • Prevention Determination Engine анализирует запрос. example-dox.com не является Public Interest Website.
   • Данные аккаунта надежны (возраст, история).
   • MLM выдает высокую оценку (например, 0.90), что приводит к автоматическому одобрению.
3. Расширение блокировки (Query Extent): Оценка 0.90 превышает строгий порог для расширения. Система анализирует эмбеддинг запроса и автоматически блокирует показ документа также по запросам "[Имя Клиента] адрес", "[Имя Клиента] телефон".
4. Расширение блокировки (Document Extent): Система обнаруживает другой сайт (mirror-dox.com) с идентичным контентом (высокая similarity measure) и также блокирует его.
5. Ожидаемый результат: Быстрое и комплексное удаление PII из выдачи по нескольким связанным запросам и с нескольких сайтов на основе одного запроса пользователя.