Как Google использует блокировку сайтов пользователями для персонализации выдачи и как глобальный сигнал ранжирования (Remove List Score)

Термины и определения

Document Score (Итоговая оценка документа)

Финальная оценка, используемая для ранжирования. Является функцией от IR Score, Link-based Score и Remove List Score.

IR Score (Information Retrieval Score)

Оценка релевантности документа запросу, основанная на анализе контента.

Legitimate users (Легитимные пользователи)

Пользователи, идентифицированные системой как настоящие (в отличие от спамеров или ботов). Их обратная связь используется для расчета Remove List Score, чтобы предотвратить манипуляции.

Link-based Score (Оценка на основе ссылок)

Оценка авторитетности документа, основанная на анализе ссылок (например, PageRank).

Remove feature (Функция удаления)

Элемент пользовательского интерфейса (кнопка, ссылка, меню), позволяющий пользователю инициировать удаление результата.

Remove List (Список удаления)

Персональный список, хранящий идентификаторы заблокированных пользователем документов/сайтов. Может иметь уровни: для текущего поиска, сессии или постоянный.

Remove List Score (Оценка на основе списка удаления)

Глобальная метрика ранжирования, рассчитываемая на основе агрегированных данных о том, как часто пользователи блокируют данный документ/сайт.

Session (Сессия)

Последовательность запросов или взаимодействий пользователя в течение определенного периода активности.

Ключевые утверждения (Анализ Claims)

Патент содержит две основные концепции. Claims (Формула изобретения) фокусируются на механизме персонализации и UI, тогда как Description (Описание изобретения, особенно FIG. 18-19) детализирует механизм глобального ранжирования.

Claims 1, 3, 17 (Независимые пункты): Описывают процесс персонализированного удаления с гранулярностью по времени.

1. Система предоставляет список результатов поиска.
2. Вместе с конкретным результатом визуально представляются три опции удаления:
   • Опция 1: Удалить только для этого поиска.
   • Опция 2: Удалить только для этой сессии.
   • Опция 3: Удалить для всех поисков и сессий.
3. Система получает выбор пользователя.
4. В зависимости от выбора, результат удаляется немедленно (Опция 1) или информация сохраняется в соответствующем Remove List (Опции 2 и 3).
5. Критический элемент: Система создает модифицированный список результатов, в котором удаленный результат заменяется другим результатом.
6. Модифицированный список представляется пользователю.

Анализ механизма ранжирования (на основе Description):

1. Система собирает информацию из Remove Lists группы пользователей.
2. Эта информация агрегируется. При агрегации может применяться фильтрация для учета только legitimate users с целью защиты от спам-атак.
3. На основе агрегированных данных вычисляется Remove List Score для документов.
4. Итоговая оценка документа (Document Score) рассчитывается путем комбинации IR Score, Link-Based Score и Remove List Score.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя как офлайн-вычисления, так и обработку в реальном времени.

INDEXING – Индексирование и извлечение признаков (Offline/Batch)
На этом этапе происходит агрегация данных. Система собирает информацию о блокировках, фильтрует её для выявления legitimate users и вычисляет Remove List Score. Эта оценка сохраняется в индексе.

RANKING – Ранжирование
Во время ранжирования система использует предварительно вычисленный Remove List Score как один из сигналов. Он комбинируется с другими оценками для определения итогового Document Score.

RERANKING – Переранжирование (Real-time/Personalization)
После основного ранжирования система применяет персональные фильтры. Результаты сравниваются с персональным Remove List пользователя, и заблокированные документы удаляются из финальной выдачи.

Входные данные:

• Действия пользователей по блокировке.
• Идентификаторы пользователей и данные для оценки их легитимности.
• Идентификаторы документов/сайтов (URL).
• Исходный список результатов поиска.

Выходные данные:

• Персонализированная (отфильтрованная) SERP для пользователя.
• Агрегированный Remove List Score для использования в глобальном ранжировании.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на контент, который пользователи считают нежелательным: спам, низкокачественные ресурсы, сайты с агрессивной рекламой (MFA), вводящий в заблуждение или оскорбительный контент.
• Борьба со спамом: Это прямой механизм обратной связи для выявления спама на основе коллективного мнения пользователей.

Когда применяется

• Персонализация: Применяется в реальном времени при каждом поиске, если у пользователя есть активный Remove List.
• Глобальное ранжирование: Расчет Remove List Score происходит периодически в фоновом режиме. Влияние на ранжирование постоянно после расчета.
• Исключения (Quality Override): Патент упоминает, что если документ определен как высококачественный (на основе его оценки, свежести, количества обратных ссылок и т.д.), он может быть показан пользователю, даже если находится в его Remove List. В этом случае он будет визуально выделен (например, серым цветом или в отдельном блоке).

Пошаговый алгоритм

Процесс А: Персонализированная фильтрация (Real-time)

1. Получение результатов: Система генерирует стандартный список результатов поиска.
2. Проверка Remove List: Система сравнивает результаты с персональным Remove List пользователя.
3. Модификация выдачи: Если есть совпадения, эти результаты удаляются и заменяются следующими по рангу документами.
4. Представление выдачи: Пользователю показывается модифицированный список с уведомлением об удаленных результатах и опцией отмены (Undo).

Процесс Б: Добавление в Remove List (Real-time)

1. Получение индикации удаления: Пользователь активирует Remove Feature для результата.
2. Выбор параметров: Пользователь выбирает область действия (Документ/Сайт) и продолжительность (Поиск/Сессия/Навсегда).
3. Обновление Remove List: Идентификатор ресурса добавляется в соответствующий список.
4. Обновление выдачи: Текущая выдача немедленно модифицируется (см. Процесс А).

Процесс В: Корректировка глобального ранжирования (Offline/Batch)

1. Сбор данных: Система собирает информацию о блокировках от группы пользователей.
2. Валидация пользователей: Система фильтрует данные, чтобы учитывать только legitimate users и отсеивать манипуляции.
3. Агрегация данных: Подсчитывается частота блокировок для документов/сайтов.
4. Расчет Remove List Score: На основе агрегированных данных вычисляется Remove List Score.
5. Интеграция в ранжирование: Remove List Score комбинируется с IR Score и Link-based Score для расчета итогового Document Score.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Явные действия пользователя по удалению (блокировке) результата (explicit negative feedback).
• Пользовательские факторы: Данные для оценки легитимности пользователя: история взаимодействий с поиском, репутация, наличие логина, наличие платных отношений с поисковой системой.
• Контентные и Ссылочные факторы: Используются для расчета базовых IR Score и Link-based Score.

Какие метрики используются и как они считаются

• Remove List Score: Метрика, основанная на агрегированных данных о блокировках. Может учитывать количество разных пользователей, заблокировавших документ. Рассчитывается только на основе данных от legitimate users.
• Document Score: Итоговая оценка ранжирования. Рассчитывается как комбинация трех компонентов: IR Score, Link-based Score и Remove List Score.
• Оценка легитимности пользователя (Legitimacy Score - подразумевается): Метрика для фильтрации спама при расчете Remove List Score.

1. Явная негативная обратная связь как сигнал ранжирования: Патент подтверждает, что Google разработал инфраструктуру для использования явных действий пользователей (блокировок) в качестве глобального сигнала ранжирования (Remove List Score).
2. Коллективная оценка качества: Массовая блокировка сайта легитимными пользователями сигнализирует о его низком качестве или нежелательности, что приводит к его понижению в выдаче для всех пользователей.
3. Защита от манипуляций (Anti-Spam): Система включает критически важный компонент фильтрации обратной связи, учитывая только legitimate users. Это предотвращает возможность конкурентам искусственно «заблокировать» сайт.
4. Интеграция с основными сигналами: Remove List Score является одним из трех основных компонентов итоговой оценки, наряду с релевантностью и авторитетностью.
5. Приоритет качества над персонализацией (Quality Override): Система может игнорировать персональную блокировку, если считает документ высококачественным по другим метрикам, но уведомит об этом пользователя.

Best practices (это мы делаем)

• Максимизация удовлетворенности пользователя (User Satisfaction): Это ключевая стратегия. Необходимо предоставлять качественный контент и отличный UX, чтобы минимизировать вероятность того, что пользователь захочет заблокировать ваш сайт.
• Соответствие интенту и ожиданиям: Убедитесь, что контент точно соответствует тому, что обещано в сниппете. Несоответствие ведет к разочарованию и потенциальным блокировкам.
• Мониторинг репутации и UX: Отслеживайте обратную связь и поведенческие метрики. Агрессивная реклама, всплывающие окна и плохая навигация — основные причины, по которым пользователи могут блокировать сайт.
• Создание авторитетного бренда (E-E-A-T): Работайте над повышением доверия к сайту. Пользователи реже блокируют сайты, которым они доверяют.

Worst practices (это делать не надо)

• Использование кликбейта и обманных техник: Привлечение трафика с помощью вводящих в заблуждение заголовков или дорвеев резко повышает риск массовых блокировок и ухудшения Remove List Score.
• Агрессивная монетизация и MFA-сайты: Сайты с низкокачественным контентом и плохим UX, созданные для показа рекламы, являются основными кандидатами на пессимизацию через этот механизм.
• Попытки манипуляции системой: Организация массовых блокировок сайтов конкурентов неэффективна из-за механизмов фильтрации по legitimate users.
• Игнорирование негативной обратной связи: Игнорирование жалоб пользователей и плохих поведенческих факторов опасно, так как это коррелирует с сигналами, которые Google использует для оценки качества.

Стратегическое значение

Патент подтверждает стратегию Google по интеграции поведенческих данных и обратной связи в ядро алгоритмов ранжирования. Он демонстрирует, как негативный пользовательский опыт преобразуется в измеримый сигнал ранжирования. Для SEO это означает, что долгосрочная стратегия должна быть направлена на реальную удовлетворенность конечного пользователя, чтобы избежать накопления негативных сигналов, таких как Remove List Score.

Практические примеры

Сценарий: Глобальное понижение сайта из-за плохого UX

1. Ситуация: Информационный сайт внедряет агрессивные полноэкранные рекламные баннеры (interstitial ads), которые мешают доступу к контенту.
2. Реакция пользователей: Значительное количество пользователей, приходящих из поиска, испытывают фрустрацию и используют функцию «Удалить» для блокировки этого сайта навсегда.
3. Обработка Google: Система агрегирует эти данные. Убедившись, что блокировки исходят от legitimate users, система пересчитывает Remove List Score для домена.
4. Расчет оценки: Remove List Score ухудшается, что снижает общий Document Score, даже если IR Score и Link-based Score остаются высокими.
5. Результат: Сайт теряет позиции в глобальной выдаче по релевантным запросам, уступая место ресурсам с лучшим UX.