Как Google использует данные об удалении сайтов пользователями для расчета глобального сигнала ранжирования

Описание

Какую задачу решает

Патент решает две ключевые задачи. Во-первых, он улучшает индивидуальный пользовательский опыт, предоставляя механизм для удаления нежелательного контента (спам, нерелевантные или оскорбительные материалы) из персональной выдачи. Во-вторых, он решает задачу повышения глобального качества поиска, используя агрегированные данные об удалениях как явный негативный сигнал о качестве документа или сайта.

Что запатентовано

Запатентована система с двойной функцией. Она предоставляет пользователям интерфейс (Remove Feature) для персонализированной фильтрации контента с гибкими настройками длительности (для поиска, сессии или навсегда). Одновременно система агрегирует эти действия от группы пользователей, фильтрует данные, чтобы учесть только действия «легитимных пользователей» (Legitimate Users), и использует эту информацию для расчета оценки качества (Remove List Score), влияющей на глобальное ранжирование.

Как это работает

Механизм работает на двух уровнях:

• Персонализация: Пользователь может удалить документ или сайт, добавив его в персональный Remove List. Будущие результаты поиска для этого пользователя фильтруются по этому списку в реальном времени.
• Глобальное ранжирование: Система агрегирует данные Remove List от множества пользователей. После фильтрации для идентификации Legitimate Users (для защиты от манипуляций) эти данные используются для вычисления Remove List Score. Эта оценка комбинируется с IR Score (релевантность) и Link-based Score (авторитетность) для определения итогового ранжирования документа (Document Score).

Актуальность для SEO

Высокая. Хотя конкретный пользовательский интерфейс, описанный в патенте (например, явная функция «Block/Remove site»), может не использоваться в точно таком виде сегодня, концепция использования агрегированной негативной обратной связи пользователей для оценки качества контента и борьбы со спамом остается фундаментальной. Присутствие Мэтта Каттса (Matt Cutts) и Санджая Гемавата (Sanjay Ghemawat) среди изобретателей указывает на сильную связь этого механизма с инициативами по качеству поиска.

Важность для SEO

Влияние на SEO высокое. Патент прямо описывает механизм, при котором агрегированное негативное поведение пользователей (удаление результатов) используется как один из основных компонентов для расчета итоговой оценки документа (наряду с релевантностью и ссылками). Это подчеркивает критическую важность удовлетворенности пользователей и избегания практик, которые могут привести к массовому неприятию сайта.

Детальный разбор

Термины и определения

Document Score (Итоговая оценка документа)

Финальная оценка, используемая для ранжирования. Согласно описанию патента, является комбинацией IR Score, Link-based Score и Remove List Score.

IR Score (Information Retrieval Score, Оценка релевантности)

Оценка, основанная на соответствии терминов запроса контенту документа.

Legitimate Users (Легитимные пользователи)

Пользователи, чьи данные учитываются при агрегации для расчета Remove List Score. Система отличает их от спамеров на основе поведения, истории действий, наличия логина, репутации или наличия отношений с поисковой системой (например, рекламодатели).

Link-based Score (Ссылочная оценка)

Оценка, основанная на анализе ссылок, связанных с документом (например, PageRank).

Remove Feature (Функция удаления)

Пользовательский интерфейс (кнопка, ссылка, пункт меню), позволяющий пользователю удалить документ из поля зрения.

Remove List (Список удаления)

Список идентификаторов документов/сайтов, которые пользователь решил удалить. Может быть разделен по длительности: для текущего поиска, текущей сессии или всех поисков/сессий.

Remove List Score (Оценка списка удаления)

Сигнал ранжирования, присваиваемый документу на основе агрегированных данных Remove List от группы пользователей.

Session (Сессия)

Последовательность запросов или взаимодействий одного и того же пользователя.

Ключевые утверждения (Анализ Claims)

Патент US8996517B2 является продолжением (continuation patent) более ранней заявки. Его Claims (Формула изобретения) сфокусированы узко на пользовательском интерфейсе и механизме персонализированной фильтрации с выбором времени.

Claim 1 и Claim 9 (Независимые пункты): Описывают метод и систему для предоставления пользователю гранулярного контроля над удалением контента.

1. Система предоставляет информацию о документе (например, результат поиска).
2. Система предоставляет набор визуально отображаемых опций удаления: (1) Удалить для конкретного поиска (particular search); (2) Удалить для конкретной сессии (particular session); (3) Удалить для множества поисков или сессий (plurality of searches or sessions).
3. Система получает выбор пользователя.
4. Система выполняет удаление или добавляет идентификатор документа в соответствующий Remove List, связанный с выбранной опцией.

Анализ раздела «Detailed Description» и Abstract: Для SEO-анализа критически важно рассмотреть общее описание системы (включая FIG. 18 и 19), так как оно раскрывает механизмы глобального ранжирования, выходящие за рамки узких Claims этого патента.

Описание патента явно детализирует механизм агрегации данных и их использования для ранжирования:

1. Система собирает информацию Remove List от группы пользователей.
2. Эти данные агрегируются. При этом применяется фильтрация для учета только Legitimate Users с целью снижения эффекта от спама (spamming).
3. На основе агрегированных данных документам присваивается Remove List Score. Эта оценка может базироваться на количестве разных пользователей, удаливших документ.
4. Remove List Score используется как один из сигналов для ранжирования документов. Он комбинируется с IR Score и Link-based Score для получения итогового Document Score (FIG. 19).

Где и как применяется

Изобретение затрагивает несколько этапов поиска и включает как офлайн-процессы, так и обработку в реальном времени.

INDEXING – Индексирование и извлечение признаков / Офлайн-процессы
На этом этапе могут рассчитываться и сохраняться статические сигналы. Remove List Score периодически пересчитывается здесь на основе агрегированных пользовательских данных об удалениях.

RANKING – Ранжирование
На этом этапе применяется механизм глобального ранжирования. Система вычисляет IR Score (зависит от запроса) и комбинирует его с Link-based Score и рассчитанным Remove List Score для определения итогового Document Score.

RERANKING – Переранжирование (Слой Персонализации)
На этом этапе применяется механизм персонализированной фильтрации. Система получает глобальный набор результатов и сверяет его с персональным Remove List пользователя (идентифицированного по IP или логину). Результаты, находящиеся в списке, удаляются из финальной выдачи перед показом пользователю.

Входные данные (Глобальное ранжирование):

• Агрегированные данные Remove List от пользователей.
• Данные для идентификации Legitimate Users (история поведения, логины, репутация).

Выходные данные (Глобальное ранжирование):

• Remove List Scores для документов/сайтов.

Входные данные (Персонализация):

• Глобальный набор результатов поиска.
• Персональный Remove List пользователя.

Выходные данные (Персонализация):

• Модифицированный (отфильтрованный) список результатов поиска.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, который пользователи считают нежелательным: спам, контент низкого качества, вводящий в заблуждение (кликбейт) или сайты с плохим пользовательским опытом (например, агрессивная реклама).
• Конкретные ниши или тематики: Влияет на ниши с высоким уровнем спама или низким качеством контента, где пользователи могут активно использовать функции фильтрации.

Когда применяется

• Персонализированная фильтрация: Применяется в реальном времени при каждом поиске для пользователей, которые использовали Remove Feature и имеют активный Remove List.
• Глобальное ранжирование: Remove List Score рассчитывается периодически (офлайн) путем агрегации данных и применяется на этапе RANKING при обработке запросов.
• Условия применения (Агрегация): Система должна собрать достаточный объем данных об удалениях и быть способной идентифицировать Legitimate Users для надежного расчета Remove List Score и защиты от манипуляций.

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов, описанных в патенте.

Процесс А: Персонализированная фильтрация результатов поиска (Real-time)

1. Получение поискового запроса: Система получает запрос от пользователя.
2. Идентификация результатов поиска: Определяется список документов, релевантных запросу (с использованием Document Scores).
3. Проверка Списка удаления: Система определяет, находится ли какой-либо из идентифицированных документов в персональном Remove List пользователя (учитывая списки для текущего поиска, сессии и всех сессий).
4. Модификация списка результатов: Если документ находится в Remove List, он удаляется из списка результатов для создания модифицированного списка.
5. Представление модифицированного списка: Модифицированный список результатов представляется пользователю. Система может уведомить пользователя об удаленных результатах и предоставить опцию отмены действия (Undo).

Процесс Б: Использование агрегированных данных для ранжирования (Offline/Periodic)

1. Сбор информации Списков удаления: Система собирает информацию из Remove Lists, связанную с группой пользователей.
2. Агрегация и фильтрация данных: Информация агрегируется. Система учитывает данные только от Legitimate Users для снижения эффекта от спама. Агрегация также может проводиться для специфических групп (например, географических регионов или социальных контактов).
3. Присвоение оценок документам: Документам присваиваются оценки (Remove List Score) на основе агрегированной информации. Например, на основе количества пользователей, удаливших документ.
4. Расчет итоговой оценки документа: Remove List Score комбинируется с другими сигналами, такими как IR Score и Link-based Score, для получения итоговой оценки (Document Score).
5. Ранжирование результатов поиска: Присвоенные итоговые оценки используются для ранжирования документов в результатах поиска для всех пользователей.

Какие данные и как использует

Данные на входе

Патент явно упоминает использование следующих типов данных:

• Поведенческие факторы:
  • Явные действия по удалению: Основной источник данных – explicit feedback, когда пользователь активирует Remove Feature для документа или сайта.
  • Данные для верификации пользователей: Информация, используемая для идентификации Legitimate Users. Упоминаются: время, проведенное в поисковой системе, характер взаимодействий с поисковой системой.
• Пользовательские факторы:
  • Идентификатор пользователя (IP-адрес или информация для входа/логин).
  • Репутация пользователя или его известность (например, рейтинги от других).
  • Наличие отношений с поисковой системой (например, платных, как у рекламодателя).
  • Социальные связи (друзья в онлайн-сообществе, контакты в адресной книге) – для агрегации данных по связанным группам.
• Географические факторы: Упоминается возможность агрегации данных по пользователям в определенном географическом регионе.

Какие метрики используются и как они считаются

• Remove List Score: Ключевая метрика. Рассчитывается на основе агрегированных данных Remove List Information. Конкретная формула не приводится, но упоминается, что она может основываться на количестве различных пользователей, удаливших документ.
• Оценка легитимности пользователя (Legitimate User assessment): Метрика для фильтрации спамеров при агрегации данных. Основана на поведенческих данных, логине, репутации.
• IR Score (Information Retrieval Score): Стандартная оценка релевантности.
• Link-based Score: Стандартная оценка авторитетности на основе ссылок.
• Document Score: Итоговая оценка документа, которая является функцией от IR Score, Link-based Score и Remove List Score.

Выводы

1. Агрегированный негативный фидбек как сигнал ранжирования: Патент подтверждает, что Google разработал инфраструктуру для использования агрегированных данных о негативном взаимодействии пользователей (активное удаление из выдачи) как прямого сигнала ранжирования (Remove List Score).
2. Структура ранжирования: Описана модель, где итоговый Document Score состоит из трех основных компонентов: релевантность (IR Score), авторитетность (Link-based Score) и качество/удовлетворенность пользователей (Remove List Score).
3. Защита от манипуляций (Anti-Spam): Система включает механизмы для предотвращения манипуляций путем идентификации и использования данных только от «легитимных пользователей» (Legitimate Users). Google имеет системы классификации надежности пользователей.
4. Двойное назначение механизма: Изобретение служит как для улучшения персонализированного пользовательского опыта (фильтрация выдачи для конкретного пользователя), так и для улучшения глобального качества поиска (ранжирование для всех).
5. Критическая важность UX и удовлетворенности: Для SEO это означает, что создание контента или использование тактик, которые вызывают массовое отторжение у пользователей, может привести к прямому понижению в ранжировании через Remove List Score.

Практика

Best practices (это мы делаем)

• Фокус на удовлетворенности пользователя (User Satisfaction): Главная задача – минимизировать вероятность того, что пользователь захочет заблокировать ваш сайт. Это требует комплексной работы над качеством контента, релевантностью и UX. Это напрямую защищает потенциальный Remove List Score.
• Обеспечение качества на уровне сайта: Поскольку пользователи могут удалять не только отдельные документы, но и целые сайты (опция «remove all documents on this site»), необходимо поддерживать высокое качество всего ресурса. Плохой UX в одном разделе может спровоцировать блокировку всего домена.
• Оптимизация пользовательского опыта (UX) и рекламы: Убедитесь, что сайт быстрый, удобный, а реклама не является навязчивой или вводящей в заблуждение. Фрустрирующий UX – прямой путь к блокировке и ухудшению Remove List Score.
• Мониторинг поведенческих метрик: Хотя прямые данные о Remove List Score недоступны, следует внимательно следить за косвенными сигналами неудовлетворенности (например, высокий Bounce Rate, низкий Dwell Time, pogo-sticking), как возможными предикторами негативной оценки пользователями.

Worst practices (это делать не надо)

• Агрессивная монетизация в ущерб UX: Использование всплывающих окон, перекрывающих контент, автовоспроизведение видео со звуком или обилие рекламы выше основного контента может раздражать пользователей и провоцировать их на блокировку сайта.
• Использование кликбейта и обманных практик: Привлечение трафика с помощью заголовков, не соответствующих содержанию, или использование deceptive design patterns приведет к неудовлетворенности. Пользователи, чувствующие себя обманутыми, могут удалить сайт.
• Создание тонкого (Thin) или низкокачественного контента: Сайты, которые не несут реальной ценности, будут вызывать негативную реакцию и, как следствие, могут получить плохой Remove List Score.
• Попытки манипуляции Remove List Score: Создание ботов для массового удаления сайтов конкурентов неэффективно, так как система использует фильтрацию по Legitimate Users для защиты от таких атак.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google на измерение и алгоритмическое использование удовлетворенности пользователей. Он описывает конкретный механизм, позволяющий превратить субъективное недовольство пользователя в объективный фактор ранжирования. Для долгосрочной SEO-стратегии это означает, что фокус на создании действительно полезных ресурсов с отличным UX критически важен, так как негативный пользовательский опыт может напрямую влиять на алгоритмы ранжирования через механизмы типа Remove List Score.

Практические примеры

Сценарий: Понижение сайта с агрессивной рекламой (MFA-сайт)

1. Ситуация: Информационный сайт (Made for Advertising) ранжируется в ТОПе. Сайт использует множество навязчивых рекламных блоков и всплывающих окон, затрудняющих доступ к контенту.
2. Действие пользователя: Значительное число пользователей, переходя на сайт из поиска, разочаровываются в UX и используют функцию удаления (если она доступна в их интерфейсе), чтобы больше не видеть этот сайт в выдаче.
3. Сбор данных Google: Система собирает эти данные (Remove List Information).
4. Агрегация и расчет: Система верифицирует пользователей как Legitimate Users и агрегирует данные. Из-за большого количества блокировок сайт получает низкий Remove List Score.
5. Влияние на ранжирование: При следующем пересчете факторов Remove List Score комбинируется с IR Score и Link-based Score. Итоговая оценка сайта (Document Score) снижается.
6. Результат: Сайт теряет позиции в глобальной выдаче для всех пользователей, даже если его контент релевантен, так как сигнал пользовательского неприятия оказывает значительное влияние.

Вопросы и ответы