Антиспам в Google: разборы патентов
Детальные разборы патентов Google, связанные с противодействием спаму
Как Google использует механизм «Pull-Push» для валидации ссылок через трафик и время вовлечения (Dwell Time)
Google использует механизм «Pull-Push» для борьбы с искусственными ссылками, анализируя соотношение между количеством ссылок и реальными кликами по ним. Если ссылки не генерируют пропорциональный трафик (с учетом времени вовлечения), они обесцениваются. Сайты, которые систематически ставят такие ссылки, классифицируются как «неквалифицированные источники», и их исходящие ссылки дисконтируются при ранжировании.
- US9558233B1
- 2012-12-31
Как Google использует исторические данные о документах, ссылках и поведении пользователей для определения свежести, качества и борьбы со спамом
Фундаментальный патент Google, описывающий использование временных рядов данных для ранжирования. Система анализирует историю документа (дату создания, частоту и объем обновлений), историю ссылок (скорость появления, возраст, изменения анкоров), тренды запросов и поведение пользователей. Эти данные используются для определения свежести контента, выявления неестественной активности (спама) и оценки легитимности домена.
- US7346839B2
- 2003-12-31
Как Google снижает ценность ссылок между аффилированными сайтами для борьбы с линк-схемами
Google использует модификацию алгоритмов расчета качества (типа PageRank), которая учитывает аффилированность между ссылающимися документами. Если система определяет, что сайты связаны (например, принадлежат одному владельцу, находятся в одной сети или имеют схожие паттерны трафика), ценность ссылок между ними агрессивно снижается. Вместо суммирования веса всех ссылок система учитывает только максимальный вклад от аффилированной группы, нейтрализуя эффект линк-ферм и PBN.
- US7783639B1
- 2004-06-30
Как Google рассчитывает авторитетность страниц на основе их близости к доверенным сайтам-источникам (Seed Sites)
Google использует метод ранжирования страниц, основанный на измерении «расстояния» в ссылочном графе от набора доверенных исходных сайтов (Seed Sites) до целевой страницы. Чем короче путь от доверенных источников до страницы, тем выше ее рейтинг авторитетности. Длина ссылки увеличивается (а ее ценность падает), если исходная страница имеет большое количество исходящих ссылок. Этот механизм позволяет эффективно рассчитывать показатели доверия (Trust) в масштабах всего веба.
- US9165040B1
- 2006-10-12
Как Google анализирует текст вокруг ссылки (Rare Words) для борьбы со спамом и определения шаблонных ссылок
Google использует механизм для оценки качества ссылок, выходящий за рамки анкорного текста. Система анализирует редкие слова (rare words) в тексте, непосредственно окружающем ссылку, чтобы определить её уникальный контекст. Ранжирование улучшается при наличии разнообразия этих контекстов. Ссылки с повторяющимся контекстом (спам, Google-бомбинг или шаблонные/сквозные ссылки) идентифицируются и дисконтируются.
- US8577893B1
- 2004-03-15
Как Google снижает влияние ссылок с аффилированных сайтов и PBN для борьбы с манипуляциями в ранжировании
Патент Google описывает систему ранжирования, которая идентифицирует группы сайтов под общим контролем (аффилированные узлы или PBN). Система резко снижает вес ссылок внутри такой группы и ограничивает общее влияние группы на другие сайты, учитывая только одну, самую сильную ссылку от всей группы. Также описывается механизм "Доверенных авторитетов", чьи ссылки передают максимальный вес независимо от количества исходящих ссылок.
- US8719276B1
- 2011-01-04
Как Google выявляет ссылочный спам (Link Farms и Web Rings), анализируя чувствительность PageRank к изменениям в структуре ссылок
Google использует математический метод для обнаружения искусственного завышения PageRank. Система анализирует, насколько резко меняется ранг страницы при изменении «коэффициента связи» (coupling factor/damping factor). Если ранг страницы слишком чувствителен к этим изменениям (имеет высокую производную), это сигнализирует о наличии манипулятивных структур, таких как ссылочные фермы или веб-кольца.
- US7509344B1
- 2004-08-18
Как Google анализирует распределение качества входящих ссылок для классификации и понижения сайтов в выдаче
Google использует систему для оценки качества ссылочного профиля сайта. Система фильтрует входящие ссылки (удаляя шаблонные и дублирующиеся с одного домена), группирует оставшиеся по качеству источника (например, Vital, Good, Bad) и вычисляет взвешенный «Link Quality Score». Если доля низкокачественных ссылок слишком велика, сайт классифицируется как низкокачественный и понижается в результатах поиска.
- US9002832B1
- 2012-06-04
Как Google находит, фильтрует и подмешивает посты из блогов, релевантные конкретным результатам поиска
Патент описывает систему Google для дополнения стандартных результатов веб-поиска ссылками на релевантные посты в блогах. Система использует многоступенчатую фильтрацию для отсеивания низкокачественных блогов и спама (splogs). Фильтры анализируют количество исходящих ссылок (out-degree), качество входящих ссылок (Link-based score), возраст поста, его длину и расположение ссылок, чтобы гарантировать качество подмешиваемого контента.
- US8117195B1
- 2006-03-22
Как Google использует «Локальный авторитет» для переранжирования документов на основе их взаимосвязей внутри конкретной выдачи
Google может улучшить ранжирование, анализируя структуру ссылок внутри начального набора результатов поиска. Документы, на которые часто ссылаются другие высокорелевантные документы по этому же запросу («локальные эксперты»), получают повышение. Этот процесс включает строгие фильтры для обеспечения независимости этих ссылок-голосов.
- US6526440B1
- 2001-01-30
Как Google использует клики (CTR) и время на сайте (Click Duration) для выявления спама и корректировки ранжирования в тематических выдачах
Google использует итеративный процесс для улучшения классификации контента и выявления спама, анализируя поведенческие сигналы (CTR и продолжительность клика). Если пользователи быстро покидают документ или игнорируют его в выдаче, он помечается как спам или нерелевантный теме. Эти данные затем используются для переобучения классификатора и корректировки ранжирования для будущих тематических запросов.
- US7769751B1
- 2006-01-17
Как Google использует социальные связи для выявления предвзятых ссылок и борьбы со ссылочными схемами и кликфродом
Google анализирует взаимоотношения между администраторами веб-сайтов (используя данные социальных сетей), чтобы определить независимость ссылок или кликов по рекламе. Если обнаружена тесная связь, это интерпретируется как предвзятость (Bias). В результате вес ссылки для ранжирования может быть снижен (борьба с Search Spamming), или клик по рекламе может быть дисконтирован (борьба с Ad Spamming).
- US10402457B1
- 2016-01-26 (Приоритет от 2004-12-31)
Как Google использует внешние сигналы (соцсети, новости, блоги) для верификации реальной популярности контента и фильтрации накруток
Google верифицирует популярность контента (например, видео) проверяя, упоминается ли он на внешних источниках: блогах, новостных сайтах и в социальных сетях. Это позволяет формировать списки "популярного", отражающие подлинный широкий интерес, отфильтровывая контент с искусственно завышенными просмотрами или узконишевой популярностью. Система также учитывает географическую релевантность внешних упоминаний.
- US9465871B1
- 2013-08-07
Как Google использует длительность кликов, Pogo-Sticking и уточнение запросов для оценки качества поиска (Click Profiles)
Google анализирует поведение пользователей после клика для оценки удовлетворенности. Система создает «Профили взаимодействия» (Click Profiles), учитывая длительность клика (Dwell Time), возврат к выдаче (Pogo-Sticking) и последующее уточнение запроса. Эти данные используются для сравнения эффективности алгоритмов ранжирования и выявления спама или кликбейта.
- US9223868B2
- 2011-12-01
Как Google использует анализ аномалий в показах и кликах для выявления фейковых локальных бизнес-листингов (Map Spam)
Google анализирует статистику взаимодействий (кликов) для групп связанных бизнес-листингов (Common Business). Система вычисляет статистически нормальный уровень активности и устанавливает порог (Anomaly Detection Threshold). Резкий всплеск активности выше этого порога (например, на два стандартных отклонения) сигнализирует о наличии фейковых или спамных листингов, созданных для манипуляции локальной выдачей.
- US20150154610A1
- 2011-06-24
Как Google использует блокировку сайтов пользователями для персонализации выдачи и как глобальный сигнал ранжирования (Remove List Score)
Google позволяет пользователям удалять нежелательные документы или целые сайты из своей поисковой выдачи. Система агрегирует эти данные о блокировках от множества пользователей и использует их как глобальный сигнал ранжирования — «Remove List Score» — для выявления низкокачественного контента и улучшения качества поиска для всех.
- US8417697B2
- 2005-08-22
Как Google использует время просмотра (Watch Time) и поведение пользователей для расчета независимой от запроса оценки качества видео
Google рассчитывает независимый от запроса сигнал качества (Q) для видео, анализируя корреляции между поведенческими метриками: временем просмотра, рейтингами и количеством просмотров. Система использует математические функции (Predictor и Voting) для моделирования качества и определения достоверности данных, а также активно фильтрует спам в рейтингах. Этот сигнал Q затем используется для ранжирования видео в поиске.
- US8903812B1
- 2010-11-11
Как Google использует социальные связи для обнаружения ссылочного спама и накрутки кликов
Google может анализировать связи между владельцами сайтов в социальных сетях, чтобы оценить независимость ссылок между их ресурсами. Если владельцы тесно связаны (например, друзья), ссылки между их сайтами могут получить меньший вес в ранжировании, а клики по рекламе могут быть классифицированы как спам (накрутка).
- US8060405B1
- 2004-12-31
Как Google динамически повышает порог качества для результатов поиска по «рискованным» запросам
Google оценивает «риск» поискового запроса, анализируя общее качество топовых результатов. Если запрос часто привлекает спам, кликбейт или нежелательный контент (особенно видео), система динамически повышает минимальный порог качества. Контент, не соответствующий этому повышенному стандарту, понижается в выдаче, при этом учитываются такие сигналы, как показатель просмотров (Watch Rate).
- US11609949B2
- 2019-11-06
Как Google использует тематические списки предпочтительных и нежелательных сайтов (Editorial Opinion) для корректировки ранжирования
Google может заранее определять "Темы запросов" (Query Themes) и назначать для них списки "Предпочтительных" (Favored) и "Нежелательных" (Non-Favored) источников. Если запрос пользователя соответствует теме, система корректирует ранжирование: повышает предпочтительные источники и понижает нежелательные, используя "Параметр редакторского мнения" (Editorial Opinion Parameter).
- US7096214B1
- 2000-12-13
Как Google использует анализ "Свежести Ранжирования" (Rank Freshness) и человеческую оценку для борьбы с манипуляциями в поиске и спамом
Патент Google описывает гибридную систему для выявления и разрыва нежелательных ассоциаций контента (например, манипулятивных результатов поиска или спам-комментариев). Система алгоритмически выявляет подозрительные связи, используя сигналы, такие как "Свежесть Ранжирования" (внезапный рост позиций), и отправляет их на проверку оценщикам (Арбитрам). Если консенсус подтверждает нарушение, ассоциация разрывается.
- US8176055B1
- 2007-03-27
Как Google использует Матрицу Переходов (Markov Chains) для связи запросов, документов, времени и сессий, чтобы улучшить релевантность, прогнозировать QDF и бороться со спамом
Google моделирует поведение пользователей как Марковскую цепь, создавая Матрицу Переходов между поисковыми сущностями (запросы, документы, время, сессии, домены). Эта матрица определяет силу связей на основе истории поиска и используется для прогнозирования трендов (QDF), распространения сигналов релевантности между связанными документами и идентификации спама путем анализа поведенческих паттернов.
- US8515975B1
- 2009-12-07
Как Google использует языковые модели и анализ «набивки запросами» (Query Stuffing) для выявления и пессимизации спамного и сгенерированного контента
Google применяет систему для обнаружения бессмысленного контента (спама), вычисляя «Gibberish Score». Эта оценка состоит из двух частей: «Language Model Score», проверяющего статистическую вероятность того, что текст является естественным языком, и «Query Stuffing Score», который выявляет неестественное скопление реальных пользовательских запросов на странице. Ресурсы с низким баллом понижаются в выдаче или удаляются из индекса.
- US8554769B1
- 2009-06-17
Как Google использует отзывы пользователей для обнаружения спама и фейковых компаний в локальном поиске (Google Maps)
Google анализирует текст отзывов о компаниях для выявления спама в бизнес-листингах. Система ищет стоп-слова (например, "фейк", "не существует"), выявляет нерелевантные термины для категории бизнеса и сравнивает отзывы с базой известного спама. При превышении порога подозрительных сигналов листинг помечается как спам.
- US8621623B1
- 2012-07-06
Как Google борется со спамом в бизнес-профилях (Local SEO), используя контекстуальный анализ и калибровку оценок спама
Google использует систему для обнаружения спамных бизнес-листингов (Local SEO), сравнивая данные из доверенных и ненадежных источников в рамках конкретных бизнес-контекстов (например, «сантехники» против «юристов»). Система выявляет характеристики, статистически связанные со спамом в данной нише, генерирует оценку спама и калибрует её в вероятность с помощью логистической регрессии для точной фильтрации.
- US8738557B1
- 2011-07-26
Как Google использует специфические сигналы (частоту постинга, рекламу и популярность) для оценки качества блогов и борьбы с автоматизированным контентом
Google разработал систему для ранжирования блогов, которая вычисляет независимую от запроса Оценку Качества (Quality Score). Эта оценка учитывает сигналы популярности (подписки, CTR), авторитетности (Pagerank, ссылки), а также выявляет спам-паттерны: автоматизированную частоту и размер постов, расположение рекламы и ссылочные схемы. Финальный рейтинг определяется комбинацией этой оценки качества и стандартной релевантности.
- US8244720B2
- 2005-09-13
Как Google использует историю навигации и клики по рекламе для генерации ключевых слов, гео-таргетинга и выявления MFA-сайтов
Патент Google, описывающий три механизма, основанных на анализе поведения пользователей (selection data). Система использует путь навигации пользователя для генерации новых ключевых слов для рекламы, улучшает гео-таргетинг объявлений на основе предпочтений пользователей, а также выявляет низкокачественные сайты (MFA/манипулятивные) по аномально высокому CTR рекламных блоков.
- US8005716B1
- 2004-06-30
Как Google использует анализ сущностей в результатах поиска для подтверждения интента и продвижения авторитетного контента
Google анализирует сущности (Topics/Entities) и их типы, общие для топовых результатов поиска, чтобы определить истинный интент запроса. Если интент подтверждается этим тематическим консенсусом выдачи, система продвигает "авторитетные кандидаты" (например, полные фильмы). Если консенсуса нет, продвижение блокируется для предотвращения показа нерелевантных результатов.
- US9213745B1
- 2013-03-15
Как Google вычисляет «Proxy Pad Score» для обнаружения сайтов, копирующих чужой контент, и пессимизирует их при каноникализации
Google использует механизм для борьбы с сайтами, которые массово копируют контент (Proxy Pads). Система анализирует, как часто контент сайта проигрывает дубликатам с других сайтов по метрикам качества. На основе этого вычисляется «Proxy Pad Score». Если оценка плохая, сайт пессимизируется на этапе индексации при выборе канонической версии, снижая вероятность попадания скопированного контента в индекс.
- US8874565B1
- 2008-12-29
Как Google идентифицирует локальных экспертов и использует их отзывы для ранжирования в локальном поиске
Google использует систему для идентификации пользователей, являющихся «экспертами» в конкретных географических областях и категориях бизнеса, основываясь на объеме и качестве их отзывов. При локальном поиске система извлекает мнения этих экспертов и использует их как ключевой сигнал для ранжирования результатов. Система также может персонализировать выбор экспертов, отдавая предпочтение тем, чьи оценки совпадают с предпочтениями пользователя.
- US9792330B1
- 2013-04-30