Антиспам в Google: разборы патентов
Детальные разборы патентов Google, связанные с противодействием спаму
Как Google использует машинное обучение для проверки логотипов и названий организаций перед показом в поисковой выдаче (включая рекламу)
Google применяет систему для валидации брендовых ассетов (изображений и названий организаций) перед их отображением в результатах поиска. Система использует ML-модели для двух проверок: является ли изображение приемлемым (не нарушает правила, не имитирует чужие бренды) и верифицирована ли организация (используя платежную информацию для рекламы, органический рейтинг и базы доверенных компаний). Это предотвращает спуфинг и повышает доверие пользователей.
- US11954167B1
- 2022-12-21
Как Google контролирует качество и объективность в кастомизированных поисковых системах (PSE), блокируя спам и предвзятость от третьих сторон
Google использует систему контроля для Программируемых Поисковых Систем (PSE), где третьи стороны могут влиять на выдачу через "Контекстные Файлы". Патент описывает двухэтапный процесс (офлайн и во время запроса) для обнаружения и фильтрации спама или предвзятости (Bias). Система сравнивает кастомизированные результаты с результатами основного поиска, чтобы гарантировать объективность выдачи.
- US7743045B2
- 2005-08-10
Как Google наследует сигналы качества и пессимизации между иерархически связанным контентом (например, Видео, Плейлисты, Каналы)
Google использует механизм для оценки качества контента (например, видео), учитывая не только его собственные характеристики, но и качество связанных с ним родительских сущностей (например, плейлиста или канала). Система комбинирует оценки качества (Classifier Scores) и оценки защиты (Protection Scores) всех уровней иерархии для расчета агрегированной оценки (Aggregate Score). Это позволяет точнее выявлять и понижать в поиске нежелательный контент, даже если он размещен на в целом качественном ресурсе, и наоборот.
- US20200159769A1
- 2019-11-15
Как Google перехватывает навигацию пользователя для защиты от низкокачественных сайтов (паркинги, фермы контента)
Механизм защиты пользователей, который перехватывает запрос на загрузку веб-страницы. Если страница идентифицирована как низкокачественная (паркинг домена, ферма контента или ссылочная ферма), система показывает предупреждение и предлагает перейти на альтернативный релевантный сайт вместо запрошенного.
- US8775924B1
- 2012-03-09
Как Google вычисляет Оценку Оригинальности Сайта (Site Originality Score) для борьбы со скопированным контентом
Google использует систему для количественной оценки оригинальности контента на уровне сайта. Система анализирует, какая доля контента (n-граммы) на сайте впервые появилась именно на нем, основываясь на дате первого сканирования (Crawl Time Stamp). На основе этого соотношения вычисляется Оценка Оригинальности Сайта (Site Originality Score), которая затем используется как фактор ранжирования для продвижения первоисточников и понижения сайтов-копипастеров.
- US8909628B1
- 2012-11-02
Как Google визуально выделяет популярные профили в поиске и использует частоту запросов для борьбы с фейковыми аккаунтами
Google использует данные о популярности (количество связей) и качестве (вовлеченность) профилей пользователей, чтобы визуально выделить наиболее авторитетные результаты при поиске людей или брендов. Если один профиль значительно популярнее других, он отображается крупнее. Система также динамически регулирует порог качества в зависимости от частоты запроса: чем популярнее имя, тем выше требования к профилю для его отображения, что помогает бороться со спамом.
- US8935245B1
- 2012-09-20
Как Google использует консенсус между сайтами для валидации ключевых слов и ранжирования изображений и видео
Google агрегирует описания (метки) изображения или видео со всех сайтов, где этот контент размещен. Чтобы метка была принята как надежная («Final Label») и использовалась для ранжирования, она должна подтверждаться несколькими независимыми группами источников (консенсус). Этот механизм двойной группировки (по домену и по смыслу) снижает влияние спама и значительно повышает релевантность поиска медиаконтента.
- US8275771B1
- 2010-06-07
Как Google объединяет данные из RSS-фидов, веб-страниц и профилей авторов для индексации и ранжирования блогов
Google создает "гибридный документ" для индексации блогов, объединяя информацию из разных источников: контент поста, данные из RSS/Atom фида, контекст всего блога (например, блогролл) и внешние связанные страницы (например, профиль автора). Это позволяет точнее определять релевантность и использовать контекстные сигналы для ранжирования отдельных постов.
- US7765209B1
- 2005-09-13
Как Google использует анализ совместных поисковых сессий для выявления запросов о неприемлемом или запрещенном контенте
Google анализирует поисковые сессии пользователей для обучения классификатора, выявляющего запросы о неприемлемом контенте (например, насилии, CSAM, терроризме). Система отслеживает, какие еще запросы вводил пользователь незадолго до или после ввода уже известного "плохого" запроса. Это позволяет автоматически расширять базу данных для фильтрации и модерации поисковой выдачи.
- US9959354B2
- 2015-06-23
Как Google проверяет и отбирает редкие (long-tail) запросы для поисковых подсказок (Autocomplete)
Google использует механизм для валидации редких поисковых запросов, чтобы определить, стоит ли добавлять их в поисковые подсказки (Autocomplete). Редкие запросы нормализуются (каноникализируются) и сравниваются с популярными запросами. Если редкий запрос семантически эквивалентен популярному, он признается качественным и допускается к показу в подсказках. Это позволяет Google предлагать разнообразные и полезные long-tail подсказки, отсеивая спам и бессмысленные запросы.
- US20150120773A1
- 2011-10-26
Как Google намеренно задерживает или искажает изменения в ранжировании для выявления SEO-манипуляций
Google использует механизм для борьбы со спамом, который вносит временные задержки и неожиданные колебания в ранжирование документа после изменения его факторов. Вместо немедленного применения нового рейтинга система использует "Функцию перехода ранга". Это делается для того, чтобы запутать спамеров и проанализировать их реакцию на неожиданные изменения (например, падение позиций вместо ожидаемого роста), выявляя таким образом манипуляции.
- US8244722B1
- 2010-01-05 (Продолжение заявки от 2005-06-30)
Как Google выявляет спам в Локальном Поиске, анализируя частоту изменений в листингах и коммерческую ценность ключевых слов
Google использует систему для выявления спама в локальной выдаче (например, на Картах). Система анализирует, насколько часто определенные термины появляются в обновлениях бизнес-листингов (Flux) и какова их потенциальная коммерческая ценность (Monetary Value). Если высокодоходные термины часто изменяются или добавляются, система помечает эти термины и использующие их листинги как потенциальный спам и понижает их в ранжировании.
- US20150154612A1
- 2013-01-23
Как Google использует «Оценку Неожиданности» (Surprisingness Value) для выявления и фильтрации переспама в названиях компаний в локальном поиске
Google использует статистический анализ для борьбы со спамом в названиях компаний (например, в Google Maps). Система анализирует корпус легитимных названий, чтобы понять естественные комбинации слов. Затем для проверяемого названия вычисляется «Оценка Неожиданности» (Surprisingness Value). Если сочетание слов слишком маловероятно (например, «Ресторан Слесарь»), листинг помечается как спам и исключается из выдачи.
- US8473491B1
- 2010-12-03
Как Google использует закон Ципфа для выявления спама и манипуляций с названиями в локальных листингах
Google анализирует все известные названия (Titles), связанные с локальным бизнесом. Система сравнивает распределение частотности слов в этих названиях с двумя моделями: равномерным распределением (характерно для легитимных данных из разных источников) и распределением по закону Ципфа (характерно для маркетинговых текстов и спама). Если распределение ближе к закону Ципфа, листинг помечается как потенциальный спам и понижается в локальной выдаче.
- US9483566B2
- 2013-01-23
Как Google идентифицирует сайты-трамплины (Bounce Pads/Дорвеи) и исключает их из индекса при выборе канонической версии
Google использует механизм для обнаружения «Bounce Pads» — сайтов, основная цель которых — перенаправление пользователей на другие ресурсы. Система анализирует долю редиректов на сайте (Redirect Score) и разнообразие внешних целей перенаправления (Spam Score). Обнаруженные сайты-трамплины помечаются и исключаются из рассмотрения при выборе канонической (главной) версии страницы среди дубликатов, что предотвращает их попадание в поисковую выдачу.
- US8037073B1
- 2008-12-29
Как Google добавляет случайный шум к оценкам спама в бизнес-листингах (Local SEO), чтобы помешать обратному инжинирингу фильтров
Google использует механизм для защиты своих алгоритмов обнаружения спама в бизнес-листингах (Local SEO). Чтобы спамеры не могли определить точные пороги фильтров путем тестирования, система добавляет контролируемый случайный шум к рассчитанной оценке спамности (Spam Score). Это делает применение санкций (удаление или понижение) недетерминированным и затрудняет обратный инжиниринг.
- US8612436B1
- 2011-09-27
Как Google автоматизирует удаление персональных данных (PII) из поиска и расширяет блокировку на связанные запросы и дубликаты контента
Google использует гибридную систему, сочетающую правила и модели машинного обучения, для автоматизации обработки запросов на удаление контента (например, PII). Система оценивает легитимность запроса, анализируя тип сайта, данные аккаунта пользователя и сам контент. При одобрении запроса Google не только удаляет результат для исходного запроса, но и автоматически расширяет блокировку на семантически близкие запросы и идентифицирует похожие или дублирующиеся веб-документы для их превентивного удаления из выдачи.
- US12045302B2
- 2023-02-07
Как Google обнаруживает спам, использующий подмену символов из разных алфавитов (Homograph Attacks)
Google использует метод обнаружения спама, основанный на анализе переходов между различными наборами символов (например, с латиницы на кириллицу и обратно). Этот метод выявляет попытки спамеров заменить буквы визуально похожими символами (гомоглифами) из других алфавитов, чтобы обойти текстовые фильтры. Высокая частота таких переходов сигнализирует о спаме, в то время как легитимный многоязычный контент игнорируется.
- US9465789B1
- 2013-03-27
Как Google определяет дублированный и переработанный (spun) контент, анализируя относительный порядок слов
Патент Google, описывающий метод обнаружения похожих или почти дублирующихся документов, устойчивый к локальным изменениям текста (например, замене синонимов или перестановке слов). Вместо анализа последовательных фраз, система анализирует упорядоченные пары слов, которые не обязательно стоят рядом. Это позволяет идентифицировать структурное сходство контента даже при значительном изменении формулировок.
- US7734627B1
- 2003-06-17
Как Google использует сравнение DOM и Render Tree для обнаружения и девальвации скрытого текста при генерации сниппетов и ранжировании
Google использует механизм для точного определения, какой текст на веб-странице виден пользователю при загрузке, а какой скрыт. Система сравнивает весь код страницы (DOM Tree) с тем, что фактически отображается (Render Tree). Обнаруженный скрытый текст (например, в меню, скрытый через CSS или цветом фона) получает понижающий коэффициент (Weighting Factor), что снижает вероятность его попадания в сниппет и может влиять на оценку страницы.
- US8639680B1
- 2012-05-07
Как Google использует стабильность сигналов авторства для идентификации и исключения неавторского контента из специализированного индекса
Google отслеживает историю изменений данных об авторстве (имя автора, ссылки на профили) на веб-странице. Если авторство меняется слишком часто, система определяет, что это не статья одного автора (например, главная страница сайта или агрегатор), и исключает её из специализированной базы данных авторского контента. Это подчеркивает важность стабильных сигналов для E-E-A-T.
- US20150127624A1
- 2013-11-01
Как Google анализирует рендеринг страницы (DOM и CSS) для обнаружения скрытого текста и ссылок
Google использует методы анализа визуального представления страницы для выявления скрытого контента. Система строит структурное представление документа (DOM) и анализирует свойства элементов (цвет, размер, позиция, Z-index), чтобы определить, виден ли контент пользователю. Это позволяет обнаруживать и игнорировать манипуляции (спам), такие как текст цветом фона или позиционирование за пределами экрана.
- US8392823B1
- 2009-08-25
Как Google генерирует, ранжирует и отображает результаты поиска в реальном времени (Real-Time Search)
Патент Google описывает комплексную систему для поиска в реальном времени. Он включает механизмы прогнозирования актуальных запросов, предварительного кэширования свежего контента (например, статусов из соцсетей), оценки качества этого контента и авторов. Также описана технология непрерывного обновления выдачи у пользователя с помощью "Time Token" и процесс обработки сокращенных URL.
- US9043319B1
- 2010-12-03
Как Google тестирует и проверяет работоспособность своих антиспам-алгоритмов
Google использует внутреннюю систему для проверки своих антиспам-алгоритмов. Система хранит базу "запросов высокого риска" (тех, что ранее приводили к спаму) и периодически отправляет их в поиск. Если спам проходит через фильтры, соответствующий алгоритм помечается как неисправный.
- US20150154301A1
- 2011-04-25
Как Google отличает реальные тренды (QDF) от спама и шума при всплесках активности
Google использует статистические модели (например, распределение Пуассона) для анализа внезапных всплесков запросов или индексации новых документов. Система определяет, является ли всплеск результатом реального мирового события (тренд) или случайным шумом/скоординированным спамом. Это позволяет фильтровать ложные тренды и точно определять темы, заслуживающие приоритета свежего контента (QDF).
- US20140081973A1
- 2012-09-14