Как Google борется со спамом в бизнес-профилях (Local SEO), используя контекстуальный анализ и калибровку оценок спама

Термины и определения

Business Listing (Бизнес-листинг)

Запись, содержащая информацию о бизнесе (название, адрес, телефон, URL, описание). В контексте SEO это относится к Google Business Profile и данным локального поиска.

Calibration (Калибровка)

Процесс преобразования необработанного Spam Score в интерпретируемую вероятность (от 0 до 1) с помощью математической функции.

Context (Контекст)

Набор бизнес-листингов, имеющих общие характеристики. Обычно определяется типом бизнеса или нишей (например, «флористы», «отели», «сантехники»).

Cutoff Threshold (Порог отсечения)

Значение вероятности спама, выше которого листинг классифицируется как спам. Этот порог оптимизируется для каждого контекста.

Differential Characteristics (Дифференциальные характеристики)

Характеристики листинга (например, термины, длина заголовка), частота которых статистически значимо различается между Trusted Sources и Untrusted Sources в рамках определенного контекста. Являются индикаторами спама.

F-score (F-мера)

Метрика для оценки качества классификатора, рассчитываемая как гармоническое среднее между точностью (Precision) и полнотой (Recall). Используется для определения оптимального Cutoff Threshold.

Precision (Точность)

Доля листингов, классифицированных как спам, которые действительно являются спамом (минимизация ложных срабатываний).

Recall (Полнота)

Доля всех спамных листингов, которые были успешно обнаружены классификатором (минимизация пропусков спама).

Sigmoid Function (Сигмоидная функция)

S-образная математическая кривая (логистическая функция), используемая для калибровки Spam Score в вероятность. Обеспечивает значения от 0 до 1.

Spam Score (Оценка спама)

Необработанное числовое значение, генерируемое классификатором, которое указывает на подозрительность листинга. Требует калибровки.

Trusted Source (Доверенный источник)

Источник данных, который с высокой вероятностью содержит легитимные листинги и не подвержен спаму (например, официальные бизнес-справочники, лицензионные базы).

Untrusted Source (Ненадежный источник)

Источник данных, который легко подвержен спаму (например, веб-формы без верификации, немодерируемый пользовательский контент).

Ключевые утверждения (Анализ Claims)

Патент содержит утверждения, касающиеся как общего метода контекстуального анализа (описанного в Abstract и Description), так и специфического метода калибровки оценок спама (детализированного в Claims 1-20).

Claim 1 (Независимый пункт): Описывает метод калибровки вероятности спама.

1. Система определяет Spam Score для набора бизнес-листингов (обучающая выборка).
2. Листинги распределяются по «корзинам» (Buckets) на основе их Spam Score.
3. Для каждой корзины вычисляется средний Spam Score.
4. Для каждой корзины определяется фактическое соотношение спамных и легитимных листингов.
5. Определяется функция замкнутого вида (Closed-form Function), которая отображает средний Spam Score (ось X) на фактическое соотношение спама (ось Y).
6. Эта функция используется для определения вероятности спама для любого нового листинга путем отображения его Spam Score.

Это процесс калибровки классификатора, позволяющий преобразовать произвольные оценки в интерпретируемую вероятность от 0 до 1.

Claim 2 (Зависимый от 1): Уточняет, что Closed-form Function выбирается из семейства сигмоидных кривых (логистическая функция):

$\sigma_{a,b}(x) = \frac{1}{1+e^{-a(x-b)}}$

Claim 3 (Зависимый от 2): Описывает метод подбора параметров 'a' и 'b' для сигмоидной функции. Используется метод минимизации ошибки (например, метод наименьших квадратов), чтобы найти параметры, при которых функция наилучшим образом соответствует данным из корзин:

$f(a,b) = \sum_{(x,y)}(\sigma_{a,b}(x)-y)^2$

Claim 6 (Зависимый от 1): Предоставляет пример формулы для расчета исходного Spam Score (который используется на входе Claim 1):

Spam Score = titlescore * lengthfactor + phonepenalty + specialpenalties

Где:

• titlescore: оценка на основе частоты подозрительных терминов в заголовке.
• lengthfactor: штраф за длину заголовка.
• phonepenalty: штраф за наличие определенного (подозрительного) номера телефона.
• specialpenalties: штрафы за наличие определенных ключевых слов.

Этот пункт демонстрирует конкретные факторы, используемые для обнаружения спама в Local SEO, такие как переоптимизация названия и подозрительные контактные данные.

Где и как применяется

Изобретение применяется в инфраструктуре локального поиска (Google Maps/Local) для обеспечения качества данных.

CRAWLING – Сканирование и Сбор данных
Система собирает данные из различных источников, классифицируя их как Trusted Sources и Untrusted Sources. Это включает сканирование веб-справочников и прием данных от пользователей (например, через Google Business Profile).

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Значительная часть работы происходит в офлайн-процессах, связанных с индексированием:

1. Извлечение признаков и Контекстуализация: Из листингов извлекаются характеристики (термины, длина заголовка, телефон), и определяется их контекст (ниша).
2. Анализ и Моделирование (Офлайн): Система анализирует частоту характеристик в разных источниках для выявления Differential Characteristics. Происходит калибровка Spam Score и определение оптимальных Cutoff Thresholds для каждого контекста.
3. Применение Модели (Индексация): При обработке листинга вычисляется его Spam Score, калибруется в вероятность, и принимается решение о классификации (спам/не спам).

RANKING / RERANKING – Ранжирование / Переранжирование
Во время ранжирования локальных результатов (Local Pack, Google Maps) вероятность спама используется как сильный сигнал для понижения или исключения листингов из выдачи.

Входные данные:

• Бизнес-листинги из Trusted и Untrusted источников.
• Классификация источников (уровень доверия).
• Контекст листингов (тип бизнеса).
• Обучающая выборка с известной истиной (спам/не спам) для калибровки.

Выходные данные:

• Набор Differential Characteristics (индикаторы спама) для каждого контекста.
• Калибровочные функции и оптимальные Cutoff Thresholds для каждого контекста.
• Финальная классификация листинга (спам/не спам) и вероятность спама.

На что влияет

• Конкретные типы контента: Влияет исключительно на бизнес-листинги (Local SEO, Google Maps, Local Pack). Не влияет на стандартное веб-ранжирование.
• Специфические запросы: Наибольшее влияние на локальные запросы (например, «сантехник рядом», «ресторан Москва»).
• Конкретные ниши или тематики: Влияние сильно зависит от ниши. Патент подчеркивает, что анализ проводится контекстно-зависимо. Наибольшее влияние оказывается на ниши, подверженные спаму (услуги на дому, юридические услуги и т.д.). Например, использование «AAA» в названии может быть спамом для слесаря, но не для автомобильного клуба.

Когда применяется

• Условия работы алгоритма: Алгоритм применяется при обработке и ранжировании бизнес-листингов.
• Временные рамки: Выявление характеристик, калибровка и определение порогов выполняются офлайн (периодически). Применение моделей для классификации листингов происходит во время индексации (при добавлении/обновлении листинга) или в реальном времени при ранжировании.

Пошаговый алгоритм

Процесс состоит из офлайн-построения модели и онлайн-применения.

Процесс А: Офлайн — Идентификация подозрительных характеристик

1. Выбор контекста: Определяется ниша для анализа (например, «Отели»).
2. Сбор и анализ Trusted Data: Идентифицируются листинги в этом контексте из Trusted Source и рассчитывается частота характеристик (термины, длина заголовка и т.д.).
3. Сбор и анализ Untrusted Data: Идентифицируются листинги в этом же контексте из Untrusted Source и рассчитывается частота характеристик.
4. Расчет дифференциалов: Определяются разницы в частотах (с учетом нормализации) между ненадежным и доверенным наборами.
5. Идентификация индикаторов: Характеристики, чья разница превышает статистический порог (например, определенное число стандартных отклонений), идентифицируются как Differential Characteristics (индикаторы спама) для данного контекста.

Процесс Б: Офлайн — Калибровка Spam Score в Вероятность

1. Расчет Spam Score: Для обучающей выборки листингов в контексте рассчитывается Spam Score (например, по формуле из Claim 6).
2. Разделение на корзины: Пространство оценок делится на интервалы (Buckets).
3. Анализ корзин: Определяется средний Spam Score и фактическая доля спама для каждой корзины (используя Ground Truth).
4. Подбор функции (Логистическая регрессия): Идентифицируется сигмоидная функция, которая наилучшим образом отображает средний балл на долю спама (используя метод минимизации ошибки).
5. Сохранение функции: Функция сохраняется как калибровочная модель для данного контекста.

Процесс В: Офлайн — Определение порога отсечения

1. Ранжирование выборки: Листинги в обучающей выборке ранжируются по Spam Score.
2. Определение возможных порогов: Идентифицируются возможные Cutoff Thresholds.
3. Расчет Precision и Recall: Для каждого возможного порога вычисляются точность (Precision) и полнота (Recall).
4. Определение оптимального порога: Выбирается порог, который максимизирует F-меру (F-score): $F = \frac{Precision \times Recall}{Precision + Recall}$.

Процесс Г: Онлайн/Индексация — Классификация листинга

1. Идентификация контекста: Определяется контекст бизнес-листинга.
2. Расчет Spam Score: Листинг оценивается с использованием контекстно-зависимых Differential Characteristics (Процесс А), и определяется Spam Score.
3. Калибровка вероятности: Spam Score преобразуется в вероятность с использованием контекстной калибровочной функции (Процесс Б).
4. Сравнение с порогом: Вероятность сравнивается с контекстным Cutoff Threshold (Процесс В).
5. Классификация: Если вероятность выше порога, листинг идентифицируется как спам.

Какие данные и как использует

Данные на входе

Патент фокусируется на данных, специфичных для бизнес-листингов (Local SEO).

• Контентные факторы:
  • Название (Title): Критически важный фактор. Анализируется на наличие подозрительных терминов (titlescore), специальных ключевых слов (specialpenalties) и общую длину (lengthfactor).
  • Описание (Description): Упоминается как часть листинга.
• Контактные и Географические факторы:
  • Номер телефона: Анализируется на наличие известных спамных номеров (phonepenalty).
  • Адрес (Address): Упоминается как характеристика для анализа.
• Технические факторы:
  • URL: Упоминается как часть листинга.
• Системные данные:
  • Источник данных: Классификация источника как Trusted или Untrusted.
  • Тип бизнеса (Context): Категория бизнеса, используемая для сегментации анализа.

Какие метрики используются и как они считаются

• Frequency Differential (Разница частот): Статистическая разница в частоте появления характеристики между Untrusted и Trusted источниками.
• Spam Score: Необработанная оценка спама. Пример расчета (Claim 6): titlescore * lengthfactor + phonepenalty + specialpenalties.
• Precision (Точность) и Recall (Полнота): Стандартные метрики машинного обучения для оценки эффективности классификатора.
• F-score (F-мера): Агрегированная метрика качества, используемая для выбора оптимального Cutoff Threshold.
• Вероятность спама: Калиброванная оценка (от 0 до 1). Рассчитывается с помощью сигмоидной функции (логистическая регрессия): $\sigma_{a,b}(x) = \frac{1}{1+e^{-a(x-b)}}$.
• Методы анализа: Используются статистический анализ частот, логистическая регрессия (для калибровки) и оптимизация функций (метод наименьших квадратов для подбора параметров кривой).

1. Контекст критичен в борьбе со спамом (Local SEO): Ключевой вывод — индикаторы спама не универсальны. Google анализирует тактики спама отдельно для каждой ниши (Context). То, что считается переоптимизацией для одной категории бизнеса, может быть приемлемым для другой.
2. Сравнение с эталоном (Trusted vs. Untrusted): Google активно использует сравнение данных из источников с разным уровнем доверия для выявления аномалий. Trusted Sources служат эталоном легитимности. Аномально высокая частота определенных характеристик в Untrusted Sources является сильным сигналом спама.
3. Фокус на конкретных признаках локального спама: Патент явно указывает на факторы, которые анализируются для расчета Spam Score: переоптимизация названия (Keyword Stuffing), длина названия, использование подозрительных номеров телефонов и специфических ключевых слов.
4. Систематическая калибровка оценок (Машинное обучение): Google не полагается на необработанные оценки. Система использует строгие статистические методы (логистическую регрессию) для калибровки оценок в вероятности. Это позволяет сравнивать разные сигналы и устанавливать точные пороги.
5. Оптимизация порогов для минимизации ошибок: Пороги для фильтрации спама (Cutoff Thresholds) также зависят от контекста и оптимизируются с использованием F-меры, чтобы сбалансировать обнаружение максимального количества спама (Recall) и минимизацию ложных срабатываний на легитимных бизнесах (Precision).

Best practices (это мы делаем)

Рекомендации касаются исключительно Local SEO и работы с Google Business Profile (GBP).

• Соблюдение правил именования GBP: Название в профиле должно соответствовать реальному названию бизнеса. Патент явно указывает, что длина названия (lengthfactor) и наличие подозрительных терминов (titlescore) являются ключевыми факторами для расчета Spam Score.
• Анализ конкурентов в контексте ниши: Изучайте, как именуют себя и какие данные предоставляют авторитетные лидеры (аналог Trusted Sources) именно в вашей нише. Следование этим паттернам поможет избежать классификации как спама, так как ваш листинг не будет содержать Differential Characteristics.
• Использование чистых контактных данных: Убедитесь, что используемые номера телефонов и адреса не связаны со спам-активностью. Фактор phonepenalty указывает на то, что Google отслеживает подозрительные номера.
• Поддержание консистентности данных (NAP): Поскольку система опирается на Trusted Sources (например, крупные каталоги) для установления эталона, важно обеспечить точность и консистентность ваших данных (Name, Address, Phone) в этих источниках.

Worst practices (это делать не надо)

• Keyword Stuffing в названии бизнеса: Добавление ключевых слов, геолокаций или услуг в название GBP (например, «Лучшая Пицца Доставка Москва 24/7» вместо «Пиццерия Ромашка»). Это основная цель факторов titlescore и specialpenalties.
• Создание фейковых листингов и виртуальных офисов: Система направлена на выявление листингов, которые пытаются манипулировать локацией. Использование адресов, не соответствующих реальному местоположению бизнеса, повышает риск пессимизации.
• Использование общих или подозрительных номеров телефонов: Использование номеров (например, для коллтрекинга), которые ранее были замечены в спамных листингах или используются множеством других бизнесов, может привести к активации phonepenalty.
• Игнорирование специфики ниши: Применение агрессивных тактик оптимизации без учета контекста вашей бизнес-категории. Система Google оценивает листинги относительно стандартов конкретной ниши.

Стратегическое значение

Патент подтверждает, что борьба со спамом в локальном поиске является сложной задачей машинного обучения, требующей тонкой настройки под каждую нишу. Для SEO-специалистов это означает, что легитимность, достоверность данных и соблюдение правил Google Business Profile являются основой долгосрочной стратегии в Local SEO. Манипулятивные тактики выявляются статистически и контекстуально, что делает их использование крайне рискованным.

Практические примеры

Сценарий 1: Контекстно-зависимая оценка длины названия

1. Анализ контекста (Ресторан): Система анализирует Trusted Sources и видит, что средняя длина названия короткая (1-3 слова). В Untrusted Sources много длинных названий с ключевыми словами. Длинные названия помечаются как Differential Characteristic для спама.
2. Анализ контекста (Юридическая фирма): Система видит, что даже в Trusted Sources названия часто длинные из-за перечисления партнеров (например, «Иванов, Петров, Сидоров и Партнеры»). Длина названия НЕ помечается как сильный индикатор спама в этом контексте.
3. Действие SEO-специалиста:
   • Для ресторана: Использовать короткое название («Ресторан Аврора»).
   • Для юрфирмы: Можно использовать полное официальное название с перечислением партнеров.
4. Результат: Оба листинга соответствуют нормам своего контекста и не получают штрафов за длину названия (lengthfactor), так как калибровка и пороги для этих ниш различны.

Сценарий 2: Борьба с Keyword Stuffing в нише экстренных услуг (Слесари)

1. Анализ контекста: Google определяет, что в нише «Слесари» (Locksmiths) в Untrusted Sources аномально часто встречаются названия, начинающиеся с «ААА» или содержащие слово «Срочно».
2. Идентификация индикатора: Термины «ААА» и «Срочно» помечаются как Differential Characteristic (спам) для этого контекста.
3. Расчет Spam Score: Листинг «ААА Срочный Слесарь» получает высокий Spam Score за счет specialpenalties и titlescore.
4. Действие SEO-специалиста: Избегать подобных тактик и использовать реальное название бренда («Мастер Ключей»).
5. Результат: Листинг «Мастер Ключей» ранжируется выше спамных вариантов, так как его вероятность спама ниже Cutoff Threshold для данной ниши.