Как Google использует закон Ципфа для выявления спама и манипуляций с названиями в локальных листингах

Термины и определения

Listing (Листинг)

Запись в базе данных, идентифицирующая локальный бизнес или другой объект, связанный с конкретным географическим положением (location-based entity).

Description / Titles (Описание / Названия)

Текстовые данные, связанные с листингом. В контексте патента чаще всего подразумеваются названия бизнеса. Один листинг может агрегировать Titles из разных источников (пользователи, веб-сайты, справочники).

Term (Термин)

Слово, фраза или символ, содержащийся в описании.

Termcount (Количество уникальных терминов)

Общее количество уникальных терминов во всех описаниях листинга.

Occurrences (Общее количество вхождений)

Суммарное количество всех терминов (включая дубликаты) во всех описаниях листинга.

Measured Frequency (F) (Измеренная частота)

Фактическое количество раз, когда уникальный термин встречается во всех агрегированных описаниях листинга.

Uniform Distribution (U) (Равномерное распределение)

Теоретическое распределение, при котором все уникальные термины встречаются с одинаковой или почти одинаковой частотой. Ассоциируется с легитимными данными.

Natural Language Distribution (Распределение естественного языка)

Теоретическое распределение частотности терминов, ожидаемое в корпусе естественного языка или маркетинговом тексте.

Zipf's law (Закон Ципфа)

Эмпирическое правило, описывающее распределение частотности слов в естественном языке: частота слова обратно пропорциональна его рангу.

Zipf-based Distribution (Z) (Распределение на основе закона Ципфа)

Конкретная реализация Natural Language Distribution, используемая в патенте как эталон для выявления спама.

Score Value (Оценка)

Метрика, вычисляемая системой (например, от 0 до 1), которая отражает вероятность того, что листинг является спамом. Основана на сравнении F с U и Z. 0 – легитимный (как U), 1 – спам (как Z).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод анализа листинга.

1. Система получает набор терминов из описания листинга.
2. Вычисляются первые значения (Measured Frequency, F) — фактическая частота каждого термина.
3. Вычисляются вторые значения (Natural Language Distribution, Z) — оценка частоты терминов в естественном языке.
4. Определяется количество уникальных терминов (Termcount) и общее количество всех терминов (Occurrences).
5. Вычисляются третьи значения (Uniform Distribution, U) — равномерные значения, основанные на отношении уникальных терминов ко всем терминам.
6. Вычисляется Score Value для листинга. Эта оценка основана на сравнении: насколько F похожа на Z и насколько F похожа на U.
7. При получении поискового запроса позиция листинга в результатах поиска определяется с учетом этого Score Value.

Claim 13 (Независимый пункт): Детализирует применение метода к локальным объектам с множеством описаний.

1. Система обрабатывает множество описаний, связанных с одним и тем же локальным объектом (location-based entity).
2. Определяется набор измеренных значений (F).
3. Определяется первый набор сравнительных значений (Z). Эти значения основаны на функции (например, Ципфа), и они убывают (наиболее частый термин имеет наибольшее значение, наименее частый — наименьшее).
4. Определяется второй набор сравнительных значений (U). Эти значения равны (константны) для каждого термина и основаны на отношении уникальных терминов к общему числу терминов.
5. Система сравнивает F с Z и U, чтобы определить, к какому набору F ближе.
6. Определяется третье значение (Score Value) на основе сравнения, которое оценивает вероятность спама.
7. Позиция описания в результатах поиска зависит от этого значения.

Claim 15 (Независимый пункт): Описывает процесс с точки зрения системы ранжирования.

Позиция листинга в результатах локального поиска определяется на основе: (a) релевантности запросу, (b) значений частотности терминов (F), и (c) того, являются ли эти значения частотности (F) более похожими на константную функцию (U), чем на функцию убывающих значений (Z).

Где и как применяется

Изобретение применяется в инфраструктуре локального поиска (Local Search / Google Maps).

CRAWLING & Data Acquisition – Сканирование и Сбор данных
Система собирает данные о локальных бизнесах из множества источников (веб-сайты, справочники, данные от пользователей/владельцев). Ключевым является сбор всех возможных названий (Titles) для одного и того же объекта.

INDEXING & Feature Extraction – Индексирование и извлечение признаков
На этом этапе происходит агрегация данных и основные вычисления. Система связывает различные названия с одним листингом. Затем происходит:

• Анализ частотности терминов (F).
• Расчет теоретических распределений (U и Z).
• Сравнение распределений и вычисление Score Value (вероятность спама).

Этот Score Value сохраняется как атрибут листинга в индексе.

RANKING / RERANKING – Ранжирование и Переранжирование
Во время обработки локального поискового запроса система использует предварительно рассчитанный Score Value как фактор ранжирования. Если оценка указывает на высокую вероятность спама (распределение ближе к Z), листинг понижается в выдаче или исключается из нее.

Входные данные:

• Набор названий (Titles) или описаний (Descriptions), связанных с конкретным листингом.

Выходные данные:

• Score Value для листинга, указывающий на вероятность спама.

На что влияет

• Конкретные типы контента: Влияет исключительно на локальные листинги (local business listings) в Google Maps и Local Pack. Не влияет на стандартный веб-поиск.
• Специфические запросы: Локальные запросы (например, поиск услуг или компаний поблизости).
• Конкретные ниши или тематики: Наибольшее влияние в высококонкурентных локальных нишах, подверженных спаму (например, слесари, эвакуаторы, ремонт бытовой техники).

Когда применяется

• Условия работы алгоритма: Алгоритм применяется ко всем локальным листингам. Он особенно эффективен, когда у листинга есть достаточное количество терминов и вариаций названий (собранных из разных источников) для статистического анализа.
• Временные рамки: Расчет Score Value происходит на этапе индексации или при обновлении данных листинга (офлайн или периодически). Применение оценки происходит в реальном времени во время ранжирования.

Пошаговый алгоритм

Процесс А: Расчет оценки спама (Индексирование)

1. Агрегация названий: Для анализируемого листинга собирается набор всех связанных с ним названий (Titles).
2. Определение уникальных терминов: Определяется количество различных терминов (Termcount).
3. Расчет измеренной частоты (F): Для каждого уникального термина определяется частота его появления во всем наборе названий.
4. Расчет общего числа вхождений: Определяется общее количество вхождений всех терминов (Occurrences).
5. Расчет теоретического равномерного распределения (U): Вычисляется ожидаемая частота при равномерном распределении. $U(t) = Occurrences / Termcount$.
6. Расчет теоретического распределения естественного языка (Z): Вычисляется ожидаемая частота на основе закона Ципфа. Термины ранжируются по частоте (n=1 для самого частого). В патенте указана формула: $Z(t) = 1/n * 1/h * Occurrences$ (где h – сумма ряда 1/k от 1 до Termcount).
7. Сравнение и расчет оценки (Векторный анализ): F, U и Z рассматриваются как векторы в N-мерном пространстве (N=Termcount). Система определяет, насколько вектор F близок к U или Z. Используется метод ортогональной проекции F на линию, проходящую через U и Z.
8. Расчет Score Value: Оценка (например, от 0 до 1) показывает, насколько распределение близко к U (0 - легитимный) или Z (1 - спам). Рассчитывается как отношение расстояний: $Score = d(V, U)/d(Z, U)$.
9. Сохранение оценки: Score Value сохраняется для листинга.

Процесс Б: Обработка запроса (Ранжирование)

1. Получение запроса: Пользователь вводит локальный запрос.
2. Ранжирование и корректировка: Система ранжирует релевантные листинги. Score Value используется как фактор ранжирования. Листинги с высоким Score Value понижаются в выдаче.

Какие данные и как использует

Данные на входе

Патент фокусируется на анализе текстовых данных, связанных с локальными листингами.

• Контентные факторы: Ключевыми данными являются названия (Titles) и описания (Descriptions) листинга. Анализируются термины внутри этих текстовых полей.
• Структурные данные: Система использует данные, агрегированные из различных источников (веб, справочники, пользователи). Важна сама структура агрегации множества названий для одного листинга.
• Пользовательские факторы (Косвенно): В патенте упоминается (Claim 11), что если пользователь (владелец листинга) идентифицирован как спамер на основе анализа одного листинга, другие его листинги также могут быть затронуты или помечены как спам.

Какие метрики используются и как они считаются

• Termcount и Occurrences: Базовые счетчики.
• Measured Frequency (F): Вектор фактических частот.
• Uniform Distribution (U): Вектор теоретических равномерных частот. Рассчитывается как среднее арифметическое.
• Zipf-based Distribution (Z): Вектор теоретических частот по закону Ципфа. Рассчитывается на основе ранга термина.
• Score Value: Метрика схожести F с U и Z. Рассчитывается с использованием геометрических методов (расстояние между векторами, векторная проекция). В патенте описан метод расчета через ортогональную проекцию V вектора F на линию UZ: $V = U + c(Z-U)$. Итоговая оценка рассчитывается как отношение расстояний (см. алгоритм).

1. Статистический метод выявления манипуляций: Патент описывает конкретный математический подход к выявлению спама в локальных листингах, основанный не на содержании ключевых слов, а на статистическом распределении терминов в названиях.
2. Закон Ципфа как индикатор спама/маркетинга: Ключевая идея заключается в том, что текст, созданный для маркетинга или спама (например, keyword stuffing с множеством вариаций), склонен следовать распределению естественного языка (закону Ципфа).
3. Равномерное распределение как индикатор легитимности: Легитимные данные, собранные из объективных источников (например, справочников), склонны иметь более равномерное распределение терминов (Uniform Distribution), так как названия обычно схожи или идентичны.
4. Агрегация данных критична: Эффективность метода зависит от способности Google агрегировать максимальное количество названий для одного и того же локального объекта из разных источников. Анализ основан на совокупности данных.
5. Влияние на ранжирование: Score Value напрямую используется для корректировки ранжирования в локальном поиске, что может привести к значительному понижению или исключению спамных листингов.
6. Идентификация спамеров: Патент также предусматривает возможность идентификации пользователей-спамеров. Если значительная часть листингов пользователя признана спамом, это может повлиять на все его листинги (Claim 11).

Best practices (это мы делаем)

Этот патент имеет прямое применение в локальном SEO и управлении Google Business Profile (GBP).

• Использовать реальное название бизнеса: Название в GBP должно точно соответствовать названию, которое бизнес использует в реальном мире (на вывесках, в документах). Это способствует формированию равномерного распределения терминов (Uniform Distribution).
• Обеспечить строгую консистентность NAP (Name, Address, Phone): Убедиться, что название бизнеса одинаково указано во всех внешних источниках (каталоги, социальные сети, отраслевые сайты). Консистентность данных помогает системе распознать листинг как легитимный.
• Мониторинг и исправление внешних данных (Citations Management): Регулярно отслеживать и исправлять некорректные, устаревшие или спамные варианты названий во внешних источниках, так как они участвуют в анализе.

Worst practices (это делать не надо)

• Keyword Stuffing в названии: Добавление ключевых слов в название бизнеса (пример из патента: "AAA Locksmith - 24 Hour Fast, Quality Emergency Service"). Это именно та практика, против которой направлен патент. Такой текст имеет характеристики маркетингового текста (ближе к Zipf's law) и будет выявлен как спам.
• Создание множества вариаций названия: Попытки создать разные названия для одного и того же бизнеса в разных источниках в надежде улучшить ранжирование по разным запросам. Агрегация этих вариаций приведет к распределению, которое система идентифицирует как манипулятивное.
• Использование маркетинговых слоганов или УТП в поле "Название": Поле названия предназначено исключительно для имени бренда, а не для описания преимуществ или услуг.

Стратегическое значение

Патент подчеркивает стратегическую важность консистентности данных (Data Consistency) как фундаментального элемента Local SEO. Он показывает, что Google обладает сложными статистическими инструментами для выявления манипуляций, которые не зависят от понимания контекста. Долгосрочная стратегия должна фокусироваться на построении реального локального авторитета и обеспечении точности данных, а не на попытках обмануть алгоритмы через манипуляции с названиями.

Практические примеры

Сценарий 1: Пессимизация за Keyword Stuffing

1. Ситуация: Владелец бизнеса "AAA Locksmith" меняет название в GBP и других источниках на вариации: "AAA Locksmith - 24 Hour Service", "AAA Emergency Locksmith - Quality", "AAA Fast Locksmith".
2. Анализ Google: Система агрегирует эти названия. Появляется много дескриптивных терминов (24, Hour, Service, Emergency, Quality, Fast).
3. Результат анализа: Распределение частот этих терминов оказывается ближе к Zipf-based Distribution (маркетинговый текст), чем к Uniform Distribution.
4. Действие: Система присваивает листингу высокий Score Value (высокая вероятность спама) и понижает его в локальной выдаче.

Сценарий 2: Легитимный бизнес (Консистентные данные)

1. Ситуация: Бизнес "Tom's Locksmith Shop" консистентно использует свое название.
2. Анализ Google: Система агрегирует данные из разных источников: "Tom's Locksmith Shop" (GBP), "Tom's Locksmith Inc." (Справочник 1), "Toms Locksmith Shop" (Справочник 2).
3. Результат анализа: Уникальных терминов мало, и их частоты очень близки друг к другу. Распределение близко к Uniform Distribution.
4. Действие: Система присваивает низкий Score Value (низкая вероятность спама). Ранжирование определяется другими факторами (релевантность, дистанция, авторитетность).