Как Google использует «Оценку Неожиданности» (Surprisingness Value) для выявления и фильтрации переспама в названиях компаний в локальном поиске

Термины и определения

Average Surprisingness Value (A) (Средняя Оценка Неожиданности)

Среднее значение Surprisingness Value, рассчитанное для нескольких листингов, идентифицированных как принадлежащие одному и тому же бизнесу. Используется для выявления аномальных отклонений.

Entity Information (Информация о сущности)

Данные, связанные с листингом бизнеса, включая название, категорию, геолокацию, URL, отзывы и т.д.

Keyword-Stuffing (Перенасыщение ключевыми словами)

Практика добавления нерелевантных ключевых слов или названий других брендов в название бизнеса с целью манипуляции поисковым ранжированием.

List of Legitimate Business Titles (Список легитимных названий бизнесов)

База данных заведомо корректных названий компаний, используемая как эталон (ground truth) для построения статистической модели.

Normalization (Нормализация)

Процесс преобразования данных матрицы совместной встречаемости в стандартизированный формат (например, шкалу от 0 до 1) для получения Surprisingness Values. Упоминаются методы TF-IDF и латентно-семантический анализ (LSA).

Surprisingness Value (S) (Оценка Неожиданности)

Числовая метрика, показывающая, насколько маловероятно (неожиданно) встретить определенную комбинацию слов в названии бизнеса. Высокое значение указывает на потенциальный спам.

Threshold Value (X) (Пороговое значение)

Заданный уровень Surprisingness Value, при превышении которого название считается мошенническим или переспамленным.

Word Co-occurrence Matrix (Матрица совместной встречаемости слов)

Структура данных, хранящая количество раз, когда два конкретных слова встречаются вместе в одном названии в эталонном списке.

Ключевые утверждения (Анализ Claims)

Патент описывает два основных метода применения: абсолютный (сравнение с глобальным порогом) и относительный (сравнение со средним значением для сущности).

Claim 1 (Независимый пункт): Описывает базовый (абсолютный) метод определения легитимности листинга.

1. Доступ к списку легитимных названий бизнесов (≥2 слов).
2. Генерация матрицы Surprisingness Values. Этот процесс включает: (i) идентификацию пар слов в легитимных названиях, (ii) подсчет совместной встречаемости (count value), и (iii) нормализацию подсчетов для создания матрицы, где каждое значение показывает, насколько маловероятно появление данной пары слов.
3. Сохранение матрицы в памяти.
4. Выбор конкретного листинга для проверки.
5. Определение Surprisingness Value (S) для названия этого листинга на основе сохраненной матрицы.
6. Определение легитимности: листинг легитимен, если S меньше порогового значения (Threshold Value).

Claim 4 (Независимый пункт): Описывает относительный метод для анализа нескольких листингов, относящихся к одному бизнесу.

1. [Шаги 1-3 аналогичны Claim 1].
2. Идентификация множества листингов, соответствующих одному конкретному бизнесу.
3. Расчет Surprisingness Value (S) для каждого из них.
4. Расчет Average Surprisingness Value (A) для всего множества листингов этого бизнеса.
5. Выбор конкретного листинга из множества.
6. Определение его легитимности на основе того, меньше ли его S, чем среднее значение плюс порог (S < A + Threshold Value).

Этот метод позволяет выявить аномалии: если один из вариантов названия значительно отличается от среднего для этого бизнеса, он помечается как спам, даже если глобальный порог не превышен.

Claim 9 (Независимый пункт): Описывает применение метода в процессе предоставления результатов поиска (фильтрация в реальном времени).

1. [Шаги 1-2 аналогичны Claim 1].
2. Получение поискового запроса.
3. Идентификация результатов поиска, включающих листинг бизнеса.
4. Определение Surprisingness Value (S) для этого листинга.
5. Принятие решения о передаче этого листинга пользователю на основе сравнения S с пороговым значением. (Claims 11 и 12 уточняют, что листинг исключается, если S превышает порог).

Где и как применяется

Изобретение применяется в инфраструктуре локального поиска (Local Search, Google Maps) и затрагивает этапы индексирования и ранжирования.

INDEXING – Индексирование и извлечение признаков

• Офлайн-обработка: На этом этапе система выполняет ресурсоемкие задачи: сбор List of Legitimate Business Titles, генерацию и нормализацию Word Co-occurrence Matrix для создания Surprisingness Matrix.
• Оценка листингов: Система может периодически анализировать существующие листинги (Entity Information) или оценивать новые/обновленные листинги, рассчитывать их Surprisingness Value (S) и сохранять эту оценку в индексе. Также на этом этапе может применяться сравнительный метод (Claim 4).

RANKING / RERANKING – Ранжирование и Переранжирование

• Фильтрация выдачи: При получении поискового запроса система идентифицирует кандидатов. Перед отправкой результатов пользователю система проверяет листинги (используя предварительно рассчитанные S или рассчитывая их на лету, как в Claim 9). Если S превышает порог, листинг исключается из финальной выдачи (withheld, excluded, removed from search results).

Входные данные:

• List of Legitimate Business Titles (для обучения модели).
• Entity Information, в частности, название бизнеса (для оценки).
• Предварительно вычисленная Surprisingness Matrix.

Выходные данные:

• Surprisingness Value (S) для листинга.
• Метка легитимности/мошенничества.
• Отфильтрованный набор результатов поиска (SERP).

На что влияет

• Конкретные типы контента: Патент напрямую влияет на листинги бизнесов (Business Listings), которые отображаются в локальном поиске (Google Maps, Local Pack).
• Конкретные ниши или тематики: Наибольшее влияние оказывается на локальные ниши, подверженные высокому уровню спама (например, сантехники, слесари, эвакуаторы, юридические услуги), где манипуляции с названиями для повышения ранжирования распространены.
• Языковые и географические ограничения: Метод является статистическим и основан на совместной встречаемости слов, а не на семантическом понимании языка. Следовательно, он лингвистически независим и может применяться глобально, при условии наличия достаточного количества легитимных названий для обучения модели в данном регионе/языке.

Когда применяется

• Условия применения: Алгоритм применяется при обработке названий бизнесов, состоящих из двух или более слов.
• Временные рамки: Применяется в двух режимах: 1) Периодически в офлайн-режиме для анализа базы и обновления матрицы. 2) В реальном времени (on-demand) при индексации нового контента или в ответ на поисковый запрос для фильтрации результатов.
• Триггеры активации: Активируется, когда Surprisingness Value названия превышает установленное пороговое значение (Threshold Value) или значительно отклоняется от среднего значения для данного бизнеса (Average Surprisingness Value).

Пошаговый алгоритм

Процесс А: Генерация Матрицы Неожиданности (Офлайн)

1. Сбор эталонных данных: Получение доступа к списку заведомо легитимных названий бизнесов.
2. Подсчет совместной встречаемости: Для каждой пары слов в эталонном списке подсчитывается, сколько раз они встречаются вместе в одном названии.
3. Генерация матрицы: Создание Word Co-occurrence Matrix на основе этих подсчетов.
4. Нормализация: Преобразование матрицы в Surprisingness Matrix. Используются методы вроде TF-IDF или LSA для приведения значений к стандартной шкале (например, от 0 до 1).
5. Хранение: Сохранение нормализованной матрицы в памяти.
6. Определение порога: Установка Threshold Value (X) вручную или автоматически. Патент (Claim 18) описывает автоматический метод: порог выбирается так, чтобы максимизировать отношение A/F (Обнаруженный спам / Ложные срабатывания) на тестовом наборе данных.

Процесс Б: Оценка Листинга и Фильтрация Выдачи (Реал-тайм)

1. Получение запроса: Система получает поисковый запрос от пользователя.
2. Идентификация кандидатов: Определяется набор результатов поиска, включающий бизнес-листинги.
3. Расчет Оценки Неожиданности: Для названия каждого листинга определяется Surprisingness Value (S) на основе сохраненной матрицы (или извлекается из индекса).
4. Сравнение с порогом: S сравнивается с пороговым значением (X).
5. Принятие решения:
   • Если $S \geq X$: Листинг идентифицируется как мошеннический. Система передает результаты поиска, исключая этот листинг.
   • Если $S < X$: Листинг считается легитимным и включается в выдачу.
6. Передача результатов: Отфильтрованный набор результатов отправляется пользователю.

Какие данные и как использует

Данные на входе

• Контентные факторы: Основные данные — это названия бизнесов (Business Titles). Система анализирует пары слов в этом поле. Патент также упоминает (в описании), что могут использоваться другие типы информации из листинга, такие как описательная информация (descriptive information) или информация о категории (category information), для определения неожиданных комбинаций слов.
• Системные данные: List of Legitimate Business Titles. Это критически важный набор данных, используемый как эталон для определения «нормальности» словосочетаний.

Какие метрики используются и как они считаются

• Word Co-occurrence Count (Счетчик совместной встречаемости слов): Базовая метрика, подсчитывающая частоту появления пар слов в эталонном корпусе.
• Surprisingness Value (S): Основная метрика патента. Рассчитывается путем нормализации счетчиков совместной встречаемости. Патент предлагает шкалу от 0 до 1, где 1 означает максимальную неожиданность.
• Average Surprisingness Value (A): Среднее арифметическое S для группы листингов одного бизнеса (используется в Claim 4).
• Threshold Value (X): Значение, используемое для классификации. Определяется автоматически (максимизация A/F) или вручную.
• Методы нормализации: Упоминаются TF-IDF (term frequency-inverse document frequency) и латентно-семантический анализ (LSA) как возможные методы преобразования сырых частот в Surprisingness Values.

1. Статистический подход к борьбе со спамом: Патент демонстрирует, как Google может бороться с переспамом, не полагаясь на глубокое понимание языка или ручные правила. Метод, основанный на Word Co-occurrence Matrix, является лингвистически независимым и масштабируемым.
2. «Неожиданность» как индикатор спама: Ключевая идея заключается в том, что keyword-stuffing создает комбинации слов, которые статистически маловероятны в реальных названиях. Surprisingness Value количественно измеряет эту маловероятность.
3. Важность эталонных данных: Эффективность системы напрямую зависит от качества и полноты List of Legitimate Business Titles. Эта база определяет, что считается «нормальным» названием.
4. Два режима обнаружения: Система использует как глобальный фильтр (сравнение с общим порогом), так и детектор аномалий на уровне сущности (сравнение со средним значением для конкретного бизнеса), что повышает точность выявления спама и взлома.
5. Активная фильтрация выдачи: Патент описывает не просто понижение в ранжировании, а полное исключение (withholding/excluding) переспамленных листингов из результатов поиска, что подчеркивает серьезность нарушения.

Best practices (это мы делаем)

• Использование реального названия бренда: Необходимо использовать только официальное, юридически зарегистрированное или используемое в реальном мире (на вывесках) название бизнеса в Google Business Profile. Это минимизирует Surprisingness Value и снижает риск фильтрации.
• Обеспечение консистентности NAP (Name, Address, Phone): Название бизнеса должно быть одинаковым на сайте, в GBP и во всех внешних каталогах. Это помогает системе корректно рассчитать Average Surprisingness Value (Claim 4) и снижает вероятность ложных срабатываний из-за вариативности данных.
• Размещение ключевых слов в категориях и описаниях: Ключевые слова, описывающие услуги и местоположение, должны использоваться в предназначенных для этого полях (категории, услуги, описание, посты), а не в названии.

Worst practices (это делать не надо)

• Добавление гео-модификаторов в название: Добавление названия города, района или улицы в название бизнеса (если это не часть бренда) создает неестественные комбинации слов и значительно увеличивает Surprisingness Value.
• Добавление услуг или категорий в название: Включение ключевых слов услуг (например, «Ремонт холодильников», «Круглосуточный эвакуатор») в поле названия является прямым таргетом для этого алгоритма.
• Использование названий чужих брендов (Hijacking): Попытка ассоциировать свой бизнес с более известным брендом путем включения его имени в свое название будет иметь экстремально высокий Surprisingness Value и приведет к быстрой фильтрации (как в примере с Locksmith и Marriott в патенте).
• Создание виртуальных офисов с переспамленными названиями: Создание множества фейковых листингов с названиями типа «[Услуга] + [Локация]» будет эффективно обнаруживаться этой системой как статистическая аномалия.

Стратегическое значение

Патент подтверждает стратегию Google по жесткому контролю качества данных в локальном поиске. Для SEO-специалистов это означает, что манипуляции с полем названия бизнеса в GBP являются высокорискованной тактикой, которая может привести к полному исключению из выдачи или блокировке профиля. Стратегия локального SEO должна фокусироваться на построении реального бренда и использовании легитимных методов оптимизации, а не на краткосрочных тактиках переспама названия.

Практические примеры

Сценарий: Очистка названия GBP для сантехнической компании

1. Исходное название в GBP (Спам): «Лучший Сантехник Москва Круглосуточно - Ремонт труб Иванов и Ко»
2. Анализ: Реальное название бренда — «Иванов и Ко». Остальные слова являются ключевыми словами.
3. Оценка риска (на основе патента): Комбинации слов («Сантехник», «Москва»), («Москва», «Круглосуточно»), («Ремонт», «Иванов») вероятно имеют высокий Surprisingness Value, так как редко встречаются одновременно в легитимных названиях брендов. Система Google может отфильтровать этот листинг.
4. Действие: Изменить название в GBP на «Иванов и Ко».
5. Результат: Surprisingness Value снижается до минимума. Риск фильтрации или блокировки листинга уменьшается. Ранжирование теперь зависит от других факторов (категории, отзывы, близость, сайт), а не от спама в названии.