Как Google генерирует синонимы во время индексации, извлекая числа из токенов и нормализуя слова с префиксами-стоп-словами

Термины и определения

Blacklist (Черный список токенов)

Список слов, которые начинаются с последовательности символов, совпадающей со stopword prefix, но в контексте данного слова этот префикс не является стоп-словом. Используется для предотвращения ошибочной нормализации.

Compound Stopword Prefix (Составной префикс-стоп-слово)

Последовательность из нескольких одиночных стоп-префиксов, которая является корректным префиксом в языке.

Index Augmentation Module (Модуль дополнения индекса)

Компонент системы индексации, отвечающий за генерацию и добавление синонимов (числовых частей и нормализованных форм) в индекс.

Index-Side Synonym Generation (Генерация синонимов на стороне индекса)

Процесс создания и сохранения синонимов во время индексации документа, а не во время выполнения запроса.

Normalized Form (Нормализованная форма)

Вариант токена, созданный путем удаления stopword prefix.

Numeric Portion (Числовая часть)

Одна или более последовательных цифр, извлеченных из токена, который также содержит нечисловые символы.

Query Modification Engine (Движок модификации запросов)

Компонент, который изменяет входящие запросы, добавляя токены, необходимые для сопоставления с дополненным индексом.

Stopword Prefix (Стоп-префикс)

Стоп-слово (например, артикль, предлог), которое в данном языке присоединяется к началу слова.

Training Dataset (Обучающий набор данных)

Корпус текстов (например, веб-документы, логи запросов), используемый для статистического анализа частотности токенов при генерации Blacklist.

Ключевые утверждения (Анализ Claims)

Патент содержит три основных независимых блока утверждений, описывающих три разных аспекта изобретения: извлечение чисел, нормализацию префиксов и генерацию черного списка.

Claim 1 (Независимый пункт): Извлечение чисел. Описывает метод обработки буквенно-числовых токенов.

1. Система индексирует токен из ресурса.
2. Определяется, что токен состоит из числовой части (numeric portion) и нечисловой части (non-numeric portion).
3. Числовая часть извлекается.
4. В поисковый индекс сохраняется ассоциация ресурса как с исходным токеном, так и с извлеченной числовой частью (как отдельными терминами индекса).
5. При получении поискового запроса, содержащего числовой токен, система дополняет (augmenting) запрос новым токеном, который будет соответствовать извлеченной числовой части, если она совпадает с числом в запросе.

Claim 7 (Зависимый от 1): Уточняет ранжирование. Новому (добавленному) токену присваивается вес так, чтобы ресурсы, соответствующие исходному числовому токену в запросе, ранжировались выше (weighted more highly), чем ресурсы, соответствующие только новому токену.

Claim 8 (Независимый пункт): Нормализация префиксов-стоп-слов. Описывает метод обработки слов в языках с префиксами-стоп-словами.

1. Система получает Blacklist.
2. Система индексирует токен, который начинается с префикса, совпадающего со stopword prefix.
3. Проверяется, что токен отсутствует в Blacklist.
4. Если его там нет, генерируется normalized form путем удаления этого префикса.
5. В индекс сохраняется ассоциация ресурса как с исходным токеном, так и с нормализованной формой.
6. При получении запроса система генерирует нормализованную форму для токена запроса и дополняет запрос этой формой.

Claim 15 (Независимый пункт): Генерация черного списка. Описывает статистический метод создания Blacklist.

1. Система получает набор эталонных stopword prefixes (включая составные).
2. Генерируется набор данных токенов из обучающего корпуса (Training Dataset), включая частотность полных и частично нормализованных форм.
3. Выбирается полный токен (whole token), если его частота выше порога и он имеет stopword prefix.
4. Генерируется нормализованный токен путем удаления самого длинного совпадающего префикса.
5. Применяется правило: полный токен добавляется в Blacklist, ЕСЛИ (i) нормализованный токен не имеет других stopword prefix И (ii) соотношение частоты нормализованного токена к частоте полного токена ниже порогового значения.

Это правило определяет, что если нормализованная форма встречается значительно реже, чем полная форма, то префикс является неотъемлемой частью слова, и его нельзя удалять.

Где и как применяется

Изобретение применяется в основном на этапе индексирования и влияет на этап понимания запросов.

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются данные (ресурсы), которые служат входными данными для Training Dataset, используемого для генерации Blacklist.

INDEXING – Индексирование и извлечение признаков
Основной этап применения. Index Augmentation Module работает во время токенизации и анализа контента.

• Извлечение чисел: Анализируются токены, извлекаются numeric portions, и они добавляются в индекс как синонимы.
• Нормализация: Токены сравниваются со списком stopword prefixes и Blacklist. Нормализованные формы генерируются и добавляются в индекс как синонимы.
• Офлайн-процесс: Генерация Blacklist происходит как отдельный офлайн-процесс анализа корпуса текстов (Training Dataset).

QUNDERSTANDING – Понимание Запросов
На этом этапе Query Modification Engine изменяет запрос пользователя, чтобы он соответствовал дополненному индексу. Запрос дополняется числовыми вариантами или нормализованными формами токенов запроса.

RANKING – Ранжирование
Система ранжирования использует дополненный запрос для поиска в дополненном индексе. Система назначает веса (weights) токенам в дополненном запросе, чтобы ресурсы, соответствующие исходному запросу, ранжировались выше, чем ресурсы, соответствующие только синонимам (Claim 7, 14).

Входные данные:

• Последовательность токенов из ресурса.
• Набор эталонных stopword prefixes.
• Blacklist токенов.
• Training Dataset (для генерации Blacklist).

Выходные данные:

• Дополненный поисковый индекс, содержащий исходные токены, извлеченные числовые части и нормализованные формы.

На что влияет

• Конкретные типы контента и ниши:
  • E-commerce, каталоги, техническая документация: Механизм извлечения чисел критически важен для поиска по SKU, номерам моделей, артикулам (например, поиск по «GTX 1080» найдет «GTX1080Ti»).
• Языковые ограничения:
  • Механизм нормализации префиксов специфичен для языков, где стоп-слова присоединяются к словам (например, арабский, иврит).
  • Механизм извлечения чисел является языконезависимым.

Когда применяется

Алгоритмы применяются при выполнении специфических условий во время индексации:

• Условие 1 (Числа): Когда токен содержит как минимум одну цифру и как минимум один нечисловой символ (non-numeric character).
• Условие 2 (Нормализация): Когда начало токена совпадает с одним из эталонных stopword prefixes И токен отсутствует в Blacklist.

Пошаговый алгоритм

Система реализует три основных процесса.

Процесс А: Извлечение числовых частей

Этап Индексации:

1. Получение последовательности токенов документа.
2. Для токена определяется наличие числовой части и нечисловой части.
3. Числовая часть (или части) извлекается из токена.
4. В индекс сохраняются данные, связывающие документ как с исходным токеном, так и с извлеченной числовой частью. (Опционально: числовая часть помечается специальным префиксом, например, *np*, чтобы указать ее происхождение).

Этап Обработки Запроса:

1. Получение поискового запроса.
2. Идентификация числового токена в запросе.
3. Дополнение запроса токеном, который будет соответствовать числовым частям, извлеченным из документов в индексе (например, добавление *np*42 к запросу, содержащему 42).
4. Назначение весов токенам в дополненном запросе, при этом вес исходного токена выше веса добавленного варианта.

Процесс Б: Нормализация префиксов-стоп-слов

Этап Индексации:

1. Получение Blacklist.
2. Получение последовательности токенов документа.
3. Для токена, начинающегося со stopword prefix, проверяется его отсутствие в Blacklist.
4. Если он отсутствует, генерируется нормализованная форма путем удаления префикса.
5. В индекс сохраняются данные, связывающие документ как с исходным токеном, так и с нормализованной формой. (Опционально: нормализованная форма помечается специальным префиксом, например, *sp*).

Этап Обработки Запроса:

1. Получение поискового запроса.
2. Для токена запроса проверяется его отсутствие в Blacklist.
3. Генерируется нормализованная форма токена.
4. Запрос дополняется нормализованной формой (и/или ее помеченной версией, например, *sp*форма).
5. Назначение весов, при этом вес исходного токена выше веса нормализованной формы.

Процесс В: Генерация Blacklist (Офлайн)

Часть 1: Создание набора данных токенов (Token Dataset)

1. Анализ Training Dataset для сбора токенов и их частот.
2. Для каждого токена проверяется совпадение начала с составным (compound) или одиночным (single) stopword prefix.
3. Если префикс составной, система последовательно удаляет одиночные префиксы, добавляя каждую промежуточную форму и ее частоту в Token Dataset.
4. Если префикс одиночный, система удаляет его и добавляет результат и его частоту в Token Dataset.

Часть 2: Генерация Blacklist из Token Dataset

1. Выбор полного токена (whole token) из Token Dataset, частота которого выше порога и который имеет stopword prefix.
2. Генерация нормализованного токена путем удаления самого длинного совпадающего префикса.
3. Проверка, имеет ли нормализованный токен stopword prefix.
   • Если ДА (Правило 1): Нормализованный токен добавляется в Blacklist.
   • Если НЕТ (Правило 2): Вычисляется соотношение частоты нормализованного токена к частоте полного токена. Если соотношение ниже порога (т.е. нормализованная форма редка), полный токен добавляется в Blacklist.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке символьных данных и использовании статистической информации.

• Контентные факторы: Токены (последовательности символов), извлеченные из текста ресурса или метаданных. Система анализирует состав символов (цифры или нет) и начальные символы (префиксы).
• Лингвистические данные: Предопределенный набор эталонных stopword prefixes (одиночных и составных) для целевого языка.
• Статистические данные (для Blacklist): Частоты встречаемости токенов (frequency of occurrence) в большом корпусе текстов (Training Dataset).
• Системные данные: Сгенерированный Blacklist.

Какие метрики используются и как они считаются

• Frequency Threshold (Порог частоты): Используется при генерации Blacklist для отбора только часто встречающихся слов в языке.
• Frequency Ratio (Соотношение частот): Метрика для генерации Blacklist. Рассчитывается как: $Ratio = \frac{Freq(Normalized Token)}{Freq(Whole Token)}$. Если Ratio ниже определенного порога, считается, что префикс является неотъемлемой частью слова.
• Weights (Веса): Используются на этапе выполнения запроса. Вес синонима (извлеченного числа или нормализованной формы) устанавливается ниже веса исходного токена запроса, чтобы обеспечить приоритет точному совпадению при ранжировании.

1. Эффективность через предварительную обработку: Патент подтверждает стратегию Google по переносу сложных вычислений с этапа выполнения запроса на этап индексации. Предварительная генерация синонимов ускоряет поиск.
2. Два различных механизма синонимизации: Система использует разные подходы для обработки технических идентификаторов (извлечение чисел) и лингвистических особенностей (нормализация префиксов).
3. Извлечение чисел улучшает Recall для технических запросов: Система индексирует числа внутри буквенно-числовых токенов как отдельные токены, что позволяет находить документы независимо от окружающих букв или форматирования (например, поиск по SKU).
4. Сложная лингвистическая нормализация (для языков с префиксами): Обработка stopword prefixes не является простым удалением. Она использует статистически сгенерированные Blacklist для предотвращения ошибок, когда префикс является частью корня слова.
5. Статистический анализ корпуса для определения правил языка: Генерация Blacklist основана на анализе частотности слов в реальном корпусе текстов, что позволяет системе адаптироваться к живому языку и выявлять исключения из правил.
6. Баланс между полнотой и точностью: Хотя генерация синонимов увеличивает полноту (Recall), система сохраняет точность (Precision) за счет назначения более низких весов синонимам по сравнению с исходными терминами запроса.

Best practices (это мы делаем)

• Оптимизация под технические идентификаторы (E-commerce, каталоги):
  • Обеспечьте консистентность написания SKU, артикулов и номеров моделей. Убедитесь, что они представлены в виде текста, а не изображений.
  • Понимайте, что Google может извлечь числовую часть. Если у вас есть продукт «XYZ-1234-ABC», он может быть найден по запросу «1234». Используйте это при формировании структуры страниц и внутренней перелинковки.
  • При исследовании ключевых слов для технических товаров проверяйте варианты запросов, содержащие только числовую часть идентификатора.
• Повышение релевантности через точное совпадение: Так как точное совпадение имеет больший вес (Claim 7), рекомендуется упоминать ключевые идентификаторы не только в составе сложного кода, но и отдельно, если это естественно для контента. Например, указать и "Canon-EOS-R5", и отдельно "R5".
• International SEO (Арабский, Иврит и т.п.):
  • Учитывайте, что Google с высокой вероятностью нормализует артикли и предлоги, присоединенные к началу слова.
  • Фокусируйтесь на семантическом значении ключевых слов, а не на конкретных формах с разными префиксами.
  • Используйте стандартную лексику. Механизм Blacklist опирается на частотный анализ, поэтому общепринятое написание гарантирует корректную обработку.

Worst practices (это делать не надо)

• Манипуляция написанием идентификаторов: Попытки скрыть контент или избежать обнаружения путем слияния чисел и текста (например, «GTX1080» вместо «GTX 1080») неэффективны, так как система извлечет «1080» в обоих случаях.
• Спам вариантами стоп-слов: Создание отдельных страниц или перенасыщение текста вариантами ключевых слов с разными stopword prefixes не имеет смысла в языках, где этот механизм активен, так как они будут нормализованы к единой форме на этапе индексации.
• Использование изображений для идентификаторов: Размещение SKU или номеров моделей только на изображениях не позволит системе применить механизм извлечения числовых частей.

Стратегическое значение

Этот патент демонстрирует глубину и сложность этапа индексации Google. Для Senior SEO-специалистов важно понимать, что индексация — это не простое сохранение текста, а сложный процесс нормализации и извлечения признаков. Стратегии, основанные на использовании технических идентификаторов или продвижении на рынках с языками, имеющими сложную морфологию, должны учитывать эти механизмы предварительной обработки. Это также подчеркивает важность статистического анализа данных для принятия решений в SEO, отражая то, как Google использует частотный анализ для построения своих лингвистических моделей.

Практические примеры

Сценарий 1: Поиск батареи для ноутбука (Извлечение чисел)

1. Контент на сайте: В описании товара указан совместимый парт-номер: «Battery Part# HSTNN-DB72».
2. Индексация: Google индексирует токен «HSTNN-DB72». Система определяет числовую часть «72». В индекс попадают «HSTNN-DB72» и вариант «72» (например, *np*72).
3. Запрос пользователя: Пользователь ищет «батарея для ноутбука DB 72».
4. Обработка запроса: Google модифицирует запрос, включая варианты для «72»: «батарея для ноутбука DB (72 OR *np*72)».
5. Результат: Страница с «HSTNN-DB72» находится, так как *np*72 в индексе соответствует *np*72 в модифицированном запросе.

Сценарий 2: Поиск на арабском языке (Нормализация префиксов)

1. Язык: Арабский. Стоп-слово (артикль): «ال» (Al-).
2. Контент на сайте: Текст содержит слово «المستقبل» (Almustaqbal - «Будущее» с артиклем).
3. Индексация: Google проверяет Blacklist. Если слова там нет, система удаляет префикс «ال» и получает нормализованную форму «مستقبل» (Mustaqbal). В индекс попадают оба варианта.
4. Запрос пользователя: Пользователь ищет «مستقبل» (без артикля).
5. Результат: Страница, содержащая «المستقبل», находится, так как запрос соответствует нормализованной форме, сохраненной в индексе.