Как Google изучает новые слова, сленг и опечатки из поисковых запросов и веб-контента для лучшего понимания текста и URL

Термины и определения

Token (Токен)

Лексическая единица. Может быть словом, акронимом, аббревиатурой, именем собственным, географическим названием, биржевым тикером или другим символьным выражением (включая опечатки).

Lexicon (Лексикон)

База данных или набор идентифицированных токенов. Используется системой для распознавания токенов при парсинге новых строк символов.

Ontology (Онтология)

В контексте патента — продвинутая форма лексикона, где токены связаны с концептами, значениями и другими токенами. Например, опечатка связана с правильным написанием слова.

Segmentation (Сегментация)

Процесс разделения строки символов (особенно без пробелов) на составляющие её токены.

Search Log (Лог поисковых запросов)

Запись поисковых запросов пользователей. Ключевой источник нередактируемых данных для выявления новых токенов и распространенных опечаток.

Internet Article (Интернет-статья)

Источник контента для извлечения токенов. Включает веб-страницы, электронные письма, сообщения мессенджеров (IM), чаты.

Threshold Frequency (Порог частоты)

Минимальное количество раз, которое токен должен появиться в источнике данных, чтобы быть добавленным в лексикон. Служит фильтром от шума.

Segmentation Engine (Механизм сегментации)

Программный компонент, отвечающий за разбор строк и управление лексиконом.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод пополнения лексикона на основе поисковых запросов.

1. Система получает и парсит строку символов без разделителей, выделяя первый токен.
2. Этот токен ищется в логах ранее полученных поисковых запросов.
3. Определяется частота (frequency) его появления в логах.
4. Проверяется, превышает ли частота установленный порог (threshold level).
5. Если ДА, токен сохраняется в хранилище данных лексикона (lexicon data storage).
6. Хранилище является онтологией (ontology), которая связывает опечатку (misspelling) или альтернативное написание с правильным или предпочтительным написанием.

Claim 6 (Независимый пункт): Описывает метод пополнения лексикона на основе интернет-контента (internet-accessible article).

1. Система идентифицирует и парсит строку символов без разделителей в интернет-статье (веб-страница, чат и т.д.).
2. Определяется частота появления токена (либо внутри статьи, либо по количеству разных статей, где он встречается).
3. Проверяется, превышает ли частота соответствующий порог.
4. Если ДА, токен сохраняется в лексиконе (онтологии), где связываются варианты написания.

Claim 11 (Независимый пункт): Описывает процесс пополнения лексикона и его применение для коррекции доменных имен.

1. Идентифицируется токен (Первый токен) из множества ранее полученных поисковых запросов.
2. Проверяется, включен ли он уже в лексикон (онтологию) И встречается ли он с частотой выше пороговой.
3. На основе этой проверки идентифицируется Второй токен, который является правильным или альтернативным написанием Первого токена. (Примечание: В описании патента упоминается использование Spell Checker для этой цели).
4. Первый токен добавляется в лексикон с ассоциацией ко Второму токену.
5. Система получает новую строку без разделителей, содержащую доменное имя (domain name).
6. Часть этой строки сопоставляется с Первым токеном (опечаткой) с помощью лексикона.
7. Сопоставленная часть заменяется на Второй (исправленный) токен.

Где и как применяется

Изобретение является частью инфраструктуры обработки естественного языка (NLP) и применяется на ранних этапах обработки текста.

INDEXING – Индексирование и извлечение признаков

• Пополнение лексикона: Анализ сканированного веб-контента (Internet Articles) для выявления новых терминов, сленга, имен собственных.
• Токенизация контента: Использование дополненного лексикона для корректного разбора текста страниц, особенно UGC (User-Generated Content).
• Сегментация URL: Разбор URL-адресов на семантические составляющие для извлечения сигналов.

QUNDERSTANDING – Понимание Запросов

• Пополнение лексикона: Анализ логов поисковых запросов (Search Logs) для выявления распространенных опечаток, аббревиатур и новых запросов.
• Токенизация и Нормализация запросов: В реальном времени лексикон используется для сегментации слитных запросов и исправления опечаток (замена Токена 1 на Токен 2 согласно онтологии).

Входные данные:

• Логи поисковых запросов.
• Интернет-контент (веб-страницы, чаты, IM).
• Строки без разделителей (URL, доменные имена).

Выходные данные:

• Дополненный лексикон (Онтология).
• Сегментированные и нормализованные текстовые строки.

На что влияет

• Специфические запросы: Улучшает обработку запросов с опечатками, сленгом, новыми брендами и аббревиатурами, а также слитных запросов.
• Конкретные типы контента: Повышает качество анализа неформального контента (UGC, форумы, чаты).
• Технические факторы (URL): Напрямую влияет на способность системы сегментировать и понимать семантику URL-адресов (ЧПУ).
• Конкретные ниши: Влияет на быстро развивающиеся тематики (технологии, развлечения), где постоянно появляется новая лексика.

Когда применяется

• Дополнение лексикона (Офлайн/Фоновый режим): Происходит постоянно при обработке логов и контента. Триггер для добавления — превышение Threshold Frequency.
• Применение лексикона (Онлайн): В реальном времени при обработке поискового запроса или при индексировании документа. Также применяется при неудачной попытке разрешить доменное имя (например, при ошибке ввода URL пользователем).

Пошаговый алгоритм

Процесс А: Дополнение Лексикона (Офлайн/Фоновый режим)

1. Доступ к источникам: Система получает доступ к Search Log или Internet Article.
2. Идентификация кандидатов: Идентификация строк символов как потенциальных токенов.
3. Фильтрация по частоте: Подсчет частоты встречаемости кандидата в источнике.
4. Проверка порога: Сравнение частоты с Threshold Frequency. Токены ниже порога отбрасываются.
5. Дополнительная фильтрация (Опционально): Проверка минимальной длины или набора символов.
6. Определение связей (Онтология): Для прошедших фильтрацию токенов определяется корректное написание (например, с помощью Spell Checker).
7. Добавление в лексикон: Токен добавляется в Lexicon Data Storage с ассоциацией к его корректной версии.

Процесс Б: Применение Лексикона (Онлайн)

1. Получение строки: Система получает строку без разделителей (например, доменное имя "hoffmanamplifilers").
2. Сегментация: Segmentation Engine парсит строку, используя дополненный лексикон. Распознает токены "hoffman" и "amplifilers" (если последний был добавлен ранее).
3. Нормализация (Коррекция): Если распознанный токен имеет ассоциацию в онтологии, система может заменить его. Например, "amplifilers" заменяется на "amplifiers".
4. Вывод: Предоставление сегментированной и нормализованной строки ("hoffman amplifiers") для дальнейшей обработки.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Search Logs): Логи поисковых запросов. Основной источник данных о реальном языке пользователей, включая опечатки и новые слова.
• Контентные факторы (Internet Articles): Веб-страницы, архивы почтовых рассылок, диалоги в мессенджерах (IM) и чатах. Источник для изучения сленга, имен собственных и уникальной терминологии.
• Технические факторы: Доменные имена и URL. Выступают как объекты для сегментации и коррекции.

Какие метрики используются и как они считаются

• Threshold Frequency (Пороговая частота): Ключевая метрика для фильтрации. Токен должен появиться минимальное количество раз в источнике, чтобы быть добавленным в лексикон. Это предотвращает загрязнение лексикона случайными ошибками.
• Минимальное количество символов: Опциональный фильтр, отсеивающий слишком короткие токены.
• Набор символов (Character Set): Опциональный фильтр, ограничивающий токены определенным набором символов.
• Ассоциации в онтологии: Связи между токенами (например, misspelling -> correct spelling). Могут устанавливаться с помощью внешних инструментов, таких как Spell Checker.

1. Динамическая адаптация к языку: Google не полагается на статические словари. Система автоматически и непрерывно изучает язык, анализируя, как люди ищут (Search Logs) и что они пишут в интернете (Web Content, включая чаты и IM).
2. Частота как валидатор значимости: Система использует частоту встречаемости (Threshold Frequency) как доказательство значимости нового токена или опечатки. Распространенные ошибки будут изучены, а случайные — отфильтрованы.
3. От токенизации к пониманию (Онтология): Цель не просто распознать токен, но и связать его с правильным написанием или концептом. Система строит онтологию, что является основой для семантического понимания и нормализации текста.
4. Улучшение обработки URL: Описанный механизм критически важен для сегментации URL-адресов на семантические составляющие (важно для ЧПУ) и для обработки ошибок при вводе доменных имен.
5. Инфраструктурное значение: Патент описывает фундаментальный механизм обработки языка (NLP), который необходим для корректной работы этапов индексирования и понимания запросов.

Best practices (это мы делаем)

• Использование естественного языка и терминологии аудитории: Используйте отраслевой сленг, новые термины или аббревиатуры, если они общеприняты вашей аудиторией. Патент показывает, что Google стремится изучить эти токены через анализ веб-контента и запросов. Если термин часто используется, он попадет в лексикон.
• Популяризация бренда и новых терминов (Стратегия запуска): Для новых брендов критически важно обеспечить их частое упоминание в интернете и стимулировать поисковые запросы. Это гарантирует, что Google быстро добавит название в свой лексикон (преодолев Threshold Frequency) и научится правильно его распознавать, включая типичные опечатки.
• Использование ЧПУ (Человекопонятных URL): Патент подтверждает, что Google имеет специальные механизмы (Segmentation Engine) для разбора URL на токены. Использование ЧПУ с ключевыми словами, разделенными дефисами, облегчает этот процесс и позволяет системе корректно извлекать семантические сигналы из адреса страницы.
• Анализ реальных запросов (GSC): Изучайте отчеты по поисковым запросам, чтобы понять точные формулировки, включая распространенные опечатки. Это подтверждает важность соответствия контента реальному языковому поведению.

Worst practices (это делать не надо)

• Искусственная оптимизация под опечатки (Misspelling Optimization): Попытки оптимизировать страницы под редкие или искусственные опечатки неэффективны. Система фильтрует токены по частоте. Если опечатка не является распространенной в реальных данных, она не будет добавлена в лексикон.
• Использование нечитаемых или слитных URL: Использование длинных URL с параметрами или слитное написание слов в URL (например, /brandxamplifiler/ вместо /brandx-amplifier/) затрудняет сегментацию. Не стоит полагаться на то, что Google идеально разберет сложную строку.
• Игнорирование UGC: Не стоит чрезмерно модерировать пользовательский контент только из-за наличия сленга или опечаток. Этот контент является источником данных для Google, и система способна его интерпретировать.

Стратегическое значение

Патент подтверждает стратегическую важность NLP для Google и его способность динамически адаптироваться к эволюции языка. Для SEO это означает, что долгосрочная стратегия должна фокусироваться на семантической релевантности и точном соответствии лексикону и интенту целевой аудитории. Система стремится понимать естественный язык во всех его проявлениях, включая несовершенства.

Практические примеры

Сценарий 1: Вывод нового бренда на рынок

1. Задача: Убедиться, что Google быстро распознает новый бренд "XyzWidget" и его частую опечатку "XysWidget".
2. Действия: Активная PR-кампания для обеспечения упоминаний (Internet Articles) и стимулирование поискового спроса (Search Logs).
3. Как работает Google: Система видит частое появление "XyzWidget". Частота превышает порог, токен добавляется в лексикон. Затем система фиксирует частую опечатку "XysWidget" в логах. Она также добавляется в лексикон и связывается с правильным написанием "XyzWidget" в онтологии.
4. Результат: Когда пользователь вводит запрос или URL с опечаткой "XysWidget", Google распознает этот токен и корректно интерпретирует (и, возможно, исправляет) его как "XyzWidget".

Сценарий 2: Сегментация URL (ЧПУ)

1. Ситуация: Интернет-магазин использует URL /products/brandx-amplifier/.
2. Как работает механизм: Segmentation Engine получает URL. Даже если рассматривать его как строку без явных пробелов, система использует лексикон, чтобы разбить его на токены "brandx" и "amplifier".
3. Результат: Google точнее понимает содержание страницы по URL, используя извлеченные токены как семантические сигналы.