Как Google определяет язык и разбивает на слова слитный текст (например, в доменах или URL)

Описание

Какую задачу решает

Патент решает фундаментальную проблему обработки текста: интерпретацию строки символов, в которой отсутствуют пробелы или другие разделители слов (например, в доменных именах, URL или слипшихся запросах). Сложность заключается в том, что корректная сегментация (разбиение на слова или tokens) критически зависит от правильного определения языка, так как одна и та же строка может иметь разный смысл в разных языках. Изобретение предлагает механизм для статистического определения наиболее вероятного языка и соответствующей ему сегментации.

Что запатентовано

Запатентована система для автоматического выбора оптимального языка (Operable Language) и сегментации (Operable Segmented Result) для текста без пробелов. Система определяет несколько потенциальных языков (Candidate Languages), генерирует варианты сегментации для каждого из них и использует анализ частотности (Frequency of Occurrence) этих вариантов в большом корпусе данных (веб-индекс или логи запросов). Вариант с наибольшей частотностью, включая варианты с исправлением опечаток, признается верным.

Как это работает

Механизм работает следующим образом:

• Идентификация кандидатов: Система определяет потенциальные языки для входной строки, используя Language Signals (например, IP-адрес пользователя, TLD домена, настройки браузера, лингвистические паттерны).
• Сегментация: Строка разбивается на возможные комбинации токенов (Segmented Results) для каждого языка.
• Анализ частотности и проверка орфографии: Для лучших вариантов сегментации система проверяет, насколько часто они встречаются в корпусе данных соответствующего языка. Также проверяется частотность орфографически исправленных версий (spell-corrected segmented result).
• Нормализация и Выбор: Частотности сравниваются между языками с использованием нормализации (для учета разного объема контента на разных языках). Выбирается язык и сегментация с наивысшей частотой встречаемости.

Актуальность для SEO

Средне-высокая. Сегментация текста и определение языка являются фундаментальными задачами NLP в поиске. Хотя конкретные статистические методы, описанные в патенте (приоритет с 2004 г.), вероятно, были дополнены или заменены более сложными нейросетевыми моделями (BERT, MUM), общий принцип валидации лингвистической интерпретации на основе больших данных остается актуальным, особенно для обработки URL и доменов.

Важность для SEO

Влияние на SEO умеренное (4/10). Патент описывает инфраструктурные процессы (INDEXING и QUNDERSTANDING), а не алгоритмы ранжирования. Однако он критически важен для понимания того, как Google интерпретирует и токенизирует доменные имена и URL-адреса. Он подчеркивает важность использования четких и недвусмысленных конвенций в техническом SEO, поскольку интерпретация URL зависит от того, насколько часто предполагаемая комбинация слов встречается в интернете на целевом языке.

Детальный разбор

Термины и определения

Candidate Language / Potential Language (Язык-кандидат / Потенциальный язык)

Язык, идентифицированный системой как возможный язык для входной строки символов на основе Language Signals.

Frequency of Occurrence (FoO) (Частота встречаемости)

Метрика, показывающая, как часто конкретный Segmented Result встречается в определенном корпусе данных (например, в веб-индексе или в логах поисковых запросов) на соответствующем языке.

Language Signals (Языковые сигналы)

Данные, используемые для определения потенциальных языков. Включают лингвистические особенности строки (linguistics), IP-адрес пользователя, используемый набор символов (character set), настройки браузера (browser settings) и домен верхнего уровня (TLD).

Normalization (Нормализация)

Процесс корректировки FoO с учетом общего размера корпуса для данного языка. Позволяет сравнивать результаты между разными языками.

Operable Language (Рабочий язык)

Язык, выбранный системой как наиболее подходящий для входной строки на основе анализа частотности.

Operable Segmented Result (Рабочий сегментированный результат)

Вариант сегментации, выбранный системой как наилучший (с наивысшей FoO).

Segmented Result (Сегментированный результат)

Конкретная комбинация токенов, полученная в результате разбиения входной строки. Например, для «usedrugs» это может быть «used rugs» или «use drugs».

Spell-corrected segmented result (Сегментированный результат с исправленной орфографией)

Вариант результата, полученный после применения функции проверки орфографии (spell-checking function) к токенам.

String of characters (Строка символов)

Входные данные для системы, текст без пробелов (например, доменное имя).

Token (Токен)

Слово, имя собственное, аббревиатура или другая значимая единица текста.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы.

1. Система получает строку символов.
2. Идентифицируются как минимум первый (L1) и второй (L2) языки-кандидаты.
3. Строка сегментируется, создавая как минимум первый результат R1 (на L1) и второй результат R2 (на L2).
4. Определяется исправленный вариант (spell-corrected segmented result, SC-R1) как минимум для R1 с помощью функции проверки орфографии.
5. Определяются три частоты встречаемости (FoO):
   • F1: для R1 в корпусе L1.
   • F2: для R2 в корпусе L2.
   • F3: для SC-R1 в корпусе L1.
6. Рабочий сегментированный результат (Operable Segmented Result) идентифицируется на основе сравнения как минимум F1, F2 и F3.

Ядром изобретения является метод разрешения неоднозначности сегментации путем сравнения частотности возможных вариантов в корпусах данных разных языков, при этом активно учитывая варианты с исправлением орфографических ошибок.

Claim 2 и 3 (Зависимые): Уточняют природу корпуса данных.

Корпус может состоять из множества статей (plurality of articles, например, веб-документов) (Claim 2) или из множества ранее полученных поисковых запросов (plurality of previously received search queries, логи запросов) (Claim 3) на соответствующем языке.

Claim 4 (Зависимый): Описывает метод определения FoO.

Частота может определяться путем отправки сегментированного результата в виде поискового запроса в поисковую систему и анализа полученного набора результатов.

Где и как применяется

Изобретение применяется на этапах, связанных с интерпретацией и токенизацией текста.

INDEXING – Индексирование и извлечение признаков
На этом этапе механизм может использоваться для анализа и сегментации URL-адресов и доменных имен. Это необходимо для корректного извлечения токенов и понимания семантики ресурса. Также индекс, созданный на этом этапе, служит корпусом для анализа частотности.

QUNDERSTANDING – Понимание Запросов
Основное применение. Механизм применяется для обработки поисковых запросов, введенных без пробелов, или для интерпретации доменных имен, введенных пользователем. Система должна корректно определить язык и разбить запрос на слова, прежде чем начать поиск.

Взаимодействие компонентов:

• Language Processor использует Language Signals для определения кандидатов.
• Segmentation Processor выполняет разбиение, используя базу данных токенов (Token DB).
• Frequency Processor взаимодействует с поисковой системой (Search Engine) или индексом (Indexer) для проверки частотности.

Входные данные:

• String of characters (например, доменное имя).
• Language Signals (IP, TLD, настройки браузера и т.д.).
• Доступ к корпусам данных (Индекс, Логи запросов).

Выходные данные:

• Operable Segmented Result.
• Operable Language.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на интерпретацию технических идентификаторов: доменных имен, URL-адресов (slugs), а также названий брендов и хештегов.
• Специфические запросы: Влияет на запросы, где пользователь не использовал пробелы.
• Языковые и географические ограничения: Механизм критически важен в мультиязычной среде и для международного поиска, где высока вероятность неоднозначности языка.

Когда применяется

Алгоритм применяется при обработке строки символов, требующей сегментации, в условиях языковой неоднозначности.

• Триггеры активации: Получение строки без явных разделителей. В патенте особо упоминается контекст обработки неактивных или несуществующих доменных имен для показа релевантной рекламы (например, на парковочных страницах).
• Условия работы: Наличие достаточных данных в корпусах для анализа частотности.

Пошаговый алгоритм

1. Доступ к строке символов: Система получает входную строку (например, доменное имя).
2. Идентификация потенциальных языков: Language Processor анализирует Language Signals (IP, TLD, набор символов, лингвистические паттерны, настройки браузера) для определения списка языков-кандидатов.
3. Сегментация: Для каждого языка-кандидата Segmentation Processor генерирует список возможных сегментированных результатов.
4. Определение лучших результатов: Для каждого языка выбираются наиболее вероятные варианты. Вероятность может рассчитываться на основе частотности отдельных токенов, входящих в результат (Probability Value).
5. Проверка орфографии (Spell-checking): Для лучших результатов система генерирует альтернативные варианты с исправлением возможных опечаток (spell-corrected segmented results).
6. Выполнение поиска частотности: Frequency Processor инициирует поиск для определения Frequency of Occurrence (FoO) для лучших результатов И их исправленных вариантов в соответствующем языковом корпусе.
7. Нормализация: Значения FoO нормализуются с учетом общего размера корпуса для данного языка, чтобы обеспечить справедливое сравнение между языками.
8. Идентификация рабочего результата и языка: Система сравнивает нормализованные FoO всех вариантов на всех языках. Вариант с наибольшей частотой выбирается как Operable Segmented Result, а соответствующий ему язык — как Operable Language. Language Signals также могут использоваться для взвешивания результатов на этом этапе.

Какие данные и как использует

Данные на входе

Система использует следующие типы данных для определения языков-кандидатов (Language Signals):

• Технические факторы:
  • Домен верхнего уровня (TLD), связанный со строкой (например, .ru, .de).
  • Набор символов (Character set) строки (например, Кириллица, ASCII).
• Географические факторы:
  • IP-адрес пользователя (для определения страны и ее языков).
• Пользовательские факторы:
  • Настройки браузера (Browser settings) пользователя (язык и набор символов, переданные в HTTP-заголовке).
• Контентные/Лингвистические факторы:
  • Лингвистические особенности (Linguistics) самой строки (например, характерные окончания или префиксы).
• Данные корпуса (Corpus Data):
  • Индекс статей (Index) или логи поисковых запросов (Search Logs), используемые для проверки частотности.

Какие метрики используются и как они считаются

• Probability Value (Значение вероятности сегментации): Внутренняя метрика для предварительного ранжирования вариантов в рамках одного языка. Рассчитывается на основе частотных значений отдельных токенов (например, путем суммирования частот или логарифмов частот).
• Frequency of Occurrence (FoO) (Частота встречаемости): Основная метрика для выбора финального результата. Определяется количеством статей или поисковых запросов в корпусе определенного языка, содержащих точный сегментированный результат.
• Normalization (Нормализация): Ключевой процесс масштабирования FoO. Рассчитывается как: (Количество вхождений результата на Языке А) / (Общий размер корпуса на Языке А). Это позволяет нивелировать разницу в распространенности языков. (Пример из патента: 70 вхождений из 1000 документов (0.07) проиграют 60 вхождениям из 400 документов (0.15)).
• Взвешивание (Опционально): В патенте упоминается возможность использования объективного ранжирования (например, PageRank) статей, содержащих результат, для взвешивания их вклада в общую частоту.

Выводы

1. Интерпретация текста основана на статистике и частотности: Google использует данные о реальном использовании языка (частоту встречаемости фраз в интернете или запросах), чтобы определить, как правильно разбить слитный текст на слова. Наиболее частая интерпретация побеждает.
2. Мультиязычный анализ и критичность нормализации: Система одновременно рассматривает варианты на разных языках. Использование Normalization критически важно для справедливого сравнения популярности фраз между языками с разным объемом контента в индексе.
3. Интеграция проверки орфографии: Система не просто сегментирует текст, но и одновременно пытается исправить опечатки. Частотность проверяется как для исходного, так и для spell-corrected варианта (Claim 1), что повышает точность интерпретации.
4. Использование комплексных Language Signals: Для определения потенциальных языков и взвешивания результатов используются разнообразные внешние сигналы: геолокация (IP), технические параметры (TLD, настройки браузера) и лингвистические особенности.
5. Фокус на URL и доменах: Хотя технология применима шире, основной контекст патента — это интерпретация доменных имен и URL для их корректного понимания и токенизации.

Практика

Best practices (это мы делаем)

• Использование дефисов в URL: Главный практический вывод для SEO. Необходимо использовать четкие разделители (дефисы) в URL-адресах, содержащих несколько слов. Это устраняет неоднозначность и гарантирует правильную интерпретацию ключевых слов системой, избавляя ее от необходимости применять вероятностную сегментацию.
• Усиление языковых сигналов (Международное SEO): Обеспечивайте консистентность языковых сигналов, чтобы помочь Google правильно определить язык. Используйте соответствующие TLD, корректно настраивайте hreflang и указывайте язык в HTML. Это гарантирует, что контент будет ассоциирован с нужным языковым корпусом.
• Анализ частотности для брендинга и доменов: При выборе доменных имен или названий брендов убедитесь, что предполагаемое разбиение на слова является интуитивно понятным и наиболее распространенным вариантом использования в целевом языке. Избегайте неоднозначных вариантов.

Worst practices (это делать не надо)

• Использование двусмысленных составных URL без разделителей: Создание URL, которые могут быть интерпретированы иначе, чем предполагалось, особенно если альтернативная интерпретация имеет высокую частоту встречаемости. (Например, «usedrugs» может быть понято как «use drugs» вместо «used rugs»).
• Игнорирование языковой специфики: Использование слов одного языка в контексте другого без учета того, как они могут быть сегментированы или если они образуют часто встречающуюся фразу на третьем языке.
• Чрезмерно длинные URL без разделителей: Создание URL вида /luchshiysposobsegmentatsiiteksta/ неэффективно. Система будет вынуждена применять описанный алгоритм, что создает риск неправильной интерпретации.

Стратегическое значение

Патент подтверждает, что интерпретация контента Google, включая технические элементы (URL), является вероятностным процессом, основанным на анализе больших данных. Для SEO это означает, что минимизация неоднозначности является ключевой задачей. Системы Google предпочитают интерпретации, которые статистически более распространены. Это подчеркивает важность следования устоявшимся языковым нормам и конвенциям при формировании структуры сайта и URL.

Практические примеры

Сценарий 1: Оптимизация URL slug

1. Задача: Создать URL для статьи о программном обеспечении «Now Everywhere».
2. Плохой вариант URL: /noweverywhere/
3. Анализ системой: Система анализирует «noweverywhere». Варианты: «Now Everywhere» (Сейчас везде) или «No Where» (Нигде).
4. Проверка частотности: Система проверяет FoO обеих фраз. Если «No Where» встречается чаще, система может ошибочно выбрать эту интерпретацию.
5. Хороший вариант URL: /now-everywhere/
6. Результат: Использование дефиса устраняет неоднозначность и гарантирует правильную сегментацию.

Сценарий 2: Анализ неоднозначного доменного имени

1. Домен: therapistfinder.com.
2. Анализ по патенту: Система генерирует варианты сегментации в английском языке: «therapist finder» и «the rapist finder».
3. Проверка частотности: Система проверяет Frequency of Occurrence для обеих фраз в веб-индексе.
4. Результат: Фраза «therapist finder», вероятно, имеет значительно более высокую частотность и будет выбрана как Operable Segmented Result.
5. Рекомендация: Хотя система, скорее всего, выберет правильный вариант, использование разделителей (therapist-finder.com) устраняет риск и гарантирует правильную интерпретацию.

Вопросы и ответы