Как Google разбирает сложные слова в запросе на части и подбирает синонимы к каждой части

Термины и определения

Compound Term (Составной термин)

Термин в запросе, состоящий из двух или более слов, написанных слитно (например, "vlcmediaplayer" или немецкое "hochzeitsreise").

Dictionary (Словарь)

Хранилище данных, содержащее термины, извлеченные из корпуса документов, и связанные с ними оценки (scores).

Dynamic Programming (Динамическое программирование)

Алгоритмический метод, используемый для эффективного вычисления оптимального способа декомпозиции в реальном времени путем анализа префиксов возрастающей длины.

Fugenmorphemes (Фугенморфемы / Соединительные элементы)

Буквы, используемые для соединения подтерминов в составном слове в некоторых языках (например, 's' в немецком "hochzeitsreise"). Система может учитывать их при декомпозиции.

Lexical Similarity (Лексическое сходство)

Связь между словами на основе их написания (стемминг, пунктуация, акронимы, аббревиатуры). Используется для идентификации доверенных синонимов.

Online Decompounding (Онлайн-декомпозиция)

Процесс разделения составного термина на его составляющие подтермины в момент получения запроса (at search time), а не заранее.

Overall Score (Общая оценка разбивки)

Метрика для оценки качества конкретного варианта разбивки. Обычно рассчитывается как сумма оценок составляющих его подтерминов.

Pseudostemming (Псевдостемминг)

Более агрессивная техника стемминга, описанная в патенте, которая использует анализ длины общего префикса и редакционного расстояния оставшихся частей слов для выявления лексических вариантов.

Score (Оценка термина)

Числовое значение, присвоенное термину в словаре. Обычно основано на частоте встречаемости термина в корпусе документов (например, логарифм частоты).

Transitivity (Транзитивность)

Принцип, согласно которому, если термин А является синонимом термина В, а термин В является синонимом термина С, то термин А считается синонимом термина С.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает систему для расширения запроса синонимами, полученными через онлайн-декомпозицию.

1. Система получает запрос, включающий составной термин (compound term).
2. В ответ на получение запроса (т.е. онлайн) выполняются следующие операции:
3. Генерация одной или нескольких разбивок (splits) составного термина на подтермины (subterms). По крайней мере один подтермин должен присутствовать в словаре, где терминам присвоены оценки на основе частоты использования.
4. Присвоение оценок подтерминам, найденным в словаре.
5. Определение общей оценки (overall score) для каждой разбивки на основе оценок ее подтерминов.
6. Выбор первой разбивки на основе общих оценок (обычно лучшей).
7. Аугментация (расширение) запроса первой синонимичной фразой, которая является синонимом первого подтермина из выбранной разбивки.

Ядро изобретения: защищается не только сам факт декомпозиции, но и обязательное использование синонимов полученных подтерминов для расширения запроса.

Claim 3 (Зависимый от 1): Детализирует метод генерации разбивок.

Генерация разбивок включает инкрементальный анализ префиксов возрастающей длины составного термина для идентификации подтерминов в словаре. Это описание соответствует методу динамического программирования.

Claim 8 (Зависимый от 1): Уточняет расчет общей оценки.

Общая оценка для разбивки рассчитывается путем суммирования оценок подтерминов этой разбивки.

Claim 9 (Зависимый от 1): Включает механизм транзитивности.

Операции дополнительно включают расширение запроса еще одной синонимичной фразой, которая является синонимом для первой синонимичной фразы (т.е. синоним синонима подтермина).

Где и как применяется

Изобретение применяется на этапе понимания и переписывания запроса, используя данные, подготовленные на этапе индексирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная работа (офлайн): анализ корпуса документов для создания словаря терминов и расчета их частотных оценок (scores). Также происходит предварительная идентификация базовых синонимичных пар (включая лексический анализ).

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Процессы выполняются онлайн:

1. Система анализирует полученный запрос для выявления составных терминов.
2. Процесс Online Decompounding запускается для разбора этих терминов с использованием динамического программирования и данных из словаря.
3. После определения лучшей разбивки система инициирует генерацию синонимов (Synonym Generation) для полученных подтерминов, включая применение транзитивности.
4. Результатом является переписанный (аугментированный) запрос.

RANKING – Ранжирование
Система ранжирования получает на вход уже расширенный запрос, содержащий исходные термины и добавленные синонимы подтерминов.

Входные данные:

• Исходный запрос пользователя.
• Словарь терминов с предварительно рассчитанными частотными оценками.
• База данных синонимов и правила лексического анализа.

Выходные данные:

• Аугментированный запрос, включающий синонимы для подтерминов исходного составного термина.

На что влияет

• Специфические запросы: Наибольшее влияние на запросы, содержащие технические термины, названия продуктов, брендов, написанных слитно (например, "goproaccessories"), или неологизмы.
• Языковые и географические ограничения: Механизм критически важен для языков, активно использующих словосложение (немецкий, голландский, финский). В патенте приводятся примеры на немецком ("hochzeitsreise").
• Конкретные ниши или тематики: Влияет на ниши с большим количеством сложных терминов: IT, медицина, наука, а также e-commerce (слитное написание артикулов или моделей).

Когда применяется

• Триггеры активации: Алгоритм активируется при обнаружении в запросе длинных терминов, которые потенциально могут быть составными и могут быть разбиты на подтермины, присутствующие в словаре.
• Временные рамки: Декомпозиция и подбор синонимов происходят онлайн, в момент обработки запроса. Создание словаря происходит офлайн.

Пошаговый алгоритм

Процесс А: Офлайн-создание словаря (FIG. 5)

1. Сбор данных: Идентификация терминов в корпусе документов.
2. Фильтрация по длине: Отбрасывание терминов короче минимальной длины.
3. Фильтрация по частоте: Подсчет частоты встречаемости и отбрасывание терминов ниже минимального порога.
4. Сохранение: Добавление оставшихся терминов в словарь.
5. Скоринг: Присвоение оценки каждому термину на основе его частоты (например, логарифм частоты), возможно с поправками (штрафами) для коротких, редких или слишком частых слов.

Процесс Б: Онлайн-обработка запроса (FIG. 8)

1. Получение запроса: Система получает запрос.
2. Итерация по терминам: Для каждого потенциально составного термина выполняется декомпозиция.
3. Генерация разбивок: Поиск всех возможных способов разбить термин на подтермины из словаря (используя динамическое программирование).
4. Скоринг разбивок: Расчет общей оценки для каждой разбивки путем суммирования оценок ее подтерминов.
5. Выбор лучшей разбивки: Выбор варианта с наивысшей общей оценкой.
6. Итерация по подтерминам: Для каждого подтермина из лучшей разбивки выполняется поиск синонимов.
7. Генерация первого уровня синонимов: Поиск первого набора синонимов для подтермина (включая лексические варианты).
8. Транзитивное расширение (N уровней): Для синонимов из первого набора ищутся их синонимы (второй набор) и так далее до N-го уровня.
9. Формирование списка синонимов: Включение всех найденных синонимов в расширенный список для исходного составного термина.
10. Аугментация и Поиск: Выполнение поиска с использованием запроса, дополненного синонимами из расширенных списков.

Какие данные и как использует

Данные на входе

Патент фокусируется на анализе текста запроса и использовании предварительно собранных статистических и лингвистических данных.

• Контентные факторы (из корпуса документов): Используется текст документов для офлайн-анализа частотности слов и формирования словаря.
• Поведенческие факторы (для генерации синонимов): В описательной части патента упоминаются методы генерации базовых синонимов, использующие логи запросов, анализ сессий пользователей (session switching requirement) и пересечение результатов поиска (common result requirement). Эти данные используются для наполнения базы синонимов, к которой система обращается после декомпозиции.
• Лингвистические и структурные данные: Система использует правила, основанные на структуре языка и написании слов (описанные в разделе "Extensions"):
  • Правила стемминга (упомянуты стеммеры Ловинса и Портера) и Pseudostemming.
  • Правила для идентификации акронимов и аббревиатур.
  • Правила обработки пунктуации и диакритических знаков.
  • Списки Fugenmorphemes для разных языков.

Какие метрики используются и как они считаются

• Score (Оценка термина): Метрика важности/частотности термина. Рассчитывается офлайн на основе частоты термина в корпусе документов. В патенте предлагается использовать логарифм частоты.
• Overall Score (Общая оценка разбивки): Метрика качества декомпозиции. Рассчитывается онлайн как сумма оценок подтерминов, входящих в разбивку.
• Метрики лексического сходства:
  • Edit-distance (Редакционное расстояние): Используется для обнаружения акронимов, аббревиатур и псевдостемминга. Сравнивается отношение количества правок к максимальной длине строк.
  • Common prefix length (Длина общего префикса): Используется в технике псевдостемминга.
• Минимальная длина и частота термина: Пороги, используемые при офлайн-формировании словаря.

1. Декомпозиция как стандартный механизм обработки запросов: Google активно пытается разобрать длинные или сложные слова в запросе на значимые компоненты. Этот процесс происходит онлайн и опирается на статистику использования слов в интернете (частотный словарь).
2. Приоритет частотных интерпретаций: При наличии нескольких вариантов разбивки предпочтение отдается той комбинации слов, которая является наиболее частотной (имеет наивысший Overall Score).
3. Синонимы применяются к компонентам: Ключевой вывод из Claim 1 – после разбивки составного слова система ищет синонимы не для всего слова целиком, а для его компонентов (подтерминов). Это значительно расширяет семантический охват запроса.
4. Транзитивность усиливает расширение: Система не ограничивается прямыми синонимами подтерминов, но и использует синонимы синонимов (транзитивность), что еще больше увеличивает полноту выдачи.
5. Лингвистическая адаптивность: Система учитывает особенности разных языков, такие как соединительные элементы (Fugenmorphemes) и диакритические знаки, что делает декомпозицию более точной в мультиязычном поиске.
6. Важность лексической близости: В описании патента подчеркивается, что для лексически близких вариантов (стемминг, псевдостемминг, аббревиатуры, акронимы) требования к валидации синонимов могут быть снижены (highly-trusted synonyms), что увеличивает вероятность их использования в поиске.

Best practices (это мы делаем)

• Исследование вариантов написания сложных терминов: При работе с продуктами, брендами или техническими терминами анализируйте, как пользователи их ищут – слитно, раздельно или через дефис. Оптимизируйте контент под все релевантные варианты, понимая, что Google может самостоятельно проводить декомпозицию.
• Употребление компонентов составных слов: Если в вашей нише используются составные слова (например, "laserprintercartridge"), убедитесь, что в тексте также присутствуют их компоненты ("laser printer cartridge"). Это поможет поисковой системе установить связь и подтвердить релевантность.
• Использование синонимов для компонентов: Определите ключевые компоненты сложных терминов и используйте их синонимы в тексте. Например, для "vlcmediaplayer" (компоненты: vlc, media, player) полезно использовать синонимы для "player" (software, application). Это напрямую соответствует механизму патента (Claim 1).
• Оптимизация под аббревиатуры и акронимы: Активно используйте и расшифровывайте аббревиатуры. Патент указывает, что система определяет такие лексические связи (используя Edit-distance) и может снижать пороги для их использования в качестве доверенных синонимов.
• Мультиязычное SEO (Особенно немецкий язык): При работе с языками, склонными к словосложению, уделяйте особое внимание правильному употреблению составных слов и их компонентов. Понимание декомпозиции и учета Fugenmorphemes критично для этих рынков.

Worst practices (это делать не надо)

• Использование только слитного написания: Полагаться только на слитное написание сложного термина. Если Google решит, что более частотная интерпретация предполагает разбивку, вы можете потерять в релевантности по сравнению с сайтами, использующими компоненты.
• Игнорирование семантики компонентов: Создание контента, релевантного составному слову в целом, но игнорирующего значение его частей. Так как система подбирает синонимы к частям, это может привести к потере связи с вашим контентом при расширении запроса.
• Использование редких или искусственных составных слов: Попытки продвижения по неестественным составным словам могут быть неэффективны, так как система предпочтет разбить их на более частотные компоненты (с высоким Score), что может изменить смысл запроса.

Стратегическое значение

Патент подтверждает, что Google не воспринимает слова в запросе как неизменяемые строки символов. Система активно применяет лингвистический и статистический анализ для интерпретации и расширения запросов на этапе Query Understanding. Стратегически это означает, что SEO должно фокусироваться на семантике, концепциях и естественном языке, а не только на точном вхождении ключевых слов. Понимание того, как термины могут быть разобраны и какие синонимы могут быть применены к их частям, позволяет строить более устойчивые контент-стратегии.

Практические примеры

Сценарий 1: Оптимизация страницы аксессуаров (E-commerce)

1. Анализ запроса: Пользователь ищет [goproaccessories].
2. Действие системы (Декомпозиция): Google анализирует термин. Допустим, [gopro + accessories] имеет более высокий Overall Score, чем [go + pro + accessories].
3. Действие системы (Синонимы): Google ищет синонимы для subterms. Для "accessories" синонимами могут быть "parts", "mounts", "attachments".
4. Действие системы (Аугментация): Запрос расширяется: [gopro AND (accessories OR parts OR mounts OR attachments)].
5. Действия SEO-специалиста: Убедиться, что на странице категории используются как слитное написание (если оно частотное), так и раздельное "GoPro Accessories". Также необходимо использовать в тексте и заголовках синонимы компонентов: "Mounts for GoPro", "GoPro Attachments".

Сценарий 2: Технический блог (IT)

1. Анализ запроса: Пользователь ищет [linuxconfigfile].
2. Действие системы (Декомпозиция): Лучшая разбивка: [linux + config + file].
3. Действие системы (Синонимы и Транзитивность): Синоним для "config" – "configuration". Синоним для "configuration" (Уровень 2, транзитивность) – "settings". Синоним для "file" – "document".
4. Действие системы (Аугментация): Запрос расширяется: [linux AND (config OR configuration OR settings) AND (file OR document)].
5. Действия SEO-специалиста: При написании статьи использовать разнообразную терминологию: упоминать "config files", "configuration settings", "settings documents" в контексте Linux, чтобы максимально соответствовать потенциальному расширению запроса.