Как Google использует лингвистический анализ для расширения запросов и индекса с помощью словоформ, составных слов и вариантов написания

Термины и определения

Compound words (Составные слова)

Слова, образованные путем соединения двух или более основ. В контексте патента – это слова, которые могут писаться слитно (AB), через дефис (A-B) или раздельно (A B).

Inflectional forms (Словоформы / Инфлексии)

Различные грамматические формы одного и того же слова, выражающие падеж, род, число, время и т.д. (например, «кошка», «кошки», «кошке»).

Orthographic variations (Орфографические вариации)

Альтернативные допустимые варианты написания одного и того же слова, часто возникающие из-за диалектов или реформ правописания.

Query Expansion (Расширение запроса)

Процесс дополнения исходного запроса пользователя лингвистическими вариантами перед выполнением поиска по стандартному индексу.

Index Expansion (Расширение индекса)

Процесс добавления лингвистических вариантов термина непосредственно в индекс во время обработки документа. Поиск выполняется по расширенному индексу без изменения запроса.

Word form analyzer (Анализатор словоформ)

Программный инструмент (например, морфологический анализатор), используемый для определения корневой формы слова и генерации его словоформ.

Corpus (Корпус документов)

Набор документов (например, веб-страниц), используемый для анализа частотности и выявления лингвистических закономерностей.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод расширения запроса (Query Expansion).

1. Система получает запрос.
2. Выполняется проверка, включает ли запрос: (A) Составной термин, (B) Термин из набора словоформ, и/или (C) Термин из набора альтернативных написаний.
3. Если ДА, запрос автоматически расширяется путем включения альтернативных представлений составного термина, соответствующих словоформ и/или альтернативных написаний.
4. Поиск в базе данных выполняется с использованием расширенного запроса.
5. Результаты возвращаются пользователю.

Claim 11 (Независимый пункт): Описывает альтернативный метод расширения индекса (Index Expansion).

1. Идентифицируется набор терминов, связанных с документом.
2. Этот набор расширяется путем дополнительного ассоциирования с документом: альтернативных написаний, альтернативных представлений составных терминов и/или дополнительных словоформ.
3. Документ индексируется с использованием этого расширенного набора терминов.

Claim 14 (Независимый пункт): Описывает офлайн-метод генерации списка составных слов.

1. Выполняется поиск слов с дефисом в первом наборе документов (корпусе).
2. Выполняется поиск соответствующих слов без дефиса в этом же корпусе.
3. Генерируется набор ассоциаций между словами с дефисом и соответствующими словами без дефиса.

Claim 18 (Зависимый от 14): Описывает применение списка составных слов для дефисации (удаления переносов) при индексировании.

1. В документе обнаруживается слово с дефисом (например, перенос строки в PDF/PS файлах).
2. Выполняется поиск этого слова в сгенерированном наборе ассоциаций (из Claim 14).
3. Если слово НЕ найдено в наборе (т.е. это не известное составное слово, а просто перенос), дефис удаляется (de-hyphenating).
4. Документ индексируется с использованием слова без дефиса.

Где и как применяется

Изобретение является фундаментальной частью лингвистической обработки и затрагивает два ключевых этапа поиска.

INDEXING – Индексирование и извлечение признаков

На этом этапе происходят как офлайн, так и онлайн процессы:

• Офлайн-процессы: Система анализирует Corpus документов или использует внешние ресурсы (словари, Word form analyzer) для генерации баз данных составных слов, словоформ и орфографических вариантов.
• Онлайн-процессы (Index Expansion): Если используется подход Index Expansion, то при индексации документа система не только извлекает имеющиеся термины, но и генерирует все их лингвистические варианты и добавляет их в индекс, ассоциируя с данным документом. Также на этом этапе применяется механизм дефисации (Claim 18) для улучшения точности индексации, особенно для форматов PDF/PS.

QUNDERSTANDING – Понимание Запросов

• Онлайн-процессы (Query Expansion): Если используется подход Query Expansion, система получает запрос пользователя, идентифицирует термины и использует предварительно сгенерированные базы данных для расширения запроса. Исходный термин заменяется дизъюнкцией (логическим OR) всех его вариантов. В патенте упоминается возможность присвоения разных весов: исходным терминам — выше, а добавленным вариантам — ниже. Расширенный запрос передается на этап RANKING.

RANKING – Ранжирование

На этом этапе система выполняет поиск, используя либо расширенный запрос (из QUNDERSTANDING), либо стандартный запрос, но по расширенному индексу (из INDEXING).

На что влияет

• Все типы контента и запросов: Механизм применяется универсально для улучшения понимания языка.
• Языковые особенности: Наибольшее влияние оказывается на языки с богатой морфологией (например, русский, финский), где количество словоформ велико, а также на языки с большим количеством составных слов (например, немецкий, который используется в примерах патента) или нестабильной орфографией.
• Конкретные форматы контента: Особое влияние на точность индексирования PDF и Postscript (PS) документов благодаря механизму дефисации (Claim 18).

Когда применяется

Алгоритм применяется постоянно. Это не специализированный алгоритм для особых случаев, а базовая функциональность обработки естественного языка, применяемая к большинству документов во время индексации и/или к большинству запросов во время их обработки.

Пошаговый алгоритм

Алгоритм состоит из офлайн-подготовки и онлайн-обработки (которая может быть реализована через Query Expansion или Index Expansion).

Процесс А: Предварительная подготовка (Офлайн)

Пример для составных слов:

1. Идентификация корпуса: Выбор набора документов для анализа.
2. Поиск слов с дефисом: Сканирование корпуса и извлечение всех hyphenated words.
3. Поиск соответствующих слов без дефиса: Поиск в корпусе non-hyphenated версий этих же слов.
4. Генерация кандидатов: Создание списка пар (слово с дефисом, слово без дефиса).
5. Фильтрация: Ограничение списка только теми парами, которые встречаются с частотой выше предопределенного порога.
6. Сохранение: Создание базы данных ассоциаций.

Пример для словоформ:

1. Идентификация корпуса.
2. Применение анализатора: Использование Word form analyzer для получения соответствий «словоформа -> корень».
3. Фильтрация: Удаление маппингов для редких слов (например, встречающихся менее чем в 100 документах).
4. Инвертирование: Получение соответствий «корень -> набор словоформ».
5. Сохранение: Создание базы данных словоформ.

Процесс Б: Обработка запроса (Query Expansion)

1. Получение запроса от пользователя.
2. Лингвистическое расширение: Сравнение терминов запроса с базами данных (из Процесса А). Добавление вариантов (составных, словоформ, орфографических) к запросу, возможно с присвоением более низкого веса.
3. Сравнение: Выполнение поиска расширенного запроса по индексу.
4. Возврат результатов.

Процесс В: Обработка индекса (Index Expansion)

1. Расширение индекса (во время индексации): При обработке документа его термины сравниваются с базами данных (из Процесса А). Все лингвистические варианты добавляются в индекс и ассоциируются с документом. Также выполняется дефисация переносов строк.
2. Получение запроса от пользователя.
3. Сравнение: Выполнение поиска исходного запроса по расширенному индексу.
4. Возврат результатов.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документов (используется для генерации лингвистических баз данных путем анализа корпуса и для индексации). Текст пользовательских запросов.
• Технические факторы: Форматы документов (PDF, PS) учитываются при обработке дефисов (переносов строк) во время парсинга и индексирования.
• Системные и Внешние данные:
  • Словари (могут использоваться для генерации словоформ и орфографических вариантов).
  • Данные о правилах орфографии (например, данные о реформе правописания).
  • Выходные данные Word form analyzer (лингвистического анализатора).

Какие метрики используются и как они считаются

• Частота встречаемости (Frequency): Используется в офлайн-процессах для фильтрации генерируемых лингвистических данных.
  • При генерации списка составных слов список ограничивается парами, которые встречаются с частотой не ниже предопределенной (predefined frequency).
  • При генерации словоформ могут использоваться только те слова, которые появляются в определенном количестве документов.
• Весовые коэффициенты (Weightings): Упоминается возможность присвоения разных весов терминам при Query Expansion. Исходным терминам запроса может присваиваться более высокий вес, а добавленным вариантам — более низкий, для поддержания точности поиска.
• Методы анализа текста: Применяется Word form analyzer для морфологического анализа и получения соответствий между инфлективными формами и корнями слов (word-root mappings).

1. Фундаментальное значение лингвистического анализа в поиске: Патент демонстрирует, что уже на ранних этапах развития Google поиск строился не на простом точном совпадении строк, а на понимании базовых лингвистических связей между словами (морфология, орфография, словообразование).
2. Улучшение полноты (Recall) и Точности (Precision): Главная цель описанных механизмов — максимизировать количество найденных релевантных документов (Recall). Для сохранения точности (Precision) может использоваться взвешивание терминов, отдавая приоритет исходному запросу.
3. Гибкость реализации: Google запатентовал оба основных подхода к решению этой проблемы — Query Expansion и Index Expansion. Это позволяет системе выбирать наиболее эффективный метод для конкретного языка или типа данных.
4. Комбинация статистики и правил: Система использует как статистический анализ корпуса (для выявления составных слов по частоте), так и лингвистические правила/словари (для морфологии и орфографии).
5. Улучшение точности индексации (Дефисация): Помимо расширения, патент описывает важный механизм дефисации (удаления переносов строк) при индексировании, что повышает качество самого индекса, особенно для форматов PDF/PS.

Best practices (это мы делаем)

• Фокус на семантике и интенте, а не на точных вхождениях: Не нужно пытаться использовать в тексте все возможные словоформы ключевого слова (склонения, спряжения, числа). Система автоматически распознает их как эквивалентные благодаря механизмам, описанным в патенте.
• Использование естественного языка: Пишите тексты естественно, используя те словоформы и варианты написания, которые грамматически и стилистически уместны в данном контексте. Не жертвуйте читабельностью ради включения конкретных формулировок.
• Консистентность в написании брендов и терминов: Хотя система распознает орфографические варианты общеупотребительных слов, для собственных брендов или новых терминов важно придерживаться консистентного написания, чтобы сформировать правильную ассоциацию.
• Качественное форматирование PDF: Если вы публикуете PDF-документы, убедитесь, что текст из них корректно извлекается. Хотя Google имеет механизмы дефисации (Claim 18), лучше минимизировать потенциальные ошибки парсинга на своей стороне.

Worst practices (это делать не надо)

• Переоптимизация словоформами (Keyword Stuffing): Включение в текст всех возможных склонений и спряжений ключевого слова. Это делает контент неестественным, ухудшает читабельность и не дает преимуществ в ранжировании, так как система уже учитывает эти формы автоматически.
• Создание дублирующего контента под разные словоформы: Создание отдельных страниц, оптимизированных под минимально отличающиеся формы запроса (например, единственное и множественное число, или разные варианты написания составного слова). Система агрегирует их в один интент, что может привести к каннибализации трафика.
• Игнорирование правильного написания в надежде на автоисправление: Хотя система учитывает орфографические варианты, использование корректного и современного написания повышает доверие пользователей и авторитетность контента (E-E-A-T).

Стратегическое значение

Этот патент подтверждает давний и последовательный приоритет Google на понимание естественного языка, а не простое сопоставление текста. Описанные методы являются фундаментом для перехода от лексического поиска к семантическому. Для долгосрочной SEO-стратегии это означает, что инвестиции должны направляться на создание качественного контента, отвечающего на интент пользователя, а не на манипуляции с плотностью и формой ключевых слов.

Практические примеры

Сценарий: Оптимизация статьи о покупке автомобиля

1. Задача: Написать статью, релевантную запросам «купить автомобиль», «покупка автомобиля», «купить авто».
2. Неправильный подход (до учета патента): Попытаться включить в текст точные фразы: «Если вы хотите купить автомобиль... При покупке автомобиля важно... Мы поможем купить авто».
3. Правильный подход (с учетом патента): Написать естественный текст: «Планируете покупку автомобиля? В нашем руководстве мы расскажем, как выбрать и купить подержанное авто с максимальной выгодой».
4. Как работает Google: Система применяет Inflectional forms expansion. Слово «автомобиль» расширяется до (автомобиль OR автомобиля OR автомобилю...). Слово «купить» расширяется до (купить OR покупка...).
5. Результат: Google понимает, что все эти термины эквивалентны в контексте данного интента. Ранжирование будет зависеть от качества контента, а не от использования конкретной словоформы.