Как Google использует анализ многословных фраз для улучшения подбора синонимов с учетом грамматического согласования

Термины и определения

N-gram Agreement Synonym (Синоним с N-граммным согласованием)

Многословная фраза-синоним, в которой каждое слово (N-грамма) является лексическим или семантическим синонимом соответствующего слова в исходной поисковой фразе. Часто отражает грамматическое согласование (например, по числу или роду).

Lexical Synonym (Лексический синоним)

Слово, которое имеет сильную лексическую связь с исходным словом. Определяется через стемминг, псевдостемминг, редакционное расстояние, аббревиатуры, акронимы или обработку пунктуации/пробелов/диакритики.

Unigram (Униграмма)

Отдельное слово или токен (1-грамма).

Switching Data (Данные о переключении)

Данные из логов пользовательских запросов, показывающие, как пользователи изменяют свои запросы последовательно в течение короткого периода времени (сессии). Используются для выявления потенциальных синонимов.

Pseudostemming (Псевдостемминг)

Более агрессивная техника стемминга, описанная в патенте. Определяет лексическую схожесть на основе длины общего префикса и редакционного расстояния (edit distance) между оставшимися частями слов.

Edit Distance (Редакционное расстояние)

Метрика для измерения различия между двумя строками (например, минимальное количество операций вставки, удаления или замены символов).

Pseudo-Drop (Псевдо-дроп)

Ситуация (также описанная в патенте), когда синоним для многословной фразы теряет информацию, содержащуюся в исходной фразе. Например, [jackson ms] → [mississippi], где теряется концепция "jackson".

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации синонима с N-граммным согласованием.

1. Система получает фразу-кандидат в синонимы для исходной поисковой фразы.
2. Система определяет, является ли каждый терм в исходной фразе лексическим синонимом (lexical synonym) или имеет общее значение (shares meaning) с соответствующим термом во фразе-кандидате.
3. Если это верно для всех термов, система идентифицирует кандидата как N-gram Agreement Synonym.
4. Система использует этот идентифицированный синоним для улучшения общих карт синонимов (synonym mappings).

Claim 2 (Зависимый от 1): Уточняет механизм улучшения карт синонимов.

Улучшение включает использование N-gram Agreement Synonym для добавления и/или изменения карт синонимов и/или контекстных данных для униграммных (однословных) поисковых термов, найденных в исходной фразе. Это ключевой момент: многословное согласование используется для валидации и усиления (bolstering) однословных правил, которые могли быть пропущены иначе.

Claims 3-5 (Зависимые): Определяют, как устанавливается лексическая синонимия.

Это делается путем лексического сравнения. Конкретные методы включают проверку общего стема (common stem), удаление пунктуации/пробелов, использование техник edit-distance, pseudostemming (проверка общего префикса), использование лингвистических правил (род/число), идентификацию аббревиатур и др.

Claim 6 (Зависимый): Указывает на возможность семантического сравнения.

Определение общего значения может включать семантическое сравнение (semantically comparing) термов.

Claim 10 (Зависимый): Описывает источник кандидатов.

Кандидаты генерируются путем сбора switching data из предыдущих запросов, которые показывают, как пользователи меняли термы или фразы при модификации запросов.

Где и как применяется

Изобретение применяется в основном на этапе понимания запросов и является частью инфраструктуры обработки естественного языка Google.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения. Система анализирует логи запросов (офлайн) для генерации и валидации карт синонимов. Этот процесс улучшает способность системы интерпретировать и расширять входящие пользовательские запросы (онлайн) путем добавления грамматических и лексических вариаций.

RANKING – Ранжирование (L1 Retrieval/Отбор кандидатов)
Улучшенные карты синонимов используются на начальном этапе ранжирования для обеспечения того, чтобы документы, использующие лексические или семантические вариации (например, множественное число вместо единственного), были включены в набор кандидатов. Это увеличивает полноту (Recall).

Взаимодействие компонентов:

• Офлайн-анализ логов: Анализирует Switching Data для выявления шаблонов изменения запросов.
• Генератор синонимов: Предлагает кандидатов на основе данных о переключении.
• Лексический и Семантический Анализаторы: Используют стеммеры, расчет edit distance и другие инструменты для сравнения компонентов фраз.
• Synonym Mappings Database: Хранилище валидированных правил синонимии, которое обновляется по результатам анализа.

На что влияет

• Языковые ограничения: Наибольшее влияние оказывается на языки с сильными правилами грамматического согласования (например, французский, испанский, немецкий, русский), где род и число влияют на прилагательные и артикли, примыкающие к существительным.
• Специфические запросы: Влияет на запросы, где часто используются множественные числа, вариации рода, аббревиатуры, акронимы или составные слова (компаунды).

Когда применяется

• Условия работы (Офлайн): Алгоритм применяется во время периодического анализа логов запросов для обновления базы данных синонимов. Он активируется, когда обнаруживаются многословные замены в Switching Data, особенно если данных для отдельных униграмм недостаточно.
• Условия работы (Онлайн): Результаты работы алгоритма (улучшенные карты синонимов) применяются при обработке входящих запросов пользователей.

Пошаговый алгоритм

Процесс выполняется офлайн для генерации и улучшения карт синонимов.

1. Генерация N-граммных кандидатов: Во время поиска синонимов для униграмм система также конструирует многословные фразы (N-граммы), объединяя униграмму с соседними словами из контекста.
2. Извлечение данных о синонимах: Для каждой N-граммы извлекаются данные о кандидатах в синонимы на основе Switching Data.
3. Анализ компонентов (Сравнение): Для каждого кандидата в синонимы система определяет, являются ли его компоненты лексическими или семантическими синонимами соответствующих компонентов исходной фразы. Например, для [A B] → [A' B'] проверяются пары (A, A') и (B, B').
4. Применение техник анализа: Сравнение включает применение стемминга, псевдостемминга, расчета edit distance, обработки аббревиатур/акронимов и т.д.
5. Валидация N-граммного согласования: Если все компоненты соответствуют, кандидат помечается как N-gram Agreement Synonym.
6. Улучшение карт синонимов (Bolstering): Идентифицированный синоним используется для улучшения карт синонимов. Система увеличивает confidence score или создает правила для базовых униграммных связей (A→A', B→B'), используя доказательства, полученные на уровне N-граммы.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные. Используются логи пользовательских запросов и Switching Data, которые показывают последовательность запросов пользователя и модификации фраз в рамках одной сессии.
• Лингвистические данные: Текст самих запросов, а также данные, используемые инструментами лексического анализа (например, правила стемминга для конкретных языков).

Какие метрики используются и как они считаются

Патент описывает несколько ключевых методов и метрик для определения лексической схожести:

• Stemming и Gender/Number Stemming: Использование стандартных стеммеров (Ловинс, Портер) и лингвистических правил.
• Edit Distance (Редакционное расстояние): Расчет количества изменений символов. Используется для выявления опечаток, аббревиатур (после удаления гласных) и акронимов. Устанавливаются пороги (например, 0.25 от максимальной длины).
• Pseudostemming (Псевдостемминг): Агрессивный метод, который проверяет два условия:
  1. Соотношение длины общего префикса к максимальной длине строки должно превышать порог (например, 0.5).
  2. Редакционное расстояние между оставшимися частями слов должно быть меньше определенной доли от максимальной длины (например, 0.4).
• Decompounding/Compounding: Удаление пунктуации и пробелов из термов и сравнение результатов для выявления составных слов (например, "wood stock" и "woodstock").
• Нормализация: Удаление диакритических знаков.
• Confidence Scores: Метрики уверенности в синонимичности. Патент указывает, что для лексических синонимов требования к другим сигналам (например, общности результатов поиска) могут быть снижены, так как лексическая связь сама по себе является сильным сигналом.

1. Автоматическое изучение лингвистических правил: Google активно анализирует многословные замены в поведении пользователей (Switching Data), чтобы автоматически изучать и применять правила грамматического согласования (род, число) для разных языков.
2. Валидация униграмм через N-граммы: Основная инновация патента — использование доказательств многословных замен для валидации и усиления (bolstering) отношений между отдельными словами (униграммами). Это критично, когда грамматические правила мешают наблюдению за независимыми изменениями слов.
3. Лексическая схожесть как фундаментальный сигнал: Лексическая схожесть (определяемая через агрессивные техники, такие как pseudostemming и edit distance) является очень сильным сигналом синонимичности, который может перевешивать другие сигналы.
4. Фокус на полноте (Recall) и точности (Precision): Механизм направлен на улучшение полноты поиска, гарантируя, что грамматические вариации не помешают найти релевантные документы. Одновременно, требование покомпонентного совпадения обеспечивает сохранение точности.
5. Семантическое расширение: Помимо лексического анализа, система также учитывает семантическое сравнение компонентов, позволяя распознавать фразовые синонимы, не имеющие общих корней (например, [fast car] → [quick auto]).

Best practices (это мы делаем)

• Фокус на естественном языке и грамматической корректности: Используйте правильную грамматику и орфографию. Система изучает лингвистические правила, анализируя правильные грамматические переключения, которые совершают пользователи. Грамотный контент лучше соответствует этим изученным шаблонам.
• Комплексный охват терминологии: Включайте в контент естественные вариации ключевых концепций, включая аббревиатуры, акронимы и различные грамматические формы. Не стоит чрезмерно беспокоиться об оптимизации под каждую вариацию (например, единственное и множественное число), так как Google имеет механизмы для их соединения.
• Мультиязычное SEO: При работе с языками, имеющими сильное грамматическое согласование (немецкий, французский, русский), этот патент подтверждает, что Google стремится понять вариации рода, числа и падежа. Обеспечьте качественный перевод и локализацию, фокусируясь на естественности фраз, а не на точном совпадении словоформ.

Worst practices (это делать не надо)

• Keyword Stuffing вариаций: Перечисление всех возможных грамматических форм ключевого слова в попытке охватить все варианты (например, "продажа автомобиля, автомобили в продаже, продаем автомобиль"). Это не нужно, ухудшает качество контента и игнорирует способность Google к лексическому анализу.
• Ориентация на неграмматические запросы: Создание контента с ошибками в согласовании слов. Система разработана исходя из предположения, что пользователи обычно ищут грамматически правильно и исправляют ошибки согласования одновременно.
• Создание отдельных страниц для микро-вариаций: Создание отдельных страниц для вариантов написания с дефисом и без, или с аббревиатурой и полной формой. Патент явно указывает на обработку таких различий как лексических вариантов (Decompounding), что может привести к каннибализации.

Стратегическое значение

Патент подтверждает высокий уровень сложности, с которым Google подходит к пониманию языка, выходя за рамки простого сопоставления ключевых слов. Он демонстрирует механизмы, лежащие в основе семантического поиска: использование контекста, анализ поведения пользователей (Switching Data) и глубокий лексический и семантический анализ для определения синонимии. Стратегически это означает, что фокус на создании авторитетного контента, охватывающего тему во всей полноте её естественной терминологии, является приоритетным.

Практические примеры

Сценарий 1: Мультиязычное согласование (Французский язык)

1. Ситуация: Сайт оптимизируется под запросы "желтая страница" (ед.ч.) и "желтые страницы" (мн.ч.).
2. Запросы: [page jaune] и [pages jaunes].
3. Механизм Google: Пользователи часто переключаются между этими фразами. Система N-граммного согласования анализирует:
   • (page, pages) – лексические синонимы (стемминг).
   • (jaune, jaunes) – лексические синонимы (стемминг).
4. Результат: Подтверждается N-gram Agreement Synonym. Система усиливает индивидуальные правила для униграмм.
5. Действие SEO: Создавать контент, естественно использующий обе корректные формы. Нет необходимости использовать некорректные варианты типа [pages jaune].

Сценарий 2: Обработка аббревиатур (Английский язык)

1. Ситуация: Сайт медицинской тематики использует термин "hours" и аббревиатуру "hrs".
2. Механизм Google: Система применяет технику анализа аббревиатур: удаляет гласные из обоих слов. "hours" → "hrs".
3. Результат: Система определяет их как лексические синонимы с минимальным редакционным расстоянием.
4. Действие SEO: Использовать оба термина в контенте естественным образом. Google поймет их эквивалентность при обработке запросов.