Мультиязычность в Google: разборы патентов

Система определяет языковые предпочтения пользователя и сравнивает их с языком посещаемой веб-страницы. Если страница отображается не на предпочтительном языке из-за ошибки маршрутизации (например, из-за геолокации), и существует альтернативная версия на нужном языке, система предлагает пользователю перейти на нее или автоматически перенаправляет его.

Google использует механизм для автоматического определения и исправления запросов, введенных с ошибочной раскладкой клавиатуры. Если исходный запрос возвращает неудовлетворительные результаты, система анализирует контекст пользователя (язык интерфейса, местоположение, историю поиска), чтобы определить предполагаемый язык. Затем запрос перекодируется в правильный скрипт, и пользователю показываются релевантные результаты.

Патент описывает систему, преимущественно для голосовых ассистентов, которая определяет, что пользователь сформулировал запрос грамматически некорректно («плохо сформированная фраза») на неродном для него языке. Вместо выполнения команды система предлагает корректный вариант («хорошо сформированную фразу»), используя для этого предварительно рассчитанные векторные представления (embeddings) и анализ языковой компетентности пользователя.

Google использует механизм для автоматического определения наиболее релевантных языков для поиска по запросу пользователя. Система анализирует термины, связанные с запросом, и их привязку к различным языкам на основе структурированных данных (например, Википедии). Если система определяет, что ценный контент существует на других языках, она переводит запрос, выполняет поиск и подмешивает переведенные результаты в выдачу.

Google оптимизирует поисковую инфраструктуру, разделяя индекс на две части. Основной индекс («Replicated Content») содержит глобально важные документы и копируется во все дата-центры. Дополнительно каждый дата-центр получает уникальный «Regional Content» — документы, соответствующие локальному языку и шаблонам запросов. Это повышает эффективность и релевантность для международных пользователей.

Google использует механизм для генерации поисковых подсказок (Autocomplete), когда пользователь вводит запрос, смешивая разные языки или системы письма. Система создает альтернативные, "неоднозначные" представления ввода, запрашивает подсказки и фильтрует их. Это позволяет корректно интерпретировать сложный ввод (например, сочетание китайских иероглифов, пиньиня и английских слов) и предлагать релевантные варианты.

Google может генерировать синонимы для слов непосредственно во время индексации документа, чтобы ускорить обработку запросов. Это включает извлечение числовых значений из буквенно-числовых токенов (например, «42» из «e42PC») и нормализацию слов путем удаления префиксов, являющихся стоп-словами (например, артиклей в арабском языке), используя статистические черные списки для предотвращения ошибок. Оба варианта сохраняются в индексе.

Google использует механизм для улучшения работы словарных и переводческих сервисов. Когда пользователь вводит частичный запрос на одном языке, система предсказывает полные варианты запроса на основе исторических данных поиска. Одновременно система получает переводы этих предсказаний на другой язык и показывает пользователю список автодополнения, где рядом с каждым вариантом сразу отображается его перевод или краткое определение.

Google решает проблему отсутствия статистики при запуске специализированного поиска (Товары, Новости и т.д.) в новой стране. Система переводит локальные запросы на язык зрелого рынка (например, английский), оценивает их с помощью существующих моделей и использует эти оценки для обучения новых локальных моделей. Это позволяет быстро определять интент пользователя без исторических данных.

Google решает проблему неоднозначности ввода в языках без стандартной романизации (например, кантонский диалект). Система строит статистические языковые модели на основе предпочтений пользователей, чтобы распознавать разные фонетические варианты ввода латиницей (например, "lauta" и "lauda") как один и тот же иероглифический запрос, обеспечивая унифицированные подсказки автозаполнения.