Как Google выбирает лучший перевод для межъязыковых подсказок в автокомплите, сравнивая N-граммы

Термины и определения

Cross-language query suggestion (Межъязыковая подсказка запроса, $Q_{XY}$)

Поисковая подсказка, предложенная пользователю, которая является переводом исходной подсказки на другой язык. Цель — помочь пользователю найти контент на этом другом языке.

Machine-generated translation (Машинный перевод)

Текст, полученный в результате автоматического перевода с одного языка на другой с помощью Translation Service.

Mixed language query (Смешанный запрос)

Запрос, содержащий слова или символы из разных языков или систем письма (например, "Autobot 玩具").

N-gram (N-грамма)

Последовательность из N элементов (в данном патенте — символов) из заданной текстовой строки. Используется как мера текстуального сходства или различия.

Primary-language query suggestion (Исходная подсказка запроса, Q)

Поисковая подсказка, сгенерированная на основе ввода пользователя, обычно на том же языке, что и ввод, или на предпочитаемом пользователем основном языке.

Suggestion Service (Служба подсказок)

Компонент поисковой системы, отвечающий за генерацию поисковых подсказок (автокомплита) в ответ на ввод пользователя.

Translation Comparator (Компаратор переводов)

Ключевой модуль изобретения, который запрашивает несколько вариантов перевода, сравнивает их с оригиналом с помощью N-грамм и выбирает наиболее подходящий (наименее похожий на оригинал).

Translation Service (Служба перевода)

Система машинного перевода, которая принимает текст, исходный язык и целевой язык, и возвращает перевод.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод выбора межъязыковой подсказки с учетом предпочтений пользователя.

1. Система получает исходную подсказку (Q).
2. Получаются два машинных перевода: первый (T1) из Языка A в Язык B, и второй (T2) из Языка B в Язык A. Языки A и B определены как предпочитаемые языки пользователя для исходных и межъязыковых подсказок соответственно.
3. Для T1 и T2 определяется количество (count) общих N-грамм с Q.
4. В качестве межъязыковой подсказки выбирается тот перевод (T1 или T2), который имеет меньшее (smaller) количество общих N-грамм с Q.

Claim 2 (Независимый пункт): Более общая формулировка метода.

1. Система получает подсказку (Q).
2. Получаются два перевода (T1: A->B, T2: B->A).
3. Межъязыковая подсказка определяется на основе сравнения последовательностей N-грамм Q с T1 и Q с T2.

Claim 9 (Зависимый от 2): Уточняет критерий выбора из Claim 2.

Выбирается перевод, для которого было идентифицировано меньшее количество общих N-грамм с оригиналом.

Claim 10 (Зависимый от 9): Описывает механизм разрешения ничьих (tie-breaker).

Если количество общих N-грамм для T1 и T2 одинаково, выбирается тот перевод, который имеет меньшую длину в символах (smaller character length).

Где и как применяется

Изобретение применяется исключительно в рамках системы генерации поисковых подсказок (Автокомплит).

QUNDERSTANDING – Понимание Запросов

На этом этапе система обрабатывает ввод пользователя в реальном времени для генерации подсказок.

• Suggestion Service: Генерирует список исходных подсказок (Primary-language query suggestions).
• Translation Comparator: Активируется для генерации межъязыковых вариантов. Этот модуль (который может находиться на сервере или клиенте) взаимодействует с Translation Service.
• Translation Service: Выполняет машинный перевод по запросу.

Входные данные:

• Исходная поисковая подсказка (Q).
• Предпочитаемый основной язык пользователя (Язык A).
• Предпочитаемый второй язык пользователя (Язык B).

Выходные данные:

• Выбранная межъязыковая поисковая подсказка ($Q_{XY}$).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на mixed language queries (например, бренд на английском + категория на русском) и запросы, содержащие термины, которые трудно однозначно идентифицировать по языку (имена собственные, интернационализмы). Пример в патенте: "Mousse au Chocolat", который может быть ошибочно принят за английский вместо французского.
• Географические ограничения: Механизм особенно важен в регионах с высоким уровнем мультиязычности (например, Индия, Сингапур, Гонконг, страны Европы), где пользователи часто смешивают языки в запросах.

Когда применяется

• Условия работы алгоритма: Алгоритм применяется в процессе генерации поисковых подсказок в реальном времени, когда пользователь вводит запрос в строку поиска.
• Триггеры активации: Активируется, когда система настроена на предоставление межъязыковых подсказок. В патенте также упоминается, что этот процесс сравнения может быть активирован, если автоматическое определение языка исходной подсказки является неопределенным (например, обнаружены слова из разных языков).

Пошаговый алгоритм

Процесс работы Translation Comparator:

1. Получение входных данных: Система получает исходную подсказку (Q) и пару языков (A и B, основанных на предпочтениях пользователя).
2. Запрос переводов: Модуль Translation Requesting Module отправляет два запроса в Translation Service:
   • Запрос 1: Перевести Q с Языка A на Язык B.
   • Запрос 2: Перевести Q с Языка B на Язык A.
3. Получение результатов перевода: Система получает два варианта перевода: $Q_{AB}$ и $Q_{BA}$.
4. Генерация N-грамм: n-Gram Generator обрабатывает Q, $Q_{AB}$ и $Q_{BA}$, создавая наборы последовательностей символов длины N (часто N=2).
5. Сравнение N-грамм: n-Gram Comparator подсчитывает:
   • Count 1: Количество общих N-грамм между Q и $Q_{AB}$.
   • Count 2: Количество общих N-грамм между Q и $Q_{BA}$.
6. Выбор перевода: Translation Selection Module сравнивает Count 1 и Count 2.
   • Выбирается перевод с наименьшим значением Count (наименее похожий на оригинал).
   • Если Count 1 = Count 2, выбирается перевод с наименьшей длиной в символах (smaller character length).
7. Вывод результата: Выбранный перевод возвращается как межъязыковая подсказка ($Q_{XY}$).

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке текстовых строк и пользовательских настроек. Факторы ранжирования не упоминаются.

• Контентные факторы: Текст исходной поисковой подсказки (последовательность символов, например, в Unicode). Тексты полученных машинных переводов.
• Пользовательские факторы (Настройки): Предпочитаемый язык для исходных подсказок (preferred language for primary-language query suggestions). Предпочитаемый язык для межъязыковых подсказок (preferred language for cross-language query suggestions).
• Системные данные: Автоматически определенный язык подсказки (automatically detected language) может использоваться как дополнительный вариант для выбора языков перевода.

Какие метрики используются и как они считаются

• Count of common N-grams (Количество общих N-грамм): Основная метрика для оценки сходства. Подсчитывается путем сравнения наборов N-грамм, сгенерированных из двух сравниваемых строк.
• N (Размер N-граммы): Целочисленная константа. В патенте часто используется N=2 (биграммы). Упоминается, что N может выбираться на основе длин запросов или характеристик задействованных языков (например, сходство языков, средняя длина слов).
• Character length (Длина в символах): Используется как вторичная метрика (tie-breaker). Предпочтение отдается более коротким переводам при равном количестве общих N-грамм.

1. Различие как индикатор качества перевода: Ключевая идея патента заключается в том, что в контексте автокомплита успешный перевод должен значительно отличаться от оригинала на уровне символов (N-грамм). Если перевод слишком похож на оригинал, это считается признаком того, что система перевода не смогла корректно обработать запрос, часто из-за неверного определения исходного языка.
2. Решение проблемы смешанных запросов: Механизм специально разработан для обработки mixed language queries. Вместо того чтобы полагаться на ненадежное автоматическое определение языка, система тестирует оба возможных направления перевода между предпочтительными языками пользователя и выбирает лучший результат.
3. Фокус на UX в автокомплите: Изобретение направлено на улучшение пользовательского опыта путем предотвращения показа бесполезных межъязыковых подсказок, которые идентичны исходным.
4. Предпочтение краткости: При одинаковом количестве общих N-грамм предпочтение отдается более короткому переводу (smaller character length), что указывает на стремление к лаконичности подсказок.
5. Техническая эффективность: Использование N-грамм является вычислительно эффективным методом для быстрой оценки качества перевода в реальном времени, что критично для систем автокомплита.

Best practices (это мы делаем)

Хотя патент описывает внутренние механизмы автокомплита и не дает прямых рекомендаций по ранжированию, он дает понимание того, как Google обрабатывает мультиязычные и смешанные запросы в подсказках.

• Анализ автокомплита для смешанных запросов: При работе в мультиязычных регионах (Индия, ЮВА, Европа) обращайте внимание на то, как Google Suggest обрабатывает смешанные запросы, связанные с вашим брендом или продуктом (например, "Бренд + категория на другом языке"). Понимание того, какие переводы предлагает Google, поможет лучше понять интент пользователей и оптимизировать контент под эти формулировки.
• Оптимизация под смешанные запросы: Если ваша аудитория часто использует смешанные запросы (например, в технической сфере или гейминге), убедитесь, что ваш контент релевантен для таких формулировок. Это повышает вероятность того, что ваш сайт будет соответствовать запросам, сгенерированным через автокомплит.
• Четкое указание языка контента: Используйте корректные технические сигналы (HTML lang атрибут, hreflang для мультиязычных сайтов), чтобы помочь поисковым системам правильно ассоциировать ваш контент с языком запроса, который пользователь в итоге выберет из подсказок.

Worst practices (это делать не надо)

• Игнорирование мультиязычного поиска: Недооценка сложности обработки смешанных запросов. Если вы работаете на международном рынке, нельзя предполагать, что пользователи ищут только на одном языке или что Google всегда идеально переводит их намерения.
• Смешивание языков в контенте одной страницы: Создание контента, который хаотично смешивает несколько языков на одной странице без четкой структуры, может затруднить его обработку. Хотя Google имеет механизмы для обработки смешанных запросов (как показано в патенте), смешанный контент может быть сложнее классифицировать.

Стратегическое значение

Патент подчеркивает технические вызовы при обработке мультиязычного контента и важность межъязыкового поиска (Cross-Language Information Retrieval). Он демонстрирует, что даже для автокомплита требуются механизмы валидации для обеспечения качества. Для SEO-специалистов это напоминание о том, что язык является критически важным аспектом поиска и что необходимо уделять внимание точности языкового и регионального таргетинга, особенно при работе со смешанными языковыми средами.

Практические примеры

Сценарий: Обработка смешанного запроса в автокомплите (Пример из патента)

1. Контекст: Пользователь предпочитает A=Китайский, B=Английский.
2. Исходная подсказка (Q): "Autobot 玩具" (Autobot + "игрушка" на китайском). Это mixed language query.
3. Проблема: Автоматическое определение языка ошибочно определяет Q как Немецкий.
4. Применение механизма: Система использует предпочитаемые языки A и B.
   • Перевод 1 ($Q_{AB}$): Китайский -> Английский = "Autobot toys".
   • Перевод 2 ($Q_{BA}$): Английский -> Китайский = "汽车人玩具" (Полностью китайский перевод).
5. Сравнение N-грамм (N=2):
   • Q и $Q_{AB}$ ("Autobot toys"): Много общих биграмм (например, au, ut, to, ob, ot). В патенте указано 4 общих биграммы.
   • Q и $Q_{BA}$ ("汽车人玩具"): Мало общих биграмм. В патенте указана 1 общая биграмма (или 0, в зависимости от метода подсчета).
6. Результат: Система выбирает $Q_{BA}$ ("汽车人玩具") как межъязыковую подсказку, так как он сильнее отличается от оригинала Q.