Как Google использует логи запросов, чтобы выбирать лучшие переводы для межъязыковых подсказок в Autocomplete

Термины и определения

Candidate Segmentation (Кандидатская сегментация)

Один из возможных вариантов разделения исходного запроса на последовательность сегментов (слов). Особенно актуально для языков без пробелов (например, китайский).

Candidate Translation (Кандидатский перевод)

Один из вариантов перевода Candidate Segmentation на второй язык.

CLS Dictionary (Словарь межъязыковых подсказок)

Специализированный словарь, используемый для перевода сегментов. Может содержать данные из онлайн-словарей и веб-страниц с парами переводов.

Cross-language query suggestion (Межъязыковая поисковая подсказка)

Поисковая подсказка на втором (целевом) языке, предлагаемая в ответ на ввод запроса на первом языке. Является результатом работы описанной системы.

Partition (Разбиение)

Тип сегментации, которая включает все элементы исходного запроса (т.е. стоп-слова не удалены). Считается более качественной при прочих равных.

Primary-language query suggestion (Подсказка на основном языке)

Стандартная поисковая подсказка на том же языке, на котором пользователь начал ввод запроса. Является входными данными для системы перевода.

Segmentation Quality (Качество сегментации)

Метрика, оценивающая корректность разделения запроса на слова. Зависит от частоты сегментации в Source Language Query Log и количества удаленных стоп-слов.

Source Language Query Log (Лог запросов исходного языка)

База данных ранее введенных запросов на первом (исходном) языке. Используется для оценки Segmentation Quality.

Stop Words (Стоп-слова)

Слова, которые могут быть удалены из сегментации (например, артикли, предлоги).

Target Language Query Log (Лог запросов целевого языка)

База данных ранее введенных запросов на втором (целевом) языке. Используется для оценки эффективности Candidate Translation.

Ключевые утверждения (Анализ Claims)

Патент содержит два основных независимых пункта (Claim 1 и Claim 2), которые описывают процесс оценки переводов. Claim 1 более детализирован в части расчета качества сегментации.

Claim 1 и 2 (Независимые пункты): Описывают метод генерации межъязыковой подсказки.

1. Система получает запрос на первом языке (L1) (Primary-language query suggestion).
2. Генерируются уникальные Candidate Segmentations (варианты разделения на слова) для этого запроса.
3. Для каждой сегментации:
   • Определяется мера Segmentation Quality (в Claim 1 уточняется, что она основана на количестве удаленных стоп-слов И частоте в L1 Query Log).
   • Генерируется набор Candidate Translations на втором языке (L2).
4. Для каждого перевода:
   • Определяется частота его использования как полного запроса в L2 Query Log (Target Language Query Log).
   • Вычисляется итоговая оценка (Score) для перевода. Эта оценка базируется на Segmentation Quality И частоте использования в L2 Query Log.
5. Система предоставляет по крайней мере один перевод с наивысшей оценкой как Cross-language query suggestion.

Claim 3 и 4 (Зависимые от 2): Уточняют типы сегментаций. Система рассматривает как полные разбиения (Partitions) (Claim 3), так и сегментации с удаленными стоп-словами (Claim 4).

Claim 5 (Зависимый от 4): Определяет, что Segmentation Quality зависит от того, сколько стоп-слов было удалено из сегментации. (Меньше удалено – выше качество).

Claim 6 (Зависимый от 2): Определяет, что Segmentation Quality зависит от частоты встречаемости этой сегментации как полного запроса в Source Language Query Log. (Выше частота – выше качество).

Где и как применяется

Изобретение применяется в рамках системы поисковых подсказок (Google Suggest / Autocomplete) и относится к этапу понимания запросов.

QUNDERSTANDING – Понимание Запросов

Основное место применения. Система работает в составе Suggestion Service, который генерирует подсказки в реальном времени по мере ввода запроса пользователем. Когда Suggestion Service генерирует стандартные подсказки (Primary-language query suggestions), он может передать их в Translation Service (описанный в патенте) для генерации межъязыковых альтернатив.

Система использует данные, которые собираются и обрабатываются на постоянной основе (аналогично этапам CRAWLING/INDEXING, но применительно к логам запросов):

• Сбор и анализ логов: Система полагается на постоянно обновляемые Source Language Query Log и Target Language Query Log с данными о частоте запросов.
• Индексирование словарей: Используется предварительно подготовленный CLS Dictionary.

Входные данные:

• Primary-language query suggestion на языке L1.
• Source Language Query Log (L1).
• Target Language Query Log (L2).
• CLS Dictionary и списки стоп-слов.

Выходные данные:

• Cross-language query suggestion на языке L2, которая является наиболее эффективным переводом для использования в качестве поискового запроса.

На что влияет

• Специфические запросы: Влияет на любые запросы, для которых существуют эквиваленты в других языках. Особенно важно для информационных и транзакционных запросов, где точная формулировка критична.
• Языковые и географические ограничения: Наибольшее влияние оказывается на языки, требующие сегментации (Китайский, Японский, Корейский – CJK), и на пользователей, которые ищут информацию на нескольких языках. Механизм активируется, если система настроена на показ межъязыковых подсказок (например, на основе настроек пользователя или его локации).

Когда применяется

Алгоритм применяется в момент генерации поисковых подсказок, если выполняются следующие условия:

• Триггер активации: Пользователь вводит запрос, и система поисковых подсказок активирует модуль генерации межъязыковых подсказок (Translation Service).
• Условия работы: Для исходной подсказки удалось сгенерировать валидные сегментации и переводы.
• Пороговые значения: В некоторых реализациях система может предоставлять межъязыковую подсказку, только если ее итоговая оценка превышает определенный порог качества/уверенности. Если ни один перевод не набирает нужного балла, подсказка не показывается.

Пошаговый алгоритм

Процесс генерации межъязыковой поисковой подсказки.

1. Получение ввода: Система получает Primary-language query suggestion на языке L1.
2. Генерация сегментаций: Segmentation Module генерирует все возможные уникальные Candidate Segmentations. Это может включать проверку сегментов по CLS Dictionary и Source Language Query Log для отсева некорректных вариантов.
3. Обработка стоп-слов: Для каждой сегментации идентифицируются и могут быть удалены стоп-слова. Фиксируется количество удаленных слов.
4. Оценка качества сегментации: Для каждой сегментации вычисляется Segmentation Quality.
   • Определяется частота встречаемости сегментации как полного запроса в Source Language Query Log.
   • Учитывается количество удаленных стоп-слов (штраф за удаление).
5. Генерация переводов: Translation Module переводит сегменты каждой Candidate Segmentation на язык L2, используя CLS Dictionary, формируя наборы Candidate Translations.
6. Оценка эффективности перевода: Для каждого Candidate Translation определяется частота его использования как полного запроса в Target Language Query Log.
7. Расчет итоговой оценки: Scoring Submodule вычисляет финальную оценку для каждого Candidate Translation. Оценка комбинирует Segmentation Quality (шаг 4) и эффективность перевода (шаг 6). Могут использоваться разные весовые коэффициенты для этих двух метрик.
8. Выбор и предоставление результата: Выбирается Candidate Translation с наивысшей итоговой оценкой. Он предоставляется пользователю как Cross-language query suggestion.

Какие данные и как использует

Данные на входе

Патент фокусируется на лингвистических и поведенческих данных для оценки качества перевода запросов.

• Поведенческие факторы (Ключевые данные):
  • Source Language Query Log: Логи запросов на исходном языке. Используются для валидации корректности сегментации.
  • Target Language Query Log: Логи запросов на целевом языке. Используются для валидации эффективности перевода как поискового запроса.
• Лингвистические данные:
  • CLS Dictionary: Двуязычный словарь для перевода сегментов.
  • Stop Word Lists: Списки стоп-слов для исходного и, возможно, целевого языка.

Какие метрики используются и как они считаются

Система использует две основные метрики, которые затем комбинируются в итоговую оценку.

1. Segmentation Quality (Качество сегментации):

   Оценка базируется на двух факторах:

   • Частота в Source Language Query Log: Насколько часто данная конкретная сегментация встречается в логах L1 как полный запрос. Высокая частота повышает оценку.
   • Количество удаленных стоп-слов: Чем меньше стоп-слов удалено, тем выше оценка. Сегментация без удаления стоп-слов (Partition) получает максимальный балл по этому критерию.
2. Translation Effectiveness (Эффективность перевода):

   Оценка базируется на одном основном факторе:

   • Частота в Target Language Query Log: Насколько часто данный перевод встречается в логах L2 как полный запрос. Высокая частота указывает на то, что носители языка используют эту фразу для поиска, что повышает оценку.
3. Combined Score (Итоговая оценка):

   Агрегирует Segmentation Quality и Translation Effectiveness. Конкретная формула комбинирования в патенте не приводится, но указывается, что оценка зависит от обоих факторов.

1. Приоритет «языка поиска» над буквальным переводом: Ключевой вывод патента в том, что Google не ищет самый грамматически правильный или буквальный перевод. Система ищет перевод, который наиболее соответствует тому, как носители целевого языка формулируют свои поисковые запросы (search language).
2. Валидация через поведение пользователей: Логи запросов (Query Logs) являются главным источником истины для оценки как корректности сегментации на исходном языке, так и эффективности перевода на целевом. Это подтверждает важность поведенческих данных в системах Google.
3. Качество сегментации критично для перевода: Для языков без пробелов (например, CJK) правильное разделение текста на слова (сегментация) является основой. Google использует логи запросов исходного языка, чтобы определить наиболее вероятную и корректную сегментацию.
4. Эффективность запроса важнее грамматики: Система может предпочесть перевод, который выглядит не совсем естественно в разговорной речи, но часто используется в поиске (например, без артиклей или с измененным порядком слов), если он доказал свою эффективность в Target Language Query Log.
5. Фокус на Autocomplete: Важно понимать, что патент описывает работу системы поисковых подсказок (Autocomplete), а не основного алгоритма ранжирования.

Best practices (это мы делаем)

• Локализация, а не перевод ключевых слов: При выходе на международные рынки необходимо проводить полноценное исследование ключевых слов на целевом языке, а не просто переводить семантическое ядро исходного языка. Фокусируйтесь на том, как ищут носители языка.
• Использование Google Suggest как валидатора: Активно используйте Google Suggest в целевом регионе и на целевом языке для поиска ключевых фраз. Этот патент показывает, что предлагаемые подсказки прошли валидацию через логи запросов и являются эффективными формулировками.
• Анализ интента и формулировок в целевом регионе: Изучайте, как формулируются запросы в вашей нише на целевом языке. Обращайте внимание на порядок слов, использование предлогов и специфичные термины, которые могут отличаться от буквального перевода.
• Для CJK языков – внимание к сегментации: При оптимизации под языки, требующие сегментации (китайский, японский), убедитесь, что используемые вами ключевые фразы соответствуют наиболее частым и естественным вариантам сегментации, используемым пользователями.

Worst practices (это делать не надо)

• Слепое доверие инструментам перевода: Использование Google Translate или других автоматических переводчиков для генерации списка ключевых слов для SEO на другом языке. Эти инструменты часто дают буквальный или грамматически корректный перевод, который, согласно патенту, может быть неэффективным поисковым запросом.
• Игнорирование культурных и лингвистических особенностей поиска: Предположение, что пользователи во всех странах ищут одинаково, просто используя разные слова. Формулировка запроса может сильно отличаться.
• Оптимизация под «правильные», но неиспользуемые термины: Попытки продвигать страницы под терминами, которые являются технически корректным переводом, но редко используются носителями языка в поиске.

Стратегическое значение

Патент подчеркивает стратегическую важность локализации в международном SEO. Он демонстрирует, что Google рассматривает языки не просто как наборы слов, а как отражение поведения и намерений пользователей. Для успешного продвижения на зарубежных рынках необходимо глубокое понимание того, как именно формулируют запросы носители целевого языка, и адаптация контент-стратегии под эти реальные формулировки (search language), а не под теоретически правильные переводы.

Практические примеры

Сценарий: Выбор ключевой фразы для международного E-commerce сайта

Компания продает чехлы для телефонов и хочет выйти на рынок Германии. Исходный запрос на английском: "iPhone 15 protective case".

1. Неправильный подход (Буквальный перевод): Переводчик может выдать "iPhone 15 Schützende Hülle" (буквально: защитный чехол).
2. Анализ по патенту (Как работает Google): Система Google анализирует Target Language Query Log (немецкий). Она обнаруживает, что запросы "iPhone 15 Schützende Hülle" имеют низкую частоту. Однако запросы "iPhone 15 Hülle" (чехол) или "iPhone 15 Schutzhülle" (защитный чехол, написанный слитно) имеют высокую частоту.
3. Результат: Google Suggest предложит более частотные и эффективные варианты ("iPhone 15 Schutzhülle").
4. Действия SEO-специалиста: Необходимо оптимизировать листинги и категории под те варианты, которые предлагает Google Suggest в Германии, так как они валидированы как эффективные поисковые запросы носителями языка.

Сценарий: Сегментация и перевод с Китайского

1. Исходный запрос (Chinese): 旅游目的地 (означает "Travel Destination").
2. Сегментация 1: 旅游 (Travel), 目的 (Purpose), 地 (Ground). Удалено стоп-слово 的. Качество сегментации низкое.
   • Перевод: "Travel Purpose Ground". Частота в английских логах: близка к 0.
3. Сегментация 2: 旅游 (Travel), 目的地 (Destination). Стоп-слова не удалены (Partition). Эта сегментация часто встречается в китайских логах. Качество сегментации высокое.
   • Перевод: "Travel Destination". Частота в английских логах: высокая.
4. Результат: Система выберет "Travel Destination" как межъязыковую подсказку.