Как Google Autocomplete обрабатывает запросы, смешивающие разные языки и форматы ввода (например, иероглифы, пиньинь и английский)

Термины и определения

Alternative Representations (Альтернативные представления)

Набор строк, сгенерированных из исходного ввода путем замены одного или нескольких сегментов их альтернативными формами (например, замена иероглифа на его фонетическую транскрипцию). Используются для запроса к службе подсказок.

Ambiguous Form (Неоднозначная форма)

Формат альтернативного представления, который намеренно охватывает несколько возможных интерпретаций. Он может соответствовать подсказкам, которые не точно соответствуют исходному вводу. Используется для увеличения охвата (Recall) потенциальных подсказок.

First Form / Second Form (Первая / Вторая форма)

Различные способы представления одного языка. В контексте патента: Первая форма – иероглифы (Hanzi); Вторая форма – фонетические представления (Pinyin).

Input Suggestion Aggregator (Агрегатор поисковых подсказок)

Компонент системы, включающий Transform Submodule (для генерации альтернативных представлений) и Comparison Submodule (для фильтрации подсказок).

N-gram (N-грамма)

Последовательность из N последовательных токенов (символов или слов) в текстовом вводе.

Pinyin Abbreviation (Аббревиатура Пиньинь)

Частичное фонетическое представление (partial phonetic representation). Например, "z" для "zhong".

Pinyin Syllable (Слог Пиньинь)

Полное фонетическое представление (complete phonetic representation). Например, "zhong".

Segmentation (Сегментация)

Процесс разделения текстового ввода на непрерывные последовательности символов (сегменты), где каждый сегмент представляет слово или запрос.

Selectable Alternatives (Выбираемые альтернативы)

Финальный набор поисковых подсказок, прошедших фильтрацию и готовых к отображению пользователю.

Suggestion Service (Служба подсказок)

Сервис, который принимает текстовый ввод (в данном случае Alternative Representations) и возвращает набор поисковых подсказок.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы для обработки смешанного ввода.

1. Система получает текстовый ввод, который содержит смешанные формы: N-грамму в Форме 1 Языка 1 (например, Hanzi) И, как минимум, одно из: N-грамму в Форме 2 Языка 1 (например, Pinyin) ИЛИ N-грамму на Языке 2 (например, Английский).
2. Генерируются одна или несколько Alternative Representations этого ввода.
3. Эти представления имеют Ambiguous Form и могут представлять подсказки, которые не напрямую соответствуют исходному вводу.
4. Представления отправляются в Suggestion Service, откуда система получает поисковые подсказки.
5. Полученные подсказки сравниваются с исходным вводом для идентификации группы Selectable Alternatives для отображения пользователю.

Claim 2 (Зависимый от 1): Детализирует процесс генерации Alternative Representations.

1. Текстовый ввод сегментируется на непрерывные последовательности символов (слова или запросы).
2. Для каждого сегмента идентифицируются его представления в альтернативной форме.
3. В исходном вводе один или несколько сегментов заменяются их альтернативными формами, формируя Alternative Representation.

Claims 6, 7, 8 (Зависимые): Определяют конкретный сценарий применения.

Система спроектирована для обработки китайского языка, где Форма 1 — иероглифы (Hanzi), а Форма 2 включает полные (Pinyin syllable) и частичные (Pinyin abbreviation) фонетические представления. Также учитывается смешивание с английским языком (Язык 2).

Где и как применяется

Изобретение применяется на этапе взаимодействия пользователя с поисковой строкой, до того как запрос отправлен на ранжирование.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента, конкретно в подсистеме Autocomplete (Google Suggest). Система работает в реальном времени по мере ввода пользователем символов. Она отвечает за интерпретацию сложного, смешанного ввода и генерацию списка предполагаемых запросов.

Взаимодействие компонентов:

• Input Suggestion Aggregator получает ввод от клиента, обрабатывает его с помощью Transform Submodule, взаимодействует с Suggestion Service для получения кандидатов, и фильтрует их с помощью Comparison Submodule.

Входные данные:

• Сырой текстовый ввод пользователя в смешанном формате (например, "北jingfd office hour").
• Лингвистические данные для сегментации и трансформации (словари, соответствия Hanzi/Pinyin).

Выходные данные:

• Отфильтрованный и отсортированный список поисковых подсказок (Selectable Alternatives).

На что влияет

• Языковые и географические ограничения: Наибольшее влияние оказывает на языки с нелатинскими системами письма, которые используют фонетический ввод на основе латиницы. Патент явно фокусируется на китайском, но метод применим к другим (например, японскому, корейскому).
• Многоязычные запросы: Влияет на ситуации глобального поиска, когда пользователи смешивают языки в одном запросе (например, название бренда на английском и категория товара на местном языке).

Когда применяется

• Условия работы: Алгоритм активируется, когда система обнаруживает в строке ввода смешение различных форм представления одного языка или смешение разных языков.
• Временные рамки: Применяется в реальном времени. Патент упоминает возможность отправки запроса немедленно после получения каждого токена или после ожидания предопределенного количества времени (predetermined amount of time).

Пошаговый алгоритм

Процесс генерации поисковых подсказок для смешанного ввода:

1. Получение ввода: Система получает текстовый ввод от пользователя (например, "中ggug").
2. Сегментация ввода: Transform Submodule разбивает ввод на сегменты. В патенте описывается метод prefix matching (поиск самого длинного префикса): ищется самая длинная последовательность символов, представляющая слово или запрос, начиная с начала строки.
   • Пример: "中ggug" сегментируется как: "中" | "g" | "gu" | "g".
3. Идентификация альтернативных форм: Для каждого сегмента определяются его альтернативные формы.
   • Пример: Для "中" альтернативы – "zhong" (полный Pinyin) и "z" (аббревиатура). Для "gu" альтернатива – "g" (аббревиатура).
4. Генерация альтернативных представлений (Alternative Representations): Система комбинирует исходные сегменты и их альтернативные формы для создания набора представлений в Ambiguous Form.
   • Пример: "zhongggug", "zggug", "zhongggg", "zggg", "中ggg".
5. Запрос к Suggestion Service: Сгенерированные представления отправляются в службу подсказок.
6. Получение кандидатов: Suggestion Service возвращает список подсказок, соответствующих этим неоднозначным представлениям.
   • Пример: "中国谷歌" (Google China), "中国国歌" (Chinese national anthem), "做广告工" (advertising industry).
7. Сравнение и Фильтрация: Comparison Submodule сравнивает полученные подсказки с исходным вводом ("中ggug"), чтобы обеспечить точность. Подсказки, которые вряд ли соответствуют вводу, исключаются.
   • Пример: "做广告工" (zuo guang gao gong) отфильтровывается, так как "zuo" не соответствует "中" (zhong). "中国谷歌" (zhong guo gu ge) проходит фильтрацию как прямое соответствие (direct match).
8. Ранжирование и Отображение: Оставшиеся подсказки (Selectable Alternatives) ранжируются. В описании патента упоминается ранжирование на основе частоты использования запросов уникальными пользователями (популярности) и возможное модифицирование ранга с использованием edit distance (редакционного расстояния) до исходного ввода.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке ввода и не детализирует все данные, используемые Suggestion Service.

• Пользовательские факторы (Ввод): Непосредственный текстовый ввод пользователя в смешанном формате.
• Лингвистические данные: Система должна иметь доступ к данным, определяющим взаимосвязи между разными формами языка:
  • Соответствие иероглифов (Hanzi) и фонетических представлений (Pinyin syllables и Pinyin abbreviations).
  • Словари для выполнения корректной сегментации.
• Поведенческие факторы (для ранжирования подсказок): Агрегированные данные о частоте (frequencies), с которой уникальные пользователи ранее вводили определенные запросы.

Какие метрики используются и как они считаются

• Prefix Matching (Совпадение префикса): Алгоритм, используемый для сегментации ввода путем поиска самой длинной последовательности, являющейся известным словом или запросом.
• Frequency (Частота использования / Популярность): Упоминается как основа для ранжирования финальных подсказок. Чем популярнее запрос, тем выше его ранг в Autocomplete.
• Edit Distance (Редакционное расстояние): Упоминается как возможный модификатор ранжирования. Подсказки, которые текстуально ближе к вводу пользователя (например, не требуют транслитерации), могут получать повышение.

1. Инфраструктура Autocomplete для сложных языков: Патент описывает техническую реализацию Google Autocomplete, позволяющую обрабатывать сложные входные данные, смешивающие языки и форматы ввода. Это инфраструктурное решение для улучшения UX, особенно для CJK-языков.
2. Двухэтапный процесс: Баланс Полноты и Точности: Ключевым является разделение процесса на этап генерации широкого набора кандидатов (используя Ambiguous Form для повышения Полноты/Recall) и этап точной фильтрации (сравнение с исходным вводом для обеспечения Точности/Precision).
3. Генерация через трансформацию: Система не пытается понять смешанный ввод напрямую, а трансформирует его в стандартизированные альтернативные представления путем сегментации и замены компонентов (например, иероглифов на пиньинь).
4. Ранжирование подсказок по популярности: Подтверждается, что основным фактором ранжирования в Autocomplete является популярность запроса (частота использования), с возможными корректировками на основе текстуальной близости (edit distance).
5. Отсутствие связи с ранжированием поиска: Описанные механизмы не влияют на ранжирование результатов в органической выдаче. Они влияют только на то, какие запросы будут предложены пользователю на этапе ввода.

Best practices (это мы делаем)

• Использование Autocomplete для исследования ключевых слов: Необходимо активно использовать поисковые подсказки как основной источник данных о реальном поведении пользователей. Этот патент подтверждает, что подсказки — это результат сложной обработки, направленной на выявление популярных и корректно интерпретированных запросов.
• (Международное SEO) Анализ смешанных запросов: При работе на рынках, где актуальны смешанные вводы (например, Азия), необходимо анализировать подсказки, включающие транслитерацию, аббревиатуры и смешение языков (например, Бренд на английском + категория товара на местном языке). Контент должен быть оптимизирован под те популярные паттерны, которые предлагает Google.
• (Международное SEO) Укрепление фонетических ассоциаций: На рынках типа Китая важно убедиться, что Google ассоциирует фонетические варианты (Pinyin) вашего бренда или ключевых терминов с их официальным написанием (Hanzi). Это повышает вероятность показа вашего бренда в подсказках при вводе Pinyin.
• Мониторинг брендовых подсказок (SERM): Регулярно проверяйте подсказки при вводе названия вашего бренда. Поскольку ранжирование основано на популярности, появление негативных подсказок требует активной работы по управлению репутацией и стимулированию положительных запросов.

Worst practices (это делать не надо)

• Игнорирование локальных особенностей ввода: Строить семантическое ядро для международного рынка, исходя из предположения, что пользователи используют только один формат ввода. Это может привести к потере охвата по запросам, которые вводятся в смешанном или фонетическом формате.
• Оптимизация контента под "сырой" смешанный ввод: Не нужно оптимизировать страницы под гибридные формы ввода (например, под "北jingfd"). Нужно оптимизировать под финальный запрос, который предлагает Google (например, "北京饭店"). Система сама свяжет смешанный ввод с корректной подсказкой.

Стратегическое значение

Патент подчеркивает важность этапа Понимания Запросов (Query Understanding) в архитектуре поиска. Система Autocomplete, поддерживаемая такими технологиями, не просто предлагает слова, а интерпретирует сложные намерения и активно направляет пользователя к наиболее популярным и каноническим формулировкам. Стратегически важно оптимизировать контент под эти популярные интенты, которые формируют поисковый спрос.

Практические примеры

Сценарий: Оптимизация для международного бренда на азиатском рынке

1. Задача: Продвижение западного бренда электроники (например, "BrandX") в Китае.
2. Анализ ввода: SEO-специалист анализирует Autocomplete и замечает, что пользователи часто ищут бренд в смешанных форматах. Например, при вводе "BrandX shouji" (BrandX + Pinyin для "мобильный телефон").
3. Действие механизма: Благодаря описанному в патенте механизму, система генерирует альтернативные представления, находит популярный запрос "BrandX 手机" (BrandX + иероглифы для "мобильный телефон") и предлагает его пользователю.
4. Действие SEO: Убедиться, что в контенте (Title, H1, тексте) используются как оригинальное написание бренда ("BrandX"), так и его популярные сочетания с ключевыми терминами на местном языке (手机), чтобы максимально соответствовать популярным подсказкам, которые выбирают пользователи.
5. Ожидаемый результат: Повышение релевантности страниц сайта тем запросам, которые Google активно предлагает пользователям, что ведет к увеличению органического трафика по этим ключевым направлениям.