Как Google объединяет автодополнение и перевод для показа подсказок с определениями на разных языках

Термины и определения

Chunk Table (Таблица фрагментов)

Структура данных, которая хранит частичные запросы (partial queries) и указатели (pointers) на соответствующие записи в Token Table. Используется для быстрого поиска предсказаний по мере ввода текста пользователем.

Dictionary Database (Словарная база данных)

База данных, содержащая термины и их переводы или определения. Используется для генерации Token Table и для предоставления полных результатов поиска.

Historical Query Log (Журнал исторических запросов)

Лог, содержащий запросы, ранее отправленные сообществом пользователей. Используется для определения того, какие термины включать в Token Table и для расчета их частотности (Frequency).

Mapping Function (Функция сопоставления)

Функция, которая принимает частичный запрос и идентифицирует соответствующую запись в Chunk Table.

Partial Search Query (Частичный поисковый запрос)

Неполный ввод пользователя до того, как он сигнализирует о завершении ввода (например, нажмет Enter или кнопку поиска).

Predicted Complete Queries (Предсказанные полные запросы)

Предполагаемые полные запросы, которые система прогнозирует на основе частичного ввода. Они основаны на исторических данных поиска.

Prediction Assistant (Ассистент прогнозирования)

Компонент на стороне клиента (например, JavaScript в веб-странице), который отслеживает ввод пользователя, отправляет частичные запросы на сервер и отображает полученные предсказания.

Prediction Database (База данных прогнозирования)

База данных, содержащая Chunk Table и Token Table, оптимизированная для быстрого предоставления подсказок.

Short Definition / Translation (Краткое определение / Перевод)

Краткий перевод или определение предсказанного запроса на другом языке, хранящийся в Token Table и отображаемый вместе с подсказкой. Также может включать синонимы или полные формы аббревиатур.

Token Table (Таблица токенов)

Структура данных, содержащая полные запросы (Terms), их частотность (Frequency) и краткие определения/переводы (Short Definition). Генерируется на основе Historical Query Log и Dictionary Database.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод на стороне сервера.

1. До того как пользователь сигнализирует о завершении запроса, сервер получает частичный поисковый запрос от клиентского устройства.
2. Система прогнозирует набор полных запросов, релевантных частичному. Эти предсказания основаны на запросах, ранее отправленных сообществом пользователей. Частичный и полные запросы на одном (первом) языке.
3. После прогнозирования система получает переводы для подмножества предсказанных запросов. Переводы на втором языке, отличном от первого.
4. Первый и второй языки прогнозируются, по крайней мере частично, на основе частичного поискового запроса.
5. Система передает клиенту и набор предсказанных запросов, и соответствующие переводы для одновременного отображения.

Claim 14 (Зависимый от 1): Детализирует механизм прогнозирования.

Прогнозирование включает сопоставление частичного запроса с записью в Chunk Table. Chunk Table содержит указатели на записи в Token Table. Token Table содержит записи с запросами и соответствующими переводами.

Claim 15 (Зависимый от 1): Описывает обработку аббревиатур.

Если предсказанный запрос является аббревиатурой или сокращенным термином, система получает его завершение (полную форму) или синоним. При этом и предсказанный запрос, и его полная форма/синоним находятся на одном языке.

Claim 18 (Независимый пункт): Описывает основной метод на стороне клиента.

1. До того как пользователь сигнализирует о завершении запроса, клиент получает частичный ввод от пользователя.
2. Клиент получает с удаленного сервера набор предсказанных полных запросов (на первом языке) и их переводы (на втором языке). Предсказания основаны на исторических запросах сообщества. Языковая пара прогнозируется на основе частичного запроса.
3. Клиент одновременно отображает два или более полных запроса из набора и, по крайней мере, части их переводов.

Где и как применяется

Изобретение применяется в основном на этапе понимания запроса и использует данные, подготовленные на этапе индексирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка данных (офлайн) для создания Prediction Database. Система анализирует Historical Query Log и Dictionary Database. Применяются фильтры для удаления нежелательных терминов или терминов без перевода. Создаются Token Table (с терминами, частотностью и краткими переводами) и Chunk Table (с частичными запросами и указателями на Token Table).

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента в реальном времени (компонент Автодополнения). Когда пользователь вводит запрос в сервисе (например, Google Translate):

1. Обработка частичного ввода: Prediction Assistant на клиенте фиксирует ввод и отправляет его на сервер.
2. Прогнозирование языковой пары: Сервер определяет языки ввода и перевода (на основе выбора пользователя или автоматически, например, по IP-адресу или символам Юникода запроса).
3. Генерация подсказок: Prediction Server использует Mapping Function для быстрого поиска в Chunk Table и извлечения указателей на Token Table.
4. Извлечение данных: Из Token Table извлекаются полные запросы и их переводы.
5. Форматирование ответа: Результаты упорядочиваются (например, лексикографически или по частотности) и форматируются для отправки клиенту.

Входные данные:

• Частичный поисковый запрос пользователя.
• Информация о языковой паре (выбранная или спрогнозированная).
• Prediction Database (Chunk Table, Token Table).

Выходные данные:

• Набор предсказанных полных запросов.
• Соответствующие переводы (Short Definitions) для этих запросов.
• Опционально: исправления орфографии или полные формы аббревиатур.

На что влияет

• Специфические запросы: Влияет на запросы, вводимые в интерфейсе, поддерживающем данную функцию (словари, переводчики).
• Конкретные типы контента: Влияет на отображение подсказок для слов, фраз, терминов и аббревиатур.
• Языковые и географические ограничения: Механизм специально разработан для работы с разными языковыми парами. Эффективность зависит от наличия достаточного объема исторических данных и словарного покрытия для конкретной пары языков. Патент также упоминает обработку ошибок ввода, связанных с разными раскладками (например, романизация).

Когда применяется

• Условия работы: Алгоритм активируется в реальном времени при вводе пользователем символов в поле поиска поддерживаемого сервиса (например, Google Translate).
• Триггеры активации: Ввод или удаление символов в текстовом поле до момента завершения ввода (нажатия Enter или кнопки поиска).
• Временные рамки: Процесс получения частичного запроса, прогнозирования и отправки ответа часто выполняется в рамках одной транзакции (например, один HTTP-запрос и ответ) для обеспечения быстрого отклика.

Пошаговый алгоритм

Процесс А: Офлайн-генерация базы данных прогнозирования (Prediction Database Builder)

1. Сбор данных: Система собирает данные из Historical Query Log и Dictionary Database.
2. Фильтрация: Применяются фильтры для удаления запросов из лога, которых нет в словаре, а также для удаления нежелательных (objectionable) терминов.
3. Создание Token Table: Отфильтрованные запросы становятся терминами в Token Table. Для каждого термина рассчитывается частотность (Frequency) на основе логов и извлекается краткое определение/перевод (Short Definition) из словаря.
4. Парсинг терминов: Каждый термин из Token Table разбирается на составляющие частичные запросы (например, "bank" -> "b", "ba", "ban", "bank").
5. Создание Chunk Table: Chunk Table Builder создает Chunk Table, где каждый частичный запрос связывается указателями с соответствующими полными терминами в Token Table.
6. Обработка раскладок (Опционально): Система может генерировать романизированные версии частичных запросов (например, для корейского языка), чтобы обрабатывать ошибки ввода раскладки клавиатуры, и добавлять их в Chunk Table.

Процесс Б: Обработка запроса в реальном времени (Client-Server Interaction)

1. Мониторинг ввода (Клиент): Prediction Assistant отслеживает ввод пользователя в текстовом поле.
2. Отправка частичного запроса (Клиент): При обнаружении частичного запроса он отправляется на сервер.
3. Получение запроса (Сервер): Сервер получает частичный запрос.
4. Определение языковой пары (Сервер): Система определяет или прогнозирует языковую пару.
5. Поиск предсказаний (Сервер): Mapping Function используется для поиска соответствующей записи в Chunk Table.
6. Извлечение токенов (Сервер): Система следует по указателям из Chunk Table к записям в Token Table.
7. Фильтрация и Выборка (Сервер): Предсказания могут быть дополнительно отфильтрованы. Выбирается N лучших предсказаний (например, на основе частотности).
8. Упорядочивание (Сервер): Набор упорядочивается (лексикографически или по релевантности/частотности). Если частичный запрос является полным запросом, он может быть помещен наверх списка.
9. Форматирование и Отправка (Сервер): Предсказанные полные запросы и их переводы форматируются (включая опциональные исправления орфографии) и отправляются клиенту.
10. Отображение (Клиент): Prediction Assistant получает данные и отображает их пользователю в виде списка подсказок с переводами.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных о поведении пользователей и словарных данных.

• Поведенческие факторы: Historical Query Log является критически важным источником. Он определяет, какие запросы будут предложены и с какой вероятностью (частотностью).
• Контентные факторы (Словарные): Dictionary Database используется для подтверждения существования термина и предоставления его перевода (Short Definition).
• Пользовательские и Географические факторы: Языковая пара может быть определена на основе выбора пользователя, IP-адреса клиента или анализа символов Юникода в частичном запросе.

Какие метрики используются и как они считаются

• Frequency (Частотность): Метрика, хранящаяся в Token Table. Рассчитывается как количество или нормализованное количество появлений полного запроса в Historical Query Log. Используется для ранжирования и выбора наиболее популярных подсказок.
• Ranking Criteria (Критерии ранжирования подсказок): Патент упоминает несколько вариантов упорядочивания подсказок:
  • Лексикографический (алфавитный) порядок.
  • Частотность (популярность) запросов.
  • Персонализация (на основе предыдущих запросов пользователя или интересов группы).
• Фильтрация: Используются предопределенные списки для исключения нежелательных терминов (objectionable terms) или терминов, отсутствующих в словаре.

1. Автодополнение основано на реальном поведении пользователей: Фундаментальный вывод заключается в том, что предсказанные запросы (Predicted Complete Queries) генерируются не только на основе словаря, но и фильтруются и взвешиваются с использованием Historical Query Log. Это означает, что Google предлагает то, что люди реально ищут.
2. Частотность определяет приоритет подсказок: Частота (Frequency), с которой запрос ранее вводился пользователями, является ключевым фактором для определения того, какие подсказки будут показаны и в каком порядке.
3. Интеграция данных из разных источников: Система эффективно объединяет поведенческие данные (логи запросов) и структурированные лингвистические данные (словари) для создания улучшенного пользовательского опыта (показ перевода вместе с подсказкой).
4. Эффективность инфраструктуры: Использование специализированных структур данных (Chunk Table и Token Table) позволяет системе быстро обрабатывать частичные запросы в реальном времени, несмотря на огромный объем данных. Большая часть работы выполняется офлайн.
5. Обработка многоязычности и контекста: Система разработана с учетом многоязычности, включая автоматическое прогнозирование языковых пар и обработку потенциальных ошибок ввода (например, неправильная раскладка клавиатуры).
6. Расширение функционала подсказок: Патент описывает возможность показа не только переводов, но и синонимов или полных форм аббревиатур на том же языке, что расширяет понимание запроса пользователя еще до его завершения.

Best practices (это мы делаем)

Хотя патент описывает инфраструктуру словарных сервисов, он дает важные инсайты о том, как Google использует данные о запросах (Autocomplete), что применимо к SEO-стратегии.

• Исследование ключевых слов через Автодополнение: Активно используйте Google Autocomplete (в поиске и Google Translate) для исследования популярных формулировок запросов. Поскольку подсказки основаны на Historical Query Log, они отражают реальный спрос и частотность.
• Анализ международного спроса (Международное SEO): Используйте Google Translate с функцией автодополнения для анализа того, как термины вашей ниши ищутся на разных языках. Обращайте внимание на то, какие переводы предлагает система в первую очередь, так как это может указывать на наиболее распространенное и популярное значение термина в данном регионе.
• Оптимизация под популярные формулировки: При создании контента отдавайте приоритет тем формулировкам и терминам, которые появляются в автодополнении, так как они имеют высокую историческую частотность (Frequency).
• Использование полных форм аббревиатур: Учитывая, что система может показывать полные формы аббревиатур в подсказках, убедитесь, что ваш контент четко определяет используемые аббревиатуры и содержит их полные формы, чтобы соответствовать различным интентам пользователей.

Worst practices (это делать не надо)

• Игнорирование подсказок Автодополнения: Разработка семантического ядра без учета данных из Autocomplete приведет к потере видимости по наиболее часто используемым формулировкам запросов.
• Манипуляции с Автодополнением (Чёрное SEO): Попытки искусственно накрутить частотность запросов для попадания в Autocomplete (например, с помощью ботов). Хотя патент напрямую не описывает защиту от этого, такие действия нарушают правила Google и могут привести к санкциям. Система полагается на естественные данные Historical Query Log.
• Фокус на редких или неестественных формулировках: Оптимизация контента под запросы с очень низкой частотностью или синтаксически странные запросы, которые не появляются в автодополнении, вряд ли принесет значительный трафик.

Стратегическое значение

Патент подтверждает стратегию Google по использованию агрегированных данных о поведении пользователей для формирования поисковой выдачи и подсказок. Для SEO это означает, что соответствие реальному языку и спросу пользователей (отраженному в исторических логах) имеет первостепенное значение. В контексте международного SEO патент показывает, как Google связывает запросы между языками, что подчеркивает важность точной и последовательной терминологии при локализации контента.

Практические примеры

Сценарий: Исследование запросов для интернет-магазина электроники, выходящего на рынок Кореи.

1. Задача: Понять, как корейские пользователи ищут "mobile phone".
2. Действие: Зайти в Google Translate, выбрать пару Английский -> Корейский. Начать вводить "mobile".
3. Наблюдение (на основе патента): Система автодополнения покажет "mobile phone" и его корейский перевод (например, "휴대폰"). Также могут быть показаны связанные термины типа "mobile game" и их переводы.
4. Инсайт: Пользователь видит, что "휴대폰" является стандартным переводом, и система распознает эту связь на основе Dictionary Database. Популярность этого варианта в подсказках подтверждается Historical Query Log.
5. Применение в SEO: Использовать термин "휴대폰" в качестве основного ключевого слова для оптимизации страниц категорий и товаров на корейской версии сайта, так как он подтвержден как частотный и корректный.