Как Google использует статистический машинный перевод для определения синонимов с учетом контекста запроса

Термины и определения

Statistical Machine Translation (SMT) (Статистический машинный перевод)

Метод машинного перевода, основанный на статистических моделях, параметры которых выводятся из анализа параллельных текстовых корпусов. В данном патенте применяется для монолингвального перефразирования.

Parallel Corpus (Параллельный корпус)

Набор текстов, где каждому тексту на исходном языке соответствует текст с тем же смыслом на целевом языке. В патенте это могут быть пары Запрос-Сниппет, Вопрос-Ответ или Фраза-Парафраз.

Translation Model (Модель перевода)

Компонент SMT, который определяет вероятность того, что данный текст на исходном языке соответствует тексту на целевом языке.

Language Model (Языковая модель)

Компонент SMT, который оценивает вероятность появления данной последовательности слов в целевом языке. Используется для выбора наиболее естественного перевода.

Query Expansion (Расширение запроса)

Процесс модификации исходного поискового запроса (например, путем добавления синонимов) для улучшения результатов поиска.

Context Map (Карта контекстов)

Структура данных, создаваемая офлайн. Хранит слова, их потенциальные синонимы (полученные через SMT) иassociated context (левый и правый контекст), в котором этот синоним применим.

Query-Snippet Pair (Пара Запрос-Сниппет)

Данные для обучения SMT, извлеченные из логов поиска. Запрос пользователя сопоставляется со сниппетом результата, на который пользователь кликнул.

Pivoting (Пивотинг)

Метод генерации парафразов путем перевода фразы на промежуточный (pivot) язык и обратно на исходный язык.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает офлайн-процесс генерации контекстно-зависимых синонимов.

1. Система получает исходный поисковый запрос.
2. Используется SMT для перевода этого запроса в "переведенный" запрос (на том же языке, но с другими словами).
3. Идентифицируется первый термин в исходном запросе, который был заменен вторым термином в переведенном запросе.
4. Определяется, совпадают ли контекстные термины (соседние слова) у первого и второго терминов.
5. Если контекст совпадает, второй термин назначается синонимом первого термина специально для этого контекста.
6. Эта связь сохраняется для будущего использования поисковой системой при расширении запросов.

Claim 9 (Независимый пункт): Описывает процесс расширения запроса в реальном времени с использованием ранее сгенерированных синонимов (например, из Context Map).

1. Система получает новый поисковый запрос, содержащий первый термин.
2. Система определяет, что первый термин связан со вторым термином (синонимом), который действителен при наличии определенного контекста.
3. Система проверяет, присутствует ли этот необходимый контекст рядом с первым термином в текущем запросе.
4. Если контекст совпадает, генерируется расширенный запрос, включающий второй термин (синоним).
5. Расширенный запрос используется для поиска документов.

Claims 3, 4, 5 (Зависимые): Детализируют источники данных для обучения модели SMT, используемой в Claim 1.

• Claim 3: Модель обучается на парах Вопрос-Ответ, где вопросы — исходный язык, ответы — целевой.
• Claim 4: Модель обучается на парах Фраза-Парафраз, сгенерированных методом Pivoting (перевод на второй язык и обратно).
• Claim 5: Модель обучается на парах Запрос-Сниппет из логов доступа к результатам поиска (search result access log), где запросы — исходный язык, а сниппеты кликнутых документов — целевой.

Claims 6, 7 (Зависимые от 5): Уточняют процесс использования логов поиска.

• Claim 6: Записи в логах фильтруются на основе дополнительной информации: позиция документа в выдаче, время между показом результата и кликом, время на сайте (dwell time).
• Claim 7: Сниппет (часть контента документа) может включать: заголовок документа (title), анкорные тексты (anchor terms), связанные с документом, или выдержку из документа.

Где и как применяется

Изобретение применяется в основном на этапе понимания запросов для его обогащения перед передачей в систему ранжирования.

CRAWLING & INDEXING (Офлайн-процессы)
На этих этапах происходит сбор и обработка данных для обучения модели SMT:

• Сбор FAQ документов (Claim 3).
• Сбор текстовых корпусов и выполнение перевода для Pivoting (Claim 4).
• Сбор и анализ логов поиска (search result access log) для генерации пар Запрос-Сниппет (Claim 5). Это включает анализ кликов, позиций и времени (Claim 6), а также извлечение заголовков и анкоров (Claim 7).
• Обучение Translation Model и Language Model.
• Генерация Context Map путем перевода большого количества запросов и сравнения результатов (Claim 1).

QUNDERSTANDING – Понимание Запросов (Рантайм)
Это основной этап применения патента. При получении запроса система выполняет контекстно-зависимое расширение.

• Система анализирует слова в запросе и их контекст.
• Происходит обращение к Context Map для поиска подходящих синонимов, чей контекст совпадает с текущим запросом (Claim 9).
• Альтернативно, может выполняться онлайн-перевод запроса с помощью SMT.

RANKING – Ранжирование
Система ранжирования получает на вход уже расширенный запрос, что позволяет найти больше релевантных документов, которые могли не содержать точных терминов исходного запроса.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, содержащие многозначные термины, где выбор правильного синонима критичен для понимания интента (например, информационные или неоднозначные коммерческие запросы).
• Естественность языка: Система лучше обрабатывает естественно сформулированные запросы и парафразы, так как обучается на реальных данных о том, как связаны разные формулировки.

Когда применяется

Алгоритм применяется при выполнении следующих условий:

• Наличие данных: Для термина в запросе существуют потенциальные синонимы, предварительно сгенерированные моделью SMT (например, хранящиеся в Context Map).
• Совпадение контекста (Триггер активации): Контекст (соседние слова) термина в текущем запросе совпадает с контекстом, необходимым для применения конкретного синонима (Claim 9). Это ключевое условие для разрешения неоднозначности.

Пошаговый алгоритм

Патент описывает два основных процесса: Офлайн-генерация карты контекстов и Рантайм-расширение запроса.

Процесс А: Офлайн-генерация Карты Контекстов (Context Map)

1. Сбор данных для обучения: Сбор параллельных корпусов одним из трех методов (Запрос-Сниппет, Вопрос-Ответ, Пивотинг).
2. Фильтрация данных: При использовании логов поиска (Запрос-Сниппет) данные фильтруются по качеству (позиция клика, время).
3. Обучение SMT: Обучение Translation Model и Language Model на подготовленных данных.
4. Идентификация запросов для перевода: Выбор репрезентативного набора запросов (например, из логов).
5. Перевод запросов: Применение обученной модели SMT для перевода каждого запроса в перефразированный запрос на том же языке.
6. Сравнение и извлечение: Сравнение исходного и переведенного запросов для идентификации замененных слов (синонимов) и их контекста (левых и правых соседних слов).
7. Сохранение в Context Map: Запись связи [Исходное слово -> Синоним, Левый контекст, Правый контекст] в базу данных.

Процесс Б: Рантайм-расширение запроса (Использование Context Map)

1. Получение запроса: Система получает поисковый запрос от пользователя.
2. Анализ запроса: Выделение слов и их контекста в запросе.
3. Поиск в Context Map: Для слова из запроса система ищет потенциальные синонимы в Context Map.
4. Сопоставление контекста: Система сравнивает контекст слова в текущем запросе с контекстами, ассоциированными с каждым потенциальным синонимом в карте.
5. Выбор синонима: Выбирается синоним, чей контекст наилучшим образом совпадает с текущим. Могут использоваться пороги совпадения (например, совпадение определенного количества слов слева или справа).
6. Расширение запроса: Выбранный синоним добавляется к запросу (например, с помощью оператора OR).
7. Выполнение поиска: Расширенный запрос используется для поиска в корпусе документов.

Какие данные и как использует

Данные на входе

Патент явно указывает на использование следующих типов данных для обучения системы:

• Поведенческие факторы (Search Result Access Log):
  • Запросы пользователей (recorded search query).
  • Клики (доступ пользователя к документу).
  • Позиция документа в выдаче (position of the document).
  • Временные метки: время между показом и кликом, время на сайте (amount of time elapsed).
• Контентные факторы (из кликнутых результатов):
  • Сниппеты (snippet).
  • Заголовки документов (title of the document).
  • Выдержки из текста документа (excerpt of the document).
• Ссылочные факторы:
  • Анкорные тексты, связанные с документом (anchor terms associated with the document).
• Структурированные данные:
  • Документы FAQ (для извлечения пар Вопрос-Ответ).
• Лингвистические данные:
  • Текстовые корпуса на разных языках (для метода Pivoting).

Какие метрики используются и как они считаются

• Translation Likelihood (Вероятность перевода): Основная метрика SMT. Оценивает, насколько вероятно, что выходной текст является переводом входного текста. Она комбинирует вероятности из Translation Model и Language Model.
• Scoring Synonyms (Оценка синонимов): Синонимы в Context Map могут иметь оценку (score), производную от Translation Likelihood, рассчитанной во время генерации карты. Это используется для выбора лучшего синонима, если несколько подходят по контексту.
• Context Matching (Сопоставление контекста): Метрика для определения совпадения контекста в текущем запросе с контекстом в Context Map. Может основываться на количестве совпадающих слов слева/справа или длине совпадающего контекста.
• Null-word probability: Параметр конфигурации SMT, определяющий долю слов в исходном тексте, которым разрешено не иметь соответствия в целевом тексте. Патент предлагает устанавливать его высоким (например, 90%) при обучении на парах Вопрос-Ответ, так как ответы обычно длиннее вопросов.

1. SMT как механизм перефразирования: Патент демонстрирует использование сложной технологии (Statistical Machine Translation) для решения фундаментальной задачи поиска — монолингвального расширения запросов и генерации парафразов.
2. Контекст для разрешения неоднозначности: Ключевым элементом является не просто генерация синонимов, а их привязка к конкретному контексту (Context Map). Система не будет использовать синоним, если контекст запроса не совпадает с контекстом, в котором этот синоним был изучен.
3. Пользовательское поведение как обучающий сигнал: Один из основных методов обучения — анализ пар Запрос-Сниппет из логов поиска. Это подтверждает, что Google использует данные о кликах пользователей для обучения своих моделей понимания языка. Если пользователи кликают на результат, система учится, что сниппет этого результата является хорошим "переводом" (парафразом) запроса.
4. Важность Заголовков и Анкоров: Title и Anchor Terms явно указаны как части сниппета, используемые для обучения (Claim 7). Это подчеркивает их роль не только как факторов ранжирования, но и как данных для обучения систем Query Understanding.
5. Фильтрация обучающих данных: Система не доверяет всем кликам одинаково. Данные из логов фильтруются по позиции клика и времени взаимодействия (Claim 6), чтобы обеспечить высокое качество обучающего корпуса.

Best practices (это мы делаем)

• Оптимизация Заголовков (Title) и Сниппетов под интент: Поскольку пары Запрос-Сниппет (включая Title) используются для обучения модели перефразирования, крайне важно, чтобы заголовки и мета-описания точно отражали содержание страницы и соответствовали интенту запроса. Это не только повышает CTR, но и помогает Google установить прочную семантическую связь между запросом и вашим контентом.
• Использование естественного языка и синонимических рядов: Так как система ищет парафразы, следует использовать разнообразную лексику и естественно вписывать синонимы и связанные термины в контекст. Это увеличивает вероятность того, что контент будет признан релевантным для расширенного запроса.
• Развитие тематической авторитетности (Topical Authority): Вместо фокусировки на отдельных ключевых словах, необходимо покрывать тему целиком. Это позволяет контенту соответствовать множеству перефразированных запросов, которые Google генерирует с помощью подобных систем.
• Использование формата Вопрос-Ответ (FAQ): Патент явно упоминает использование FAQ для обучения. Структурирование контента в формате Q&A (с использованием соответствующей разметки) может помочь системе лучше понять содержание и установить связь между вопросами пользователей и вашими ответами.
• Анализ и оптимизация анкорных текстов: Anchor terms также используются как обучающие данные. Внутренняя перелинковка и стратегия построения внешних ссылок должны использовать естественные и разнообразные анкоры, которые точно описывают целевую страницу в контексте ссылающегося контента.

Worst practices (это делать не надо)

• Фокус на точном вхождении ключевых слов (Exact Match): Стратегии, основанные на повторении одной и той же формулировки ключевого слова, теряют эффективность. Google активно расширяет запросы, и чрезмерная оптимизация под одну фразу может выглядеть неестественно.
• Игнорирование контекста при использовании синонимов: Нельзя бездумно заменять слова синонимами без учета контекста предложения. Система Google специально разработана для учета контекста, и его игнорирование может привести к потере релевантности.
• Использование кликбейтных заголовков, не соответствующих контенту: Если пользователи быстро покидают страницу после клика на заголовок (низкий dwell time), система может отфильтровать эту пару Запрос-Сниппет из обучающих данных (Claim 6), или, что хуже, использовать ее как негативный пример.

Стратегическое значение

Этот патент подтверждает стратегический курс Google на переход от лексического поиска (сопоставление строк) к семантическому поиску (понимание смысла). Он детально описывает инфраструктуру для изучения и применения контекстно-зависимых синонимов в масштабе всего интернета. Для SEO это означает, что долгосрочная стратегия должна фокусироваться на создании контента, который глубоко прорабатывает тему и соответствует естественным языковым паттернам пользователей, а не на поиске уязвимостей в алгоритмах сопоставления ключевых слов.

Практические примеры

Сценарий: Оптимизация страницы о страховании автомобиля с учетом контекстного расширения

1. Анализ запроса: Пользователь ищет "дешевая автостраховка". Слово "дешевая" (cheap) многозначно.
2. Работа системы (Предположение): Google обращается к Context Map.
   • Контекст 1: Если контекст связан с качеством (например, "дешевые материалы"), синоним может быть "низкокачественный" (low-quality).
   • Контекст 2: Если контекст связан с ценой (например, "автостраховка"), синонимы могут быть "доступная" (affordable), "недорогая" (inexpensive).
3. Расширение запроса: Google выбирает синонимы из Контекста 2 и расширяет запрос до [("дешевая" OR "доступная" OR "недорогая") AND "автостраховка"].
4. Действия SEO-специалиста: Убедиться, что на странице используются различные термины для описания цены в правильном контексте. Вместо повторения "дешевая автостраховка", использовать фразы: "доступные тарифы на страхование авто", "как найти недорогой полис ОСАГО". Это повышает релевантность страницы для расширенного запроса.
5. Оптимизация сниппета: Создать Title: "Доступная автостраховка 2025: Сравнение недорогих тарифов". Это помогает обучить модель связи между этими терминами.