Как Google решает, когда переводить запрос пользователя и показывать результаты на другом языке, сравнивая релевантность и распознавая сущности

Термины и определения

Cross-Language Search System (Система кросс-языкового поиска)

Система, которая определяет, следует ли использовать переведенный запрос для поиска информации на другом языке с целью улучшения релевантности выдачи.

Foreign Entity (Иностранная сущность)

Сущность (человек, место, вещь), которая ассоциируется с языком, отличным от языка запроса. Например, "Yankee Stadium" для арабского языка. Обнаружение такой сущности может активировать кросс-языковой поиск.

Local Entity (Локальная сущность)

Сущность, тесно связанная с языком запроса и регионом, где этот язык используется (физически, логически или исторически). Например, "Эйфелева башня" для французского языка. Обнаружение такой сущности обычно блокирует кросс-языковой поиск.

Query Evaluation Module (Модуль оценки запроса)

Компонент, который анализирует запрос, используя различные фильтры (сущности, уверенность перевода, релевантность), чтобы решить, является ли запрос кандидатом на кросс-языковой поиск и какие результаты предоставлять.

Relevance Score (Оценка релевантности)

Числовая метрика релевантности результата запросу. Может включать IR scores (Information Retrieval scores), PageRank и поведенческие сигналы. Патент предполагает, что эти оценки сопоставимы (commensurable) между разными языковыми корпусами.

Threshold Relevancy (Пороговая релевантность)

Минимальный уровень Relevance Score, необходимый для того, чтобы результаты переведенного запроса рассматривались для показа.

Translation Confidence Score (Оценка уверенности в переводе)

Метрика, предоставляемая службой перевода (Translator), указывающая на вероятность корректности автоматического перевода запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс сравнения релевантности.

1. Получение запроса на первом языке (L1).
2. Получение переведенного запроса на втором языке (L2).
3. Получение первого набора результатов (R1) с оценками релевантности (S1) для L1 и второго набора (R2) с оценками (S2) для L2.
4. Сравнение S1 и S2.
5. Предоставление страницы результатов, включающей часть R1 и/или R2, на основе этого сравнения.

Ядро изобретения — это возможность сравнивать метрики релевантности, полученные из разных языковых корпусов, и принимать решение о формировании выдачи.

Claim 16 (Независимый пункт): Описывает стратегию смешивания (Blending) результатов.

1. Получение R1/S1 и R2/S2.
2. Объединение R1 и R2 в единый порядковый список (ordinal list).
3. Определение порядка (от наиболее к наименее релевантному) на основе S1 и S2.
4. Предоставление страницы результатов из этого объединенного списка.

Этот пункт защищает метод формирования смешанной выдачи, где результаты из разных языков ранжируются вместе.

Claim 21 (Независимый пункт): Описывает стратегию выбора лучшего результата.

1. Получение лучшего результата R1/S1 и лучшего результата R2/S2.
2. Сравнение S1 и S2.
3. Предоставление R1, если S1 > S2, и предоставление R2, если S2 > S1.

Этот пункт описывает бинарный выбор между лучшим результатом на исходном языке и лучшим результатом на иностранном языке.

Claim 42 (Независимый пункт): Описывает комбинацию предварительной оценки и сравнения.

1. Получение исходного и переведенного запросов.
2. Оценка переведенного запроса для определения, является ли он кандидатом (candidate) на кросс-языковой поиск.
3. Если ДА: Сравнение S1 и S2 и предоставление результатов на основе сравнения.
4. Если НЕТ: Предоставление результатов только для исходного запроса.

Этот пункт интегрирует предварительную фильтрацию (которая может включать проверку сущностей, качества перевода и т.д.) с механизмом сравнения релевантности.

Где и как применяется

Изобретение задействовано на нескольких этапах поисковой архитектуры.

QUNDERSTANDING – Понимание Запросов
На этом этапе происходит основная работа по анализу запроса:

• Определение языка запроса (L1).
• Перевод запроса на L2 и получение Translation Confidence Score.
• Сравнение токенов запроса с базами данных Local Entities и Foreign Entities.
• Работа Query Evaluation Module для определения кандидатуры на кросс-языковой поиск.

RANKING – Ранжирование
Если запрос признан кандидатом, система инициирует параллельное ранжирование: один процесс для исходного запроса в индексе L1, второй — для переведенного запроса в индексе L2. На выходе получаются два набора результатов с их Relevance Scores (S1 и S2).

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
На этом этапе происходит сравнение S1 и S2 (Cross-Corpus Relevance Comparison). Система принимает решение о формировании финальной выдачи: использовать только R1, только R2 или смешивать их. Если используются результаты R2, они могут быть переведены на L1 для отображения пользователю.

Входные данные:

• Исходный запрос и его язык.
• Базы данных локальных и иностранных сущностей.
• Данные от службы перевода (переведенный запрос, Translation Confidence Score).
• Оценки релевантности (S1, S2) от системы ранжирования.

Выходные данные:

• Финальный набор результатов поиска (SERP), который может включать документы из разных языковых индексов.

На что влияет

• Специфические запросы: Наибольшее влияние на информационные запросы по глобальным темам (наука, технологии, международные события, знаменитости), где контент на языке пользователя может быть скудным.
• Конкретные ниши: Ниши, где авторитетные источники часто публикуются только на одном доминирующем языке (например, академические исследования, техническая документация).
• Языковые и географические ограничения: Система особенно полезна для языков с ограниченным количеством качественного веб-контента.

Когда применяется

Алгоритм применяется выборочно при выполнении условий, оцениваемых Query Evaluation Module:

• Отсутствие локального интента (Фильтр): Запрос не должен содержать Local Entities. Если они есть, предполагается, что локальные результаты будут лучше.
• Наличие иностранного интента (Триггер): Присутствие Foreign Entities является сильным сигналом для активации кросс-языкового поиска.
• Высокое качество перевода: Translation Confidence Score должен превышать порог.
• Достаточная релевантность: Relevance Scores (S2) результатов переведенного запроса должны превышать минимальный порог (Threshold Relevancy).
• Превосходство результатов: S2 должны быть выше, чем S1 (оценки релевантности исходного запроса). В патенте упоминается возможность дисконтирования S2, чтобы учесть сложность чтения переведенного контента (предпочтение родному языку).

Пошаговый алгоритм

Детальный процесс работы системы (на основе FIG. 2 и описания):

1. Получение запроса: Система получает запрос (Q) на Языке 1.
2. Фильтрация по Локальным Сущностям: Проверка Q на наличие Local Entities.
   • Если ДА: Прекратить кросс-поиск, использовать Q (нативный поиск).
3. Фильтрация по Иностранным Сущностям: Проверка Q на наличие Foreign Entities.
   • Если ДА: Это сильный сигнал в пользу кросс-поиска. Переход к шагу 4.
4. Перевод и Оценка Качества: Запрос Q переводится в Q' (Язык 2). Получается Translation Confidence Score.
5. Фильтрация по Качеству Перевода: Сравнение оценки с порогом.
   • Если НЕТ (качество низкое): Прекратить кросс-поиск, использовать Q.
6. Выполнение Поиска и Оценка Релевантности: Выполняется поиск по Q'. Получаются результаты R2 и оценки S2.
7. Фильтрация по Пороговой Релевантности: Сравнение S2 с минимальным порогом.
   • Если НЕТ (релевантность низкая): Прекратить кросс-поиск, использовать Q.
8. Сравнение Релевантности: Выполняется поиск по Q (получаем R1 и S1). Сравниваются S1 и S2.
9. Принятие Решения и Вывод:
   • Если S2 > S1 (с учетом возможного дисконта): Использовать результаты R2 (переведенные на Язык 1) или смешать R1 и R2.
   • Если S1 > S2: Использовать результаты R1.

Какие данные и как использует

Данные на входе

• Лингвистические данные: Токены исходного запроса, используемые для перевода и сопоставления с сущностями.
• Данные о сущностях (Entity Data): Предварительно составленные базы данных Local Entities и Foreign Entities. Источниками могут быть энциклопедии, location servers. Из списков удаляются общие термины (generic words).
• Поведенческие факторы:
  • Статистика запросов (Query statistics): Используется для определения частотности (query frequency) запроса или сущности. Сущности, которые редко запрашиваются, могут быть исключены из баз данных.
  • Анализ кликов (Click analysis): Упоминается использование активности пользователей (клики, dwell time/время пребывания) по результатам предыдущих запросов как индикаторов удовлетворенности и релевантности.
• Географические/Пользовательские факторы: Язык интерфейса пользователя или домен верхнего уровня (например, google.ru) используются для определения исходного языка.

Какие метрики используются и как они считаются

• Translation Confidence Score: Метрика качества перевода запроса. Сравнивается с пороговым значением (Confidence Threshold).
• Relevance Scores (S1 и S2): Основные метрики ранжирования (IR-оценки, PageRank). Используются для сравнения с порогом (Threshold Relevancy) и для сравнения между корпусами.
• Агрегированные оценки релевантности: Сумма Relevance Scores для набора результатов. Используется для сравнения общего качества выдачи между двумя языками (Claim 3).
• Query Frequency (Частотность запроса): Количество предыдущих запросов. Используется для оценки популярности темы.
• Readability Factor (Фактор читаемости - дисконт): Упоминается возможность дисконтирования Relevance Score иностранных результатов, чтобы учесть сложность чтения переведенного контента.

1. Приоритет релевантности над языком: Google стремится предоставить наиболее релевантный контент, даже если он существует на другом языке. Система готова перевести запрос, найти контент и перевести его обратно, если он превосходит по качеству локальные результаты.
2. Сущности как ключевой индикатор интента: Идентификация Local Entities и Foreign Entities является критически важным механизмом для определения географического и языкового интента. Локальные сущности часто блокируют кросс-поиск, а иностранные — активируют его.
3. Многоуровневая фильтрация качества: Система использует строгую фильтрацию, чтобы избежать ошибок кросс-поиска. Проверяется качество перевода запроса (Translation Confidence) и минимальная абсолютная релевантность результатов (Threshold Relevancy).
4. Сопоставимость оценок релевантности: Ключевым элементом системы является способность сравнивать Relevance Scores между документами в разных языковых индексах (Cross-Corpus Relevance).
5. Предпочтение родному языку при равных условиях: Система может применять смещение (bias) или дисконт к релевантности переведенных результатов из-за потенциальных проблем с читаемостью, отдавая предпочтение родному языку при незначительной разнице в релевантности.

Best practices (это мы делаем)

• Глобальное тематическое лидерство (для доминирующих языков): Если вы создаете контент на английском (или другом языке с большим корпусом), фокусируйтесь на создании лучшего в мире контента по вашей теме. Этот механизм позволяет Google автоматически находить ваш контент и предлагать его пользователям в других странах, где локальный контент слабее.
• Усиление локальной авторитетности (для локальных рынков): Для тем и сущностей, которые являются Local Entities, необходимо создавать максимально авторитетный контент на местном языке. Это гарантирует, что Google распознает локальный интент и не будет пытаться заменить ваш контент иностранными источниками.
• Оптимизация под машинный перевод (MTO - Machine Translation Optimization): Пишите контент четко, структурированно, избегая идиом и двусмысленностей. Это повышает Translation Confidence и улучшает читаемость контента после автоматического перевода, снижая потенциальный «штраф за читаемость» (readability bias).
• Оптимизация под сущности (Entity SEO): Убедитесь, что Google правильно идентифицирует ключевые сущности на вашем сайте и понимает их связь с языком/регионом. Это помогает системе корректно применять фильтры Local/Foreign Entity.

Worst practices (это делать не надо)

• Создание поверхностного контента на локальных языках: Попытка занять нишу на локальном языке за счет слабого контента неэффективна. Система активно ищет более качественные альтернативы на других языках и предпочтет перевести их, если их Relevance Score выше.
• Игнорирование английского языка для глобальных тем: Если вы работаете в тематике с глобальным интересом (например, IT, наука) и полагаетесь только на локальный язык, вы рискуете быть вытесненными более авторитетными источниками на английском через этот механизм.
• Использование узколокальных терминов для глобальных понятий: Использование локального жаргона или специфических терминов для описания международных сущностей затрудняет идентификацию контента как релевантного в кросс-языковом поиске.

Стратегическое значение

Патент подчеркивает, что конкуренция в SEO становится глобальной, независимо от языка сайта. Границы между языковыми индексами проницаемы. Для SEO-специалистов это означает необходимость кросс-языкового анализа конкуренции. Стратегия должна быть двунаправленной: защищать локальный интент качественной локализацией и атаковать глобальный интент авторитетным контентом на основном языке.

Практические примеры

Сценарий 1: Активация кросс-поиска (Глобальная тема)

1. Запрос: Пользователь в Индонезии ищет информацию об оптимизации производительности React Native (на индонезийском).
2. Анализ: На индонезийском языке мало качественного контента. Система переводит запрос на английский. "React Native" распознается как Foreign Entity (глобальная технология). Translation Confidence высокий.
3. Сравнение: Английская выдача имеет значительно более высокие Relevance Scores, чем индонезийская.
4. Результат: Пользователю показывается SERP, где топовые позиции занимают англоязычные источники (документация, авторитетные блоги) с заголовками и сниппетами, переведенными на индонезийский.

Сценарий 2: Блокировка кросс-поиска (Локальная тема)

1. Запрос: Пользователь в России ищет "История МГУ" (на русском).
2. Анализ: Система идентифицирует "МГУ" как Local Entity для русского языка.
3. Действие: Query Evaluation Module блокирует кросс-языковой поиск, согласно логике фильтрации.
4. Результат: Пользователь получает выдачу только из русскоязычного индекса, даже если на английском есть статьи об МГУ.