Как Google находит синонимы для транслитерированных запросов с помощью обратного языкового маппинга

Термины и определения

Candidate Synonyms (Кандидаты в синонимы)

Термины на целевом языке, которые идентифицированы как альтернативные варианты написания (транслитерации) одного и того же слова на языке оригинала.

Confidence Value (Мера уверенности)

Метрика, используемая для оценки надежности кандидата в синонимы. Может зависеть от количества общих слов на языке оригинала, оценок транслитерации и частоты встречаемости термина.

Query Expansion (Расширение запроса)

Процесс добавления дополнительных терминов (например, синонимов) к исходному запросу для улучшения полноты поисковой выдачи.

Source Language (Язык оригинала)

Язык, с которого слово было изначально транслитерировано (например, Хинди).

Target Language (Целевой язык)

Язык (и алфавит), используемый для написания транслитерированного слова (например, Английский/Латиница).

Transliteration (Транслитерация)

Представление слова из одного алфавита (скрипта) с помощью другого алфавита, часто основанное на фонетическом звучании.

Transliteration Score (Оценка транслитерации)

Числовая оценка, генерируемая при маппинге термина из целевого языка в язык оригинала, отражающая вероятность того, что данный термин является корректной транслитерацией.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации синонимов для транслитерированных терминов.

1. Идентификация транслитераций: Система идентифицирует множество транслитерированных терминов на целевом языке. Это включает сложный процесс фильтрации:
   1. Поиск терминов, состоящих только из символов целевого языка.
   2. Вычисление статистики для каждого термина: отношение вероятности его появления на ресурсах, связанных с локалью языка оригинала, к вероятности его появления на любых ресурсах.
   3. Сравнение статистики с порогом. Если порог превышен, термин считается транслитерацией.
2. Маппинг: Каждый идентифицированный транслитерированный термин отображается (маппится) на один или несколько терминов на языке оригинала.
3. Идентификация синонимов: Для первого транслитерированного термина (Term A) система находит вторые транслитерированные термины (Term B), которые являются кандидатами в синонимы. Условие: Term B должен маппиться хотя бы на один термин на языке оригинала, на который также маппится Term A.

Ядро изобретения — использование языка оригинала как посредника для нахождения синонимов в целевом языке. Ключевым элементом также является статистический метод идентификации того, какие слова вообще являются транслитерациями.

Claim 4 (Зависимый от 1): Уточняет, что маппинг осуществляется посредством процесса транслитерации из целевого языка в язык оригинала.

Claim 5, 6, 7, 8 (Зависимые): Детализируют использование мер уверенности (Confidence Value) и оценок транслитерации (Transliteration Score).

• Синонимы выбираются, только если их Confidence Value превышает порог (Claim 5).
• Confidence Value может быть функцией от количества общих терминов на языке оригинала (Claim 6).
• Процесс маппинга генерирует Transliteration Score (Claim 7).
• Confidence Value может быть функцией от Transliteration Scores обоих терминов и вероятности появления второго термина в веб-ресурсах (Claim 8).

Claim 10, 11 (Зависимые): Описывают применение для расширения запроса.

• Система получает запрос, расширяет его синонимами и отправляет в поисковую систему (Claim 10).
• Система может предложить расширенные запросы пользователю на выбор (Claim 11).

Claim 12, 13 (Зависимые): Описывают альтернативное применение: маппинг на стороне документа.

• Поисковая система идентифицирует документ, который содержит синоним термина из запроса, но не содержит сам термин из запроса.
• Система модифицирует оценку (score) этого документа, используемую для ранжирования. Это позволяет находить документы с альтернативными написаниями без явного расширения запроса, но потенциально с пониженным весом.

Где и как применяется

Изобретение применяется в основном на этапах понимания запросов и ранжирования, используя предварительно вычисленные данные.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит сбор данных для идентификации транслитераций. Система анализирует веб-ресурсы, вычисляет частоту встречаемости слов и определяет их связь с конкретными локалями (например, по домену верхнего уровня).

QUNDERSTANDING – Понимание Запросов
Основное место применения. Система выполняет офлайн-процессы для:

1. Идентификации списка транслитерированных терминов с использованием статистического анализа.
2. Выполнения обратного маппинга (транслитерации) для создания базы данных соответствий между целевым языком и языком оригинала.
3. Генерации списка кандидатов в синонимы (candidate synonyms) и расчета их мер уверенности (Confidence Values).

В реальном времени, при получении запроса, система использует эту базу данных для расширения запроса (Query Expansion) или для предложения альтернативных запросов.

RANKING – Ранжирование
Если используется расширение запроса, система ранжирует результаты по расширенному запросу. Если используется маппинг на стороне документа (Claims 12, 13), то на этапе ранжирования система может идентифицировать документы, содержащие синонимы, и соответствующим образом модифицировать их Information Retrieval score.

Входные данные:

• Веб-ресурсы и их связь с локалями.
• Словари и модели транслитерации между целевым языком и языком оригинала.
• Запрос пользователя.

Выходные данные:

• Список транслитерированных терминов.
• База данных синонимов для транслитерированных терминов с Confidence Values.
• Расширенный запрос или модифицированные оценки ранжирования для документов.

На что влияет

• Специфические запросы: Влияет на запросы, содержащие имена собственные, названия продуктов, песен, фильмов и технические термины на языке оригинала, записанные с использованием алфавита целевого языка.
• Языковые и географические ограничения: Наибольшее влияние в регионах, где язык оригинала не использует алфавит целевого языка и где распространены транслитерации (например, Индия (Хинди/Английский), страны Ближнего Востока (Арабский/Английский), Россия (Русский/Английский или наоборот)).

Когда применяется

• Триггеры активации: Когда система идентифицирует, что термин в запросе присутствует в базе данных предварительно вычисленных транслитерированных синонимов.
• Условия применения: Применяется, если для термина существуют кандидаты в синонимы с достаточно высокой мерой уверенности (Confidence Value).

Пошаговый алгоритм

Алгоритм состоит из офлайн-процесса подготовки данных и онлайн-процесса обработки запроса.

Процесс А: Офлайн-подготовка базы синонимов (на основе FIG. 3)

1. Сбор данных и Идентификация транслитераций:
   1. Анализ веб-ресурсов для поиска терминов на целевом языке.
   2. Для каждого термина вычисление статистики: P(термин|локаль оригинала) / P(термин|любая локаль).
   3. Фильтрация: Если статистика превышает порог, термин добавляется в список транслитерированных терминов.
2. Обратный маппинг:
   1. Для каждого термина в списке выполняется транслитерация обратно в язык оригинала.
   2. Генерация одного или нескольких вариантов на языке оригинала с соответствующими оценками транслитерации (Transliteration Score).
3. Идентификация синонимов и Расчет уверенности:
   1. Для пары транслитерированных терминов (Term A, Term B) проверяется, есть ли у них общее слово на языке оригинала (Origin X).
   2. Если ДА, Term B становится кандидатом в синонимы для Term A.
   3. Вычисляется мера уверенности (Confidence Value) для пары (A, B). Она может учитывать Transliteration Scores (A->X, B->X) и частоту встречаемости Term B.
   4. Фильтрация: Если Confidence Value превышает порог, синоним сохраняется в базе.

Процесс Б: Обработка запроса в реальном времени (на основе FIG. 4)

1. Получение запроса: Система получает запрос, содержащий транслитерированный термин (Term A).
2. Поиск синонимов: Система ищет Term A в подготовленной базе синонимов.
3. Применение (Вариант 1 - Расширение запроса):
   1. Система генерирует расширенный запрос, добавляя высокоуверенные синонимы (Term B, Term C...). Например: "Term A OR Term B OR Term C".
   2. Расширенный запрос отправляется в поисковую систему.
   3. (Опционально) Расширенные запросы могут быть предложены пользователю на выбор.
4. Применение (Вариант 2 - Маппинг на стороне документа):
   1. Исходный запрос отправляется в поисковую систему.
   2. Поисковая система идентифицирует документы, которые содержат синонимы (Term B), но не содержат Term A.
   3. Оценка ранжирования (score) этих документов модифицируется (обычно понижается, так как это не точное совпадение).
5. Предоставление результатов: Пользователю возвращаются результаты поиска.

Альтернативный алгоритм (на основе FIG. 5)

Патент также описывает альтернативный подход без использования обратного маппинга:

1. Генерация обучающей выборки: Создается группа возможных транслитерированных синонимов на целевом языке.
2. Обучение модели: Вероятностная модель обучается на этой выборке, чтобы изучить вероятности вариаций написания (орфографических различий) между синонимами.
3. Применение модели: Модель применяется к конкретному транслитерированному термину для прямой идентификации его синонимов на целевом языке.

Какие данные и как использует

Данные на входе

• Географические факторы: Критически важные данные. Система использует ассоциацию веб-ресурсов с локалями (например, через домены верхнего уровня), чтобы определить вероятность того, что слово является транслитерацией.
• Контентные факторы: Частота встречаемости слов в корпусе веб-документов (глобальная и локальная).
• Системные данные: Модели машинного обучения для транслитерации между языками.

Какие метрики используются и как они считаются

• Статистика идентификации транслитерации: Отношение вероятности появления термина на ресурсах, связанных с локалью языка оригинала, к вероятности его появления на любых ресурсах. Формула (упрощенно): $\frac{P(Term|SourceLocale)}{P(Term|AnyLocale)}$.
• Transliteration Score: Оценка, возвращаемая моделью транслитерации при обратном маппинге.
• Confidence Value: Агрегированная метрика для оценки качества синонима. Может включать Transliteration Scores и вероятность появления термина в вебе (probability of occurrence).
• Пороговые значения: Используются для фильтрации транслитераций на этапе идентификации и для фильтрации синонимов по Confidence Value.

1. Нормализация орфографии для транслитераций: Патент предоставляет конкретный механизм, позволяющий Google справляться с огромным разнообразием написаний слов при транслитерации. Система не полагается на словари или логи запросов, а использует статистический анализ и машинную транслитерацию для автоматического выявления синонимов.
2. Язык оригинала как источник истины: Ключевая идея — использовать обратный маппинг в язык оригинала для подтверждения семантической связи. Если разные написания на целевом языке указывают на одно и то же слово в оригинале, они считаются эквивалентными.
3. Идентификация транслитераций на основе локали: Метод идентификации того, является ли слово транслитерацией, основан на географическом распределении контента. Слова, непропорционально часто встречающиеся в определенном регионе (связанном с языком оригинала), считаются транслитерациями.
4. Гибкость применения (Query Expansion vs. Document Mapping): Система может как расширять запрос, так и выполнять "мягкое" сопоставление на уровне документа. Маппинг на стороне документа позволяет находить альтернативные написания, но при этом модифицировать (обычно понижать) их вес в ранжировании, сохраняя приоритет за точным совпадением.
5. Важность мер уверенности: Система не просто находит синонимы, но и оценивает их надежность с помощью Confidence Values, учитывая качество транслитерации и частоту использования термина в вебе.

Best practices (это мы делаем)

• Исследование транслитерированных ключевых слов: При работе на рынках, где распространена транслитерация (например, Индия, Ближний Восток), необходимо исследовать не только ключевые слова на языке оригинала, но и их популярные транслитерированные варианты на английском (или другом целевом языке).
• Использование доминирующих вариантов написания: Хотя Google может распознавать синонимы, рекомендуется использовать наиболее распространенные и общепринятые варианты транслитерации в контенте. Это повышает вероятность того, что система присвоит этому варианту высокий Confidence Value и он будет эффективно работать в поиске.
• Мониторинг локального контента: Анализируйте, как локальные пользователи и авторитетные локальные сайты (блоги, СМИ) пишут ключевые термины транслитом. Это поможет понять предпочтительные варианты написания, которые система, вероятно, уже изучила.
• Консистентность внутри сайта: Старайтесь использовать единый вариант транслитерации для одного и того же термина на всем сайте, чтобы избежать путаницы для пользователей и упростить обработку для поисковых систем.

Worst practices (это делать не надо)

• Игнорирование транслитерации: Оптимизация только под язык оригинала в регионах с высокой долей транслитерированных запросов приведет к потере значительной части трафика.
• Спам всеми возможными вариантами (Keyword Stuffing): Не нужно пытаться перечислить все возможные варианты транслитерации на одной странице. Благодаря этому патенту, Google способен самостоятельно связать основные варианты. Перечисление всех вариантов ухудшит читаемость и может быть воспринято как спам.
• Использование редких или неестественных транслитераций: Использование слишком редких вариантов написания может быть неэффективным, так как система может не иметь достаточной уверенности (Confidence Value) для их связи с более популярными синонимами.

Стратегическое значение

Этот патент подчеркивает важность адаптации SEO-стратегий под лингвистические особенности региона. Он демонстрирует, что Google разрабатывает специализированные решения для обработки языка за пределами стандартных англоязычных моделей. Для международного SEO это означает необходимость глубокого понимания того, как пользователи ищут информацию в конкретной стране, включая использование смешанных языков и транслитерации. Стратегия должна учитывать, что релевантность в таких регионах определяется не только значением слова, но и его написанием и контекстом использования.

Практические примеры

Сценарий: Оптимизация страницы фильма для индийского рынка

Компания запускает новый фильм на хинди и хочет оптимизировать веб-сайт для привлечения трафика как на хинди, так и на английском (транслит).

1. Исследование: SEO-специалист исследует, как пользователи ищут название фильма. Он обнаруживает, что название на хинди (например, चक्रवती) транслитерируется на английский несколькими способами: "Chakrabarti" (наиболее популярный), "Chakrabarty" и "Chakravarti".
2. Оптимизация контента: Специалист решает использовать доминирующий вариант "Chakrabarti" в заголовках (Title, H1) и основном тексте страницы на английском языке.
3. Ожидаемый результат (благодаря патенту):
   • Пользователь ищет "Chakrabarti movie". Страница ранжируется высоко (точное совпадение).
   • Пользователь ищет "Chakrabarty movie". Google использует механизм обратного маппинга, определяет, что "Chakrabarty" и "Chakrabarti" указывают на चक्रवती. Система либо расширяет запрос до ("Chakrabarti" OR "Chakrabarty"), либо выполняет маппинг на стороне документа. Страница также ранжируется, возможно, с чуть меньшим весом, если используется маппинг документа.
4. Вывод: Оптимизация под доминирующий вариант позволила охватить и альтернативные варианты написания без необходимости спамить ими на странице.