Как Google автоматически определяет, на каких языках искать ответ на запрос пользователя (CLIR)

Термины и определения

Cross-Language Information Retrieval (CLIR) System (Система кросс-языкового информационного поиска)

Система, которая принимает запрос на одном языке и извлекает релевантные документы на других языках.

Entity (Сущность)

Термин, извлеченный из структурированной коллекции документов, часто являющийся именем собственным (человек, место, объект). Извлечение может основываться на капитализации или ссылках внутри коллекции.

Language Score (Оценка языковой принадлежности)

Числовая метрика, указывающая, насколько сильно термин связан с определенным языком. Рассчитывается на основе анализа иерархии категорий в структурированной коллекции.

Related Terms (Связанные термины)

Термины, которые часто встречаются совместно (co-occur) с терминами входного запроса. Используются для определения контекста и потенциальной языковой релевантности запроса.

Source Language (Исходный язык)

Язык, на котором пользователь ввел запрос.

Structured Collection of Documents (Структурированная коллекция документов)

База знаний с иерархической структурой категорий (например, Википедия), используемая для генерации Term-Language Score Table.

Target Language (Целевой язык)

Язык, автоматически выбранный системой для выполнения поиска, отличный от исходного языка.

Term-Language Score Table (Таблица оценок языковой принадлежности терминов)

Заранее рассчитанная база данных, которая сопоставляет термины (сущности и запросы) с их Language Scores для различных языков.

Translation System (Система перевода)

Компонент, отвечающий за перевод исходного запроса на целевые языки и перевод найденных результатов обратно на исходный язык.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод кросс-языкового поиска с автоматическим выбором языка.

1. Система получает запрос на исходном языке.
2. Система автоматически определяет один или несколько целевых языков (Target Languages), релевантных запросу, используя Language Scores. Процесс определения включает:
   1. Идентификацию Related Terms (терминов, связанных с запросом).
   2. Определение Language Score для каждого связанного термина по отношению к множеству языков.
   3. Комбинирование (суммирование) Language Scores для каждого языка.
   4. Выбор целевых языков (отличных от исходного), чья комбинированная оценка превышает пороговое значение (threshold score).
3. Запрос переводится на выбранные целевые языки.
4. Выполняется поиск результатов по переведенным запросам.
5. Система предоставляет один или несколько найденных результатов.

Claim 3 (Зависимый от 1): Уточняет, что предоставление результатов включает их перевод на исходный язык запроса.

Claim 4 (Зависимый от 3): Описывает функцию пользовательского интерфейса. Система может предоставить результат поиска на оригинальном (целевом) языке для отображения под соответствующим переведенным результатом. Эта функция активируется пользователем независимо для каждого результата.

Claim 5 (Зависимый от 1): Уточняет, что определение Language Score для связанного термина включает поиск этого термина в таблице (Term-Language Score Table), которая содержит заранее рассчитанные оценки.

Claim 6 (Зависимый от 1): Определяет Related Terms как термины, которые с высокой вероятностью встречаются совместно (co-occur) с терминами запроса.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя предварительно обработанные данные для улучшения понимания запроса и смешивания результатов.

INDEXING – Индексирование / Анализ данных (Офлайн)
Основная часть работы по подготовке данных происходит офлайн. Система анализирует Structured Collection of Documents (например, Википедию) и логи запросов для создания Term-Language Score Table. Это включает извлечение сущностей (Entity Extraction) и классификацию контента по языкам на основе иерархии.

QUNDERSTANDING – Понимание Запросов (Онлайн)
Это основной этап применения патента в реальном времени. При получении запроса система анализирует его языковой контекст.

1. Расширение запроса: Идентифицируются Related Terms.
2. Определение языка: Используется Term-Language Score Table для расчета совокупных Language Scores для запроса.
3. Выбор целевых языков: Определяются языки, для которых оценка превышает порог.
4. Перевод запроса: Запрос переводится на целевые языки с помощью Translation System.

RANKING – Ранжирование (Параллельное)
Поисковая система выполняет параллельные поиски по соответствующим языковым индексам, используя переведенные запросы.

METASEARCH – Метапоиск и Смешивание
Результаты из разных языковых индексов агрегируются. Они переводятся обратно на Source Language и смешиваются (interleaved) в единый ранжированный список для представления пользователю.

Входные данные:

• Исходный запрос пользователя (Source Language Query).
• Term-Language Score Table (предварительно рассчитанная).
• Данные о частоте совместной встречаемости терминов (для идентификации Related Terms).

Выходные данные:

• Список целевых языков (Target Languages) и переведенные запросы.
• Объединенный список результатов поиска, переведенных на исходный язык.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, касающиеся сущностей (имена собственные, бренды, географические названия), которые имеют сильную привязку к определенному языку или культуре, отличной от языка пользователя. Например, запрос о местном бизнесе в другой стране ("bicycle rental brussels" — пример из патента) или о культурном явлении.
• Конкретные ниши или тематики: Влияет на тематики, где знание не распределено равномерно по языкам (например, локальный туризм, история, специфические области науки, поп-культура).

Когда применяется

• Триггеры активации: Алгоритм активируется, когда система обнаруживает, что запрос имеет значительную релевантность в других языках. Это происходит, когда комбинированный Language Score для целевого языка превышает заданный порог (threshold score).
• Условия применения: Применяется, когда Related Terms запроса имеют сильные и недвусмысленные сигналы языковой принадлежности в Term-Language Score Table. Если термин слишком общий (например, "cooking"), он может иметь нейтральные или низкие оценки после нормализации и не вызовет активацию CLIR.

Пошаговый алгоритм

Процесс А: Онлайн-обработка запроса (CLIR)

1. Получение запроса: Система получает запрос на исходном языке.
2. Идентификация связанных терминов: Определяются Related Terms, которые часто встречаются вместе с запросом (возможно, после расширения синонимами).
3. Извлечение Language Scores: Для каждого связанного термина извлекаются Language Scores из Term-Language Score Table.
4. Комбинирование оценок: Language Scores суммируются для каждого языка. Применяется нормализация для устранения слишком общих терминов. Оценки могут быть повышены (boosted), если запрос связан с конкретной локацией.
5. Выбор языков: Комбинированные оценки сравниваются с порогом. Языки, превысившие порог, выбираются как Target Languages.
6. Перевод запроса: Исходный запрос переводится на целевые языки.
7. Параллельный поиск: Выполняется поиск по соответствующим индексам с использованием переведенных запросов.
8. Перевод результатов: Найденные результаты (заголовки и сниппеты) переводятся обратно на исходный язык.
9. Смешивание и предоставление: Результаты объединяются в единый ранжированный список.
10. Обработка уточнений: Пользователь может вручную добавить/удалить языки, отредактировать переведенный запрос или просмотреть оригинальный текст результата.

Процесс Б: Офлайн-генерация Term-Language Score Table

1. Выбор источника данных: Идентифицируется иерархически структурированная коллекция документов (например, Википедия).
2. Извлечение сущностей: Из документов извлекаются сущности (например, по капитализации или ссылкам).
3. Классификация по языкам: Документы классифицируются по языкам путем распространения Language Scores через иерархию категорий (например, Категория:Япония -> Японская культура -> Суши). Применяется функция затухания (decay function) при удалении от базовой категории (например, страны).
4. Ассоциация сущностей и языков: Сущностям присваиваются Language Scores на основе оценок документов, в которых они найдены.
5. Перевод сущностей: Извлеченные сущности и заголовки документов переводятся на поддерживаемые языки.
6. Анализ логов запросов (Опционально): Извлекаются запросы из логов, которые приводили к кликам на эти документы.
7. Объединение данных: Информация о сущностях, переводах и запросах объединяется для создания расширенной Term-Language Score Table.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных о языке и контексте запроса, а также предварительно обработанных структурированных данных.

• Структурные факторы (Офлайн): Иерархия категорий из Structured Collection of Documents (например, Википедии). Ссылки внутри этой коллекции используются для идентификации сущностей. Это ключевой элемент для определения языковой принадлежности контента.
• Контентные факторы (Офлайн): Текст документов в структурированной коллекции, в частности, капитализация текста для идентификации сущностей (имен собственных). Заголовки документов.
• Поведенческие факторы (Офлайн): Анонимизированные логи запросов (query logs) используются для идентификации запросов, которые ведут к документам в структурированной коллекции, и для расширения Term-Language Score Table. Также используются для определения Related Terms (co-occurrence).
• Географические факторы: Упоминается возможность повышения (boosting) Language Scores, если запрос связан с определенным местоположением (например, "restaurants in Bordeaux").

Какие метрики используются и как они считаются

• Language Score (для термина): Метрика, отражающая связь термина с языком. Рассчитывается офлайн на основе анализа структурированных данных. Учитывает, насколько часто термин встречается в документах, ассоциированных с определенным языком через иерархию категорий.
• Decay Function (Функция затухания) (Офлайн): Метод снижения Language Score при распространении его по иерархии категорий по мере увеличения расстояния от базовой категории (например, страны).
• Нормализация (Normalization): Процесс корректировки Language Scores. Оценки нормализуются, чтобы уменьшить влияние терминов, общих для многих языков (например, если термин встречается одинаково часто во всех языках).
• Combined Language Score (для запроса): Агрегированная метрика, рассчитываемая онлайн путем суммирования Language Scores всех Related Terms запроса для каждого конкретного языка.
• Threshold Score (Порог): Заданное значение, которое должен превысить Combined Language Score, чтобы язык был выбран в качестве целевого. Порог может быть общим или специфичным для каждого языка.

1. Автоматизация кросс-языкового поиска: Google стремится устранить языковые барьеры без усилий со стороны пользователя. Система автоматически решает, когда и на каких языках искать, если запрос имеет международный контекст.
2. Критическая роль структурированных данных и сущностей: Механизм генерации Term-Language Score Table сильно зависит от анализа структурированных данных (таких как Википедия) и извлечения сущностей. То, как сущность представлена в этих источниках и с какими категориями (странами, культурами) она связана в иерархии, напрямую определяет ее Language Scores.
3. Контекст через Related Terms: Для определения языковой релевантности Google анализирует не только сам запрос, но и Related Terms (термины, часто встречающиеся вместе). Это позволяет уловить контекст и намерение, которые могут указывать на необходимость поиска на других языках.
4. Нормализация для точности: Система фильтрует универсальные термины, которые не указывают на конкретный язык. Нормализация Language Scores позволяет сосредоточиться на терминах с сильной культурной или языковой спецификой.
5. Приоритет нативного контента: Механизм CLIR предназначен для поиска качественного контента на языке оригинала с последующим переводом для пользователя, а не для поиска автоматически переведенных копий.

Best practices (это мы делаем)

• Оптимизация сущностей и связь с Knowledge Graph: Это критически важно для международного SEO. Убедитесь, что ключевые сущности вашего бизнеса (бренд, продукты, локации) корректно представлены в структурированных источниках данных, которые Google использует (например, Википедия, Wikidata). Важно, чтобы эти сущности были четко связаны с соответствующими региональными и языковыми категориями в этих источниках, так как это напрямую влияет на расчет Language Scores.
• Усиление сигналов совместной встречаемости (Co-occurrence): При создании контента на определенном языке убедитесь, что ваши ключевые термины естественно соседствуют с другими релевантными терминами и сущностями (Related Terms), имеющими сильную привязку к этому языку. Это поможет укрепить связь в Term-Language Score Table.
• Тематическая авторитетность на нативном языке: Сосредоточьтесь на создании лучшего, наиболее авторитетного контента на основном языке вашего рынка. Если Google определит (через Language Scores), что ваш язык релевантен для иностранного запроса, он использует ваш высокоранжируемый нативный контент для показа через CLIR.
• Локализация и культурная адаптация контента: При создании многоязычных версий не просто переводите текст, но адаптируйте его так, чтобы он включал локально значимые сущности и термины. Это повышает вероятность того, что контент будет признан релевантным в своем языковом индексе.

Worst practices (это делать не надо)

• Игнорирование присутствия в глобальных базах знаний: Полагаться только на on-page SEO без учета того, как ваши сущности представлены в глобальных структурированных данных. Если ваши сущности не связаны с нужными языками в Knowledge Graph, они не получат высоких Language Scores.
• Прямой перевод без локализации сущностей: Создание контента на нескольких языках путем буквального перевода без учета локальных названий сущностей или культурного контекста. Это снижает эффективность работы описанного механизма.
• Использование низкокачественного машинного перевода для создания контента: Создание контента с помощью автоматического перевода в надежде на трафик. CLIR ищет качественный исходный контент, который должен хорошо ранжироваться в своем нативном индексе.

Стратегическое значение

Этот патент подчеркивает важность Entity-Based SEO в международном контексте. Стратегическое значение заключается в понимании того, что языковая релевантность определяется не только языком страницы, но и тем, как Google воспринимает культурный и языковой контекст сущностей, упомянутых на ней. Для глобальных брендов критически важно управлять своим представлением в Knowledge Graph, чтобы гарантировать, что система корректно ассоциирует их с релевантными языками и активирует CLIR, когда это необходимо.

Практические примеры

Сценарий 1: Оптимизация для локального туристического объекта (Музей в Киото)

1. Анализ сущности (Офлайн): SEO-команда убеждается, что статья о музее в Википедии четко классифицирована в иерархии: Japan -> Kyoto Prefecture -> Culture in Kyoto. Это гарантирует, что сущность (музей) получит высокий Language Score для японского языка.
2. Анализ Related Terms (Онлайн): Англоязычный пользователь ищет "traditional crafts kyoto". Система Google определяет Related Terms, такие как название музея, "Japan", "history".
3. Расчет Language Score: Related Terms имеют высокие Language Scores для японского языка. Совокупная оценка превышает порог.
4. Активация CLIR: Google переводит запрос на японский язык (например, "京都 伝統工芸").
5. Результат: Система находит официальный сайт музея на японском языке (который хорошо ранжируется локально), переводит сниппет на английский и показывает его в англоязычной выдаче.

Сценарий 2: Оптимизация сайта отеля в Брюсселе (Пример из патента)

1. Анализ запроса: Пользователь ищет [bicycle rental brussels] на английском.
2. Идентификация Related Terms и Scores: Связанные термины ("Brussels", "Belgium") имеют высокие Language Scores для французского и голландского языков.
3. Активация CLIR: Google переводит запрос на французский ("Bruxelles Location de vélos") и голландский ("fietsverhuur brussel").
4. Действия SEO-специалиста: Создать качественный контент на французском и голландском языках о прокате велосипедов, используя локальные термины (например, "Villo!"). Усилить связь сущности отеля с Брюсселем в структурированных данных.
5. Результат: Контент отеля на французском/голландском имеет высокие шансы быть найденным, переведенным и показанным пользователю.