Как Google использует анализ параллельных анкорных текстов и кликов пользователей для перевода запросов и кросс-язычного поиска

Термины и определения

Aligned Text (Выровненный/Параллельный текст)

Два фрагмента текста на разных языках или в разных наборах символов, которые считаются эквивалентными. Примером могут служить параллельные статьи или анкоры, указывающие на одну и ту же страницу.

Ambiguous Search Query (Неоднозначный поисковый запрос)

Запрос, который может иметь несколько интерпретаций. Например, из-за ограничений устройства ввода (цифровая клавиатура) или из-за многозначности самого термина.

Anchor Text (Анкорный текст)

Видимый кликабельный текст гиперссылки. В патенте отмечается, что анкорный текст часто дает более точное описание целевой страницы, чем сама страница, и является основным источником данных для словаря.

Click Data (Данные о кликах)

Информация о том, какие результаты поиска выбирает пользователь. Используется как механизм обратной связи для уточнения вероятностей перевода.

Cross-Lingual Information Retrieval (CLIR) (Кросс-язычный информационный поиск)

Область информационного поиска, занимающаяся получением документов на одном языке в ответ на запрос на другом языке.

Parallel Anchor Text (Параллельные анкорные тексты)

Частный случай Aligned Text. Это анкорные тексты на разных языках, которые указывают на одну и ту же целевую страницу.

Probabilistic Dictionary (Вероятностный словарь)

Структура данных, которая сопоставляет термины из одного формата (Язык А) с терминами в другом формате (Язык Б) и присваивает вероятность каждому сопоставлению.

Ключевые утверждения (Анализ Claims)

Анализ сфокусирован на механизме кросс-язычного поиска (CLIR), описанном в Claims 1-18.

Claim 1 (Независимый пункт): Описывает процесс использования и уточнения вероятностного словаря через взаимодействие с пользователем.

1. Система получает поисковый запрос в первом формате.
2. Запрос переводится с помощью Probabilistic Dictionary в группу переведенных запросов во втором формате. Словарь содержит сопоставления терминов с расчетными вероятностями (calculated probability).
3. Поисковая система идентифицирует документы во втором формате, релевантные переведенным запросам.
4. Результаты поиска во втором формате предоставляются пользователю.
5. Система получает click data, указывающие на выбор пользователем одного или нескольких результатов.
6. Probabilistic Dictionary модифицируется на основе полученных click data, и происходит корректировка как минимум одной вероятности, связанной с сопоставлениями в словаре.

Ядром изобретения является механизм обратной связи. Google алгоритмически проверяет точность своих автоматических переводов, используя реальное поведение пользователей. Если система не уверена в переводе, она тестирует варианты в выдаче и корректирует модель на основе того, какой вариант пользователи выбирают чаще.

Claims 2-6 (Зависимые пункты): Уточняют механизм перевода (Шаг 2 в Claim 1).

• Перевод включает расширение запроса (expanding the search query) для создания расширенного запроса (expanded search query).
• Расширенный запрос может включать альтернативные кодировки (alternative encodings), альтернативные языковые переводы (alternative language translations) и синонимы (synonyms) терминов запроса.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поиска, связывая данные индексирования с пониманием запросов и используя поведенческие данные для улучшения моделей.

CRAWLING и INDEXING – Сканирование и Индексирование
На этих этапах собираются и индексируются данные, необходимые для работы системы: веб-страницы и, что критически важно, anchor text ссылок, ведущих на них, с указанием языка/набора символов анкоров.

(Офлайн/Фоновые процессы)
Происходит построение и обновление Probabilistic Dictionary. Это включает анализ параллельных анкоров (aligned anchor text) для расчета исходных вероятностей перевода. Также анализируются логи click data для уточнения этих вероятностей в соответствии с Claim 1.

QUNDERSTANDING – Понимание Запросов
Основное применение патента в реальном времени. При получении запроса система использует Probabilistic Dictionary для его перевода в потенциальные запросы на целевом языке. Также происходит расширение запроса (Query Expansion) с добавлением высоковероятных переводов и синонимов.

RANKING – Ранжирование
Поисковая система выполняет поиск по расширенным и/или переведенным запросам.

RERANKING / Feedback Loop (Обратная связь)
После показа результатов система собирает click data для валидации качества перевода и последующего обновления Probabilistic Dictionary.

Входные данные:

• Индекс анкорных текстов и целевых страниц (для построения словаря).
• Запрос пользователя в исходном формате.
• Probabilistic Dictionary (для перевода).
• Логи кликов (Click Data) (для уточнения словаря).
• История сессии пользователя (для разрешения неоднозначности).

Выходные данные:

• Переведенный и/или расширенный запрос для системы ранжирования.
• Обновленный Probabilistic Dictionary с уточненными вероятностями.

На что влияет

• Специфические запросы: Наибольшее влияние на кросс-язычные запросы (например, поиск на английском языке контента на японском). Также влияет на запросы, содержащие термины с несколькими значениями или переводами.
• Мультиязычные сайты: Влияет на то, как Google понимает связь между различными языковыми версиями контента и как он интерпретирует терминологию на основе ссылочного профиля.
• Конкретные ниши: Ниши со специфической терминологией, сленгом или новыми терминами. Система может автоматически обнаруживать переводы для них, анализируя использование в анкорах.
• Языковые и географические ограничения: Патент направлен на преодоление этих ограничений, обеспечивая CLIR. Примеры: перевод с английского на испанский, с Romaji на Kanji.

Когда применяется

• Условия активации: Когда язык или набор символов запроса отличается от языка целевого контента. Когда система обнаруживает потенциальные переводы или синонимы с высокой вероятностью в Probabilistic Dictionary.
• Разрешение неоднозначности: Когда исходный запрос неоднозначен, система генерирует несколько вариантов интерпретации и использует индекс или пользовательские данные для выбора наилучшего.

Пошаговый алгоритм

Процесс А: Построение Вероятностного Словаря (Офлайн)

1. Получение термина для перевода: Выбирается термин на Исходном Языке (A).
2. Идентификация исходных анкоров: Находятся все анкор-тексты на Языке A, содержащие этот термин.
3. Идентификация целевых страниц: Определяются страницы, на которые указывают эти анкоры.
4. Идентификация параллельных анкоров: Находятся анкор-тексты на Целевом Языке (B), которые указывают на те же самые страницы (aligned anchor text).
5. Анализ частотности: Анализируется частота встречаемости различных терминов в параллельных анкорах на Языке B.
6. Расчет вероятностей: Вычисляются вероятности того, что конкретный термин на Языке B является переводом исходного термина на Языке A. (Например, деление количества вхождений термина B на общее количество терминов в параллельных анкорах).
7. Применение весов (Опционально): Вероятности могут быть скорректированы. Например, предпочтение отдается анкорам, длина которых схожа с длиной исходного термина или других параллельных анкоров.
8. Сохранение: Сопоставление и его вероятность сохраняются в Probabilistic Dictionary.

Процесс Б: Обработка запроса и обратная связь (Онлайн)

1. Получение запроса: Система получает запрос на Языке A.
2. Перевод и Расширение: Система использует Probabilistic Dictionary для генерации одного или нескольких вариантов перевода запроса на Язык B. Запрос расширяется (Query Expansion).
3. Поиск: Выполняется поиск документов на Языке B, релевантных расширенному запросу.
4. Предоставление результатов: Результаты, соответствующие разным вариантам перевода, могут быть смешаны в выдаче.
5. Сбор обратной связи: Система отслеживает click data – какие результаты выбирает пользователь.
6. Уточнение словаря: На основе click data система корректирует вероятности в Probabilistic Dictionary. Если пользователи часто кликают на результаты, соответствующие переводу X, и редко на результаты, соответствующие переводу Y, вероятность перевода X увеличивается.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании ссылочных и поведенческих данных для понимания языка.

• Ссылочные факторы: Anchor text является критически важным. Система анализирует текст анкоров и URL, на которые они указывают. Ключевым элементом является обнаружение aligned anchor text — сравнение анкоров на разных языках, ведущих на один и тот же URL.
• Поведенческие факторы: Click data используется для уточнения и валидации автоматических переводов. Также упоминается использование истории поисковой сессии пользователя (query session history) для разрешения неоднозначности запросов.
• Контентные факторы: Помимо анкоров, система может использовать другой aligned text, например, параллельные корпусы текстов (статьи, переведенные на несколько языков).

Какие метрики используются и как они считаются

• Translation Probability (Вероятность перевода): Основная метрика. Рассчитывается на основе частоты совместной встречаемости терминов в aligned text. Если термин T_B встречается N раз в анкорах на языке B, которые ссылаются на те же страницы, что и анкоры с термином T_A на языке A, а общее количество терминов в этих анкорах на языке B равно M, то базовая вероятность P(T_A=T_B) может быть рассчитана как N/M.
• Probability Adjustment (Корректировка вероятности): Пересчет вероятностей на основе соотношения кликов пользователей по результатам, соответствующим различным потенциальным переводам. Если результаты для Перевода А получают значительно больше кликов, чем для Перевода Б, вероятность Перевода А увеличивается.
• Weighting (Взвешивание анкоров): Упоминается возможность взвешивания. Например, предпочтение может отдаваться анкорам, количество терминов в которых схоже с количеством терминов в исходном запросе или в других выровненных анкорах.

1. Анкорный текст как источник перевода и семантики: Патент подтверждает, что Google использует anchor text не только как сигнал ранжирования (авторитетности), но и как ключевой источник данных для семантического понимания, обнаружения синонимов и автоматического перевода. Анализ параллельных анкоров позволяет строить языковые модели без ручного создания словарей.
2. Автоматизация CLIR и обнаружение новых терминов: Система способна автоматически реализовать кросс-язычный поиск и обнаруживать переводы для новых слов, сленга и имен собственных, анализируя структуру веба (ссылки и их анкоры).
3. Click Data как механизм валидации (Самообучение): Google активно использует поведенческие данные (click data) в качестве механизма обратной связи для валидации и корректировки своих алгоритмических предположений. Это позволяет словарю адаптироваться к изменениям в языке и поведении пользователей.
4. Вероятностный подход и Расширение запросов: Вместо поиска единственного перевода система использует Probabilistic Dictionary и часто реализует перевод через расширение запроса (Query Expansion) путем добавления вероятных переводов и синонимов для увеличения полноты выдачи (Recall).

Best practices (это мы делаем)

• Локализация анкор-текстов для международного SEO: Критически важно стимулировать появление естественных обратных ссылок с точными и описательными анкор-текстами на целевом языке. Это напрямую влияет на то, как Google поймет и классифицирует ваш контент на этом языке и как он свяжет его с эквивалентами на других языках.
• Когерентная мультиязычная стратегия перелинковки: Обеспечьте последовательность во внутренних анкорных текстах на разных языках. Если английская версия ссылается на страницу X с анкором "Red Shoes", испанская версия должна ссылаться на эквивалент страницы X с анкором "Zapatos Rojos". Это предоставляет системе четкие сигналы для построения Probabilistic Dictionary.
• Привлечение международных ссылок (Линкбилдинг): Получение ссылок с описательными анкорами из источников на разных языках, указывающих на ваш контент, помогает Google понять его глобальную релевантность и обнаружить точную отраслевую терминологию.
• Оптимизация под интент пользователя (для получения кликов): Поскольку click data используется для уточнения вероятностей перевода, крайне важно, чтобы ваш контент и сниппеты точно соответствовали интенту. Удовлетворенность пользователя валидирует правильность перевода для Google.

Worst practices (это делать не надо)

• Непоследовательное международное связывание: Использование несогласованных или противоречивых анкоров на разных языках, указывающих на один и тот же контент, может запутать процесс генерации Probabilistic Dictionary и привести к неверным ассоциациям терминов.
• Игнорирование локального линкбилдинга: Полагаться только на авторитет домена без поддержки локальными ссылками неэффективно. Без локальных анкор-текстов у системы будет недостаточно данных для точного сопоставления терминов.
• Манипулятивный или некачественный анкор-текст: Использование спамных, переоптимизированных или неинформативных анкоров (например, сгенерированных некачественным машинным переводом) предоставляет системе данные низкого качества для семантического анализа и перевода.

Стратегическое значение

Этот патент подтверждает стратегическую важность анкор-текста как одного из самых сильных сигналов для понимания контента поисковой системой. Он демонстрирует, что линкбилдинг — это не только передача авторитета, но и обучение Google терминологии вашей ниши. Для успешного международного SEO необходимо интегрировать сайт в лингвистическую экосистему целевого региона. Локализованный линкбилдинг является необходимым условием для того, чтобы Google смог точно интерпретировать и "перевести" ключевые концепции вашего бизнеса.

Практические примеры

Сценарий: Обучение Google переводу названия продукта через международный линкбилдинг

1. Ситуация: Компания запускает новый продукт с уникальным названием "AquaGlove" и хочет, чтобы Google распознавал его эквивалент в Испании ("GuanteAcuatico").
2. Действия:
   • Внутренняя перелинковка: На сайте компании все ссылки на страницу продукта используют точное название в качестве анкора на соответствующем языке.
   • Внешний линкбилдинг: Компания проводит PR-кампанию. Англоязычные СМИ ссылаются на продукт с анкором "AquaGlove review". Испанские СМИ ссылаются на ту же (или эквивалентную, связанную hreflang) страницу с анкором "GuanteAcuatico revision".
3. Механизм Google (согласно патенту): Google обнаруживает aligned anchor text. Он видит, что анкоры "AquaGlove review" и "GuanteAcuatico revision" часто указывают на один и тот же контент.
4. Результат: Google добавляет в Probabilistic Dictionary запись о том, что "AquaGlove" с высокой вероятностью переводится как "GuanteAcuatico". Теперь, если пользователь ищет "AquaGlove" в Испании, Google может расширить запрос, включив "GuanteAcuatico", улучшая качество поиска.