Как Google использует анкорный текст межъязыковых ссылок для точного перевода поисковых запросов

Описание

Какую задачу решает

Патент решает проблему неоднозначности (ambiguity) и неточности при переводе поисковых запросов для Cross-Language Information Retrieval (CLIR). Традиционные методы, основанные только на двуязычных словарях, часто дают «шумные» результаты, так как слова имеют несколько значений (senses) и словари не всегда содержат специализированную лексику. Использование настоящих Parallel Corpora (идентичных документов на разных языках) эффективно, но такие корпуса редки и дороги в создании. Изобретение предлагает метод улучшения качества перевода, используя существующую структуру веба.

Что запатентовано

Запатентована система, которая использует гиперссылочную структуру веба, в частности anchor text и контент документов, связанных межъязыковыми ссылками, в качестве замены (псевдо-параллельных корпусов) для традиционных Parallel Corpora. Цель — устранить неоднозначность (disambiguation) при переводе запроса с исходного языка на целевой. Система анализирует контекст, в котором документы на разных языках ссылаются друг на друга, для определения наиболее вероятного перевода.

Как это работает

Механизм работает путем анализа взаимосвязей между документами на разных языках:

• Получение запроса и кандидатов: Система получает запрос на Языке А и генерирует возможные варианты перевода на Язык Б с помощью словаря.
• Идентификация корпуса: Система ищет межъязыковые ссылки, связанные с запросом. Например, находит документы на Языке Б, которые ссылаются на релевантные документы на Языке А (или наоборот).
• Устранение неоднозначности (Disambiguation): Контент найденных документов на Языке Б (анкоры, окружающий текст или весь текст) используется как Parallel Corpora. Система анализирует статистику совместной встречаемости (co-occurrence statistics) потенциальных переводов в этом корпусе, чтобы выбрать наиболее точный вариант.

Актуальность для SEO

Высокая. Межъязыковой поиск (CLIR) остается критически важной задачей. Хотя методы NLP и машинного перевода значительно продвинулись с момента первоначальной подачи заявки (2001 год), фундаментальная концепция использования структуры веба и анкорного текста как источника семантических данных для перевода и контекстуализации остается актуальной и интегрируется в современные системы.

Важность для SEO

Патент имеет высокое значение (8/10) для международного SEO. Он демонстрирует, что anchor text используется не только как сигнал ранжирования, но и как ключевой элемент для семантического понимания и перевода контента через языковые барьеры. То, как сайты на других языках ссылаются на ваш контент (и как вы ссылаетесь на них), напрямую влияет на то, как Google интерпретирует тематику вашего сайта и переводит связанные с ней запросы пользователей.

Детальный разбор

Термины и определения

Anchor Text (Анкорный текст, Анкор)

Текст гиперссылки. В патенте критически важен как источник контекста, связывающий документы на разных языках.

Cross-Language Information Retrieval (CLIR) (Межъязыковой информационный поиск)

Процесс поиска информации, при котором запрос вводится на одном языке, а результаты поиска возвращаются на другом языке.

Disambiguation (Устранение неоднозначности)

Процесс выбора наиболее подходящего перевода из нескольких возможных вариантов, основанный на контексте.

Parallel Corpora (Параллельные корпуса)

Коллекции документов, где каждый документ представлен на двух или более языках. В контексте патента, межъязыковые ссылки и связанные с ними документы используются как замена настоящим параллельным корпусам.

Co-occurrence statistics (Статистика совместной встречаемости)

Метрики, показывающие, как часто разные термины появляются вместе в корпусе документов. Используются для Disambiguation.

Query Translation Engine (Механизм перевода запросов)

Компонент системы, отвечающий за перевод терминов запроса с исходного языка на целевой.

Ключевые утверждения (Анализ Claims)

Патент US8631010B1 является патентом-продолжением (continuation) и описывает несколько вариантов реализации (embodiments).

Claim 1 (Независимый пункт): Описывает метод перевода с использованием входящих межъязыковых ссылок (Вариант B->A).

1. Система получает поисковый запрос на первом естественном языке (Язык А).
2. На основе содержания запроса идентифицируются документы на Языке А (Документы А).
3. Идентифицируются документы на втором языке (Язык Б), которые содержат anchor link, ссылающийся на Документы А.
4. Анализируется контент Документов Б.
5. Термины исходного запроса переводятся на Язык Б на основе этого анализа.

Система использует контекст, предоставленный документами на целевом языке (Б), которые ссылаются на релевантные документы на исходном языке (А), для выполнения перевода.

Claim 15 (Независимый пункт): Описывает метод на компьютерно-читаемом носителе, соответствующий альтернативному механизму (Вариант A->B).

1. Получение запроса (Язык А).
2. Идентификация документов (Язык А) на основе содержания запроса.
3. Идентификация документов (Язык Б) на основе anchor link, содержащейся в документах (Язык А), которая связывает их с документами (Язык Б).
4. Анализ содержания документов (Язык Б).
5. Перевод запроса на Язык Б на основе этого анализа.

В этом варианте система анализирует исходящие ссылки из релевантных документов на исходном языке (А), ведущие на документы на целевом языке (Б), и использует контент целевых документов (Б) для перевода.

Зависимые пункты (например, Claim 2, 4, 16, 17): Детализируют процесс перевода и Disambiguation.

• Выполняется первоначальный перевод с помощью словаря для генерации возможных переводов.
• Текст из идентифицированных документов на втором языке используется как Parallel Corpora для устранения неоднозначности и идентификации наиболее вероятного перевода.

Где и как применяется

Изобретение затрагивает несколько этапов работы поисковой системы.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна проиндексировать документы, определить их язык и извлечь гиперссылки (anchor text и целевые URL). Строится граф ссылок, который фиксирует межъязыковые связи между документами. Эта информация критически важна для работы алгоритма.

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Когда система определяет необходимость межъязыкового поиска (CLIR), активируется Query Translation Engine. Описанный алгоритм используется для повышения точности перевода путем анализа данных из индекса.

RANKING – Ранжирование
Алгоритм напрямую не участвует в ранжировании, но его результат — точно переведенный запрос на целевом языке — передается на этот этап для поиска и сортировки документов.

Входные данные:

• Исходный запрос на Языке А.
• Индекс документов и граф ссылок (включая anchor text и язык документов).
• Двуязычный словарь (для генерации кандидатов перевода).

Выходные данные:

• Переведенный запрос на Языке Б с устраненной неоднозначностью.

На что влияет

• Специфические запросы: Наибольшее влияние на неоднозначные запросы или запросы с технической/новой терминологией, где контекст ссылок помогает понять значение лучше, чем словарь.
• Международный контент: Влияет на видимость контента для пользователей, говорящих на других языках. Сайты с богатым профилем межъязыковых ссылок лучше интерпретируются системой.
• Конкретные ниши: Влияет на ниши, где активно происходит международный обмен информацией (наука, технологии, новости).

Когда применяется

• Триггеры активации: Когда выполняется CLIR (пользователь запросил результаты на другом языке или система определила такую потребность).
• Условия применения: Алгоритм применяется, когда словарный перевод дает несколько вариантов (неоднозначность) и когда в индексе существуют межъязыковые ссылки, которые можно использовать в качестве Parallel Corpora.

Пошаговый алгоритм

Патент описывает несколько вариантов реализации (Embodiments). Ниже приведен обобщенный алгоритм, включающий ключевые варианты поиска контекста.

1. Инициализация: Получение запроса Q на исходном языке (Язык А).
2. Предварительный перевод: Использование двуязычного словаря для получения списка возможных переводов {T} терминов запроса на целевой язык (Язык Б).
3. Идентификация контекста (Parallel Corpora): Поиск документов на Языке Б для уточнения перевода. Это может происходить несколькими путями:
   • Вариант 1 (Исходящие ссылки A->B, FIG. 5): Поиск документов на Языке А, в которых Anchor Text соответствует Q И ссылка указывает на документ на Языке Б. Контент этих целевых документов на Языке Б используется как контекст.
   • Вариант 2 (Входящие ссылки B->A, FIG. 8, Claim 1): Поиск документов на Языке А, релевантных Q. Затем поиск документов на Языке Б, которые ссылаются на эти документы на Языке А. Контент (включая Anchor Text) этих документов на Языке Б используется как контекст.
   • Вариант 3 (Транзитивный метод A->A->B, FIG. 7): Поиск документов на Языке А (Doc_A1), где Anchor Text соответствует Q и указывает на Doc_A2 (тоже Язык А). Затем поиск документов на Языке Б, которые ссылаются на Doc_A2. Контент этих документов на Языке Б используется как контекст.
4. Disambiguation (Устранение неоднозначности): Разрешение неоднозначности среди возможных переводов {T} с использованием извлеченного контекста. Это делается путем анализа Co-occurrence statistics: выбирается тот вариант перевода, который чаще всего встречается в контексте Языка Б.
5. Финализация: Вывод уточненного переведенного запроса на Языке Б.

Какие данные и как использует

Данные на входе

• Ссылочные факторы:
  • Anchor Text: Критически важен. Используется для сопоставления с запросом и как источник контекста.
  • Околоссылочный текст: Текст, окружающий anchor link, также может использоваться для анализа контекста.
  • Граф ссылок: Структура, показывающая связи между документами и их языковую принадлежность.
• Контентные факторы:
  • Текст документа: Полный текст документов на целевом языке может использоваться как Parallel Corpora для статистического анализа.
• Лингвистические данные:
  • Bilingual Dictionaries: Используются для генерации первоначальных вариантов перевода.
  • Язык документа: Предварительно определенный язык каждого документа.

Какие метрики используются и как они считаются

• Co-occurrence statistics (Статистика совместной встречаемости): Основной метод расчета для Disambiguation. Система вычисляет частоту совместного появления различных комбинаций переводов в Parallel Corpora.

  Пример расчета: Запрос «A1 A2». A1 переводится как B1 или B2. A2 переводится как B3 или B4. Система считает частоту пар (B1, B3), (B1, B4), (B2, B3), (B2, B4) в корпусе. Пара с наибольшей частотой выбирается как лучший перевод.

• Соответствие запроса и анкора: Метрики для определения того, насколько термины запроса соответствуют anchor text (используется в Вариантах 1 и 3 алгоритма).

Выводы

1. Anchor Text как семантический мост: Патент подтверждает, что Anchor Text используется Google не только как сигнал ранжирования, но и как мощный лингвистический ресурс. В контексте CLIR, анкоры служат для переноса значения между языками.
2. Веб как замена Parallel Corpora: Ключевое нововведение — использование естественной структуры ссылок в вебе в качестве Parallel Corpora. Это позволяет масштабировать возможности перевода без ручного создания корпусов.
3. Контекст определяет перевод: Точность перевода достигается не прямым словарным соответствием, а анализом контекста (через Co-occurrence statistics), в котором термины используются в документах на целевом языке.
4. Важность входящих и исходящих международных ссылок: Патент описывает несколько механизмов (входящие, исходящие, транзитивные ссылки). Качество, релевантность и анкорный текст этих ссылок напрямую влияют на то, насколько точно система сможет понять и перевести запросы, связанные с контентом.
5. Гибкость в анализе контекста: Система может использовать различный объем контента для перевода — от только anchor text и окружающего текста до всего текста ссылающегося или целевого документа.

Практика

Best practices (это мы делаем)

• Развитие естественного международного ссылочного профиля: Стимулируйте получение релевантных входящих ссылок с качественных сайтов на других языках (Вариант 2 алгоритма). Это улучшает понимание вашего контента в глобальном контексте и помогает Google точно переводить связанные с ним термины.
• Оптимизация анкорного текста во внешних ссылках: При проведении outreach-кампаний или работе с партнерами в других странах убедитесь, что anchor text, используемый для ссылок на ваш сайт, точно и естественно описывает содержание целевой страницы на языке ссылающегося сайта.
• Точность анкоров при внутренней перелинковке: При ссылках между разными языковыми версиями вашего сайта используйте точные и правильно переведенные анкоры. Это помогает установить четкое соответствие между терминами на разных языках.
• Релевантный контекст вокруг ссылок: Убедитесь, что текст, окружающий межъязыковые ссылки (как входящие, так и исходящие), тематически связан с анкором и целевой страницей. Этот контекст используется системой для анализа и помогает в disambiguation.
• Использование специализированной терминологии: Используйте устоявшуюся нишевую терминологию в контенте и анкорах. Это помогает Google изучать переводы терминов, которых может не быть в общих словарях.

Worst practices (это делать не надо)

• Использование общих или непереведенных анкоров: Избегайте генерических анкоров («нажмите здесь») или анкоров на неправильном языке при межъязыковой перелинковке. Это не дает системе полезных данных для Parallel Corpora.
• Спамные или неестественные межъязыковые ссылки: Покупка низкокачественных ссылок с сайтов на других языках с целью манипуляций. Нерелевантный контекст и неестественный anchor text могут внести шум в процесс перевода и создать неверные семантические ассоциации.
• Вводящие в заблуждение анкоры: Использование кликбейтных или нерелевантных анкоров может привести к неправильной интерпретации контента и некорректному переводу связанных запросов.

Стратегическое значение

Патент подчеркивает стратегическую важность Anchor Text в глобальной экосистеме поиска. Он показывает, что Google рассматривает анкорный текст как семантический дескриптор, который преодолевает языковые барьеры. Для международного SEO это означает, что стратегия линкбилдинга должна учитывать не только авторитетность донора, но и лингвистическую точность и контекстуальную релевантность ссылок, поскольку они напрямую обучают системы перевода Google.

Практические примеры

Сценарий 1: Устранение неоднозначности (Использование входящих ссылок, Вариант 2)

1. Исходный запрос (Испанский): «bancos interés».
2. Проблема: «bancos» может означать «banks» (банки) или «benches» (скамейки).
3. Процесс Google: Система находит релевантные испанские страницы по запросу. Затем она обнаруживает, что на эти страницы часто ссылаются английские финансовые блоги (входящие ссылки).
4. Анализ контекста: Google анализирует anchor text и контент на этих английских страницах. Они часто употребляют слова «banks» и «interest» в контексте этих ссылок. Слова «benches» практически не встречаются.
5. Результат: Система уверенно переводит запрос как «banks interest», используя контекст английских страниц как Parallel Corpora.

Сценарий 2: Перевод нового термина (Использование исходящих ссылок, Вариант 1)

1. Исходный запрос (Английский): «specifications Snapdragon 8 Gen 4».
2. Проблема: Термин новый и может отсутствовать в словарях.
3. Процесс Google: Система ищет английские документы, содержащие anchor text, соответствующий запросу, которые ссылаются на китайские документы (исходящие ссылки).
4. Анализ целевого контента: Найден английский сайт, ссылающийся на китайский технологический форум. Google анализирует контент китайского форума.
5. Результат: Система использует термины, найденные на китайском форуме (например, «骁龙8代4规格»), для формирования точного перевода запроса на китайский язык, даже если формальный перевод еще не устоялся в словарях.

Вопросы и ответы