Мультиязычность в Google: разборы патентов
Детальные разборы патентов Google, связанные с многоязычными и мультирегиональным ранжированием
Как Google использует анализ параллельных анкорных текстов и кликов пользователей для перевода запросов и кросс-язычного поиска
Google использует механизм для автоматического перевода запросов с одного языка или набора символов на другой. Система создает вероятностный словарь, анализируя, как анкорные тексты на разных языках ссылаются на одни и те же страницы (параллельные анкоры). Вероятности перевода затем уточняются на основе того, на какие результаты кликают пользователи. Это позволяет осуществлять кросс-язычный поиск (CLIR).
- US8706747B2
- 2003-09-30
Как Google определяет язык и языковую релевантность страницы, анализируя контекст входящих и исходящих ссылок
Google использует контекст входящих и исходящих ссылок для определения языковой релевантности ресурса. Система анализирует язык анкоров, URL, контент ссылающихся и целевых страниц, а также качество ссылок и тип страницы (например, «языковой шлюз»). Это позволяет точно идентифицировать релевантные языки, даже если на самой странице мало текста.
- US9098582B1
- 2009-04-10
Как Google алгоритмически определяет и верифицирует языковые версии страниц, анализируя ссылки, контент и частоту обновлений
Google использует систему для автоматической идентификации связанных версий контента (например, переводов). Система анализирует ссылки между страницами и ищет «индикаторы связи» (названия языков в анкорах или флаги). Обнаруженная связь затем верифицируется с помощью машинного перевода и сравнения контента, а также анализа частоты обновлений. Это позволяет Google показывать пользователю наиболее подходящую языковую или региональную версию в поиске.
- US8892596B1
- 2012-08-08
Как Google использует язык интерфейса пользователя и поведенческие сигналы для определения языковой релевантности документа
Google определяет, для носителей каких языков релевантен документ, анализируя агрегированные данные о кликах. Система изучает, какой языковой интерфейс поиска (например, google.fr или google.de) использовали пользователи, кликнувшие на результат. Учитывая поведенческие факторы, такие как время пребывания на странице (Dwell Time) и позиция клика, Google рассчитывает Оценку Языковой Релевантности. Это позволяет определить целевую аудиторию страницы независимо от языка ее контента.
- US9208231B1
- 2011-11-28
Как Google ранжирует контент на других языках, основываясь на поведении пользователей с одинаковыми языковыми настройками
Google использует статистику кликов (CTR), сегментированную по языковым предпочтениям пользователей, для корректировки ранжирования. Если пользователи, предпочитающие язык X, часто кликают на результат на языке Y, этот результат будет повышен в выдаче для других пользователей с предпочтением языка X. Это позволяет ранжировать контент, популярный у определенной языковой группы, независимо от языка самого контента.
- US8375025B1
- 2010-12-30
Как Google определяет язык поискового запроса, используя язык интерфейса, статистику слов и поведение пользователей
Google использует вероятностную модель для точной идентификации языка поискового запроса. Система комбинирует три ключевых фактора: статистику частотности слов в разных языках, язык интерфейса пользователя (например, Google.fr) и исторические данные о том, на какие результаты пользователи кликали ранее. Это позволяет корректно обрабатывать многоязычные и неоднозначные запросы для применения правильных синонимов и стемминга.
- US8442965B2
- 2007-04-19
Как Google фильтрует поведенческие сигналы, используя совместимость языков и стран пользователей
Google уточняет ранжирование, анализируя, откуда (страна) и на каком языке (язык пользователя) поступали исторические клики по документу. Если эти характеристики считаются «несовместимыми» с текущим пользователем, поведенческие сигналы (клики) от этих групп могут быть исключены или понижены в весе. Это предотвращает искажение релевантности данными от кардинально отличающихся аудиторий.
- US8498974B1
- 2009-08-31
Как Google использует логи запросов, чтобы выбирать лучшие переводы для межъязыковых подсказок в Autocomplete
Google разработал систему для улучшения качества межъязыковых поисковых подсказок (Autocomplete). Вместо буквального перевода система оценивает различные варианты перевода, отдавая предпочтение тем фразам, которые чаще всего используются носителями целевого языка в качестве реальных поисковых запросов. Это гарантирует, что предложенная подсказка является не только точным переводом, но и эффективным поисковым запросом.
- US20120330990A1
- 2011-09-29
Как Google определяет многоязычных пользователей и показывает им результаты на языке, отличном от языка запроса
Google использует механизм для идентификации пользователей, владеющих несколькими языками, анализируя язык текущего запроса, местоположение пользователя и историю его активности. Если пользователь находится в регионе с доминирующим языком (L2), но ищет на другом языке (L1), и система подтверждает владение обоими, Google переводит запрос на L2 и ищет контент на обоих языках. Это позволяет показывать наиболее релевантные результаты, даже если их язык отличается от языка запроса.
- US20230325421A1
- 2021-07-21
Как Google использует поведение пользователей для автоматического перевода запросов в поиске по картинкам и видео
Google улучшает поиск по визуальному контенту (картинки, видео), анализируя, как пользователи переформулируют запросы на других языках в рамках одной сессии. Если пользователь ввел запрос на одном языке, а затем его перевод на другом, система запоминает эту связь («двуязычное уточнение»). В дальнейшем система автоматически добавляет самый популярный перевод к исходному запросу, чтобы показать больше релевантных результатов на разных языках.
- US8577909B1
- 2009-06-09
Как Google использует IDF и CTR для выбора языка перевода запросов в поиске по картинкам и видео (CLIR)
Google применяет механизм кросс-язычного поиска (CLIR) для улучшения выдачи изображений и видео. Система автоматически переводит запрос пользователя на другие языки, выбирая наиболее подходящий на основе частотности терминов (IDF) в его корпусе. Результаты поиска по переведенному запросу подмешиваются в основную выдачу, а их ранжирование зависит от статистики качества (например, CTR) этого запроса.
- US8577910B1
- 2009-06-09
Как Google использует поведенческие данные и визуальные превью для предложения вариантов поиска картинок на других языках
Google использует механизм для улучшения поиска изображений, предлагая пользователю варианты запроса на других языках. Если система определяет, что перевод запроса может вернуть лучшие результаты, она отображает эти альтернативные запросы с визуальным превью. Выбор лучших переводов основан на анализе поведенческих данных: частоте запросов (Frequency of Submission), CTR и том, как часто пользователи сами переформулируют запросы между языками (Frequency of Revision).
- US8856162B2
- 2009-11-20
Как Google использует визуальное сходство изображений для проверки качества перевода и улучшения кросс-язычного поиска (CLIR)
Google проверяет точность перевода фраз, сравнивая визуальное сходство результатов поиска по картинкам и видео для исходной фразы и её перевода. Если топовые визуальные результаты похожи и показывают высокое качество взаимодействия, перевод считается валидным. Этот механизм используется для расширения запроса и показа релевантного контента на других языках (Cross-Lingual Information Retrieval).
- US8538957B1
- 2009-06-03
Как Google определяет язык запроса, используя язык интерфейса и статистику по словам для добавления правильных диакритических знаков
Google использует механизм для точного определения языка, на котором пользователь вводит запрос, особенно когда слова неоднозначны или не содержат диакритических знаков. Система анализирует язык интерфейса пользователя и статистику использования слов в разных языках. Это позволяет Google понять, какие диакритические знаки (например, акценты) следует добавить к запросу, чтобы найти наиболее релевантные документы на правильном языке.
- US8762358B2
- 2006-04-19
Как Google кластеризует документы на разных языках для улучшения поиска и выявления переводов
Google использует метод для объединения документов на разных языках в общие тематические кластеры. Все документы переводятся на единый базовый язык, затем анализируются ключевые слова, и на этой основе формируются кластеры. Это позволяет находить релевантные результаты независимо от языка запроса и определять, являются ли два документа переводом друг друга.
- US8639698B1
- 2012-07-16
Как Google решает, когда переводить запрос пользователя на другие языки, а когда уважать его языковой выбор
Google использует систему фильтрации для управления межъязыковым поиском (CLIR). Система анализирует язык запроса, язык интерфейса пользователя и его местоположение. Если пользователь вводит запрос на языке, отличном от языка интерфейса, Google предполагает мультиязычность и не переводит запрос, экономя ресурсы. Перевод активируется, если язык запроса совпадает с языком интерфейса, особенно если локальных результатов мало.
- US9824147B1
- 2013-02-28
Как Google использует контекстно-зависимые шаблоны запросов для понимания локальных поисковых запросов
Google анализирует исторические логи поиска, чтобы понять, как пользователи в разных странах и на разных языках структурируют географические запросы. Система генерирует вероятностные Шаблоны Запросов (Query Templates) и рассчитывает вероятность их корректности в зависимости от контекста пользователя (локаль, язык, устройство). Это позволяет точнее интерпретировать неоднозначные локальные запросы и адаптироваться к региональным особенностям.
- US9753945B2
- 2013-03-13
Как Google реализует кросс-языковой поиск (CLIR) с интерактивным уточнением переведенного запроса
Google использует систему кросс-языкового поиска (CLIR), которая переводит запрос пользователя на целевой язык, выполняет поиск и переводит результаты обратно. Ключевая особенность — интерактивный интерфейс, позволяющий пользователю отредактировать машинный перевод запроса или выбрать альтернативные варианты для повышения точности выдачи.
- US8799307B2
- 2008-04-29
Как Google использует местоположение пользователя для улучшения распознавания текста на изображениях и поиска источника контента
Google использует географическое положение пользователя для выбора наиболее подходящей языковой модели при распознавании текста (OCR) на изображениях (визуальных запросах). Это позволяет системе учитывать региональные различия в языке (например, орфографию или терминологию) для более точной интерпретации контента. Цель — найти оригинальный канонический документ, соответствующий тексту на изображении.
- US8805079B2
- 2011-12-01
Как Google использует структурированные данные и логи запросов для создания языковых моделей и исправления орфографии в сложных доменах (например, адресах)
Google решает проблему создания языковых моделей для доменов с огромным количеством комбинаций (например, географических адресов). Система анализирует логи запросов для определения популярных форматов ввода (Template Distribution) и популярности конкретных мест (Location Distribution). Эти данные объединяются для создания вероятностной языковой модели, которая позволяет исправлять орфографические ошибки в запросах пользователей, предлагая более вероятные варианты.
- US8626681B1
- 2011-01-04
Как Google автоматически выявляет новые термины и классифицирует их по темам для создания специализированных словарей
Google использует статистические методы для обновления языковых моделей. Система обнаруживает новые слова и фразы, анализируя снижение энтропии (неопределенности) в текстах. Затем она определяет тематику этих слов, сравнивая частоту их употребления в конкретной теме с частотой в общем корпусе (анализ дивергенции). Это позволяет автоматически создавать специализированные "доменные словари" для лучшего понимания контента.
- US7983902B2
- 2007-08-23
Как Google находит синонимы для транслитерированных запросов с помощью обратного языкового маппинга
Google использует механизм для идентификации синонимов слов, написанных транслитом (например, хинди, написанное латиницей). Поскольку транслитерация не имеет строгих правил орфографии, одно и то же слово может иметь много вариантов написания. Система определяет, какие слова являются транслитерацией, а затем пытается восстановить исходное слово на языке оригинала. Если разные варианты написания на латинице указывают на одно и то же слово на хинди, они считаются синонимами и используются для расширения запроса.
- US8521761B2
- 2009-07-15
Как Google использует статистические модели для разделения картографических запросов на "Что" (объект) и "Где" (локация)
Google использует статистическую модель, обученную на известных адресах и названиях организаций, для парсинга неоднозначных картографических запросов. Система сегментирует запрос, присваивает локационные типы и рассчитывает вероятность различных вариантов разделения, чтобы точно определить искомую локацию и объект поиска, особенно в языках без пробелов.
- US8745065B2
- 2009-07-07
Как Google использует язык интерфейса и статистику корпуса для обработки акцентов, диграфов и транслитерации в запросах
Google использует механизм для обработки запросов, содержащих акценты, диграфы («ue» вместо «ü») и транслитерацию. Система определяет язык запроса, нормализует термины в упрощенную форму и ищет варианты в предварительно созданной «Карте Синонимов». Это позволяет находить документы с правильной орфографией, даже если пользователь ввел упрощенный вариант. Также описан механизм защиты для «малых языков», ограничивающий подбор синонимов для сохранения точности выдачи.
- US7835903B2
- 2006-04-19
Как Google решает, когда переводить запрос пользователя и показывать результаты на другом языке, сравнивая релевантность и распознавая сущности
Google анализирует запрос пользователя, переводит его на другой язык (например, английский) и сравнивает релевантность результатов в обоих языках. Если контент на иностранном языке значительно релевантнее, система подмешивает его в выдачу. При этом учитываются локальные и иностранные сущности в запросе, а также качество автоматического перевода.
- US20090083243A1
- 2008-09-22
Как Google использует языковую статистику для умного добавления акцентов и синонимов в запросы
Google анализирует, как слова пишутся в разных языках (с акцентами, диграфами или транслитерацией), и создает "карту синонимов". При получении запроса система определяет его вероятный язык и статистически выбирает только те варианты написания (синонимы), которые наиболее распространены именно в этом языке, избегая добавления нерелевантных вариантов из других языков.
- US7475063B2
- 2006-04-19
Как Google выбирает лучший перевод для межъязыковых подсказок в автокомплите, сравнивая N-граммы
Google использует этот механизм для улучшения качества межъязыковых поисковых подсказок (автокомплита), особенно для смешанных запросов. Если автоматическое определение языка затруднено, система генерирует два перевода в разных направлениях (Язык A -> Язык B и Язык B -> Язык A). Затем она сравнивает их с оригиналом с помощью N-грамм. Перевод, который максимально отличается от оригинала, выбирается как наилучшая межъязыковая подсказка.
- US20120330919A1
- 2011-09-29
Как Google использует машинный перевод для поиска контента на иностранных языках (Cross-Language Information Retrieval)
Google использует механизмы Cross-Language Information Retrieval (CLIR) для поиска релевантного контента независимо от языка запроса. Система может перевести запрос пользователя на другие языки и искать в индексах этих языков (Query Translation), либо заранее перевести контент сайтов на язык пользователя (Document Translation). Это позволяет предоставлять пользователю лучшие результаты, даже если они изначально опубликованы на иностранном языке.
- US7890493B2
- 2007-07-20
Как Google идентифицирует и отображает контент на предпочтительном языке пользователя, даже если поиск ведется на другом языке
Google улучшает результаты поиска для мультиязычных пользователей, идентифицируя «параллельные ресурсы» — высококачественные переводы или оригинальные статьи на ту же тему — на предпочтительном языке пользователя (L2), даже если запрос был сделан на другом языке (L1). Эти L2 ресурсы отображаются рядом с результатами L1, улучшая доступ к релевантной информации.
- US7984034B1
- 2007-12-21
Как Google динамически определяет язык и страну пользователя для переранжирования поисковой выдачи
Google использует систему для динамического определения предпочтительного языка и страны пользователя, анализируя характеристики запроса, интерфейса (например, google.de) и IP-адрес. На основе этих данных система агрессивно повышает в выдаче результаты, соответствующие этим предпочтениям, используя либо физическое смещение позиций (Shifting Factor), либо формулу для увеличения оценки ранжирования (Weighting Factor).
- US8306972B2
- 2008-10-21