Как Google определяет языковые предпочтения пользователя и переранжирует выдачу для показа результатов на нужном языке

Описание

Какую задачу решает

Патент решает проблему определения языковых предпочтений пользователя в условиях, когда они не указаны явно (например, через настройки поиска). Система направлена на улучшение качества выдачи путем показа результатов на языке, который пользователь предпочитает или может понять, даже если запрос является многоязычным или нейтральным по языку (например, состоит из имен собственных). Изобретение уходит от жесткой фильтрации по языку (подход «все или ничего») к более гибкому переранжированию.

Что запатентовано

Запатентована система (Language Promoter), которая динамически определяет «предпочтительные» (Preferred Languages) и «менее предпочтительные» (Less Preferred Languages) языки пользователя. Определение происходит путем иерархического анализа различных сигналов: метаданных запроса, настроек пользовательского интерфейса (включая HTTP-заголовки и IP-адрес) и языкового анализа самих результатов поиска. После определения предпочтений система переранжирует результаты, чтобы повысить позиции документов на этих языках.

Как это работает

Система работает в два основных этапа:

1. Определение языковых предпочтений: Используется иерархический подход. Сначала анализируются явные сигналы (метаданные запроса, настройки пользователя, заголовки Accept-Language). Если их нет, анализируются косвенные сигналы (доменное имя в URL, IP-адрес клиента). В спорных случаях анализируется преобладающий язык в уже сгенерированных результатах поиска (Search Result Characteristics).
2. Переранжирование: Результаты на предпочтительных языках повышаются в выдаче. Патент описывает два метода:
   • Shifting Factor: Смещение позиций. Результаты на нежелательных языках понижаются (например, с позиции J на позицию 2*J).
   • Weighting Factor: Изменение числовой оценки ранжирования с помощью формул для повышения веса предпочтительных языков.

Актуальность для SEO

Средне-Высокая. Хотя патент подан в 2003 году и описывает методы, основанные на HTTP-заголовках и конкретных формулах, сама задача автоматического определения языка пользователя и адаптации выдачи остается критически важной в 2025 году. Современные системы Google, вероятно, используют более продвинутые ML-модели для определения языка, но базовые принципы использования местоположения, настроек браузера и анализа контента, заложенные в этом патенте, остаются актуальными для международного поиска.

Важность для SEO

Патент имеет значительное влияние на международное и многоязычное SEO. Он подчеркивает, что Google активно пытается сопоставить язык поисковой выдачи с предпочтениями пользователя, даже если сам запрос не несет языковой окраски. Это означает, что технические сигналы (местоположение пользователя, настройки браузера) могут оказать решающее влияние на то, какая языковая версия сайта будет показана. Понимание этого механизма критично для правильной настройки локализации и диагностики проблем с международным трафиком.

Детальный разбор

Термины и определения

Accept-Language / Accept-Charset (Заголовки HTTP)

Метаданные в HTTP-запросе от браузера к серверу. Accept-Language указывает языки, предпочитаемые пользователем (часто на основе настроек ОС/браузера), и может включать коэффициент качества q. Accept-Charset указывает допустимые кодировки символов.

Language Promoter (Модуль продвижения языка)

Ключевой компонент системы, отвечающий за определение предпочтительных языков и последующее переранжирование результатов поиска.

Less Preferred Languages (Менее предпочтительные языки)

Языки, которые пользователь может понять, но которые менее приоритетны, чем Preferred Languages. Результаты на этих языках также получают повышение, но менее значительное.

Preferred Languages (Предпочтительные языки)

Языки, которые система определила как основные для пользователя. Результаты на этих языках получают максимальное повышение при переранжировании.

Shifting Factor (Фактор смещения)

Метод переранжирования, при котором позиция результата изменяется на основе его языка. Например, результат на нежелательном языке смещается с позиции J на позицию 2*J (понижение).

SQ Chars (Search Query Characteristics)

Характеристики самого поискового запроса. Включают анализ метаданных запроса (заголовки Content-Language или Content-Type, если применимо) для определения языка ввода.

SR Chars (Search Result Characteristics)

Характеристики результатов поиска. Включают анализ языка самих документов в выдаче для определения преобладающего языка SERP.

UI Chars (User Interface Characteristics)

Характеристики пользовательского интерфейса. Включают анализ настроек браузера (Accept-Language), сохраненных настроек поиска (cookies), IP-адреса клиента и домена в URL запроса.

Weighting Factor (Весовой коэффициент)

Метод переранжирования, при котором числовая оценка (Score) результата изменяется с помощью формулы для повышения веса документов на предпочтительных языках.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс системы.

1. Система получает запрос от пользователя.
2. Выполняется поиск, который возвращает результаты на нескольких языках.
3. Система идентифицирует конкретный (предпочтительный) язык на основе комбинации трех типов характеристик: (1) запроса, (2) пользовательского интерфейса, через который получен запрос, и (3) самих результатов поиска.
4. Результаты упорядочиваются (создается исходный список).
5. Система проверяет, соответствует ли язык результата предпочтительному языку.
6. Порядок одного результата изменяется относительно других (создается скорректированный список), если его язык соответствует предпочтительному.
7. Скорректированный список представляется пользователю.
8. Пользователю предоставляется возможность переключаться (toggle) между показом скорректированного списка и исходного списка.

Claim 3 (Зависимый от 1): Детализирует иерархию определения языка.

Предпочтительный язык определяется с использованием характеристик пользовательского интерфейса (UI Chars) только в том случае, если его нельзя определить на основе характеристик поискового запроса (SQ Chars).

Claim 5 (Зависимый от 1): Детализирует следующий шаг иерархии.

Предпочтительный язык определяется с использованием результатов поиска (SR Chars) только тогда, когда характеристики пользовательского интерфейса (UI Chars) идентифицируют язык как предопределенный (например, дефолтный English).

Claim 7 (Зависимый от 1): Описывает метод переранжирования путем смещения позиций (Shifting Factor).

Корректировка порядка включает либо понижение результатов на непредпочтительных языках и повышение на предпочтительных, либо наоборот.

Claim 8 (Зависимый от 1): Описывает метод переранжирования путем изменения веса (Weighting Factor).

Система присваивает числовые оценки (numerical score) результатам и корректирует эти оценки для результатов на предпочтительном языке.

Claim 11 (Зависимый от 1): Вводит концепцию второго языка.

Система также идентифицирует второй язык (менее предпочтительный) и корректирует порядок результатов, если их язык соответствует этому второму языку.

Где и как применяется

Изобретение применяется на финальных стадиях обработки поискового запроса, корректируя уже сформированный список результатов.

QUNDERSTANDING – Понимание Запросов
На этом этапе происходит сбор входных данных для определения языка. Парсер извлекает метаданные из HTTP-запроса (SQ Chars, часть UI Chars), такие как Accept-Language, а также определяется IP-адрес клиента.

RANKING – Ранжирование
Генерируется первичный набор результатов поиска с их оценками ранжирования (Scores). Также для этих результатов определяется их язык (это данные для SR Chars).

RERANKING – Переранжирование
Основной этап применения патента. Модуль Language Promoter активируется здесь.

1. Определение предпочтений: Система использует данные, собранные на этапе QUNDERSTANDING и RANKING, чтобы иерархически определить Preferred и Less Preferred Languages.
2. Пересчет оценок/позиций: Система применяет Shifting Factor или Weighting Factor к результатам поиска.
3. Финальная сортировка: Результаты сортируются на основе скорректированных оценок или позиций.

Входные данные:

• Метаданные HTTP-запроса (Заголовки).
• IP-адрес клиента.
• Сохраненные языковые предпочтения пользователя (cookies/login).
• Первичный набор результатов поиска с их оценками (Scores) и языками.

Выходные данные:

• Переупорядоченный набор результатов поиска с приоритетом на предпочтительных языках.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, нейтральные по языку (имена собственные, бренды, например, «Apple» или «Elvis»), или короткие запросы, где языковой контекст неясен.
• Географические и пользовательские факторы: Сильно влияет на выдачу для пользователей, находящихся в многоязычных регионах, или пользователей, чьи настройки устройства отличаются от языка страны пребывания (например, туристы, экспаты).
• Конкретные типы контента: Влияет на все типы контента, где важно соответствие языка контента ожиданиям пользователя (информационные, коммерческие страницы).

Когда применяется

• Условия работы: Алгоритм применяется динамически при обработке поисковых запросов. Он активируется для корректировки стандартного ранжирования.
• Триггеры активации: Активируется, когда система может определить предпочтительный язык пользователя (явно или косвенно) и когда в выдаче присутствуют результаты на разных языках. Механизм переранжирования срабатывает, если язык результата соответствует (или не соответствует) предпочтениям.

Пошаговый алгоритм

Процесс состоит из двух основных фаз: определение предпочтительных языков и переранжирование.

Фаза 1: Определение предпочтительных языков (Language Determination)

1. Анализ характеристик запроса (SQ Chars):
   • Система проверяет заголовки запроса Content_Language и Content-Type (кодировку).
   • Если язык определен, он выбирается как предпочтительный. Переход к шагу 5.
2. Анализ характеристик интерфейса (UI Chars):
   • Проверяются сохраненные настройки пользователя (cookies/login).
   • Проверяется заголовок Accept-Language (с учетом коэффициента качества q).
   • Проверяется заголовок Accept-Charset.
   • Определяется местоположение по домену в URL запроса (например, .at).
   • Определяется местоположение по IP-адресу клиента.
   • Если ни один сигнал не сработал, по умолчанию выбирается Английский.
3. Проверка типа интерфейса:
   • Если на шаге 2 определены не-английские языки: Они выбираются как Preferred, а Английский как Less Preferred. Переход к шагу 5.
   • Если определен Английский: Переход к шагу 4.
4. Анализ характеристик результатов (SR Chars):
   • Определяется язык для топовых результатов поиска.
   • Если большинство результатов на Английском, он выбирается как Preferred.
   • Если нет, предпочтительные языки не устанавливаются.
5. Добавление связанных языков (Опционально):
   • К списку предпочтительных языков могут быть добавлены родственные языки (например, Португальский к Испанскому).

Фаза 2: Переранжирование (Reranking)

1. Выбор метода: Система определяет, использовать ли Shifting Factor (смещение позиций) или Weighting Factor (изменение веса), в зависимости от того, как реализовано ранжирование.
2. Применение Weighting Factor (Альтернатива А):
   • Для каждого результата проверяется его язык.
   • Если язык в списке Preferred Languages, его оценка пересчитывается по формуле W_LP (сильное повышение).
   • Если язык в списке Less Preferred Languages, его оценка пересчитывается по формуле W_LPL (умеренное повышение).
   • Результаты пересортировываются по новым оценкам.
3. Применение Shifting Factor (Альтернатива Б):
   • Система итеративно проходит по списку результатов.
   • Если результат не входит ни в Preferred, ни в Less Preferred список, он понижается (например, перемещается с позиции J на 2*J).
   • Если результат входит в Less Preferred список, он понижается менее агрессивно (например, перемещается с J на 1.5*J).
   • Результаты на Preferred языках сохраняют или улучшают свои позиции за счет понижения других.
4. Презентация: Отображение переупорядоченного списка пользователю с возможностью отключить эту функцию (toggle).

Какие данные и как использует

Данные на входе

Система использует различные технические, географические и пользовательские сигналы для определения языковых предпочтений.

• Технические факторы:
  • HTTP-заголовки: Accept-Language, Accept-Charset, Content-Language, Content-Type.
  • URL-структура: Анализ доменной зоны в URL запроса (например, .de, .fr).
• Географические факторы:
  • IP-адрес клиента (Client_IP): Используется для определения страны пользователя, если другие сигналы недоступны.
• Пользовательские факторы:
  • Языковые предпочтения на стороне сервера: Сохраненные настройки пользователя, доступные через cookies или логин.
• Внутренние данные (Контентные):
  • Язык результатов поиска: Анализ преобладающего языка в сгенерированной выдаче (SR Chars).

Какие метрики используются и как они считаются

• Коэффициент качества q: Метрика от 0.0 до 1.0, извлекаемая из заголовка Accept-Language, указывающая степень предпочтения языка пользователем.
• Преобладающий язык (Majority Language): Определяется путем подсчета количества результатов на определенном языке в топе выдачи.
• Фактор смещения (Shifting Factor): Константа или функция, используемая для понижения позиций. В патенте приведены примеры:
  • Для нежелательных языков: Новая позиция = 2 * J (где J – текущая позиция).
  • Для менее предпочтительных языков: Новая позиция = 1.5 * J.
• Весовые коэффициенты (Weighting Factors): Формулы для пересчета оценки ранжирования (Score, S), предполагая, что оценки находятся в диапазоне [0.0, 1.0].
  • Для предпочтительных языков (W_LP):

Выводы

1. Активный поиск неявных сигналов: Google не полагается только на явные настройки пользователя или язык запроса. Система активно ищет косвенные сигналы (UI Chars, SR Chars), чтобы определить предпочтительный язык пользователя.
2. Иерархия доверия к сигналам: Патент устанавливает четкую иерархию: (1) Характеристики запроса (самый сильный сигнал), (2) Характеристики интерфейса/пользователя (настройки, местоположение), (3) Характеристики результатов поиска (используются для подтверждения или уточнения).
3. Переранжирование вместо фильтрации: Система предпочитает не фильтровать результаты на других языках, а переранжировать их. Это позволяет сохранять в выдаче релевантные документы на разных языках, но с приоритетом на предпочтительном.
4. Агрессивное повышение: Описанные механизмы (формулы Weighting Factor и смещение Shifting Factor) предназначены для значительного повышения позиций контента на предпочтительном языке.
5. Учет многоязычности пользователя: Введение Less Preferred Languages позволяет учитывать пользователей, владеющих несколькими языками, предоставляя им бустинг, но меньший, чем для основного языка.
6. Контроль пользователя: Явно указана возможность пользователя отключить (toggle) это языковое переранжирование (Claim 1).

Практика

Best practices (это мы делаем)

• Комплексная международная стратегия (International SEO): Необходимо учитывать, что Google определяет язык пользователя по множеству факторов. Стратегия должна охватывать не только перевод контента, но и понимание целевой аудитории в разных регионах, включая их типичные настройки устройств и языковые предпочтения.
• Корректная техническая реализация локализации: Хотя патент не упоминает hreflang (он появился позже), описанный механизм подчеркивает важность предоставления Google четких сигналов о доступных языковых версиях. Использование hreflang помогает поисковой системе выбрать правильную версию для показа, соответствующую определенным здесь языковым предпочтениям.
• Анализ реальных пользовательских сигналов: При анализе трафика из разных стран важно учитывать не только IP, но и данные о языке браузера (доступные в аналитике). Это поможет понять, почему Google может показывать английскую версию сайта пользователю в Германии, если его браузер настроен на английский язык.
• Создание контента на релевантных языках: Если ваша аудитория многоязычна, наличие качественного контента на их Preferred и Less Preferred языках обеспечит лучшее ранжирование благодаря описанному механизму бустинга.

Worst practices (это делать не надо)

• Игнорирование языка пользователя при языко-нейтральных запросах: Ошибка считать, что по запросу «Brand Name» выдача будет одинаковой для всех. Google адаптирует язык выдачи под пользователя. Нельзя полагаться только на язык ключевого слова.
• Автоматическое перенаправление по IP без учета настроек браузера: Жесткое перенаправление пользователя на основе IP может противоречить его явным предпочтениям (Accept-Language). Патент показывает, что Google учитывает эти настройки. Принудительное перенаправление может ухудшить пользовательский опыт.
• Оценка позиций без учета локализации и языка устройства: Проверка позиций в международном поиске должна проводиться с эмуляцией не только местоположения, но и языка операционной системы/браузера, так как это напрямую влияет на переранжирование.

Стратегическое значение

Патент подтверждает стратегический приоритет Google на пользовательский опыт и релевантность через локализацию. Для глобальных брендов и сайтов, работающих в многоязычных регионах, это означает, что инвестиции в качественную локализацию и техническую имплементацию международного SEO критичны. Система позволяет Google предпочесть страницу на языке пользователя, даже если она чуть менее релевантна запросу по содержанию, чем страница на нежелательном языке. Это подчеркивает важность понимания не только того, ЧТО ищут пользователи, но и на КАКОМ ЯЗЫКЕ они предпочитают получать информацию.

Практические примеры

Сценарий: Определение языка для туриста с языко-нейтральным запросом

1. Ситуация: Пользователь из США (настройки браузера: English) находится в командировке в Японии и ищет «Starbucks».
2. Анализ Google (согласно патенту):
   • SQ Chars: «Starbucks» – нейтральный язык.
   • UI Chars: IP-адрес указывает на Японию. Однако заголовок Accept-Language указывает на English (en; q=1.0).
3. Принятие решения: Согласно иерархии патента, явные настройки интерфейса (Accept-Language) имеют высокий приоритет. English определяется как Preferred Language.
4. Переранжирование: Система применяет Weighting Factor (W_LP) к результатам на английском языке.
5. Результат: Пользователь увидит выдачу, где приоритет отдан англоязычным страницам Starbucks (например, starbucks.com или англоязычной версии starbucks.co.jp), а не только локальным японским результатам, несмотря на японский IP.

Вопросы и ответы