Как Google динамически определяет язык пользователя и переранжирует выдачу в его пользу

Описание

Какую задачу решает

Патент решает проблему некорректного определения языковых предпочтений пользователя. Существующие методы часто неэффективны: пользователи редко устанавливают явные предпочтения, а ключевые слова в запросе являются ненадежными индикаторами языка (например, имена собственные). Кроме того, жесткая фильтрация по языку (подход «все или ничего») слишком ограничивает выдачу. Изобретение предлагает механизм динамического определения предпочтительного языка и повышения релевантных результатов на этом языке без обязательной фильтрации остальных.

Что запатентовано

Запатентована система для динамического определения предпочтительных языков пользователя и последующего переранжирования результатов поиска. Система использует иерархию сигналов, основанную на характеристиках запроса (Search Query Characteristics, SQ), характеристиках пользовательского интерфейса (User Interface Characteristics, UI) и характеристиках результатов поиска (Search Result Characteristics, SR). Для повышения предпочтительных результатов применяются механизмы смещения (Shifting Factor) или взвешивания (Weighting Factor).

Как это работает

Система работает в два основных этапа:

1. Динамическое определение языка: Анализируется иерархия сигналов: язык и кодировка запроса (SQ), сохраненные настройки пользователя, настройки браузера (Accept-Language), IP-адрес/геолокация (UI) и доминирующий язык в уже полученных результатах поиска (SR).
2. Переранжирование: К результатам применяется корректировка. Если используется позиционное ранжирование, результаты на непредпочтительных языках смещаются вниз (Shifting Factor). Если используется численная оценка релевантности, оценки результатов на предпочтительных языках математически повышаются с помощью формул взвешивания (Weighting Factor).

Актуальность для SEO

Высокая. Определение языка пользователя и локализация выдачи остаются фундаментальными задачами Google, особенно в условиях глобального доступа к интернету и мобильного поиска. Описанные принципы являются основополагающими для международного SEO и объясняют механизмы адаптации выдачи под лингвистический контекст пользователя.

Важность для SEO

Патент имеет критическое значение для международного и мультиязычного SEO (85/100). Он демонстрирует, что соответствие языку пользователя является мощным фактором переранжирования, который может преобладать над чистой релевантностью. Патент подчеркивает важность технических сигналов (таких как корректная кодировка, учет настроек браузера и IP) для обеспечения видимости контента в целевых регионах и языковых группах.

Детальный разбор

Термины и определения

Accept-Charset (Принимаемая кодировка)

HTTP-заголовок, отправляемый браузером, который указывает предпочтительные или допустимые кодировки символов (например, ISO-8859-1).

Accept-Language (Принимаемый язык)

HTTP-заголовок, отправляемый браузером, который указывает допустимые или предпочтительные языки пользователя, часто с указанием фактора качества (Quality Factor q).

IP Domain (IP-домен)

Доменное имя, связанное с IP-адресом клиента или указанное в URL запроса (например, .at для Австрии). Используется для определения геолокации и потенциального языка.

Language Promoter (Языковой активатор / 语言提前器)

Компонент поисковой системы, отвечающий за определение предпочтительных языков и переранжирование результатов.

Less-Preferred Language (Менее предпочтительный язык)

Язык, который пользователь понимает, но предпочитает меньше основного. Результаты на этом языке получают меньшее повышение, чем Preferred Language, но большее, чем непредпочтительные языки.

Preferred Language (Предпочтительный язык)

Язык, динамически определенный системой как основной язык пользователя. Результаты на этом языке получают максимальное повышение при переранжировании.

Search Query Characteristics (SQ) (Характеристики поискового запроса)

Сигналы, извлеченные из самого запроса: язык терминов запроса, кодировка запроса (определяемая через заголовки Content-Language, Content-Type).

Search Result Characteristics (SR) (Характеристики результатов поиска)

Сигналы, основанные на анализе полученного набора результатов, в первую очередь – доминирующий язык среди топовых документов.

Shifting Factor (Фактор смещения)

Коэффициент, используемый для позиционного переранжирования. Он определяет, насколько позиций вниз будут смещены результаты на непредпочтительных языках (например, фактор 2.0).

User Interface Characteristics (UI) (Характеристики пользовательского интерфейса)

Сигналы, связанные с настройками и контекстом пользователя: сохраненные предпочтения (cookies/login), настройки браузера (Accept-Language, Accept-Charset), сетевой адрес (IP-адрес, домен URL).

Weighting Factor (Фактор взвешивания)

Формула, применяемая для корректировки численных оценок релевантности (Numerical Scores) результатов на предпочтительных языках с целью их повышения.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основную систему.

1. Система принимает поисковый запрос.
2. Выполняется поиск, который идентифицирует результаты на нескольких языках.
3. Идентифицируется как минимум один предпочтительный язык (Preferred Language). Эта идентификация основана на комбинации: характеристик поискового запроса (SQ), характеристик пользовательского интерфейса (UI), через который получен запрос, И характеристик результатов поиска (SR).
4. Происходит ранжирование (переранжирование) как минимум одного результата относительно других на основе того, соответствует ли он предпочтительному языку.
5. Презентация отсортированного списка.

Ключевым моментом является то, что определение предпочтительного языка зависит от всех трех наборов характеристик (SQ, UI, SR), что указывает на сложную, иерархическую логику принятия решений.

Claim 5 (Зависимый): Детализирует механизм переранжирования.

• Система понижает каждый результат на языке, отличном от предпочтительного, как минимум на одну позицию, И повышает каждый результат на предпочтительном языке как минимум на одну позицию (или наоборот).

Это описывает механизм позиционного смещения (Shifting Factor), где происходит прямое изменение порядка результатов.

Claim 7 (Зависимый): Уточняет методы переранжирования.

• Система использует как минимум один из факторов: фактор смещения (Shifting Factor) или фактор взвешивания (Weighting Factor) для переупорядочивания результатов.

Claim 13 (Зависимый от метода в Claim 9): Описывает логику определения предпочтительного языка.

1. Определить, можно ли установить предпочтительный язык на основе характеристик запроса (SQ).
2. Если НЕТ, определить, определяют ли характеристики интерфейса (UI) язык по умолчанию как приемлемый.
3. Если UI НЕ определяет язык по умолчанию как приемлемый, выбрать язык, отличный от языка по умолчанию, в качестве предпочтительного.
4. Если UI определяет язык по умолчанию как приемлемый И характеристики результатов поиска (SR) показывают, что большинство результатов на языке по умолчанию, выбрать язык по умолчанию в качестве предпочтительного.

Это подтверждает иерархическую логику и сложное взаимодействие между SQ, UI и SR, особенно при обработке языков по умолчанию (например, английского).

Где и как применяется

Изобретение затрагивает несколько этапов поиска, но основная логика применяется на финальных стадиях.

INDEXING – Индексирование
На этом этапе происходит определение языка документов и сохранение этой информации для последующего использования в качестве Search Result Characteristics (SR).

QUNDERSTANDING – Понимание Запросов
Система анализирует язык и кодировку входящего запроса, извлекая Search Query Characteristics (SQ).

RANKING – Ранжирование
Происходит первоначальный отбор и ранжирование документов. Анализ языков топовых результатов на этом этапе формирует Search Result Characteristics (SR).

RERANKING – Переранжирование (Основное применение)
Здесь выполняется основная логика патента. Компонент Language Promoter оценивает SQ, UI (настройки браузера, IP, cookies) и SR характеристики. На основе этой оценки определяется Preferred Language. Затем система применяет Shifting Factor или Weighting Factor для корректировки финального порядка выдачи.

Входные данные:

• Метаданные запроса (HTTP-заголовки, кодировка).
• Метаданные пользовательского интерфейса (HTTP-заголовки Accept-Language/Charset, IP-адрес, cookies).
• Первоначальный набор результатов поиска с их оценками релевантности и определенными языками.

Выходные данные:

• Переранжированный список результатов поиска с скорректированными позициями или оценками релевантности.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные запросы (например, названия брендов, имена собственные), где языковой интент не ясен из ключевых слов. В этих случаях система полагается на UI и SR характеристики.
• Типы контента: Влияет на все типы контента, гарантируя, что пользователь получит результаты на понятном ему языке.
• Языковые и географические ограничения: Критически важно для мультиязычных стран (Канада, Швейцария) и для пользователей, путешествующих или использующих VPN, когда их IP и настройки браузера могут конфликтовать.

Когда применяется

• Условия работы: Алгоритм активируется, когда в результатах поиска присутствуют документы на разных языках.
• Триггеры активации: Вероятно, это механизм по умолчанию для большинства запросов, направленный на обеспечение соответствия языка выдачи ожиданиям пользователя. Агрессивность применения может зависеть от уверенности системы в определении Preferred Language.

Пошаговый алгоритм

Этап 1: Сбор сигналов и первоначальный поиск

1. Получение запроса: Система принимает запрос от пользователя.
2. Сбор характеристик UI и SQ: Извлекаются метаданные: HTTP-заголовки (Accept-Language, Accept-Charset, Content-Type), IP-адрес, сохраненные предпочтения (cookies). Определяется язык и кодировка самого запроса.
3. Выполнение поиска: Поисковая система выполняет первоначальный поиск и ранжирование.
4. Сбор характеристик SR: Анализируется язык топовых результатов для определения доминирующего языка выдачи.

Этап 2: Определение предпочтительного языка (Иерархическая логика)

1. Анализ SQ: Попытка определить язык на основе запроса и его кодировки. Если сигнал сильный, выбрать этот язык.
2. Анализ UI (если SQ не дал результата): Проверка сохраненных настроек, затем настроек браузера (Accept-Language). Если язык определен, использовать его.
3. Анализ геолокации (если UI не дал четкого результата): Использование IP-адреса или домена URL для определения местоположения и связанного с ним языка.
4. Обработка языка по умолчанию (Сложная логика, Claim 13): Применяется специальная логика для языков по умолчанию (например, английского), учитывающая комбинацию приемлемости в UI и доминирования в SR. Например, английский выбирается как предпочтительный, только если он приемлем для UI И большинство результатов также на английском.
5. Выбор связанных языков (Опционально): Система может также определить связанные языки (например, португальский для испанского) как дополнительные Preferred или Less-Preferred Languages.

Этап 3: Переранжирование

1. Выбор метода: Система определяет, использовать ли фактор смещения (для позиционного ранжирования) или фактор взвешивания (для численных оценок).
2. Применение фактора взвешивания (Weighting Factor):
   Если выбран этот метод (и оценки находятся в диапазоне 0.0-1.0), применяются формулы для повышения оценок:
   • Для Preferred Language (W_LP): Новая оценка = (Старая оценка + 1) / 2.
   • Для Less-Preferred Language (W_LPL): Новая оценка = ((Старая оценка * 2) + 1) / 3.

   После пересчета оценок результаты пересортировываются.

3. Применение фактора смещения (Shifting Factor):
   Если выбран этот метод, система итеративно проходит по топовым результатам. Для результатов на непредпочтительных языках вычисляется целевая позиция (target_pos) с использованием фактора смещения (например, 2.0). Результат перемещается на эту позицию вниз, а остальные результаты сдвигаются вверх. Для Less-Preferred Languages может использоваться менее агрессивный фактор (например, 1.5).

Какие данные и как использует

Данные на входе

Система использует широкий спектр технических, географических и пользовательских сигналов.

• Технические факторы:
  • HTTP-заголовки: Accept-Charset, Content-Type (кодировка запроса и ожидаемая кодировка ответа).
  • Кодировка символов документов в индексе.
• Пользовательские и Географические факторы:
  • HTTP-заголовок Accept-Language: Языки, принимаемые браузером, включая фактор качества q.
  • HTTP-заголовок Content-Language: Язык входящего запроса.
  • IP-адрес клиента: Используется для определения геолокации и связанного с ней языка.
  • Домен URL (IP Domain): Например, .fr, .de.
  • Сохраненные пользовательские предпочтения (через cookies или аккаунт Google).
• Контентные факторы:
  • Язык проиндексированных документов (определенный на этапе индексации).

Какие метрики используются и как они считаются

• Numerical Score (Численная оценка): Оценка релевантности документа (в патенте предполагается диапазон 0.0-1.0).
• Quality Factor (q) (Фактор качества): Значение от 0.0 до 1.0 из заголовка Accept-Language, указывающее степень предпочтения языка.
• Dominance (Доминирование): Определение языка большинства топовых результатов поиска (SR характеристика).
• Shifting Factor (Фактор смещения): Константы или функции для позиционного смещения. Примеры из патента:
  • Фактор 2.0 для непредпочтительных языков (позиция j смещается к 2j).
  • Фактор 1.5 для менее предпочтительных языков (позиция j смещается к 1.5j).
• Weighting Factor (Фактор взвешивания): Формулы для корректировки Numerical Score (S). Примеры из патента:
  • W_LP (Предпочтительный): (S + 1) / 2.
  • W_LPL (Менее предпочтительный): ((S * 2) + 1) / 3.

Выводы

1. Соответствие языку — критический фактор переранжирования: Google активно и агрессивно изменяет порядок выдачи, чтобы соответствовать языку, который система динамически определила как предпочтительный для пользователя. Это может перевесить сигналы чистой релевантности.
2. Сложность динамического определения: Определение языка — это не просто проверка одного сигнала. Это сложный иерархический процесс, учитывающий характеристики запроса (SQ), интерфейса (UI) и самих результатов (SR). Система ищет консенсус между этими сигналами.
3. Критичность технических сигналов: Патент подчеркивает важность данных, которые часто игнорируются в стандартном SEO: HTTP-заголовки (Accept-Language, Charset), IP-адрес, кодировка страницы. Эти сигналы напрямую влияют на определение Preferred Language.
4. Агрессивное переранжирование: Описанные методы переранжирования (как позиционное смещение с фактором 2.0, так и формулы взвешивания) являются весьма агрессивными и могут значительно изменить Топ-10 выдачи.
5. Учет нюансов предпочтений: Система не просто делит языки на «правильные» и «неправильные». Она учитывает связанные языки (упомянутые в патенте как Related Languages) и разные степени предпочтения (Preferred vs Less-Preferred), обеспечивая более гибкую адаптацию выдачи.

Практика

Best practices (это мы делаем)

• Техническая реализация международного SEO: Обеспечьте четкие и непротиворечивые сигналы о языке и таргетинге контента. Это включает корректное использование атрибутов Hreflang, указание языка в HTML (lang attribute), Sitemap. Это помогает Google правильно индексировать контент и сопоставлять его с динамически определенным Preferred Language.
• Корректная обработка кодировок: Убедитесь, что сервер и CDN корректно обрабатывают кодировки символов (предпочтительно UTF-8) и отдают правильные заголовки Content-Type. Некорректная кодировка может помешать системе правильно определить язык контента.
• Понимание контекста целевой аудитории: Анализируйте типичные настройки UI вашей аудитории (язык браузера по умолчанию) и их местоположение (IP). Это поможет понять, как Google будет определять Preferred Language для ваших пользователей и какой контент будет повышен.
• Полная локализация контента: Создавайте высококачественный контент на целевом языке. Если система определит этот язык как Preferred Language, ваш контент получит значительное повышение (Weighting Factor или позиционный буст).

Worst practices (это делать не надо)

• Игнорирование языковых сигналов: Полагаться только на ключевые слова и надеяться, что Google «разберется» с языком пользователя, неэффективно. При отсутствии четких сигналов система может ошибиться в определении Preferred Language или применить агрессивное смещение к вашему контенту.
• Противоречивые сигналы и Клоакинг: Использование Geo-IP клоакинга или создание противоречивых сигналов (например, английский контент на домене .fr, таргетированный на французских пользователей без явной языковой разметки) может привести к непредсказуемому ранжированию.
• Частичная локализация: Перевод только части контента может привести к тому, что страница будет классифицирована как не соответствующая Preferred Language пользователя, что приведет к ее понижению с помощью Shifting Factor.

Стратегическое значение

Патент подтверждает, что международное SEO — это высокотехническая дисциплина. Релевантность контента бесполезна, если он представлен на неподходящем языке. Этот механизм позволяет Google адаптировать глобальный индекс к лингвистическому и географическому контексту конкретного пользователя в реальном времени. Для глобальных SEO-стратегий локализация и техническая корректность имплементации мультиязычности являются приоритетом номер один.

Практические примеры

Сценарий: Неоднозначный брендовый запрос в мультиязычной стране

1. Контекст: Пользователь находится в Монреале, Канада (Канадский IP). Его браузер настроен на французский язык (Accept-Language: fr, en; q=0.8).
2. Запрос: «IGA» (популярная сеть супермаркетов).
3. Определение языка:
   • SQ: Неоднозначный (бренд).
   • UI: Сильный сигнал в пользу французского (браузер, геолокация).
   • SR: Вероятно, смешанные результаты на английском и французском.

   Система определяет французский как Preferred Language, а английский как Less-Preferred Language (из-за q=0.8).

4. Переранжирование: Система использует Weighting Factor.
   • Французская версия сайта IGA (например, iga.net/fr) получает буст по формуле (S+1)/2.
   • Английская версия сайта (iga.net/en) получает меньший буст по формуле ((S*2)+1)/3.
   • Сайты на других языках не получают буста.
5. Результат: Французская версия сайта ранжируется выше английской, даже если их базовая релевантность была схожей.

Вопросы и ответы