Как Google динамически определяет язык и страну пользователя для переранжирования и локализации выдачи

Описание

Какую задачу решает

Патент решает задачу повышения качества поисковой выдачи путем адаптации результатов к языковым и географическим предпочтениям пользователя, даже если эти предпочтения не были указаны явно в запросе. Система стремится динамически определить контекст пользователя (язык, страна) и скорректировать порядок выдачи, чтобы предоставить наиболее релевантный локализованный контент, устраняя проблему показа результатов на нежелательном языке или из нерелевантной страны.

Что запатентовано

Запатентована система и метод для динамического определения предпочтительного языка (Preferred Language) и/или страны (Preferred Country) пользователя с последующим переупорядочиванием результатов поиска. Система использует иерархический анализ различных сигналов (характеристики запроса, интерфейса, IP-адреса). Для корректировки ранжирования применяются два механизма: фактор смещения (Shifting Factor) для позиционного изменения или весовой фактор (Weighting Factor) для корректировки числовых оценок релевантности.

Как это работает

Система работает в два основных этапа: Определение предпочтений и Переранжирование.

• Определение предпочтений: Система анализирует сигналы в строгой иерархии. Для страны проверяются: интерфейс (например, google.co.uk), затем IP-адрес клиента, затем сохраненные настройки. Для языка проверяется более широкий спектр сигналов: сам запрос, настройки интерфейса (включая HTTP-заголовки Accept-Language, IP, URL) и иногда даже преобладающий язык в топовых результатах.
• Переранжирование: После получения первичного набора результатов система корректирует их порядок. Weighting Factor применяется для повышения числовой оценки (Score) предпочтительных результатов (например, по формуле (Score + 1) / 2). Shifting Factor используется для физического перемещения непредпочтительных результатов вниз по списку (например, с использованием множителя 2.0).

Актуальность для SEO

Высокая. Хотя этот патент является продолжением заявок, поданных еще в 2003 и 2008 годах, описанные принципы остаются фундаментальными для международного поиска. Локализация и определение языка являются ключевыми элементами адаптации выдачи. Методы использования IP-адресов, заголовков браузера и интерфейса поиска для определения контекста пользователя активно используются Google.

Важность для SEO

Патент имеет высокое значение для международного и локального SEO. Он детально описывает, какие сигналы и в какой иерархии Google анализирует для определения контекста пользователя, и как агрессивно это может влиять на финальное ранжирование. Понимание этих механизмов критично для обеспечения видимости сайта в целевых регионах и для целевых языковых групп.

Детальный разбор

Термины и определения

Accept_Language / Accept_Charset (Заголовки HTTP)

Метаданные, передаваемые браузером в HTTP-запросе, которые указывают языки и кодировки, предпочитаемые пользователем. Могут включать фактор качества (q), определяющий степень предпочтения.

Country Biaser

Компонент системы (FIG. 14, 534), отвечающий за определение предпочтительных стран и переупорядочивание результатов.

Interface Characteristics (IF Chars)

Сигналы для определения страны (FIG. 14, 543). Включают метаданные запроса и характеристики интерфейса поисковой системы (например, использование домена google.de).

IP Characteristics (IP Chars)

Сигналы, основанные на IP-адресе клиента (FIG. 14, 544). Используются для определения географического местоположения пользователя путем сопоставления IP с таблицей стран (Country Table).

Language Promoter

Компонент системы (FIG. 3, 34), отвечающий за определение предпочтительных языков и переупорядочивание результатов.

Less Preferred Language (Менее предпочтительный язык)

Язык, приемлемый для пользователя, но менее желательный, чем Preferred Language. Получает меньшее повышение при ранжировании.

Preferred Country / Preferred Language (Предпочтительная страна / язык)

Страна или язык, динамически определенные системой как наиболее предпочтительные для пользователя в данном контексте.

Search Query Characteristics (SQ Chars)

Сигналы для определения языка (FIG. 3, 43), основанные на анализе самого запроса и его метаданных (например, Content-Language).

Search Result Characteristics (SR Chars)

Сигналы для определения языка (FIG. 3, 45), основанные на анализе языков документов в топе выдачи.

Shifting Factor (Фактор смещения)

Механизм переранжирования, который позиционно понижает результаты, не соответствующие предпочтениям, путем перемещения их вниз по списку.

User Interface Characteristics (UI Chars)

Широкий набор сигналов для определения языка (FIG. 3, 44), включающий настройки браузера (Accept_Language), сохраненные предпочтения, домен интерфейса и IP-адрес.

Weighting Factor (Весовой фактор)

Механизм переранжирования, который корректирует числовую оценку (Score) результатов с помощью формулы для повышения (бустинга) предпочтительных результатов.

Ключевые утверждения (Анализ Claims)

Патент US9183311B2 является продолжением (continuation) более ранних заявок и описывает процессы упорядочивания как по языку, так и по стране. Основные Claims (1, 8, 15) фокусируются на упорядочивании по стране.

Claim 1 (Независимый пункт): Описывает метод упорядочивания по стране, акцентируя внимание на иерархии определения предпочтений.

1. Идентификация результатов поиска с оценками (scores).
2. Определение предпочтительной страны (particular country) с использованием строгой временной последовательности:
   1. Сначала (at a first time) анализ характеристик интерфейса (Interface characteristics).
   2. Определение, что анализ характеристик интерфейса не позволил идентифицировать страну.
   3. Затем (at a second time), на основании неудачи шага (a), анализ характеристик IP (IP characteristics).
3. Определение, являются ли оценки результатов численно корректируемыми (numerically adjustable).
4. Корректировка порядка результатов, связанных с предпочтительной страной.

Критическое примечание о противоречии в патенте (Claims 1, 8, 15):

В тексте Claims 1, 8 и 15 указана следующая логика применения факторов:

• Использовать Shifting Factor, если оценка ЯВЛЯЕТСЯ численно корректируемой.
• Использовать Weighting Factor, если оценка НЕ ЯВЛЯЕТСЯ численно корректируемой.

Это прямо противоречит Описанию (Description) и блок-схемам (FIG. 11, FIG. 20) того же патента, где логика обратная: Weighting Factor (изменение веса) используется для числовых оценок, а Shifting Factor (смещение позиции) используется, когда оценки не поддаются числовой корректировке. При анализе работы алгоритма мы будем опираться на логику из Описания, так как она технически более состоятельна, но факт противоречия в Claims зафиксирован.

Claim 2 (Зависимый): Расширяет иерархию определения страны.

Если ни характеристики интерфейса, ни характеристики IP не определили страну, система анализирует пользовательские настройки (User Preferences).

Где и как применяется

Изобретение применяется на финальных стадиях обработки запроса для адаптации выдачи под контекст пользователя.

INDEXING – Индексирование и извлечение признаков
На этом этапе система определяет и сохраняет язык и страну для каждого документа. Страна может определяться комплексно: по TLD домена, IP-адресу сервера, адресу регистратора домена, контенту документа, а также по странам и анкорам входящих ссылок.

QUNDERSTANDING – Понимание Запросов
Здесь (или непосредственно перед RERANKING) происходит сбор контекста пользователя. Система анализирует HTTP-заголовки (Accept-Language), IP-адрес клиента, используемый интерфейс (например, google.fr) и cookies для динамического определения Preferred Language и Preferred Country.

RANKING – Ранжирование
Генерируется первичный набор результатов с базовыми оценками релевантности (Scores).

RERANKING – Переранжирование
Основной этап применения патента. Система работает как Twiddler для локализации и языковой адаптации.

1. Определение предпочтений: Используются данные, собранные о пользователе.
2. Корректировка порядка: Система (компоненты Language Promoter и Country Biaser) применяет Shifting Factor или Weighting Factor к результатам, чтобы повысить контент, соответствующий предпочтениям пользователя.

Входные данные:

• Первичный набор результатов поиска с оценками (Scores), языками и странами.
• Метаданные запроса (HTTP-заголовки).
• IP-адрес клиента.
• Данные интерфейса (URL домена).
• Сохраненные предпочтения пользователя (Cookies).

Выходные данные:

• Переупорядоченный список результатов поиска (Ordered Search Results), адаптированный под язык и страну пользователя.

На что влияет

• Международные и мультиязычные сайты: Критическое влияние на то, какая версия контента будет показана пользователю из определенного региона или с определенными языковыми настройками.
• Локальный поиск: Усиливает приоритет результатов из страны пользователя, даже если запрос не содержит явных локальных индикаторов.
• Все типы запросов: Влияет на коммерческие, информационные и транзакционные запросы, гарантируя, что пользователь получит контент на понятном языке и из релевантного региона.

Когда применяется

Алгоритм применяется динамически при обработке большинства запросов. Эффект переранжирования активируется, если системе удалось определить предпочтительный язык и/или страну пользователя и в выдаче присутствуют документы, соответствующие этим предпочтениям. Агрессивность применения может варьироваться в зависимости от уверенности системы в определенных предпочтениях.

Пошаговый алгоритм

Патент описывает отдельные процессы для языка и страны.

Процесс А: Определение предпочтительного языка (Language Promoter, FIG. 8)

Используется иерархический подход.

1. Анализ характеристик запроса (SQ Chars): Проверка языка/кодировки самого запроса. Если определен, выбрать его.
2. Анализ характеристик интерфейса (UI Chars): Если язык не определен на шаге 1, последовательно проверить (FIG. 10):
   1. Явные настройки пользователя (cookies/login).
   2. Заголовок Accept-Language (с учетом q-factor).
   3. Заголовок Accept-Charset.
   4. Домен URL интерфейса (например, .fr).
   5. IP-адрес клиента и язык соответствующей страны.
3. Принятие решения на основе UI Chars: Например, если определен не-английский язык, он выбирается как предпочтительный, а английский как менее предпочтительный.
4. Анализ характеристик результатов (SR Chars): Если интерфейс английский, анализируется язык большинства топовых результатов. Если большинство на английском, он выбирается как предпочтительный.

Процесс Б: Определение предпочтительной страны (Country Biaser, FIG. 17)

1. Анализ характеристик интерфейса (IF Chars): Проверка интерфейса поисковой системы (например, google.co.uk). Если страна определена, выбрать ее.
2. Анализ характеристик IP (IP Chars): Если страна не определена на шаге 1, анализируется IP-адрес клиента.
3. Анализ настроек пользователя: Если страна не определена на шаге 2, проверяются явные настройки (cookies/login).

Процесс В: Переранжирование (Ordering, FIG. 11, 20)

1. Определение подхода: Проверить, являются ли оценки ранжирования (Scores) численно корректируемыми.
2. Применение фактора (согласно Описанию и Схемам):
   • Если ДА -> Применить Weighting Factor (см. FIG. 13, 22). Повысить Score предпочтительных результатов (например, (Score + 1) / 2). Пересортировать выдачу.
   • Если НЕТ -> Применить Shifting Factor (см. FIG. 12, 21). Понизить позицию непредпочтительных результатов (например, сместить на позицию 2 * j).

Какие данные и как использует

Данные на входе

Система использует разнообразные источники данных для определения контекста пользователя и характеристик контента.

Географические и Пользовательские факторы (Определение контекста пользователя):

• IP-адрес клиента: Извлекается из TCP-пакета для определения страны (IP Chars).
• HTTP-заголовки (Браузер): Accept-Language (языковые предпочтения и их приоритет), Accept-Charset (UI Chars).
• Интерфейс поисковой системы: Доменное имя (например, google.fr) (IF Chars / UI Chars).
• Настройки пользователя: Сохраненные предпочтения (cookies или данные аккаунта).
• Метаданные запроса: Content-Language и Content-Type (язык и кодировка текста запроса) (SQ Chars).

Контентные, Технические и Ссылочные факторы (Определение характеристик документа):

• Язык документа: Определяется через анализ контента.
• Страна документа: Определяется через комплекс сигналов:
  • Технические: Расширение домена (ccTLD), IP-адрес веб-сервера, данные регистратора домена.
  • Контентные: Анализ содержимого документа или сайта.
  • Ссылочные: Анкорный текст входящих ссылок или страна ссылающихся страниц.

Какие метрики используются и как они считаются

• Score (Оценка ранжирования): Базовая числовая оценка релевантности.
• Фактор качества (q): Метрика из заголовка Accept-Language (0.0-1.0), указывающая степень предпочтения языка.
• Weighting Factor (Формулы бустинга): Используются для модификации Score (применимо для оценок в диапазоне 0.0-1.0):
  • Предпочтительный язык/страна (Агрессивный бустинг): W_LP = (Score + 1) / 2.
  • Менее предпочтительный язык (Умеренный бустинг): W_LPL = ((Score * 2) + 1) / 3.
• Shifting Factor (Факторы сдвига): Используются для изменения позиций (j = текущая позиция):
  • Непредпочтительный результат: Понижение с множителем 2.0 (Новая позиция = 2 * j).
  • Менее предпочтительный результат (язык): Понижение с множителем 1.5 (Новая позиция = 1.5 * j).
• Адаптивность факторов: Упоминается, что агрессивность факторов может быть скорректирована (ослаблена или усилена) в зависимости от надежности (уверенности) определения предпочтений.

Выводы

1. Иерархия сигналов локализации: Google использует строгую иерархию для определения контекста пользователя. Для страны приоритет отдается интерфейсу (например, google.de), затем IP-адресу, затем настройкам. Для языка анализируется более сложный набор сигналов, включая сам запрос, настройки браузера (Accept-Language), интерфейс, IP и даже состав выдачи (SR Chars).
2. Агрессивное переранжирование: Механизмы Weighting Factor и Shifting Factor могут радикально изменить финальную выдачу. Описанные формулы (например, (Score + 1) / 2) обеспечивают значительное повышение предпочтительного контента, а фактор смещения может агрессивно вытеснять не локализованный контент.
3. Множественные источники для определения страны документа: Система не полагается только на TLD или IP сервера. Она также анализирует контент, данные регистратора и даже ссылочный профиль (страны и анкоры входящих ссылок) для определения географической принадлежности документа.
4. Дифференциация языковых предпочтений: Система различает «Предпочтительные» (Preferred) и «Менее предпочтительные» (Less Preferred) языки, применяя к ним разный уровень бустинга. Это позволяет учитывать многоязычие пользователей.
5. Локализация как этап Reranking: Процесс адаптации происходит на финальном этапе (Reranking), корректируя уже сформированный по базовой релевантности список результатов.
6. Внутреннее противоречие в патенте: В патенте US9183311B2 существует явное противоречие между Описанием и Формулой изобретения (Claims) относительно условий применения Shifting Factor и Weighting Factor. Это важно учитывать при юридическом анализе, но с технической точки зрения логика, описанная в Description, выглядит более состоятельной.

Практика

Best practices (это мы делаем)

• Корректная реализация Hreflang: Хотя Hreflang не упоминается напрямую, патент подтверждает необходимость явного указания Google на языковые и региональные версии контента. Это гарантирует, что при активации механизмов Language Promoter и Country Biaser система выберет и повысит правильную версию страницы.
• Использование четких сигналов геотаргетинга: Используйте ccTLD (например, .fr) для странового таргетинга, если это возможно. Если используется gTLD (.com), обязательно настройте таргетинг в Google Search Console и обеспечьте локализацию контента (адреса, валюта, язык).
• Локализация контента и ссылочного профиля: Поскольку страна документа определяется в том числе по контенту и входящим ссылкам, важно создавать локализованный контент и получать ссылки с локальных авторитетных ресурсов в целевой стране.
• Анализ выдачи с учетом контекста пользователя: При анализе позиций необходимо эмулировать условия целевого пользователя: использовать VPN для получения нужного IP (влияет на IP Chars) и настраивать заголовок Accept-Language в браузере (влияет на UI Chars).
• Учет многоязычия целевой аудитории: Понимайте концепцию Less Preferred Languages. На многоязычных рынках (например, Канада, Швейцария) наличие качественного контента на вторичных языках может дать преимущество, так как он также может получить умеренный бустинг.

Worst practices (это делать не надо)

• Автоматическое перенаправление только по IP: Не следует принудительно перенаправлять пользователей на основе IP-адреса, игнорируя другие сигналы, такие как Accept-Language или домен интерфейса. Патент показывает, что IP – лишь один из сигналов в иерархии, и он не всегда приоритетен.
• Игнорирование настроек языка браузера: Показ контента на языке, отличном от указанного в Accept-Language, противоречит логике работы Language Promoter и может ухудшить пользовательский опыт.
• Противоречивые сигналы локализации: Создание страниц, где язык контента не соответствует географическим сигналам (TLD, IP сервера) без явного указания таргетинга (например, через hreflang или GSC). Это может запутать систему и привести к понижению контента механизмами переранжирования.
• Смешивание языков на одной странице: Затрудняет определение основного языка документа, что негативно скажется на работе Language Promoter.

Стратегическое значение

Патент подтверждает, что для Google релевантность неразрывно связана с контекстом пользователя – его языком и местоположением. Международное SEO требует не просто перевода, а комплексной стратегии локализации. Система активно ищет сигналы о предпочтениях пользователя и агрессивно использует их для переранжирования выдачи. Эффективное продвижение на глобальных рынках невозможно без четких и непротиворечивых технических, контентных и ссылочных сигналов для каждой целевой аудитории.

Практические примеры

Сценарий: Применение Country Biaser и Language Promoter в Канаде

1. Пользователь: Находится в Монреале. IP канадский. Настройки браузера: Accept-Language: fr, en; q=0.8. Ищет через google.ca.
2. Запрос: «buy winter tires».
3. Определение предпочтений (по патенту):
   • Preferred Country: Canada (определено по IF Chars — google.ca, что имеет приоритет над IP).
   • Preferred Language: French (определено по UI Chars — Accept-Language).
   • Less Preferred Language: English (определено по UI Chars — Accept-Language q=0.8).
4. Переранжирование: Система активирует оба механизма.
   • Результаты из Канады получают бустинг (Country Biaser).
   • Результаты на французском языке получают агрессивный бустинг (Language Promoter, W_LP).
   • Результаты на английском языке получают умеренный бустинг (Language Promoter, W_LPL).
5. Результат: В топе выдачи будут доминировать франкоязычные страницы канадских ритейлеров, так как они соответствуют обоим предпочтениям и получают максимальное совокупное повышение в ранжировании.

Вопросы и ответы