Как Google динамически определяет язык и страну пользователя для переранжирования поисковой выдачи

Термины и определения

Accept_Language / Accept_Charset (Заголовки HTTP)

Указывают языки и наборы символов (кодировки), которые приемлемы или предпочтительны для браузера пользователя.

Country Biaser (Модуль смещения по стране)

Компонент поисковой системы, который определяет предпочтительные страны пользователя и изменяет порядок результатов поиска в их пользу.

IF Chars (Interface Characteristics / Характеристики интерфейса)

Данные, используемые для определения предпочтений пользователя, полученные из метаданных запроса и интерфейса поисковой системы (например, использование google.de).

IP Chars (IP Characteristics / Характеристики IP)

Данные, основанные на IP-адресе клиента, используемые для определения его географического местоположения (страны).

Language Promoter (Модуль продвижения языка)

Компонент поисковой системы, который определяет предпочтительные языки пользователя и изменяет порядок результатов поиска в их пользу.

Less Preferred Language (Менее предпочтительный язык)

Язык, который приемлем для пользователя, но менее важен, чем основной предпочтительный язык. Результаты на этом языке также могут получать повышение, но меньшее.

Preferred Country/Language (Предпочтительная страна/язык)

Страна или язык, определенные системой как основной целевой для данного поиска.

Shifting Factor (Фактор смещения)

Метод упорядочивания результатов путем физического изменения их позиций (повышения или понижения) в списке, а не изменения их числовых оценок.

SQ Chars (Search Query Characteristics / Характеристики поискового запроса)

Данные о языке и кодировке самого текста запроса, часто получаемые из заголовков Content_Language и Content_Type.

SR Chars (Search Result Characteristics / Характеристики результатов поиска)

Данные о языках самих найденных документов. Могут использоваться для уточнения языковых предпочтений пользователя.

UI Chars (User Interface Characteristics / Характеристики пользовательского интерфейса)

Данные, указывающие на языковые предпочтения пользователя, полученные из настроек браузера (Accept-Language), сохраненных настроек (cookies) или интерфейса, через который отправлен запрос.

Weighting Factor (Весовой фактор)

Множитель или формула, применяемая к числовой оценке (Score) результата поиска для его повышения или понижения.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт - Язык): Описывает метод упорядочивания результатов поиска на основе языка.

1. Система получает поисковый запрос.
2. Выполняется поиск, идентифицирующий результаты на разных языках.
3. Система идентифицирует «определенный язык» (particular language, т.е. предпочтительный язык). Это делается на основе взвешивания (weighing) трех типов характеристик: (i) характеристик поискового запроса (SQ Chars), (ii) характеристик пользовательского интерфейса (UI Chars), и (iii) характеристик самих результатов поиска (SR Chars).
4. Результаты упорядочиваются в список.
5. Система определяет, соответствуют ли результаты в списке этому «определенному языку».
6. Порядок одного из результатов корректируется (adjusting the ordering), если он соответствует «определенному языку».
7. Скорректированный список предоставляется пользователю.

Claim 9 (Независимый пункт - Страна): Описывает метод упорядочивания результатов поиска на основе страны.

1. Система получает поисковый запрос.
2. Выполняется поиск, идентифицирующий результаты из разных стран.
3. Система идентифицирует «определенную страну» (particular country, т.е. предпочтительную страну). Это делается на основе взвешивания (weighing) двух типов характеристик: (i) характеристик интерфейса (IF Chars) и (ii) характеристик IP (IP Chars).
4. Результаты упорядочиваются в список.
5. Система определяет, происходят ли результаты из этой «определенной страны».
6. Порядок одного из результатов корректируется, если он происходит из «определенной страны».
7. Скорректированный список предоставляется пользователю.

Claim 7 и 10 (Зависимые): Детализируют механизм корректировки порядка (связанный с Shifting Factor).

Описывается два варианта: (1) Понижение (demoting) результатов, не соответствующих предпочтительному языку/стране, и повышение (promoting) соответствующих результатов. (2) Обратный вариант.

Claim 11 и 16 (Зависимые): Детализируют механизм корректировки с использованием числовых оценок (связанный с Weighting Factor).

Каждому результату присваивается числовая оценка (numerical score). Оценка результата, соответствующего предпочтительному языку/стране, корректируется (adjusting).

Claim 19 (Зависимый от 16): Определяет конкретную формулу для корректировки числовой оценки.

Числовая оценка (S_i) корректируется в соответствии с формулой: $S_i = \frac{S_i+1}{2}$. (Эта формула предполагает, что оценки находятся в диапазоне от 0 до 1, и значительно приближает их к 1).

Где и как применяется

Изобретение затрагивает несколько этапов поиска, интегрируя данные, собранные на этапе индексирования, и влияя на финальное ранжирование.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна определить язык и страну происхождения (или целевую страну) для каждого документа. В патенте упоминаются методы определения страны документа: по расширению URL (ccTLD), по адресу регистратора домена, по IP-адресу веб-сервера, по контенту документа или по анкорному тексту и странам ссылающихся страниц.

QUNDERSTANDING – Понимание Запросов / RANKING – Ранжирование
На этих этапах система анализирует входящий запрос и контекст пользователя для определения его предпочтений. Анализируются SQ Chars (язык запроса), UI Chars (интерфейс, настройки браузера) и IP Chars (геолокация IP). На этапе RANKING также могут быть проанализированы SR Chars (язык топовых результатов) для уточнения языковых предпочтений.

RERANKING – Переранжирование
Это основной этап применения патента. Модули Language Promoter и Country Biaser активируются после основного ранжирования.

1. Определение предпочтений: Система финализирует определение Preferred Language и Preferred Country на основе взвешивания всех доступных сигналов.
2. Корректировка порядка: Система применяет Shifting Factor или Weighting Factor к начальному набору результатов.
3. Финальная сортировка: Результаты пересортировываются с учетом примененных корректировок.

Входные данные:

• Исходный запрос пользователя и его метаданные (HTTP-заголовки).
• IP-адрес клиента.
• Характеристики интерфейса (домен Google, cookies).
• Начальный набор результатов поиска с их оценками (Scores).
• Данные о языке и стране для каждого результата (из индекса).

Выходные данные:

• Упорядоченный набор результатов поиска (Ordered Search Results) с повышенными позициями для документов, соответствующих предпочтительному языку и стране.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, где интент может иметь локальный или языковой аспект, даже если он не выражен явно (например, поиск услуги или информации общего характера).
• Конкретные ниши или тематики: Влияет на все ниши, где существует контент на разных языках или из разных стран, релевантный одному и тому же запросу. Особенно важно для e-commerce, локальных услуг и новостей.
• Языковые и географические ограничения: Система активно использует эти ограничения для формирования выдачи, отдавая предпочтение локальному и лингвистически подходящему контенту.

Когда применяется

Алгоритм применяется динамически при обработке поисковых запросов, когда система может определить предпочтительный язык или страну пользователя.

• Триггеры активации: Наличие сигналов, позволяющих сделать вывод о предпочтениях (например, IP-адрес из Германии, заголовок Accept-Language: fr, или запрос на французском языке).
• Условия применения: Система взвешивает сигналы. Если сигналы противоречивы (например, IP из Германии, а интерфейс на английском), система применяет логику приоритетов (описанную в алгоритмах определения предпочтений) для выбора доминирующего языка/страны. Патент также упоминает, что факторы смещения и веса могут быть скорректированы в зависимости от надежности определения предпочтений (например, ослаблены при коротких запросах).

Пошаговый алгоритм

Процесс можно разделить на определение предпочтений и применение переранжирования.

Процесс А: Определение предпочтительного языка (FIG. 8)

1. Оценка характеристик запроса (SQ Chars): Анализ языка и кодировки самого запроса. Если язык определен, выбрать его как предпочтительный.
2. Оценка характеристик интерфейса (UI Chars): Если язык не определен на шаге 1, анализируются настройки пользователя, заголовки браузера (Accept-Language), домен Google, IP-адрес клиента.
3. Логика обработки английского языка: Если интерфейс не на английском, выбрать языки интерфейса как предпочтительные (Preferred), а английский как менее предпочтительный (Less Preferred).
4. Оценка характеристик результатов (SR Chars): Если интерфейс на английском, анализируется язык большинства результатов поиска. Если большинство на английском, выбрать его как предпочтительный. Иначе предпочтения могут не устанавливаться.
5. (Опционально): Добавить связанные языки (например, португальский, если предпочтителен испанский).

Процесс Б: Определение предпочтительной страны (FIG. 17)

1. Оценка характеристик интерфейса (IF Chars): Анализ интерфейса поисковой системы (например, google.co.uk). Если страна определена, выбрать ее.
2. Оценка характеристик IP (IP Chars): Если страна не определена на шаге 1, определить страну по IP-адресу клиента. Если определена, выбрать ее.
3. Оценка предпочтений пользователя: Если страна не определена на шаге 2, проверить сохраненные настройки пользователя (cookies/login).
4. (Опционально): Добавить связанные страны (например, США, если предпочтительна Канада).

Процесс В: Упорядочивание результатов (FIG. 11/20)

1. Определение метода упорядочивания: Система определяет, поддаются ли оценки результатов числовой корректировке (Numerically adjustable).
   • Если ДА: Использовать Weighting Factor (Процесс В1).
   • Если НЕТ: Использовать Shifting Factor (Процесс В2).

Процесс В1: Упорядочивание по Weighting Factor (FIG. 13/22)

1. Итерация по всем результатам поиска (в определенном диапазоне).
2. Проверка предпочтения: Если результат соответствует Preferred Language/Country.
3. Применение формулы (Preferred): Скорректировать оценку: $Score = \frac{Score+1}{2}$.
4. Проверка менее предпочтительного (только для языка): Если результат соответствует Less Preferred Language.
5. Применение формулы (Less Preferred): Скорректировать оценку: $Score = \frac{(Score \times 2)+1}{3}$.
6. Пересортировка: Пересортировать все результаты на основе новых оценок.

Процесс В2: Упорядочивание по Shifting Factor (FIG. 12/21)

1. Итерация по результатам поиска (обычно сверху вниз).
2. Проверка предпочтения: Если результат НЕ соответствует Preferred Language/Country.
3. Применение смещения: Понизить позицию результата на определенный фактор. В патенте приведен пример расчета целевой позиции (target_pos) как удвоенной текущей позиции (например, с 3 на 6).
4. Сдвиг других результатов: Поднять результаты, которые находились между старой и новой позицией, чтобы заполнить освободившееся место.
5. Обработка менее предпочтительного (только для языка): Если результат соответствует Less Preferred Language, понизить его на меньший фактор (например, в 1.5 раза).

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных для определения предпочтений пользователя и характеристик контента.

Данные для определения предпочтений пользователя:

• Географические факторы: IP-адрес клиента (IP Chars).
• Пользовательские факторы:
  • Явные настройки языка и страны, сохраненные пользователем (cookies или данные входа в систему).
  • Интерфейс поисковой системы (например, использование google.fr) (IF Chars).
• Технические факторы (Метаданные запроса):
  • HTTP-заголовки: Accept_Language, Accept_Charset (UI Chars).
  • HTTP-заголовки: Content_Language, Content_Type (SQ Chars).
• Системные данные: Распределение языков в топе выдачи (SR Chars).

Данные для определения страны документа (упомянуто в описании патента):

• Технические факторы: URL-структура (наличие ccTLD). IP-адрес веб-сервера. Адрес регистратора домена.
• Контентные факторы: Анализ контента документа или других страниц на сайте.
• Ссылочные факторы: Анкорный текст входящих ссылок, текст рядом со ссылками, страны веб-страниц, ссылающихся на документ.

Какие метрики используются и как они считаются

• Score (Оценка ранжирования): Базовая числовая оценка релевантности документа запросу. В патенте предполагается, что эти оценки могут быть в диапазоне от 0.0 до 1.0 для применения Weighting Factor.
• Weighting Factor (W_LP): Фактор для повышения оценки результатов на предпочтительном языке/стране. Формула: $W_{LP} = \frac{Score+1}{2}$.
• Weighting Factor (W_LPL): Фактор для повышения оценки результатов на менее предпочтительном языке. Формула: $\frac{Score+1}{2}$