Как Google помогает пользователям найти правильную языковую версию страницы, исправляя ошибки маршрутизации

Термины и определения

Alternative Version (Альтернативная версия)

Вариант веб-страницы, обычно на другом языке или для другого региона, содержащий аналогичный (similar) контент. Может включать перевод, выполненный человеком (human translated version).

Cluster Information (Информация о кластере)

Индексированные данные, которые связывают веб-страницы с похожим контентом на разных языках. Используется для быстрого поиска альтернативных версий.

Language Indicators (Языковые индикаторы)

Сигналы, используемые для определения языковых предпочтений пользователя. Включают параметры URL (например, hl=), cookies, заголовок запроса Accept-Language, User Agent и IP-адрес.

Language Preference (Языковое предпочтение)

Один или несколько языков, на которых пользователь предпочитает получать контент. Может быть представлено в виде упорядоченного списка (ordered list). Определяется на основе явных настроек пользователя или выводится из Language Indicators.

Parallel Data (Параллельные данные)

Данные, полученные в результате сравнения веб-страниц, которые указывают на то, что страницы являются альтернативными версиями друг друга. Примеры включают схожесть структуры URL (отличия только в кодах языка) или наличие похожих документов/изображений.

Ключевые утверждения (Анализ Claims)

Формула изобретения сосредоточена на специфическом сценарии исправления ошибок маршрутизации, связанных с языком.

Claim 1 (Независимый пункт): Описывает метод на стороне сервера.

1. Сервер определяет предпочтительный язык (preferred language) пользователя.
2. Сервер получает ввод (запрос или часть URL) и предоставляет результаты.
3. Сервер получает явный запрос на первую веб-страницу (Page 1), язык которой отличается от предпочтительного.
4. Ключевое условие: этот запрос был сгенерирован из-за ошибки маршрутизации (error in routing) исходного запроса на другую страницу.
5. В ответ сервер идентифицирует вторую веб-страницу (Page 2), которая является альтернативной версией Page 1 и соответствует предпочтительному языку.
6. Сервер предоставляет информацию для доступа к Page 2.

Claim 4 (Независимый пункт): Описывает аналогичный процесс с точки зрения клиентского устройства (например, браузера), взаимодействующего с сервером для исправления ошибки маршрутизации и получения доступа к правильной языковой версии (Page 2) вместо ошибочно запрошенной (Page 1).

Claims 2 и 3 (Зависимые): Уточняют, как идентифицируется альтернативная страница (Page 2). Это делается с использованием Cluster Information — заранее сгенерированных данных, связывающих страницы с похожим контентом на разных языках.

Claim 9 (Зависимый, от Claim 8, который зависит от 7): Описывает метод генерации этих связей (кластеров):

1. Обнаружение контента на первой странице и других страницах.
2. Сравнение контента для выявления схожести, включающей Parallel Data.
3. Идентификация страниц с похожим контентом как набора альтернативных версий.

Claims 5, 11, 13, 15 (Зависимые): Детализируют процесс предоставления результата. Система может автоматически отображать правильную версию (Page 2) без показа неправильной (Page 1) (Claim 5). Система может активно предотвращать доступ (preventing... from accessing) к неправильной версии, предоставляя вместо нее правильную (Claims 11, 13, 15).

Claims 16, 17, 18 (Зависимые): Уточняют причину ошибки маршрутизации. Ошибка может быть вызвана обнаруженной геолокацией (detected geolocation) устройства. Это означает, что система исправляет ситуации, когда геолокация пользователя ошибочно привела к выбору неправильного языка вопреки его предпочтениям.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поиска, обеспечивая корректную доставку локализованного контента.

CRAWLING – Сканирование и Сбор данных
На этом этапе система должна обнаружить различные языковые версии контента в интернете.

INDEXING – Индексирование и извлечение признаков
Это критически важный этап для данного патента. Система выполняет офлайн-обработку:

• Определяет язык каждой страницы.
• Анализирует Parallel Data и спецификации владельцев сайтов (web page specified by a site owner).
• Выполняет сравнение контента (Document Similarity) для выявления страниц с похожим содержанием на разных языках.
• Генерирует Cluster Information, связывая альтернативные версии вместе.

RANKING / RERANKING – Ранжирование / Переранжирование
На этапе формирования выдачи система старается выбрать наиболее подходящую версию из кластера на основе Language Preference и Language Indicators пользователя.

Обработка Запроса (Post-Click / Redirection)
Основное применение патента, описанное в Claims, происходит здесь. Это механизм исправления ошибок (failsafe mechanism).

• Если на предыдущих этапах произошла ошибка маршрутизации (например, приоритет был отдан геолокации вместо предпочтений), система перехватывает запрос.
• Она использует Cluster Information, чтобы найти правильную версию и перенаправить пользователя.

Входные данные:

• Запрос пользователя (URL или поисковый запрос).
• Language Preference пользователя (настройки, история).
• Language Indicators (IP, Геолокация, Accept-Language).
• Cluster Information (из индекса).

Выходные данные:

• Информация для доступа к веб-странице, язык которой соответствует предпочтениям пользователя.

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние оказывается на сайты с мультиязычным контентом: международный e-commerce, глобальные бренды, новостные порталы, информационные ресурсы, ориентированные на разные страны.
• Языковые и географические ограничения: Патент напрямую связан с управлением этими аспектами, обеспечивая корректную локализацию контента для пользователей независимо от их физического местоположения.

Когда применяется

• Триггеры активации: Механизм активируется, когда обнаруживается несоответствие между языком запрошенной веб-страницы и предпочтительным языком пользователя.
• Особые случаи (согласно Claims): Основной сценарий применения — исправление ошибки маршрутизации (error in routing), когда система изначально направила пользователя на неправильную версию, например, основываясь на геолокации, которая противоречит явным языковым предпочтениям.

Пошаговый алгоритм

Процесс А: Офлайн-обработка (Индексирование и Кластеризация)

1. Сбор данных: Сканирование веб-страниц.
2. Определение языка: Идентификация основного языка контента каждой страницы.
3. Выявление связей: Анализ Parallel Data (схожесть URL, структура сайта) и спецификаций владельца сайта.
4. Сравнение контента: Оценка схожести контента между страницами на разных языках. Может включать машинный перевод документов на общий базовый язык (common base language) для сравнения.
5. Кластеризация: Группировка страниц с идентичным или очень похожим контентом на разных языках в кластеры и сохранение Cluster Information в индексе.

Процесс Б: Онлайн-обработка (Обработка запроса и Исправление ошибок)

1. Получение запроса и предпочтений: Идентификация запроса пользователя и определение его Language Preference (возможно, используя упорядоченный список предпочтений).
2. Начальная маршрутизация: Попытка направить пользователя к контенту на основе всех доступных сигналов.
3. Обнаружение ошибки маршрутизации: Система определяет, что в результате маршрутизации была запрошена страница (Page 1), язык которой не соответствует предпочтениям пользователя (например, из-за приоритета detected geolocation).
4. Идентификация альтернативы: Система обращается к Cluster Information, связанной с Page 1.
5. Выбор альтернативы: Поиск в кластере версии (Page 2), которая соответствует предпочтительному языку пользователя.
6. Перенаправление: Предоставление пользователю доступа к Page 2. Система может сделать это автоматически и предотвратить загрузку Page 1.

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных для определения предпочтений пользователя и идентификации альтернативных версий контента.

• Географические факторы: IP-адрес и геолокация. В патенте они упоминаются как потенциальный источник ошибок маршрутизации, которые система призвана исправлять.
• Пользовательские факторы:
  • Явные Language Preference (настройки аккаунта, специфичные для приложения переопределения).
  • Cookies.
  • Заголовок браузера Accept-Language.
  • User Agent.
• Технические факторы: Параметры URL (например, hl=), используемые для указания языка.
• Контентные факторы: Содержимое веб-страниц используется для определения языка и сравнения схожести при формировании кластеров.
• Структурные факторы: Спецификации владельца сайта (подразумевается использование механизмов типа hreflang в HTML/Sitemap) и структура URL (Parallel Data).

Какие метрики используются и как они считаются

• Определение языка (Language Detection): Алгоритмы для идентификации основного языка веб-страницы.
• Схожесть документов (Document Similarity): Метрики и алгоритмы для оценки степени схожести контента между двумя документами. Патент упоминает, что для сравнения документы могут быть машинно переведены на общий базовый язык.
• Сопоставление предпочтений (Preference Matching): Сравнение упорядоченного списка языковых предпочтений пользователя с доступными языковыми версиями в кластере для выбора наилучшего соответствия.

1. Приоритет явных предпочтений над геолокацией: Патент подчеркивает, что система Google предназначена для исправления ошибок, когда сигналы геолокации (IP-адрес) ошибочно переопределяют языковые предпочтения пользователя. Явные настройки пользователя имеют высокий приоритет.
2. Кластеризация локализованного контента: Ключевым элементом системы является способность идентифицировать и группировать эквивалентный контент на разных языках (Cluster Information) во время индексирования. Это основа для всей работы международного поиска.
3. Множественные сигналы для идентификации альтернатив: Google использует комбинацию методов для формирования кластеров: автоматическое сравнение контента, анализ параллельных данных (Parallel Data) и учет спецификаций, предоставленных владельцами сайтов (site owner specifications).
4. Автоматическое и превентивное перенаправление: Система может не просто предлагать альтернативу, но и автоматически перенаправлять пользователя, предотвращая доступ (preventing access) к странице на неправильном языке.
5. Инфраструктура для международного SEO: Патент демонстрирует сложную инфраструктуру, созданную для обработки мультиязычного контента. SEO-специалисты должны предоставлять четкие и последовательные сигналы, чтобы помочь этой инфраструктуре правильно кластеризовать их контент.

Best practices (это мы делаем)

• Безупречная реализация hreflang: Это основной способ предоставить «спецификации владельца сайта», упомянутые в патенте. Корректное использование hreflang (в HTML, HTTP-заголовках или Sitemap) помогает Google точно формировать Cluster Information и связывать альтернативные версии.
• Четкие языковые сигналы на странице: Убедитесь, что язык каждой страницы легко определяется. Используйте атрибут HTML lang и избегайте смешивания нескольких языков в основном контенте. Это облегчает этап определения языка при индексировании.
• Поддержание консистентности контента: Альтернативные версии должны содержать схожий контент. Если локализованные версии слишком сильно отличаются, система может не распознать их как эквиваленты (на основе требования «similar content») и не сможет объединить их в кластер.
• Использование чистых и логичных URL-структур: Размещайте локализованный контент в отдельных подкаталогах (site.com/de/) или субдоменах (de.site.com). Это помогает системе идентифицировать Parallel Data на основе схожести URL.
• Доступность альтернативных версий: Убедитесь, что все языковые версии доступны для сканирования и индексирования. Используйте явные ссылки (переключатели языков) между версиями.

Worst practices (это делать не надо)

• Агрессивное автоматическое перенаправление по IP на вашем сайте: Это часто противоречит предпочтениям пользователя и может мешать Googlebot сканировать все версии. Патент явно указывает, что Google стремится исправлять ошибки, вызванные геолокацией. Лучше предлагать выбор, а не принудительно перенаправлять.
• Игнорирование hreflang или его неправильная реализация: Это заставляет Google полагаться исключительно на автоматические методы (сравнение контента, Parallel Data), что увеличивает риск ошибок при кластеризации.
• Создание «тонких» локализованных версий: Если локализованная версия содержит значительно меньше информации, чем основная, она может не быть признана эквивалентной (не соответствовать критерию similar content) и не будет включена в кластер.
• Использование cookies или скриптов для отображения языка без изменения URL: Это затрудняет индексирование отдельных языковых версий и формирование кластеров.

Стратегическое значение

Патент подтверждает стратегическую важность надежной архитектуры для международного SEO. Google инвестирует значительные ресурсы в то, чтобы понимать и кластеризовать локализованный контент. Стратегия должна быть направлена на максимальное содействие этим процессам. Предоставление четких сигналов (в первую очередь hreflang) минимизирует вероятность того, что Google ошибется при определении релевантности ваших страниц для пользователей в разных странах и с разными языковыми предпочтениями.

Практические примеры

Сценарий: Обеспечение правильной кластеризации контента для международного E-commerce.

1. Ситуация: Компания продает товар в США (язык en-US) и Германии (язык de-DE). У товара есть две отдельные страницы с разными URL.
2. Задача SEO: Гарантировать, что Google распознает эти две страницы как альтернативные версии одного и того же товара (сформирует кластер).
3. Действия: Реализовать hreflang. На странице США добавить: <link rel="alternate" hreflang="de-DE" href="https://site.com/de/product" />. На странице Германии добавить: <link rel="alternate" hreflang="en-US" href="https://site.com/us/product" />.
4. Как это работает (согласно патенту): Во время индексирования Google использует эти «спецификации владельца сайта» для создания Cluster Information.
5. Ожидаемый результат: Когда пользователь в Германии ищет товар, Google использует информацию из кластера, чтобы показать URL de-DE. Если пользователь с предпочтением немецкого языка случайно попадет на версию США (например, из-за ошибки маршрутизации, основанной на временном IP), механизмы, описанные в патенте, смогут автоматически перенаправить его на версию de-DE.