Как Google сегментирует глобальный индекс на региональные части для повышения эффективности и локальной релевантности

Термины и определения

Corpus of documents (Корпус документов)

Вся совокупность документов (например, веб-страниц), известных поисковой системе.

Datacenter (Дата-центр)

Физическое расположение серверов, обрабатывающих поисковые запросы, обычно обслуживающее определенный географический регион.

Global Index Selection Score (Глобальная оценка выбора для индекса)

Метрика качества и популярности документа в мировом масштабе. Используется для определения Replicated Content. Синоним Global Quality Score. В качестве примера фактора упоминается Pagerank.

Predominant Language (Преобладающий язык)

Язык, который наиболее часто используется в запросах, поступающих в конкретный дата-центр.

Quality Score (Оценка качества)

Общий термин для оценки документа. Может быть глобальной (Global Quality Score) или региональной (Regional Quality Score).

Regional Content (Региональный контент)

Часть индекса, уникальная для конкретного дата-центра. Состоит из документов, которые не попали в Replicated Content, но соответствуют характеристикам локальных запросов (например, языку) и имеют достаточную оценку качества.

Regional Index Selection Score (Региональная оценка выбора для индекса)

Метрика качества и популярности документа, рассчитанная на основе данных конкретного региона или дата-центра. Синоним Regional Quality Score.

Replicated Content (Реплицируемый контент)

Часть индекса, которая идентична во всех дата-центрах. Состоит из документов с наивысшими Global Quality Scores.

Trained Model (Обученная модель)

Модель, построенная на основе анализа логов запросов дата-центра (например, распределения языков). Используется для фильтрации и отбора документов для Regional Content.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод построения распределенных индексов.

1. Построение индекса Replicated Content из первых документов. Критерий отбора: эти документы имеют высокую оценку качества (search result quality score), определенную в нескольких дата-центрах (т.е. глобально). Дата-центры расположены в разных регионах и имеют разные преобладающие языки.
2. Построение индекса Regional Content из вторых документов для конкретного дата-центра. Критерии отбора: (i) документы популярны как результаты поиска в этом дата-центре, (ii) написаны на преобладающем языке (predominant language) этого дата-центра, и (iii) НЕ включают первые документы (т.е. не входят в Replicated Content).
3. Репликация индекса Replicated Content в несколько дата-центров.
4. Предоставление индекса Regional Content конкретному дата-центру.

Ядром изобретения является метод сегментации индекса на глобальную и региональную части, где региональная часть определяется языком и локальной популярностью, и обе части не пересекаются.

Claim 2 (Зависимый от 1): Уточняет метод определения Predominant Language.

Преобладающий язык определяется путем сравнения количества запросов на этом языке, полученных в дата-центре, с количеством запросов на других языках в этом же дата-центре.

Claim 5 (Зависимый от 1): Уточняет взаимосвязь размеров индексов.

Общее количество документов в индексе Regional Content зависит от общего количества документов в индексе Replicated Content. Это подразумевает, что общий размер индекса в дата-центре ограничен, и эти две части делят доступное пространство.

Где и как применяется

Изобретение в первую очередь относится к этапу организации данных в поисковой системе.

CRAWLING – Сканирование и Сбор данных
На этом этапе собирается весь Corpus of documents, который является исходным материалом для построения индексов.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. На этом этапе происходит расчет глобальных и региональных оценок качества (Quality Scores). Затем происходит процесс сегментации корпуса и построения как глобального Replicated Content, так и локальных Regional Content индексов. Это определяет, какой набор документов будет физически доступен для поиска в каждом конкретном дата-центре.

QUNDERSTANDING – Понимание Запросов
Данные логов запросов (язык, происхождение) анализируются (офлайн) для определения Predominant Language и построения Trained Model для каждого дата-центра.

RANKING – Ранжирование
Когда пользователь отправляет запрос, система направляет его в ближайший дата-центр. Ранжирование происходит с использованием того комбинированного индекса (Replicated + Regional), который физически находится в этом дата-центре. В патенте также описан вариант, когда система может перенаправить запрос в дата-центр, соответствующий языку запроса, даже если он не является ближайшим.

Входные данные:

• Весь корпус документов (Corpus of world-wide documents).
• Глобальные оценки качества (Global Quality Scores) для документов (включая PageRank).
• Логи запросов из региональных дата-центров (включая язык и данные о популярности/показах).
• Региональные оценки качества (Regional Quality Scores).

Выходные данные:

• Глобальный индекс Replicated Content.
• Набор уникальных индексов Regional Content для каждого дата-центра.

На что влияет

• Географические и языковые ограничения: Патент напрямую влияет на обработку контента в зависимости от языка и региона. Он обеспечивает приоритетную индексацию локального языкового контента в соответствующих региональных дата-центрах. Контент на определенном языке может не попасть в индекс дата-центра, где этот язык не популярен, если он не имеет глобально высокого Quality Score.
• Конкретные типы контента: Влияет на контент, который имеет высокую локальную популярность, но недостаточную глобальную авторитетность для попадания в основной индекс (Replicated Content).

Когда применяется

Описанные процессы применяются во время построения и обновления поисковых индексов.

• Временные рамки и частота применения: Это офлайн или пакетный процесс. Анализ логов запросов для построения Trained Model может охватывать значительный период (в патенте упоминаются примеры от 1 до 12 месяцев).
• Условия применения: Применяется глобально для всех дата-центров и всего корпуса документов с целью создания эффективной распределенной индексной инфраструктуры.

Пошаговый алгоритм

Процесс А: Построение глобального индекса

1. Сбор данных и оценка: Система анализирует весь корпус документов и присваивает каждому документу глобальную оценку качества (Global Quality Score).
2. Отбор реплицируемого контента: Выбирается набор документов с наивысшими глобальными оценками качества. Количество выбираемых документов определяется выделенным объемом (в патенте приводятся примеры от 30% до 50-75% от общего размера индекса).
3. Формирование и распространение: Из отобранных документов строится индекс Replicated Content, который копируется во все региональные дата-центры.

Процесс Б: Построение регионального индекса (выполняется для каждого дата-центра)

1. Анализ локальных запросов: Анализируются логи запросов, полученных в дата-центре, для определения распределения языков и выявления преобладающего языка (Predominant Language).
2. Построение модели и расчет региональных оценок: На основе характеристик запросов строится Trained Model. Также рассчитывается Regional Quality Score для документов на основе их популярности в данном регионе.
3. Фильтрация корпуса: Модель применяется к оставшейся части корпуса (документы, НЕ вошедшие в Replicated Content).
4. Отбор регионального контента: Отбираются документы, которые соответствуют критериям модели (например, преобладающему языку) и имеют наивысшие оценки качества среди оставшихся. Патент допускает использование как Global Quality Score, так и Regional Quality Score на этом этапе. Отбор продолжается до заполнения оставшегося объема индекса.
5. Финальная сборка: Индекс Regional Content объединяется с индексом Replicated Content в данном дата-центре.

Процесс В: Обработка запроса (runtime)

1. Получение и маршрутизация запроса: Запрос пользователя поступает в систему и обычно направляется в географически ближайший дата-центр.
2. (Опционально) Перенаправление по языку: Система может проанализировать язык запроса и перенаправить его в другой дата-центр, если он лучше соответствует языку (например, запрос на китайском из США может быть перенаправлен в китайский дата-центр).
3. Поиск и ранжирование: Запрос обрабатывается с использованием комбинированного индекса (Replicated + Regional), доступного в этом дата-центре.

Какие данные и как использует

Данные на входе

• Ссылочные факторы: Явно упоминается PageRank как фактор, используемый при расчете Global Index Selection Score и Regional Index Selection Score. Это ключевой элемент для определения Quality Score.
• Поведенческие факторы: Используются логи запросов (query logs) и показы страниц (page impressions), генерируемые запросами в дата-центре. Эти данные используются для определения популярности документов в регионе и расчета Regional Index Selection Score.
• Географические факторы: Местоположение дата-центра и географическое происхождение запросов (определяемое по IP-адресу клиента) используются для привязки логов запросов к конкретному региону и маршрутизации запросов.
• Языковые факторы: Язык документа и язык запроса являются критически важными. Они используются для определения Predominant Language дата-центра и являются основным критерием для включения документа в Regional Content.

Какие метрики используются и как они считаются

• Global Index Selection Score / Global Quality Score: Глобальная оценка качества документа. Рассчитывается на основе мировых данных о популярности (включая PageRank). Используется для отбора Replicated Content.
• Regional Index Selection Score / Regional Quality Score: Региональная оценка качества документа. Рассчитывается на основе популярности документа (показы) только среди пользователей, обслуживаемых конкретным дата-центром, и может также включать PageRank. Используется для отбора Regional Content.
• Predominant Language: Определяется путем статистического анализа распределения языков в логах запросов конкретного дата-центра (какой язык встречается чаще всего).
• Trained Model: Модель, которая взвешивает документы на основе их характеристик (например, языка) и соответствия профилю запросов дата-центра для отбора Regional Content.

1. Инфраструктура определяет доступность: Патент описывает архитектуру построения индекса, а не алгоритмы ранжирования. Он определяет, какие документы физически доступны для ранжирования в конкретном регионе. Google оптимизирует хранение, не копируя весь корпус документов в каждый дата-центр.
2. Явная сегментация индекса: Индекс разделен на две непересекающиеся части: глобально важный контент (Replicated Content), который индексируется везде, и локально релевантный (Regional Content), который индексируется только в соответствующих регионах.
3. Критерии глобальной индексации: Для попадания в Replicated Content требуется исключительно высокий Global Quality Score (упоминается PageRank). Это единственный способ гарантировать доступность документа во всех регионах.
4. Критерии локальной индексации: Чтобы документ попал в Regional Content, он должен: (А) не быть достаточно сильным для Replicated Content, (Б) соответствовать характеристикам региона (в первую очередь, Predominant Language), и (В) иметь достаточно высокий Quality Score (глобальный или региональный) среди оставшихся кандидатов.
5. Важность локальной популярности: Патент подчеркивает использование региональных поведенческих данных для расчета Regional Quality Score. Это позволяет индексировать контент, который важен локально, но не имеет достаточной глобальной авторитетности.
6. Гибкая маршрутизация запросов: Система может перенаправлять запросы между дата-центрами на основе языка запроса для улучшения релевантности, независимо от физического местоположения пользователя.

Best practices (это мы делаем)

Рекомендации основаны на понимании архитектуры индексации, описанной в патенте, и критически важны для международного SEO.

• Построение глобальной авторитетности (для попадания в Replicated Content): Развивайте сайт для достижения максимального глобального Quality Score (PageRank, E-E-A-T). Это гарантирует включение сайта в Replicated Content и его доступность во всех дата-центрах по всему миру. Это особенно важно для международных брендов.
• Четкое таргетирование языка и региона: Используйте стандартные методы (hreflang, ccTLDs, локализованный контент) для четкого указания целевого языка и региона. Это необходимо, чтобы контент соответствовал Predominant Language целевого дата-центра и рассматривался для включения в Regional Content.
• Построение локальной популярности (для попадания в Regional Content): Для контента, таргетированного на конкретный регион, необходимо развивать локальную популярность и авторитетность. Получайте локальные ссылки и стимулируйте локальный трафик и вовлеченность. Это повышает Regional Quality Score, что увеличивает шансы на включение в Regional Content, даже если глобальная авторитетность средняя.
• Оптимизация под преобладающий язык: Создавайте высококачественный контент на языке, который является преобладающим в целевом регионе. Патент явно использует язык как основной критерий для отбора регионального контента.

Worst practices (это делать не надо)

• Конфликтующие гео/языковые сигналы: Размещение контента с противоречивыми сигналами (например, контент на немецком языке на домене .br без четких языковых указаний) может привести к тому, что документ не будет соответствовать Trained Model нужного региона и не попадет в соответствующий Regional Content.
• Автоматический перевод без локализации: Создание низкокачественного переведенного контента без построения локальных сигналов. Такой контент может соответствовать языку, но иметь низкий Regional Quality Score, из-за чего не попадет в Regional Content.
• Игнорирование глобальной авторитетности при международном продвижении: Если сайт не имеет достаточной глобальной авторитетности для попадания в Replicated Content, его видимость будет строго ограничена теми регионами, в чей Regional Content он сможет попасть по локальным критериям.

Стратегическое значение

Патент подтверждает, что для успешного международного SEO необходима двухуровневая стратегия. Первый уровень — построение глобального авторитета, что обеспечивает базовую индексацию по всему миру (Replicated Content). Второй уровень — целенаправленная работа в ключевых регионах для повышения локальной релевантности и популярности (Regional Content). Понимание того, что индексы в разных дата-центрах физически отличаются, подчеркивает важность обеспечения попадания сайта в индекс целевого региона.

Практические примеры

Сценарий 1: Индексация глобального авторитетного ресурса

• Сайт: Wikipedia (английский раздел).
• Действие: Благодаря огромной глобальной авторитетности и PageRank, основные статьи Wikipedia имеют высочайший Global Quality Score.
• Результат: Эти статьи попадают в Replicated Content и доступны для ранжирования в любом дата-центре мира (США, Бразилия, Япония), независимо от локального языка.

Сценарий 2: Индексация локального бизнеса

• Сайт: Качественный сайт ресторана в Лиссабоне на португальском языке.
• Действие: Сайт имеет среднюю авторитетность и релевантен запросам на португальском языке. Он не попадает в Replicated Content. Система анализирует логи дата-центра, обслуживающего Португалию, и определяет португальский как Predominant Language. Сайт соответствует критериям Trained Model и имеет достаточный Regional Quality Score.
• Результат: Сайт включается в Regional Content португальского дата-центра. Он хорошо ранжируется локально, но может быть недоступен в индексе дата-центра, например, в Германии.