Как Google автоматически определяет связанные домены (например, международные версии сайта) и переранжирует их для повышения локальной релевантности и разнообразия выдачи

Описание

Какую задачу решает

Патент решает проблему избыточности (redundancy) и снижения разнообразия в поисковой выдаче (SERP Diversity). Эта проблема возникает, когда в топе ранжируются несколько доменов, принадлежащих одной и той же организации (например, www.brand.com, www.brand.co.uk и www.brand.fr). Присутствие таких повторяющихся результатов (Host Crowding) может скрывать другие уникальные ресурсы и снижать эффективность поиска для пользователя.

Что запатентовано

Запатентована система для идентификации аффилированных доменов (affiliated domains) и метод использования этой информации для корректировки поисковой выдачи с учетом местоположения пользователя. Аффилированность определяется на основе анализа ссылочных связей (linkage) между доменами и сходства их имен (hostname analogy), в частности, совпадения домена второго уровня (SLD). Система направлена на повышение разнообразия путем понижения (demotion) избыточных результатов или на улучшение локализации путем изменения порядка (swapping) аффилированных результатов.

Как это работает

Система работает в два основных этапа:

1. Офлайн-идентификация (Индексирование): Система анализирует структуру ссылок в интернете и имена хостов. Согласно ключевым пунктам патента (Claims), домены считаются аффилированными, если они связаны ссылками И имеют одинаковое доменное имя второго уровня (SLD). Эта информация сохраняется в индексе.
2. Применение при ранжировании (Переранжирование): При получении запроса система определяет местоположение пользователя и генерирует начальный список результатов. Затем она идентифицирует локальные домены (local domains) в выдаче. Если обнаруживаются другие аффилированные с ними домены, система модифицирует выдачу. Нелокальные версии могут быть понижены (demotion) для увеличения разнообразия, или локальная версия может быть поднята выше глобальной/иностранной версии (swapping).

Актуальность для SEO

Высокая. Управление разнообразием выдачи и локализация результатов остаются критически важными задачами для Google. Хотя современные системы могут использовать дополнительные сигналы (например, hreflang, который не упоминается в этом патенте 2007 года), фундаментальные концепции автоматического определения связей на основе ссылок и имен, а также механизмы Demotion и Swapping, остаются актуальными для международного SEO.

Важность для SEO

Патент имеет высокое значение (8.5/10) для SEO, особенно для международных проектов и крупных брендов с мультидоменной структурой (например, использующих ccTLDs). Он раскрывает конкретные механизмы, которые Google может использовать для автоматической группировки различных версий сайта и выбора того, какую версию показать пользователю. Это напрямую влияет на стратегии интерлинковки между международными версиями, выбор доменной архитектуры и понимание того, как Google может предпочесть локальную версию глобальной.

Детальный разбор

Термины и определения

Affiliated Domains (Аффилированные домены)

Домены, идентифицированные как связанные друг с другом. В контексте основных Claims патента, это домены, которые имеют ссылочную связь И одинаковое доменное имя второго уровня (SLD).

Analogous Hostnames (Аналогичные имена хостов)

Имена хостов, имеющие общие черты, в первую очередь — совпадение доменного имени второго уровня (SLD).

ccTLD (Country Code Top-Level Domain)

Домен верхнего уровня с кодом страны (например, .fr, .ca). Используется как сигнал географической принадлежности.

Demotion (Понижение)

Процесс снижения позиции результата в выдаче. Применяется к аффилированным доменам для увеличения разнообразия SERP.

Global Domain (Глобальный домен)

Домен, не связанный с конкретным географическим местоположением. Часто имеет общий TLD (например, .com) и может выступать в роли «родительского» домена (Parent Domain).

Linked Domains (Связанные домены)

Домены, соединенные цепочкой прямых ссылок. Directly linked (Прямая связь): Один домен содержит гиперссылки на ресурсы другого. Связь может быть односторонней (unilaterally) или взаимной (mutually).

Local Domain (Локальный домен)

Домен, географическая информация которого (ccTLD, язык контента, локальный контент) соответствует предполагаемому местоположению пользователя.

Presumption Heuristics (Эвристики предположений)

Правила, используемые для определения того, следует ли менять местами ранги аффилированных доменов. Основаны на предположениях о предпочтениях пользователя (например, предпочтение локального контента глобальному).

Second-Level Domain (SLD) (Домен второго уровня)

Часть имени хоста слева от домена верхнего уровня (например, ‘random’ в www.random.com).

Swapping (Замена позиций/Перестановка)

Процесс изменения рангов двух аффилированных результатов местами. Используется для повышения позиции более релевантного для пользователя результата.

Ключевые утверждения (Анализ Claims)

Хотя в описании патента обсуждаются различные методы определения аффилированности (например, только по ссылкам, или с использованием WHOIS), формула изобретения (Claims) защищает конкретный метод модификации выдачи, использующий строгое определение.

Claim 1 (Независимый пункт): Описывает основной процесс модификации поисковой выдачи на основе местоположения пользователя и аффилированности доменов.

1. Система получает начальные результаты поиска в виде упорядоченного списка.
2. Определяется местоположение пользователя.
3. Идентифицируется множество локальных доменов (local domains), соответствующих этому местоположению.
4. Идентифицируется первый результат в списке, соответствующий первому веб-домену (D1), который является локальным доменом.
5. Идентифицируется второй результат в списке, соответствующий второму веб-домену (D2), который обозначен как аффилированный с D1.
6. Ключевое условие аффилированности: Для целей этого процесса (Claim 1), D2 считается аффилированным, если он связан ссылками (linked) с D1 И имеет то же доменное имя второго уровня (SLD), что и D1. Связь определяется наличием гиперссылок между ресурсами доменов.
7. Упорядоченный список результатов модифицируется путем изменения позиции второго результата.
8. Список предоставляется пользователю.

Ядром изобретения является использование строго определенных критериев аффилиации (ссылки + имя) для изменения ранжирования в реальном времени на основе локации пользователя.

Claim 2, 3, 4 (Зависимые): Уточняют, что изменение позиции может включать:

• Понижение (Demoting) (Claim 2).
• Повышение (Promoting) (Claim 3).
• Кластеризацию (Clustering) — размещение аффилированных результатов рядом (Claim 4).

Claim 8, 9 (Зависимые): Детализируют механизм корректировки.

• Понижение может включать замену ранга (swapping a rank) (Claim 8).
• Замена рангов выполняется в соответствии с эвристиками предположений (presumption heuristics) (Claim 9).

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, используя данные, собранные во время сканирования и индексирования, для влияния на финальное переранжирование.

CRAWLING – Сканирование и Сбор данных
Сбор данных о гиперссылках между доменами, которые являются основой для определения linked domains.

INDEXING – Индексирование и извлечение признаков
Происходит офлайн-процесс идентификации аффилированных доменов.

• Анализ структуры: Система анализирует граф ссылок и имена хостов (SLD и TLD).
• Определение локальности: Определяются признаки локальности доменов (язык, контент, ccTLD).
• Идентификация аффилированности: Система комбинирует данные о ссылках и хостнеймах для определения групп аффилированных доменов. Результаты сохраняются в индексе аффилированности доменов.

QUNDERSTANDING – Понимание Запросов
Система определяет предполагаемое местоположение пользователя (inferred location) на основе IP-адреса, языковых настроек или домена поисковой системы.

RERANKING – Переранжирование (Twiddlers)
Основной этап применения патента. Это механизм корректировки, направленный на улучшение разнообразия (Diversity) и локализации (Localization).

• Идентификация кластеров и локальности: Система определяет группы аффилированных доменов в выдаче и сравнивает локацию пользователя с локациями доменов для определения local domains.
• Применение логики (Twiddlers): Система применяет логику Demotion (для повышения разнообразия, понижая избыточные нелокальные аффилиаты) и/или Swapping (для оптимизации кластера, гарантируя, что наиболее релевантная версия находится выше).

Входные данные:

• Исходный упорядоченный список результатов поиска.
• Предполагаемое местоположение пользователя.
• Индекс аффилированности доменов.
• Данные о локальности/глобальности доменов.

Выходные данные:

• Модифицированный список результатов поиска с измененными позициями аффилированных доменов.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на международные организации, глобальные бренды, мультиязычные новостные порталы и международный e-commerce, которые используют разные домены (особенно ccTLDs) для разных регионов.
• Специфические запросы: Влияет на запросы (особенно брендовые или общие), по которым релевантны несколько версий одного и того же сайта.
• Языковые и географические ограничения: Механизм напрямую зависит от способности системы определить локальность домена и местоположение пользователя.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда в исходном наборе поисковых результатов идентифицировано более одного домена из группы аффилированных доменов (Host Crowding) и система может определить местоположение пользователя.
• Условие применения (согласно Claims): Как минимум один из аффилированных доменов в выдаче классифицирован как local domain для данного пользователя.

Пошаговый алгоритм

Процесс А: Офлайн-идентификация аффилированных доменов (INDEXING)

1. Сбор данных: Идентификация множества доменов и анализ ссылочных связей между ними (граф ссылок).
2. Выбор первого домена: Выбор домена для анализа (например, глобального/родительского домена).
3. Идентификация связанных доменов (Linked Domains): Поиск доменов, связанных с первым доменом цепочкой прямых ссылок.
4. Идентификация аналогичных хостов (Analogous Hostnames): Поиск доменов с тем же доменным именем второго уровня (SLD).
5. Определение аффилированности: Комбинирование информации. Claim 1 требует пересечения (наличие связи И схожего имени).
6. Сохранение данных: Запись информации об аффилированности в индекс.
7. Итерация: Повторение процесса для других доменов.

Процесс Б: Модификация поисковой выдачи (RERANKING)

1. Получение запроса и локации: Получение запроса и определение предполагаемого местоположения пользователя.
2. Получение исходных результатов: Получение упорядоченного списка результатов.
3. Детектирование локальных доменов: Идентификация результатов, соответствующих доменам, локальным для пользователя.
4. Идентификация аффилиатов: Идентификация результатов, соответствующих доменам, аффилированным с обнаруженными локальными доменами (используя офлайн-индекс).
5. Применение Demotion (Понижение): Понижение результатов, соответствующих аффилированным доменам (часто нелокальным) для увеличения разнообразия.
6. (Опционально) Применение Swapping (Замена позиций): Изменение позиций аффилированных результатов между собой на основе эвристик предположений. Например, повышение локального домена за счет понижения нелокального или глобального аффилиата, который изначально ранжировался выше.
7. Презентация результатов: Отображение модифицированного списка пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании структурных, ссылочных и географических данных.

• Ссылочные факторы: Критически важны. Наличие навигационных гиперссылок между ресурсами на разных доменах. Используется для определения Linked Domains. Учитывается направление связи (односторонняя или взаимная) и количество шагов в цепочке.
• Технические/Структурные факторы (Хостнеймы): Анализ URL. Доменное имя второго уровня (SLD) используется для поиска сходства (hostname analogy). Домен верхнего уровня (ccTLD) используется для определения географической регистрации.
• Географические и Пользовательские факторы:
  • Пользователь: IP-адрес, языковые предпочтения, местоположение поискового движка (например, google.it). Используются для определения местоположения пользователя.
  • Домен: ccTLD, язык контента, наличие локального контента (новости, адреса).
• (Упоминается в описании): IP-адреса доменов, данные регистрации доменов (WHOIS), схожесть контента могут использоваться как дополнительные факторы идентификации.

Какие метрики используются и как они считаются

• Критерий связанности (Linkage): Наличие (Да/Нет) навигационной ссылки. Может также учитываться количество шагов в цепочке ссылок (Linkage Steps).
• Критерий сходства хостнеймов (Hostname Analogy): Соответствие доменного имени второго уровня (SLD).
• Критерий аффилированности: В контексте Claim 1 рассчитывается как: (Linkage == Да) И (Hostname Analogy == Да).
• Метрика локальности (Locality Match): Определение соответствия между географией домена и местоположением пользователя.
• Эвристики предположений (Presumption Heuristics): Набор правил, определяющих приоритет при замене позиций. Примеры правил:
  • Локальный > Глобальный > Нелокальный (Иностранный).
  • Близкий нелокальный > Удаленный нелокальный.
  • Тот же язык > Другой язык.

Выводы

1. Автоматическое определение аффилированности требует строгих сигналов: Google может автоматически идентифицировать домены, принадлежащие одной организации. Однако, согласно защищенному Claim 1, для активации описанного механизма переранжирования требуется комбинация двух факторов: наличие перекрестных ссылок И совпадение домена второго уровня (SLD).
2. Ссылки как необходимый сигнал связи: Наличие навигационных ссылок между разными доменами (например, в меню выбора языка/страны) является необходимым сигналом для Google, чтобы система идентифицировала их как аффилированные в контексте этого патента.
3. Баланс между разнообразием и локальностью: Система использует информацию об аффилированности для двух целей: (1) Увеличение разнообразия выдачи (SERP Diversity) путем понижения повторяющихся результатов от одной организации (Demotion); (2) Повышение локальной релевантности путем приоритизации локальной версии сайта над глобальной или иностранной (Swapping).
4. Механизмы агрессивной корректировки локальности: Google может активно менять порядок аффилированных доменов в выдаче. Механизм Swapping позволяет поднять локальную версию выше, используя эвристики предположений, даже если локальная версия имеет более низкий общий рейтинг.
5. Важность структуры доменов (SLD): Использование одинакового SLD на разных ccTLD (например, brand.ca и brand.co.uk) является обязательным условием для идентификации аффилированности по основному методу патента, в отличие от использования разных имен (например, brand.com и marque.fr).

Практика

Best practices (это мы делаем)

• Стратегическая интерлинковка международных версий: Если вы хотите, чтобы Google рассматривал ваши международные домены (ccTLDs) как аффилированные, необходимо обеспечить наличие прямых перекрестных ссылок между ними (например, через глобальный переключатель языков/стран). Это ключевой сигнал связи (linkage), необходимый для работы механизма Swapping.
• Использование консистентных доменных имен (SLD): Для облегчения идентификации аффилированности необходимо использовать одинаковое доменное имя второго уровня (SLD) на всех рынках (например, brand.de, brand.fr). Это удовлетворяет критерию hostname analogy, требуемому в Claim 1.
• Усиление сигналов локальности: Убедитесь, что каждая версия сайта четко таргетирована на свою аудиторию. Используйте локальный язык, местный контент, локальные адреса и валюту. Это поможет системе правильно классифицировать домен как локальный для соответствующего пользователя и активировать механизм swapping в вашу пользу.
• Развитие глобального домена (Global Domain): Поддерживайте сильный глобальный домен (часто .com). Система может предпочесть глобальный домен иностранному аффилиату (например, для пользователя в России показать .com вместо .de), если локальная версия отсутствует или слаба.
• Использование Hreflang (Контекст): Хотя патент описывает автоматическую систему, использование hreflang остается критически важной лучшей практикой. Hreflang предоставляет явные инструкции, которые дополняют автоматические механизмы, описанные в патенте.

Worst practices (это делать не надо)

• Изоляция международных версий: Отсутствие перекрестных ссылок между вашими ccTLD сайтами. Если Google не видит связи между доменами, он не сможет применить логику swapping для приоритизации локальной версии и будет рассматривать их как полностью независимые сайты.
• Использование разных SLD без необходимости: Если вы используете разные SLD (например, brand-uk.com и brand-germany.de), система не признает их аффилированными согласно основному Claim 1, даже если они связаны ссылками.
• Дублирование контента без локализации: Размещение одинакового контента на разных доменах без четких сигналов локализации. Это увеличивает вероятность применения Demotion ко всем версиям, кроме одной, для обеспечения разнообразия выдачи.

Стратегическое значение

Патент подчеркивает стремление Google предоставлять пользователям наиболее подходящий результат не только по тематике, но и по локации, даже если это требует активного вмешательства в ранжирование. Для международного SEO это означает, что стратегия должна быть построена так, чтобы помочь Google легко идентифицировать связь между доменами и их географическую направленность. Автоматические системы, основанные на ссылках и структуре URL, являются фундаментом, и понимание этого патента объясняет, почему интерлинковка между языковыми версиями критически важна не только для пользователей, но и для поисковых систем.

Практические примеры

Сценарий: Управление видимостью международного бренда (Swapping и Demotion)

Бренд «Random» имеет домены: random.com (глобальный), random.ca (Канада), random.co.uk (Великобритания), random.de (Германия). Все они перелинкованы и имеют одинаковый SLD.

Пользователь из Канады ищет «Random».

1. Исходная выдача (без корректировки):
   1. random.com
   2. random.co.uk
   3. Сторонний сайт А
   4. random.ca
   5. random.de
2. Идентификация: Система определяет локацию пользователя (Канада). random.ca идентифицируется как Local Domain. Остальные домены Random идентифицируются как аффилированные с ним.
3. Применение Swapping: Система применяет эвристику предпочтения локального контента. Она меняет местами random.ca (поз. 4) и random.com (поз. 1).
4. Применение Demotion: Система понижает другие нелокальные (иностранные) аффилиаты (random.co.uk, random.de), чтобы повысить разнообразие и поднять уникальные результаты.
5. Итоговая выдача:
   1. random.ca (Повышен через Swapping)
   2. Сторонний сайт А (Повышен за счет Demotion других)
   3. random.com (Понижен через Swapping)
   4. random.co.uk (Понижен через Demotion)
   5. random.de (Понижен через Demotion)

Вопросы и ответы