Как Google анализирует структуру URL и сигналы качества для выбора Sitelinks (Primary Resources)

Термины и определения

Combined Score (Комбинированная оценка)

Агрегированная оценка узла, основанная на двух или более индивидуальных критериях (например, взвешенное среднее). Используется для финального выбора Primary Resources.

Content Score (Оценка контента)

Метрика, оценивающая качество контента ресурса. Может основываться на качестве заголовков (Title) и степени соответствия заголовка тексту анкоров (Anchor Text) ссылок, ведущих на ресурс.

Descendant Node Score (Оценка количества потомков)

Метрика, основанная на количестве дочерних узлов (потомков) в иерархической модели. Указывает на навигационную полезность узла: чем больше потомков, тем больше навигационных опций предоставляет ресурс.

Hierarchical Model / Hierarchical Sitemap (Иерархическая модель / Карта сайта)

Структура данных (например, дерево или направленный ациклический граф), моделирующая иерархию домена. Узлы представляют ресурсы, а их положение определяется исключительно структурой URL (хостнейм и путь), а не ссылками между страницами.

Link Analysis Score (Оценка анализа ссылок)

Метрика качества и авторитетности, основанная на анализе ссылок, например, PageRank.

Node Depth Score (Оценка глубины узла)

Метрика, основанная на позиции узла в иерархической модели, например, расстояние (количество ребер) от корневого узла. Меньшая глубина обычно указывает на большую важность ресурса.

Off-domain Link Score (Оценка внешних ссылок)

Метрика, основанная на количестве ссылок на ресурс извне данного домена.

On-domain Link Score (Оценка внутренних ссылок)

Метрика, основанная на количестве ссылок на ресурс внутри данного домена.

Primary Resources (Основные ресурсы)

Ресурсы в домене, идентифицированные как наиболее важные или полезные. Функционально эквивалентно Sitelinks в поисковой выдаче.

Ключевые утверждения (Анализ Claims)

Анализ основан на финальной версии Claims (1, 62-87), представленной в документе.

Claim 1 (Независимый пункт): Описывает базовый метод классификации ресурсов.

1. Генерация иерархической карты сайта (hierarchical sitemap) интернет-домена.
2. Генерация оценки (score) для конкретного узла, основанной как минимум на позиции этого узла в иерархической карте сайта.
3. Классификация ресурса, соответствующего этому узлу, как основного ресурса (primary resource) на основе этой оценки.

Ядро изобретения — использование структурной позиции ресурса (определяемой его URL) как фактора для определения его важности.

Claim 66 (Зависимый от 1): Определяет основу иерархической карты.

Позиция каждого узла основана на пути (path) и имени хоста (hostname) URL ресурса. Подтверждает, что модель строится на URL, а не на краулинге ссылок.

Claim 62 и 63 (Зависимые от 1): Уточняют, что подразумевается под «позицией».

• Claim 62: Оценка основывается на количестве узлов-потомков (quantity of descendent nodes). Это подтверждает важность страниц-хабов (Descendant Node Score).
• Claim 63: Оценка основывается на расстоянии (distance) через иерархическую карту сайта. Это подтверждает важность глубины (Node Depth Score).

Claim 64 (Зависимый от 1): Критически важное условие.

Генерация оценки выполняется без использования информации, указывающей на трафик (without using information indicating traffic) на ресурс. Этот метод выбора Sitelinks не зависит от поведенческих факторов.

Claim 69 (Зависимый): Описывает полный процесс с использованием нескольких критериев.

1. Генерация оценок по нескольким критериям.
2. Генерация комбинированной оценки (combined score).
3. Выбор одного или нескольких узлов-потомков для родительского узла на основе их combined scores.
4. Назначение этих ресурсов как Primary Resources для родительского узла.

Это описывает практическую реализацию: агрегация различных сигналов (структурных, ссылочных, контентных) для выбора лучших Sitelinks.

Claim 70 (Зависимый от 69): Описывает применение в поиске (SERP).

Предоставление для отображения ссылки на родительский ресурс и, в ассоциации с ней, ссылок на его Primary Resources, исключая ссылки на неосновные ресурсы (non-primary resources) в этой ассоциации. Это точное описание блока Sitelinks.

Где и как применяется

Изобретение затрагивает этапы индексирования для расчета метрик и финальные этапы формирования выдачи для отображения результатов.

INDEXING – Индексирование и извлечение признаков
Основной этап применения логики патента. Здесь происходит:

• Анализ URL всех ресурсов домена и построение Hierarchical Model.
• Расчет индивидуальных метрик для каждого узла: структурных (Node Depth, Descendant Score), ссылочных (Link Scores, PageRank) и контентных (Content Score).
• Агрегация метрик в Combined Score.
• Выбор и сохранение списка Primary Resources для опорных ресурсов (например, главной страницы). Эта работа выполняется офлайн.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
На этом этапе система использует предварительно рассчитанные данные для формирования SERP. Когда опорный ресурс (например, главная страница) появляется в результатах поиска, система извлекает связанный с ним список Primary Resources и формирует блок Sitelinks.

Входные данные:

• Набор URL ресурсов в домене (включая структуру хостнеймов и путей).
• Данные о ссылках (внутренних и внешних), включая анкорный текст.
• Метрики авторитетности (например, PageRank).
• Контент ресурсов (в частности, заголовки Title).

Выходные данные:

• Hierarchical Model домена.
• Набор оценок (Scores) для каждого ресурса.
• Список назначенных Primary Resources (Sitelinks), связанных с опорным ресурсом.

На что влияет

• Типы контента: Наибольшее влияние оказывается на страницы, которые служат навигационными хабами (категории, основные разделы услуг), имеющие много дочерних элементов и относительно небольшую глубину вложенности.
• Специфические запросы: В первую очередь влияет на навигационные и брендовые запросы, по которым высоко ранжируется главная страница или крупный раздел сайта, что запускает отображение Sitelinks.
• Новые сайты: Механизм критически важен для новых сайтов или сайтов с низким трафиком, так как он явно не требует поведенческих данных для выбора Sitelinks.

Когда применяется

• Условия работы алгоритма: Алгоритм расчета применяется во время индексирования (офлайн). Отображение результатов происходит в реальном времени при генерации SERP.
• Триггеры активации: Патент предлагает этот метод как способ, который может быть использован, когда данных о трафике или логов запросов недостаточно для использования поведенческих методов выбора Sitelinks, или как базовый метод структурного анализа.
• Частота применения: Пересчет может происходить периодически или при обнаружении значительных изменений в структуре домена или его ссылочном профиле.

Пошаговый алгоритм

Этап 1: Построение иерархической модели

1. Сбор данных: Получение списка URL ресурсов домена.
2. Нормализация и фильтрация: Идентификация эквивалентных ресурсов (дубликатов) по контенту (например, с помощью хеширования). Выбор канонического ресурса для представления в модели. Обработка редиректов.
3. Генерация модели: Построение древовидной структуры (Hierarchical Model). Положение узла определяется исключительно анализом его URL (субдомены и элементы пути). Ссылки между страницами не влияют на структуру модели.

Этап 2: Расчет оценок узлов

1. Расчет структурных метрик:
   • Descendant Node Score: Подсчет количества потомков для каждого узла.
   • Node Depth Score: Определение расстояния от корневого узла до каждого узла.
2. Расчет ссылочных метрик:
   • Off-domain и On-domain Link Scores: Подсчет внешних и внутренних ссылок.
   • Link Analysis Score: Использование PageRank или аналогичных метрик.
3. Расчет контентных метрик:
   • Content Score: Оценка качества контента, например, путем анализа соответствия заголовка (Title) и анкорного текста входящих ссылок.

Этап 3: Агрегация и выбор

1. Генерация комбинированной оценки: Расчет Combined Score для каждого узла (например, взвешенное среднее индивидуальных оценок). Применение штрафов или порогов (например, требование наличия внешних ссылок).
2. Выбор Primary Resources: Для опорного ресурса (например, главной страницы) анализируются оценки его потомков. Выбирается подмножество потомков (например, Топ-N) с наивысшими Combined Scores.
3. Назначение и сохранение: Выбранные ресурсы назначаются как Primary Resources и сохраняются в индексе.
4. Подготовка заголовков: Для каждого Primary Resource выбирается заголовок. Система может удалять избыточные части, дублирующие название опорного ресурса (например, сокращение "Example Mail" до "Mail" для сайта "Example").

Какие данные и как использует

Данные на входе

Система использует несколько групп факторов, при этом явно указывается возможность работы без поведенческих данных (Claim 64).

• Структурные факторы (Критически важно):
  • Структура URL (пути и хостнеймы). Это основа для построения Hierarchical Model и расчета Node Depth и Descendant Node Score.
• Ссылочные факторы:
  • Входящие внешние и внутренние ссылки (количество).
  • Анкорный текст входящих ссылок (используется для Content Score).
  • Метрики авторитетности (Link Analysis Score, например, PageRank).
• Контентные факторы:
  • Заголовки страниц (Title). Используются для расчета Content Score и для отображения в Sitelinks.
  • Контент страниц (используется для обнаружения дубликатов).
• Поведенческие факторы:
  • Система спроектирована так, чтобы функционировать без использования информации о трафике или логов запросов.

Какие метрики используются и как они считаются

Система вычисляет следующие ключевые метрики:

• $Descendant Node Score$: Подсчет количества дочерних узлов в иерархической модели. Чем больше, тем лучше (указывает на навигационную полезность).
• $Node Depth Score$: Расстояние от корневого узла. Чем меньше глубина, тем лучше (указывает на общую важность).
• $Link Scores$: Включают On-domain, Off-domain (количество) и Link Analysis Score (PageRank).
• $Content Score$: Рассчитывается, например, на основе степени совпадения заголовка (Title) страницы с текстом анкоров входящих ссылок.
• $Combined Score$: Агрегация (например, взвешенное среднее) вышеуказанных метрик.

1. Структура URL определяет иерархию сайта для Google: Патент четко указывает, что Hierarchical Model строится на основе анализа URL (субдомены и пути), независимо от внутренней перелинковки. Это подчеркивает критическую важность логичной и чистой структуры URL для SEO.
2. Sitelinks могут определяться без данных о трафике: Ключевой вывод (Claim 64) — Google имеет механизм для выбора Primary Resources (Sitelinks), который не зависит от трафика или CTR. Это позволяет формировать Sitelinks для новых или низкочастотных сайтов на основе структуры и ссылок.
3. Идеальный кандидат для Sitelink: Это страница, которая (1) находится неглубоко в иерархии URL (низкий Node Depth), (2) является структурным хабом с множеством дочерних страниц (высокий Descendant Score), и (3) имеет сильный ссылочный профиль (высокие Link Scores и PageRank).
4. Важность навигационных хабов (Descendant Score): Система предпочитает страницы, которые предоставляют пользователю много навигационных опций (много потомков), так как они считаются более полезными для навигации.
5. Ссылки подтверждают важность: Структурной значимости недостаточно. Ресурсы должны подтвердить свою важность через ссылки. Отсутствие внешних ссылок может привести к пессимизации при расчете Combined Score.
6. Качество контента через анализ Title и Анкоров: Content Score учитывает, насколько хорошо Title страницы соответствует анкорам входящих ссылок, подчеркивая важность консистентности между тем, как на страницу ссылаются, и тем, как она себя позиционирует.

Best practices (это мы делаем)

• Проектирование логичной иерархической структуры URL: Информационная архитектура должна быть отражена в URL. Используйте понятные пути, отражающие иерархию (например, /category/subcategory/). Это напрямую формирует Hierarchical Model, которую анализирует Google.
• Уменьшение глубины важных страниц в URL: Ключевые разделы и сервисы должны иметь короткие URL и находиться близко к корню домена (низкий Node Depth Score). Например, example.com/services лучше, чем example.com/main/info/services.
• Развитие структурных хабов: Убедитесь, что страницы категорий или разделов структурно (по URL) находятся выше страниц, которые в них входят. Это повышает Descendant Node Score для страниц-хабов, увеличивая их шансы стать Primary Resources.
• Наращивание ссылочного авторитета на ключевые разделы: Активно стройте внешние ссылки (для повышения Off-domain Link Score и PageRank) и оптимизируйте внутреннюю перелинковку (для повышения On-domain Link Score) на те страницы, которые вы хотите видеть в Sitelinks.
• Оптимизация согласованности Title и Анкоров: Убедитесь, что заголовки (Title) ключевых страниц четкие и описательные, и что текст внутренних и внешних ссылок, ведущих на эти страницы, релевантен этим заголовкам. Это повышает Content Score.
• Каноникализация и устранение дубликатов: Система объединяет эквивалентные ресурсы в один узел. Необходимо обеспечить корректную каноникализацию, чтобы ссылочные сигналы консолидировались на правильной версии страницы.

Worst practices (это делать не надо)

• Использование плоской структуры URL для больших сайтов: Размещение всех страниц на одном уровне (например, example.com/page1) не позволяет системе построить осмысленную Hierarchical Model и рассчитать Descendant Scores, что затрудняет выбор Primary Resources.
• Создание избыточно глубоких URL: Сложные и длинные URL увеличивают Node Depth, что снижает вероятность выбора страницы в качестве Primary Resource.
• Игнорирование ссылочного профиля внутренних разделов: Если ключевые разделы сайта не имеют достаточного количества внутренних и внешних ссылок, их Combined Score будет низким, даже если они структурно расположены правильно.
• Использование неинформативных или нерелевантных анкоров: Использование анкоров, не соответствующих заголовку целевой страницы, негативно сказывается на Content Score.

Стратегическое значение

Патент подтверждает фундаментальную важность продуманной Информационной Архитектуры (IA) и структуры URL в SEO. Он показывает, что Google имеет механизмы для алгоритмического понимания иерархии сайта, основанные на анализе самих URL, а не только на краулинге ссылок. Стратегически, это означает, что техническое SEO и проектирование структуры являются основой не только для ранжирования, но и для представления сайта в SERP (Sitelinks).

Практические примеры

Сценарий: Оптимизация Sitelinks для сайта Ecommerce

Задача: Добиться того, чтобы в Sitelinks отображались ключевые категории товаров, а не информационные страницы.

1. Анализ текущей структуры URL: Сайт имеет плоскую структуру: store.com/category-name.html для категорий и store.com/product-name.html для товаров.
2. Проблема: Система не видит иерархии. Descendant Score для категорий равен нулю.
3. Реализация (Best Practice): Изменение структуры URL на иерархическую: store.com/category/ и store.com/category/product-name/.
4. Результат: Система строит Hierarchical Model, где категории являются родителями товаров. Descendant Score для категорий значительно увеличивается.
5. Дополнительная оптимизация: Усиление перелинковки на страницы категорий из меню (повышение On-domain Link Score) и получение внешних ссылок на ключевые категории (повышение Off-domain Link Score и PageRank).
6. Итог: Страницы категорий получают высокий Combined Score и выбираются в качестве Primary Resources (Sitelinks).