Как Google позволяет вебмастерам управлять весом и интерпретацией исходящих ссылок через атрибуты тега (Основа nofollow)

Термины и определения

Link Tag (Тег ссылки)

Улучшенный анкорный тег (например, HTML тег <A>), который может содержать дополнительные Information Pairs помимо адреса целевого документа.

Information Pair (Информационная пара)

Пара, состоящая из Parameter (Параметр) и соответствующего Value (Значение), встроенная в Link Tag. Например, rel="nofollow" или linkweight=0.5.

Parameter (Параметр)

Определяет измерение или тип дополнительной информации в ссылке (например, 'linkweight', 'opinion', 'rel').

Value (Значение)

Конкретное значение параметра (например, '0.5', 'offensive', 'nofollow').

Location Value (Значение местоположения)

Адрес (например, URL) контента или документа, на который указывает ссылка (атрибут HREF). Упоминается в Claim 1.

Weight (Вес)

Метрика, связанная со ссылкой, используемая для определения относительной важности целевого документа. Этот вес может быть скорректирован на основе Information Pairs.

Document Ranking Values (Значения ранжирования документа)

Числовые оценки важности документа (например, PageRank), вычисляемые с учетом весов входящих ссылок.

Decryption Key (Ключ дешифрования)

Ключ, используемый краулером для расшифровки информации в Link Tag, если издатель решил ее зашифровать.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс обработки документов краулером.

1. Система (Search Engine Crawler) получает документ.
2. В документе есть встроенный первый Link Tag.
3. Этот тег включает location value (URL) И одну или более Information Pairs (параметр=значение), которые отличаются от URL.
4. Система выбирает метод обработки контента (на который указывает URL) на основе этих Information Pairs.
5. Система получает (скачивает) целевой контент.
6. Система обрабатывает полученный контент в соответствии с выбранным методом для добавления информации в базы данных поисковой системы.

Ядро изобретения — использование дополнительной информации в ссылке для управления тем, как эта ссылка будет обработана поисковой системой.

Claim 3 и 4 (Зависимые): Детализируют один из методов обработки.

Метод обработки включает корректировку Weight (веса), указанного в соответствующей Information Pair тега ссылки (Claim 3). Далее система вычисляет Document Ranking Values (например, PageRank) для целевых документов, используя этот скорректированный вес (Claim 4).

Это прямо указывает на возможность управления передаваемым ссылочным весом.

Claim 2 (Зависимый): Описывает обработку вложенных тегов (Nesting).

Если первый Link Tag включен во второй тег (например, <div>), и этот второй тег имеет свою собственную Information Pair, то обработка контента, связанного с первой ссылкой, может выполняться в соответствии со значением из второго (внешнего) тега.

Это позволяет применять правила обработки (например, аналогичные "nofollow") к целым блокам контента, а не к каждой ссылке по отдельности.

Claims 11 и 12 (Зависимые): Описывают возможность шифрования.

Значения (Values) в Information Pairs могут быть зашифрованы, например, с использованием ключа из несимметричной пары ключей. Это позволяет издателям предоставлять информацию только доверенным краулерам.

Где и как применяется

Изобретение применяется на этапах сканирования и индексирования для управления интерпретацией ссылочного графа.

CRAWLING – Сканирование и Сбор данных
На этом этапе краулер (Search Engine Crawler) получает документ и должен разобрать HTML-код, чтобы извлечь Link Tags и связанные с ними Information Pairs. В зависимости от информации (например, указание на блокировку), это может повлиять на планирование сканирования — система может решить не переходить по ссылке.

INDEXING – Индексирование и извлечение признаков (Link Analysis)
Это основной этап применения патента. Система анализа ссылок извлекает все ссылки и их атрибуты.

1. Извлечение признаков: Система идентифицирует Information Pairs в каждой ссылке.
2. Выбор метода обработки: Система определяет, как интерпретировать ссылку (например, как обычную ссылку, ссылку с пониженным весом или заблокированную ссылку).
3. Корректировка веса: Система корректирует Weight, связанный со ссылкой.
4. Расчет рангов: Генератор ранжирования документов (Document Ranking Generator) использует эти скорректированные веса для вычисления итоговых Document Ranking Values.

Входные данные:

• HTML-код документа.
• Link Tags, содержащие Location Value (URL) и Information Pairs.
• (Опционально) База данных ключей дешифрования (Decryption Key Database).

Выходные данные:

• Скорректированные карты ссылок (Link Maps) с назначенными весами.
• Обновленные Document Ranking Values (PageRank).
• (Возможно) Исключение URL из очереди сканирования.

На что влияет

• Конкретные типы контента: Наибольшее влияние на сайты с большим объемом пользовательского контента (UGC) — форумы, блоги (комментарии), социальные сети, где необходимо контролировать качество исходящих ссылок. Также критично для сайтов, размещающих рекламу или спонсорский контент.
• Ссылочные факторы: Патент напрямую влияет на интерпретацию исходящих ссылок и расчет передаваемого ими веса (PageRank).

Когда применяется

• Условия работы: Алгоритм применяется каждый раз, когда краулер обнаруживает и обрабатывает Link Tag в документе во время сканирования и индексирования.
• Триггеры активации: Активация специфического метода обработки (например, блокировки или снижения веса) происходит при обнаружении распознаваемой Information Pair (например, rel="nofollow") в теге ссылки или во внешнем теге, охватывающем ссылку.

Пошаговый алгоритм

Процесс обработки ссылок краулером и индексатором

1. Идентификация документов: Определение набора документов для сканирования и обработки.
2. Получение документа: Загрузка документа, содержащего один или несколько встроенных Link Tags.
3. Парсинг и извлечение: Анализ HTML для извлечения Link Tags. Для каждого тега определяется location value (URL) и любые присутствующие Information Pairs.
4. Анализ контекста (Nesting): Определение, находится ли Link Tag внутри другого тега, который также содержит Information Pairs, влияющие на обработку ссылок (согласно Claim 2).
5. (Опционально) Дешифрование: Если информация зашифрована, получение соответствующего ключа дешифрования (на основе идентификатора издателя или местоположения документа) и расшифровка значений.
6. Выбор метода обработки: Определение способа обработки ссылки на основе совокупности Information Pairs из самого тега и внешних тегов.
7. Исполнение метода обработки:
   • Вариант A (Блокировка): Если параметры указывают на блокировку, система может заблокировать обработку контента, связанного с тегом. Это может означать отказ от перехода по ссылке (на этапе CRAWLING) или присвоение нулевого веса (на этапе INDEXING).
   • Вариант B (Корректировка веса): Если параметры указывают на изменение веса (например, linkweight=0.5), система корректирует Weight, связанный с этой ссылкой.
8. Вычисление рангов: Расчет Document Ranking Values (PageRank) для целевых документов с учетом скорректированного веса.

Какие данные и как использует

Данные на входе

Патент фокусируется на структурных и технических данных, связанных с гиперссылками.

• Технические факторы: Location value — URL целевого документа, указанный в ссылке (например, атрибут HREF). Идентификатор или местоположение исходного документа (может использоваться для поиска ключей дешифрования).
• Структурные факторы:
  • Структура HTML, в частности тег <A> и его атрибуты.
  • Information Pairs, встроенные в тег ссылки.
  • Вложенность тегов (Nesting) — наличие внешних тегов, которые могут влиять на интерпретацию внутренних ссылок.

Какие метрики используются и как они считаются

• Information Pairs (Параметр=Значение): Это основной ввод данных для принятия решений. Патент приводит примеры:
  • linkweight=0.5 (указание веса).
  • offensive=very (мнение о контенте).
  • funny=somewhat (мнение о контенте).
• Weight (Вес ссылки): Внутренняя метрика, присваиваемая ссылке. Система корректирует этот вес на основе Information Pairs. Если указано linkweight=0.5, вес может быть уменьшен. Если используется блокировка, вес может быть обнулен.
• Document Ranking Values: Итоговые оценки важности документов (PageRank). Они рассчитываются с использованием алгоритмов ранжирования, которые принимают на вход скорректированные веса ссылок (Weights).

1. Явный контроль для издателей: Патент предоставляет вебмастерам механизм для явного контроля над тем, как поисковые системы должны интерпретировать исходящие ссылки на их сайте. Это переводит интерпретацию ссылок из полностью алгоритмической плоскости в плоскость, учитывающую сигналы от владельцев сайтов.
2. Не все ссылки равны: Фундаментальный вывод заключается в том, что Google признает необходимость различать типы ссылок: редакционные рекомендации, пользовательский контент (UGC), рекламу и т.д.
3. Прямое влияние на PageRank: Механизм напрямую влияет на расчет Document Ranking Values (PageRank) путем корректировки Weight отдельных ссылок. Это подтверждает, что атрибуты ссылок являются инструкциями для изменения веса.
4. Гранулярный и абсолютный контроль: Патент описывает как гранулярный контроль (корректировка веса, например, 50% через linkweight=0.5), так и абсолютный контроль (полная блокировка обработки ссылки).
5. Контроль на уровне блоков (Nesting): Возможность применять правила к целым разделам страницы через вложенные теги (Claim 2) упрощает управление ссылками на крупных сайтах (например, применение правил ко всему блоку комментариев).
6. Основа для борьбы со спамом: Этот механизм является ключевым инструментом для борьбы со ссылочным спамом в UGC и манипуляциями через платные ссылки, позволяя Google игнорировать такие ссылки при ранжировании.

Best practices (это мы делаем)

Этот патент является технической основой для атрибутов rel="nofollow", rel="sponsored" и rel="ugc".

• Соблюдение правил для платных ссылок: Все ссылки, размещенные за плату (реклама, спонсорские материалы, партнерские ссылки), должны быть помечены соответствующими атрибутами (rel="sponsored" или rel="nofollow"). Это необходимо для соблюдения рекомендаций Google и избежания санкций за манипуляцию ссылочным графом.
• Управление пользовательским контентом (UGC): Ссылки в контенте, созданном пользователями (комментарии, посты на форумах), должны автоматически помечаться как rel="ugc" или rel="nofollow". Это защищает сайт от передачи веса спамным или низкокачественным ресурсам.
• Маркировка ненадежных ссылок: Если необходимо сослаться на контент, которому вы не доверяете или не хотите передавать редакционную поддержку, используйте rel="nofollow".
• Понимание блочного управления (Nesting): Механизм, описанный в Claim 2, показывает, что Google может учитывать блочную логику при анализе страницы. Хотя стандартный HTML не поддерживает применение rel к <div>, важно обеспечить чистоту кода и понимать, как структура документа может влиять на интерпретацию контента.

Worst practices (это делать не надо)

• Игнорирование атрибутов для платных ссылок: Размещение платных ссылок без соответствующих атрибутов (sponsored/nofollow) является прямым нарушением правил и несет высокий риск санкций, так как патент направлен на предоставление Google инструментов для игнорирования таких ссылок.
• Массовое применение nofollow к внутренним ссылкам (PageRank Sculpting): Попытки манипулировать распределением внутреннего PageRank путем закрытия внутренних ссылок через "nofollow" (практика, известная как PageRank Sculpting) неэффективны. Хотя технически этот патент позволяет это делать, Google изменил интерпретацию "nofollow" для внутренних ссылок, и такой подход приводит к потере веса, а не к его перераспределению.
• Использование нестандартных атрибутов: Попытки использовать атрибуты, описанные в патенте буквально (например, linkweight=0.5), скорее всего, будут неэффективны, так как Google стандартизировал ввод через атрибут rel.

Стратегическое значение

Этот патент является краеугольным камнем современного понимания ссылочного графа. Он знаменует переход от модели, где любая ссылка является голосом, к модели, где контекст и атрибуты ссылки определяют ее ценность. Стратегически это означает, что SEO-специалисты должны сосредоточиться на получении редакционно одобренных ссылок (т.е. ссылок без ограничивающих атрибутов) и обеспечить строгое соблюдение правил для всех остальных типов ссылок. Понимание этого механизма критически важно для разработки безопасных и эффективных стратегий линкбилдинга.

Практические примеры

Сценарий 1: Управление комментариями в блоге

1. Ситуация: На сайте WordPress разрешены комментарии, и пользователи часто оставляют ссылки на свои сайты.
2. Применение патента: Система управления контентом (CMS) автоматически модифицирует все ссылки, оставленные пользователями.
3. Реализация: К тегу <A> добавляется Information Pair, стандартизированная Google.
   <a href="http://example.com" rel="ugc nofollow">Мой сайт</a>
4. Результат: Краулер Google видит эту инструкцию и выбирает метод обработки, который корректирует Weight ссылки (обычно до нуля), блокируя передачу Document Ranking Value (PageRank) на сайт example.com и защищая блог от ассоциации со спамом.

Сценарий 2: Размещение спонсорской статьи

1. Ситуация: Новостной сайт публикует обзор продукта за плату и ставит ссылку на сайт производителя.
2. Применение патента: Вебмастер должен указать, что эта ссылка не является органической редакционной рекомендацией.
3. Реализация: Добавление соответствующей Information Pair.
   <a href="http://manufacturer.com" rel="sponsored">Купить продукт</a>
4. Результат: Google учитывает эту ссылку с измененным весом (обычно нулевым или сильно пониженным), и новостной сайт избегает санкций за продажу ссылок, передающих PageRank.