Как Google определяет оригинальность контента для расчета Авторского Ранга (Author Rank) и влияния на ранжирование

Термины и определения

Author (Автор)

Сущность, связанная с документом. Может быть фактическим создателем контента, но также может определяться по альтернативной информации, если авторство не установлено. Важно: в контексте веба "автором" может выступать доменное имя (server name) или URL документа.

Author Rank (Ранг Автора)

Оценка репутации автора, рассчитываемая на основе характеристик контента, который ему приписывается (оригинальность, частота копирования другими, количество скопированного им самим контента).

Content Baseline (Базовый уровень контента)

Набор фрагментов контента, появившихся до определенной пороговой даты (threshold date). Фрагменты из этого набора считаются ни оригинальными, ни скопированными. Используется для фильтрации общеупотребительных фраз или исторического контента.

Content Piece (Фрагмент контента)

Часть контента документа, полученная в результате фрагментации (например, последовательность из четырех слов). Часто создается после "конденсации" контента (удаления стоп-слов).

Copy History (История копирования)

Запись о том, как часто и когда оригинальный фрагмент контента появляется в последующих документах. Отражает скорость распространения контента с течением времени.

Corpus of documents (Корпус документов)

Коллекция документов (например, веб-индекс).

Earliest Occurrence (Самое раннее появление)

Первый документ в корпусе, в котором зафиксирован определенный content piece. Определяется по временной метке документа.

Rank Decay (Затухание ранга)

Механизм, при котором влияние Author Rank на ранг конкретного документа уменьшается с течением времени, позволяя документу ранжироваться на основе его собственных характеристик.

Score (Оценка фрагмента)

Показатель качества (figure of merit) фрагмента контента. Зависит от его оригинальности и количества последующих копий.

Ключевые утверждения (Анализ Claims)

Патент US8983970B1 является продолжением (Continuation) более ранней заявки. Описание (Description) патента охватывает широкую систему ранжирования авторов и оригинальности. Однако конкретные Claims (Формула изобретения) в этом документе фокусируются на механизме Content Baseline.

Claim 1 (Независимый пункт): Описывает метод определения авторства с учетом исторического контекста.

1. Система определяет Content Baseline, устанавливая пороговую дату. Авторство контента, появившегося до этой даты, никому не приписывается.
2. Идентифицируются два или более документа, содержащие один и тот же content piece.
3. Определяется, появился ли самый ранний из этих документов до даты Content Baseline. (Контент до этой даты считается ни оригинальным, ни скопированным).
4. Принимается решение об атрибуции авторства этого фрагмента в более позднем документе:
   • (i) Приписать автору самого раннего документа, ИЛИ
   • (ii) Не приписывать никому.
   Решение принимается на основе того, появился ли самый ранний документ до или после даты Content Baseline.

Claim 8 (Зависимый от 1): Уточняет сценарий, когда контент старый.

Если самый ранний документ появился ДО Content Baseline, то авторство этого фрагмента (даже в более поздних документах) никому не приписывается.

Claim 9 (Зависимый от 1): Уточняет сценарий, когда контент новый.

Если самый ранний документ появился ПОСЛЕ Content Baseline, то авторство этого фрагмента приписывается автору этого самого раннего документа.

Claim 10 (Зависимый от 1): Связывает атрибуцию с ранжированием.

После определения атрибуции (кому приписывается фрагмент), система может определить ранг другого документа этого же автора, основываясь на количестве content pieces, атрибутированных этому автору.

Где и как применяется

Изобретение охватывает несколько этапов поисковой архитектуры, от сканирования до ранжирования.

CRAWLING – Сканирование и Сбор данных

• Система использует Author Rank для управления краулингом. Документы высокоранговых авторов могут сканироваться чаще (frequency) и на большую глубину (depth).
• На этом этапе фиксируется временная метка (time associated with a document), которая критически важна для определения оригинальности (например, время первого обнаружения документа краулером).

INDEXING – Индексирование и извлечение признаков

• Основной этап работы алгоритма. Происходит фрагментация документов (Document Fragmentation) и конденсация контента (удаление стоп-слов).
• Модуль отслеживания фрагментов (Piece Tracker) сравнивает новые фрагменты с существующим индексом для идентификации Earliest Occurrence.
• Рассчитывается Copy History для оригинальных фрагментов.
• На основе этих данных вычисляются и сохраняются Author Rank и классификация авторов/документов (Doc/Author Classifier).

RANKING – Ранжирование

• Модуль ранжирования документов (Document Ranker) использует данные об оригинальности контента документа и/или Author Rank как сигналы ранжирования.
• Система может передавать ранг (например, основанный на ссылках) от копирующих документов к оригинальному источнику.

RERANKING – Переранжирование

• Для свежих документов Author Rank может использоваться для немедленного бустинга в выдаче, до того как документ наберет собственные сигналы (с последующим Rank Decay).

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент, который часто копируется или синдицируется: новостные статьи, посты в блогах, обзоры, рекламные тексты.
• Специфические запросы: Влияет на запросы, где важна свежесть и авторитетность источника (например, новостные или экспертные запросы).
• Конкретные ниши или тематики: Критично для медиа, издательского дела и любых ниш, где остро стоит проблема плагиата и агрегации контента.

Когда применяется

• При индексации: Алгоритм определения оригинальности и расчета Author Rank применяется постоянно по мере добавления новых документов в корпус.
• При ранжировании: Author Rank и оценки оригинальности используются при расчете релевантности документа запросу.
• Триггеры активации (Content Baseline): Механизм Content Baseline активируется, когда система обнаруживает фрагмент контента в нескольких документах и должна решить вопрос об атрибуции, учитывая пороговую дату.
• Триггеры активации (Классификация): Классификация активируется, когда Copy History фрагмента соответствует одному из предопределенных паттернов (например, паттерн новостной синдикации).

Пошаговый алгоритм

Процесс А: Обработка и Индексация Документа

1. Сбор данных: Краулер обнаруживает документ. Фиксируется временная метка и определяется Автор (например, домен).
2. Конденсация контента: Из документа извлекается текст, стандартизируется, удаляются стоп-слова.
3. Фрагментация: Контент разбивается на content pieces (например, по 4 слова).
4. Проверка оригинальности: Каждый фрагмент сравнивается с репозиторием известных фрагментов.
5. Применение Content Baseline:
   • Если фрагмент уже существует, определяется дата его первого появления.
   • Если первое появление было ДО пороговой даты Content Baseline, фрагмент помечается как нейтральный (не оригинальный и не скопированный).
   • Если первое появление было ПОСЛЕ пороговой даты, текущий документ помечается как содержащий копию, а авторство приписывается источнику первого появления. Обновляется Copy History фрагмента.
6. Идентификация нового контента: Если фрагмент не найден в репозитории, он помечается как оригинальный в текущем документе. Авторство приписывается автору документа.
7. Оценка фрагментов: Оригинальным фрагментам присваивается Score.

Процесс Б: Расчет Рангов и Классификация (Асинхронный процесс)

1. Анализ Copy History: Система анализирует скорость и паттерны распространения оригинальных фрагментов.
2. Классификация: Фрагменты, документы и авторы классифицируются на основе паттернов копирования (например, Новости, Блог, Реклама).
3. Пересчет оценок фрагментов: Score оригинальных фрагментов может быть увеличен пропорционально количеству копий или количеству уникальных авторов, скопировавших его.
4. Расчет Author Rank: Ранг автора пересчитывается на основе агрегированных оценок его оригинальных фрагментов, а также метрик копирования (сколько скопировал автор, из скольких источников).
5. Расчет Document Rank (Метрики оригинальности): Ранг документа пересчитывается на основе оценок его оригинальных фрагментов, пропорции скопированного контента и количества источников копирования.

Процесс В: Ранжирование Документа (Во время запроса)

1. Получение кандидатов: Стандартный процесс отбора документов.
2. Применение сигналов оригинальности: К рангу документа добавляются (или вычитаются) значения, основанные на метриках оригинальности документа (Процесс Б, шаг 5).
3. Применение Author Rank: К рангу документа применяется Author Rank.
4. Учет времени (Rank Decay): Если документ новый, влияние Author Rank максимально. Если документ старый, влияние Author Rank снижается.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документа используется для фрагментации. Стоп-слова игнорируются.
• Технические факторы: URL или доменное имя могут использоваться для идентификации Автора.
• Временные факторы: Критически важные данные. Используется временная метка документа (дата создания, модификации или первого сканирования) для определения Earliest Occurrence и расчета Copy History. Также используется пороговая дата для Content Baseline.

Какие метрики используются и как они считаются

Патент описывает несколько метрик для оценки документов и авторов.

Метрики Документов:

• Score of Original Content: Сумма или среднее оценок всех оригинальных content pieces в документе. Оценка фрагмента увеличивается, если он часто копируется.
• Number of Sources of Copied Content: Количество уникальных источников, из которых был скопирован контент в документ. (Документы, копирующие из многих источников, могут ранжироваться выше, чем копирующие из одного).
• Proportion of Copied Content: Процент контента в документе, который является копией. (Ранг может ухудшаться пропорционально этому значению).

Метрики Авторов (Author Rank):

• Score of Attributed Content: Сумма или среднее оценок всех оригинальных content pieces, приписанных автору. Может быть взвешено по количеству документов автора, содержащих оригинальный контент.
• Number of Sources Copied by the Author: Количество уникальных источников или авторов, контент которых копирует данный автор.
• Proportion of Content Copied by the Author: Общая пропорция скопированного контента во всех документах автора.
• Rank of the Author's Documents: Агрегированный ранг документов автора (включая ранг, основанный на ссылках или других сигналах).

Другие метрики:

• Copy History Patterns: Сравнение скорости распространения контента с предопределенными паттернами для классификации (Новости, Блог, Реклама).

1. Оригинальность как основа репутации: Патент детально описывает инфраструктуру для определения оригинальности контента в масштабе веба. Создание оригинального контента является фундаментом для построения Author Rank (репутации источника).
2. Временные метки критичны: Система полагается на временные метки (дату публикации или первого сканирования) для определения первоисточника. Быть первым — ключевое условие для получения преимуществ от этого алгоритма.
3. "Автор" трактуется широко: Author Rank не обязательно привязан к человеку. В патенте явно указано, что "автором" может быть домен или URL. Это означает, что система оценивает репутацию сайтов как источников оригинального контента.
4. Копирование вознаграждается (если копируют вас): Оценка оригинального контента (и, следовательно, Author Rank) увеличивается, если этот контент впоследствии копируется другими. Это стимулирует создание вирального или синдицируемого контента.
5. Копирование наказывается (если копируете вы): Авторы и документы, которые преимущественно состоят из скопированного контента, могут быть понижены в ранге, особенно если они копируют контент из одного источника.
6. Бустинг свежего контента через Author Rank: Author Rank позволяет системе быстро ранжировать новые документы от авторитетных авторов, даже до того, как эти документы получат собственные сигналы (например, ссылки). Однако это влияние может затухать со временем (Rank Decay).
7. Content Baseline защищает от "ложного плагиата": Механизм Content Baseline гарантирует, что использование общеупотребительных фраз или цитирование исторических текстов не будет ошибочно расценено как плагиат.
8. Передача ранга источнику: Патент предлагает механизм, при котором ранг (например, ссылочный вес), полученный копиями, может быть передан оригинальному документу.

Best practices (это мы делаем)

• Фокус на создании уникального контента: Стратегически важно инвестировать в создание контента, который ранее не существовал в индексе. Это напрямую влияет на построение Author Rank (репутации домена).
• Обеспечение максимально быстрого индексирования: Поскольку оригинальность определяется по временной метке первого обнаружения контента, критически важно, чтобы ваш контент попадал в индекс Google раньше, чем его скопируют. Используйте XML Sitemaps, Indexing API и обеспечьте высокую скорость сканирования сайта.
• Ясное указание дат публикации: Используйте корректную микроразметку (например, datePublished в Schema.org) и указывайте даты на странице, чтобы помочь Google точнее определить временную метку контента.
• Стратегия синдикации и виральности: Создавайте контент, который стимулирует копирование или цитирование (например, исследования, новости, уникальные данные). Система вознаграждает авторов, чей контент широко распространяется.
• Управление краулинговым бюджетом на основе авторитетности: Патент подтверждает, что Google может использовать Author Rank для определения частоты и глубины сканирования. Повышение авторитетности домена ведет к более эффективному сканированию.
• Использование агрегации с добавленной ценностью: Если вы агрегируете контент, делайте это из множества источников и добавляйте значительную уникальную ценность (анализ, комментарии). Патент указывает, что копирование из многих источников может оцениваться лучше, чем полное копирование из одного.

Worst practices (это делать не надо)

• Публикация неуникального контента (Плагиат/Скрапинг): Эта тактика напрямую противоречит целям патента. Система активно идентифицирует скопированный контент и может понижать ранг как документа, так и автора (домена).
• Медленное индексирование оригинального контента: Если ваш оригинальный контент индексируется медленно, есть риск, что скраперы проиндексируют его первыми, и система ошибочно посчитает их первоисточником.
• Синдикация без контроля каноникализации: При синдикации контента на другие платформы необходимо убедиться, что поисковые системы понимают, что ваш сайт является оригинальным источником (например, через cross-domain canonical или требуя от партнеров ссылаться на оригинал).
• Поверхностный рерайтинг: Поскольку система использует фрагментацию (content pieces), простой замены слов может быть недостаточно, чтобы обойти обнаружение копий, если структура предложений и ключевые фразы остаются неизменными.

Стратегическое значение

Этот патент является одним из фундаментальных документов, описывающих переход Google от оценки отдельных страниц к оценке репутации источников (Авторов/Доменов). Он закладывает основу для систем, которые вознаграждают экспертизу и оригинальность (часть E-E-A-T). Стратегическое значение заключается в том, что долгосрочный успех в SEO требует построения репутации сайта как надежного источника уникальной информации. Это также объясняет, почему авторитетные новостные сайты часто мгновенно занимают высокие позиции по свежим запросам — их высокий Author Rank гарантирует им видимость.

Практические примеры

Сценарий: Защита оригинального исследования от копирования

1. Действие: Компания публикует масштабное исследование рынка с уникальными данными.
2. Подготовка к публикации: Перед публикацией настраивается Indexing API или подготавливается XML Sitemap.
3. Момент публикации: Исследование публикуется на сайте, и немедленно отправляется запрос на индексацию. Google сканирует страницу и фиксирует временную метку. Система фрагментирует контент и помечает его как оригинальный, приписывая авторство домену компании.
4. Распространение: Новостные сайты и блогеры начинают цитировать данные и копировать фрагменты текста из исследования.
5. Реакция системы: Google идентифицирует эти фрагменты как копии. Copy History оригинального исследования растет.
6. Результат: Score оригинальных фрагментов увеличивается. Author Rank домена компании растет. Оригинальное исследование получает буст в ранжировании. Система может передать часть ранга (ссылочного веса) от копий к оригиналу.