Как Google вычисляет Оценку Оригинальности Сайта (Site Originality Score) для борьбы со скопированным контентом

Термины и определения

Crawl Time Stamp (Временная метка сканирования)

Метка времени, указывающая, когда конкретная n-грамма (шингл) была просканирована поисковой системой на определенном URL. Используется для определения первоисточника контента.

Earliest Crawl Time Stamp (Самая ранняя временная метка сканирования)

Самая первая временная метка, когда система обнаружила конкретную n-грамму в интернете.

Inheritance (Наследование)

Механизм, при котором сайт может унаследовать статус "оригинального" для определенной n-граммы, даже если изначально она появилась на другом сайте. Это происходит, если n-грамма больше не доступна на исходном сайте, а у наследующего сайта следующая самая ранняя Crawl Time Stamp.

MinHash

Алгоритм хеширования, упомянутый в описании как возможный метод для последовательного и эффективного сэмплирования n-грамм из ресурсов.

N-gram (N-грамма)

Непрерывная последовательность из N элементов (например, слов) из заданного текста. В патенте упоминаются значения N от 1 до 10.

Shingle (Шингл)

Термин, используемый как синоним n-граммы. Непрерывная подпоследовательность слов, полученная из ресурсов.

Shingles Data (Данные о шинглах)

База данных, содержащая шинглы, URL-адреса, где они были обнаружены, и соответствующие Crawl Time Stamp. Включает указание на URL, где шингл был впервые просканирован.

Site (Сайт)

Коллекция ресурсов. Может быть определен гибко: как домен (example.com), субдомен (www.example.com) или поддиректория (example.com/subdirectory/).

Site Originality Score (Оценка оригинальности сайта)

Метрика, представляющая меру оригинальности контента на сайте. Рассчитывается на основе соотношения оригинального контента к общему объему контента на сайте.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения оригинальности и его использование в поиске.

1. Идентификация множества n-грамм в ресурсах, связанных с определенным веб-сайтом.
2. Определение для каждого ресурса количества n-грамм, которые произошли из этого ресурса. Происхождение определяется на основе самой ранней Crawl Time Stamp для n-граммы.
3. Вычисление первого агрегированного количества (First Aggregate Count) n-грамм, которые произошли с этого веб-сайта.
4. Вычисление второго агрегированного количества (Second Aggregate Count) всех идентифицированных n-грамм на этом веб-сайте.
5. Определение Site Originality Score для веб-сайта на основе первого и второго агрегированных количеств.
6. Использование Site Originality Score при ранжировании результатов поиска, идентифицирующих ресурсы этого веб-сайта в ответ на поисковый запрос.

Ядром изобретения является метод количественной оценки оригинальности сайта на основе временных меток первого сканирования контента и использование этой оценки как фактора ранжирования.

Claim 2 (Зависимый от 1): Уточняет метод идентификации (сэмплирования) n-грамм.

Идентификация n-грамм включает вычисление хеш-значения (hash value) для каждой n-граммы в ресурсе и выбор множества n-грамм на основе их хеш-значений. (В описании патента упоминается алгоритм MinHash и выбор n-грамм с наивысшими хеш-значениями для обеспечения согласованности).

Claim 4 (Зависимый от 1): Определяет формулу расчета Site Originality Score.

Оценка вычисляется как отношение (Ratio) числителя и знаменателя. Числитель основан на первом агрегированном количестве (оригинальные n-граммы), а знаменатель — на втором (все n-граммы).

Claims 5, 6, 7 (Зависимые от 4): Описывают модификации формулы.

Отношение может быть умножено на заданное значение (Claim 5), к отношению может быть добавлено заданное значение (Claim 6), или и то, и другое (Claim 7). Это позволяет калибровать итоговую оценку.

Claim 9 (Независимый пункт): Описывает метод с акцентом на механизм наследования (Inheritance).

Процесс аналогичен Claim 1, но явно включает условие наследования: n-грамма, которая произошла с другого сайта, наследуется анализируемым сайтом, если она больше не доступна на другом сайте, и Crawl Time Stamp для n-граммы на анализируемом сайте является следующей самой ранней временной меткой (next earliest crawl time stamp).

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поиска, полагаясь на данные, собранные во время сканирования, для вычисления метрик на этапе индексирования, которые затем используются при ранжировании.

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает контент и, что критически важно для этого патента, фиксирует Crawl Time Stamp для обнаруженного контента (n-грамм). Точность и частота сканирования напрямую влияют на способность системы определять первоисточник.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения логики патента.

1. Извлечение признаков: Система извлекает n-граммы (шинглы) из ресурсов.
2. Хранение данных: Система обновляет Shingles Data, сохраняя связь между шинглом, URL и Crawl Time Stamp.
3. Вычисление метрик: Site Originality Engine анализирует эти данные (вероятно, в офлайн-режиме или в процессе индексации) для вычисления и обновления Site Originality Score для различных сайтов (доменов, субдоменов или директорий).

RANKING – Ранжирование
На этом этапе Site Originality Score используется как сигнал ранжирования. Ranking Engine использует эту оценку как часть вычисления итоговых оценок для ресурсов, найденных на этом сайте. Сайты с более высоким Site Originality Score могут получить преимущество.

Входные данные:

• Ресурсы (веб-страницы) сайта (Site Data).
• Глобальная база данных Shingles Data с URL и Crawl Time Stamp.

Выходные данные:

• Site Originality Score для анализируемого сайта.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на текстовый контент, который легко копировать (новости, статьи, описания товаров, блоги).
• Конкретные ниши или тематики: Сильное влияние в нишах, где распространено агрессивное копирование контента, например, в новостных агрегаторах, некоторых сегментах e-commerce, сайтах с рецептами или текстами песен.
• Определение сайта: Патент указывает, что система может применять оценку не только к домену в целом, но и к субдоменам или поддиректориям, рассматривая их как отдельные "сайты" для анализа оригинальности.

Когда применяется

• Временные рамки: Оценка может рассчитываться за определенное временное окно (например, за последнюю неделю или месяц) или на основе всех доступных данных сканирования.
• Частота применения: Вычисление Site Originality Score происходит периодически во время индексации/анализа корпуса. Применение оценки происходит в реальном времени во время ранжирования результатов поиска.

Пошаговый алгоритм

Процесс вычисления Site Originality Score

1. Определение границ сайта: Система определяет набор ресурсов, составляющих "сайт" (домен, субдомен или поддиректория).
2. Сэмплирование N-грамм: Система отбирает образцы n-грамм из ресурсов сайта. Это может быть сделано методично, например, с использованием MinHash для выбора n-грамм с наивысшими хеш-значениями для обеспечения согласованности выборки.
3. Определение происхождения N-грамм: Для каждой отобранной n-граммы система обращается к Shingles Data для идентификации URL, связанного с самой ранней Crawl Time Stamp (Earliest Crawl Time Stamp) для этой n-граммы.
4. Проверка наследования (Inheritance Check): Если самая ранняя метка принадлежит другому сайту, система проверяет, доступна ли эта n-грамма все еще на том сайте.
   • Если ДА: Атрибуция остается за другим сайтом. (В описании патента упоминается исключение: если разница во времени минимальна, например, менее дня, оригинальность может быть засчитана).
   • Если НЕТ: Система ищет следующую самую раннюю Crawl Time Stamp. Если она принадлежит анализируемому сайту, он наследует статус оригинала.
5. Подсчет и Агрегация: Система подсчитывает:
   • F (First aggregate count): Количество отобранных n-грамм, которые произошли (или были унаследованы) с анализируемого сайта.
   • T (Second aggregate count): Общее количество отобранных n-грамм с сайта.
6. Вычисление Оценки: Система вычисляет Site Originality Score, используя F и T. Например, по формуле $(F/T) * C + Z$, где C и Z — константы.
7. Применение в Ранжировании: Ranking Engine использует полученную оценку как сигнал для ранжирования ресурсов сайта.

Какие данные и как использует

Данные на входе

Система полагается на следующие типы данных:

• Контентные факторы: Текст ресурсов используется для генерации n-грамм (шинглов). Структура и последовательность слов критически важны.
• Технические факторы: URL-адреса ресурсов используются для атрибуции происхождения контента и определения границ сайта.
• Временные факторы: Crawl Time Stamp является ключевым элементом данных. Он используется для определения того, какой сайт первым представил определенный фрагмент контента.

Какие метрики используются и как они считаются

• First Aggregate Count (F): Агрегированное количество n-грамм, отобранных с сайта, которые были впервые обнаружены системой на этом сайте (или унаследованы им).
• Second Aggregate Count (T): Общее агрегированное количество n-грамм, отобранных с сайта.
• Site Originality Score: Основная метрика, рассчитываемая на основе F и T. Патент предлагает несколько вариантов формул:
  • Базовое отношение: $F/T$
  • С множителем (C): $(F/T) * C$
  • Со смещением (Z): $(F/T) + Z$
  • Комбинированная: $(F/T) * C + Z$
• Методы анализа текста: Используется шинглирование (n-gram generation) и хеширование (например, MinHash) для эффективного сравнения и согласованного сэмплирования контента.

1. Оригинальность как количественный фактор ранжирования на уровне сайта: Патент четко устанавливает, что Google имеет механизм для математического расчета оригинальности сайта (Site Originality Score) и использует его для ранжирования результатов поиска (Claim 1). Это не просто фильтр дубликатов, а именно оценка всего сайта (или его раздела).
2. Зависимость от скорости сканирования (Crawl Speed): Определение первоисточника полностью основано на Crawl Time Stamp. Сайт, который был просканирован первым, признается оригиналом. Это подчеркивает критическую важность скорости индексации для создателей контента.
3. Механизм наследования (Inheritance) для управления жизненным циклом контента: Система учитывает динамику интернета. Если первоисточник исчезает (например, удаляет статью или происходит миграция сайта), статус оригинала не теряется, а передается следующему сайту в хронологическом порядке (Claim 9).
4. Гибкость в определении "Сайта": Система может анализировать оригинальность не только на уровне домена, но и на уровне субдоменов или поддиректорий. Это позволяет дифференцированно оценивать платформы с пользовательским контентом (UGC) или крупные порталы.
5. Согласованное сэмплирование через хеширование: Использование хеширования (например, MinHash) для выбора n-грамм гарантирует, что система сравнивает сайты последовательно и эффективно, не требуя анализа всего контента.

Best practices (это мы делаем)

• Обеспечение максимально быстрой индексации: Поскольку статус оригинала определяется тем, кто был просканирован первым (Crawl Time Stamp), критически важно оптимизировать скорость обнаружения и сканирования нового контента. Используйте XML Sitemaps, Google Indexing API (где применимо) и обеспечьте высокую скорость ответа сервера.
• Публикация оригинального контента: Основной вывод: для достижения высокого Site Originality Score необходимо сосредоточиться на создании уникального контента, который не был опубликован ранее где-либо еще.
• Тщательное управление миграциями сайтов: При смене домена механизм наследования (Inheritance) может помочь сохранить накопленный "кредит оригинальности". Необходимо обеспечить корректный переезд (301 редиректы), чтобы помочь системе связать старый и новый домены.
• Структурирование крупных сайтов (UGC): Если сайт содержит как авторский контент, так и агрегированный/UGC, рассмотрите возможность их разделения на разные субдомены или поддиректории. Это позволит системе оценивать Site Originality Score для этих разделов независимо.
• Управление синдикацией: Если вы синдицируете контент, убедитесь, что ваша версия индексируется первой. Рекомендуйте партнерам использовать rel="canonical", указывающий на ваш оригинал, чтобы консолидировать сигналы.

Worst practices (это делать не надо)

• Скрапинг и автоматическое копирование контента: Этот патент напрямую направлен против таких практик. Сайты, занимающиеся этим, будут иметь низкий Site Originality Score и рискуют быть пониженными в ранжировании.
• Задержка публикации после синдикации: Если вы публикуете контент у себя позже, чем на сторонних платформах (например, соцсети, блог-платформы), вы рискуете потерять статус первоисточника, если они будут просканированы быстрее.
• Медленный хостинг и проблемы с доступностью: Если Googlebot не может быстро сканировать ваш сайт, возрастает риск того, что ваш контент будет впервые проиндексирован на сайте скрейпера, и вы потеряете статус первоисточника.
• Использование стандартных описаний (E-commerce): Использование описаний товаров от поставщиков или производителей без уникализации снижает Site Originality Score магазина.

Стратегическое значение

Этот патент подтверждает стратегию Google по вознаграждению создателей оригинального контента и борьбе с веб-спамом в виде скрапинга. Site Originality Score является мощным инструментом для автоматического определения ценности источника. Долгосрочная SEO-стратегия должна быть построена на создании уникальной ценности. Для новостных сайтов и блогов скорость публикации и индексации становится не просто преимуществом, а необходимостью для поддержания статуса первоисточника.

Практические примеры

Сценарий 1: Новостной сайт и агрегатор

1. Действие: Новостной сайт (Сайт А) публикует срочную новость в 10:00. Агрегатор (Сайт Б) копирует её в 10:05.
2. Обработка Google: Сайт А использует Indexing API. Googlebot сканирует Сайт А в 10:01 и фиксирует Crawl Time Stamp для n-грамм этой новости. Googlebot сканирует Сайт Б в 10:07.
3. Результат: Система определяет Сайт А как первоисточник. При расчете Site Originality Score эта новость увеличивает числитель (F) для Сайта А. Для Сайта Б она увеличивает только знаменатель (T), тем самым снижая его общую оценку оригинальности. Сайт А получает преимущество в ранжировании.

Сценарий 2: Миграция домена и наследование

1. Действие: Авторитетный блог (OldBlog.com) провел ребрендинг и переехал на NewBlog.com. Настроены 301 редиректы, и OldBlog.com постепенно удаляется из индекса.
2. Обработка Google: Изначально n-граммы контента были атрибутированы OldBlog.com. По мере удаления старого сайта из индекса система обнаруживает, что контент там больше не доступен.
3. Результат: Благодаря механизму Inheritance, система проверяет следующую самую раннюю Crawl Time Stamp для этих n-грамм, которая теперь принадлежит NewBlog.com. NewBlog.com наследует статус оригинала, сохраняя высокий Site Originality Score.