Как Google игнорирует часто меняющийся контент и ссылки в нем, определяя "временные" блоки шаблона сайта

Термины и определения

Transient Content (Временный контент)

Контент на веб-странице, который, вероятно, не будет присутствовать на ней в будущем и, следовательно, не помогает охарактеризовать основное содержание страницы. Определяется путем сравнения изменений между разными версиями страницы.

Transient Path (Временный путь)

Путь в структуре документа (например, HTML-путь), который систематически содержит Transient Content на сайте. Определяется статистически на основе частоты изменений контента внутри этого пути на разных страницах.

Tokens (Токены)

Элементарные единицы, на которые парсер разбивает веб-страницу. Включают открывающие/закрывающие HTML-теги и текстовый контент между ними.

Fingerprint (Фингерпринт / Отпечаток)

Короткое числовое описание токена (результат хеш-функции). Используется для быстрого сравнения токенов. Одинаковые токены имеют одинаковые фингерпринты.

Bit Vector (Битовый вектор)

Структура данных, используемая для маркировки токенов. Содержит по одному биту для каждого токена страницы. Если бит установлен (например, в 1), соответствующий токен считается временным.

Subtree Count / subtrees (Счетчик поддеревьев)

Общее количество раз, когда определенный путь (и соответствующее ему поддерево) появляется на всех проанализированных страницах сайта.

Marked Subtree Count / marked_subtrees (Счетчик маркированных поддеревьев)

Количество раз, когда контент, соответствующий определенному пути, был идентифицирован как временный (т.е. изменился между версиями страницы).

Indexing Engine (Механизм индексирования)

Компонент поисковой системы, который обрабатывает контент и создает поисковый индекс. Использует данные о временном контенте для его исключения из индекса.

PageRank

Мера качества страницы, рассчитываемая на основе входящих ссылок. Патент предполагает, что Indexing Engine может игнорировать ссылки, появляющиеся во временном контенте, при расчете PageRank.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод обобщения временного контента и его применение.

1. Система получает идентификацию известного Transient Content на первой веб-странице сайта.
2. Определяется HTML-путь, связанный с этим контентом.
3. Система получает другие страницы этого же сайта.
4. Определяется, существует ли этот же путь на других страницах.
5. Если ДА, контент, расположенный по этому пути на других страницах, идентифицируется как вероятный Transient Content.
6. Далее для каждой страницы, содержащей этот путь, вычисляется частота изменений (transient frequency) контента внутри этого пути на основе нескольких версий страницы.
7. Частота сравнивается с пороговым значением.
8. Если частота превышает порог, путь идентифицируется как Transient Path.
9. Система идентифицирует финальный Transient Content на основе Transient Path.
10. Применение: Идентификация таргетированной рекламы для сайта, при этом контент, идентифицированный как Transient Content, исключается из рассмотрения.

Claim 6 (Независимый пункт): Описывает статистический метод идентификации временного пути.

1. После получения идентификации временного контента и определения его пути, система выполняет статистический анализ.
2. Идентифицируется Subtree Count: количество раз, когда этот путь появляется на других страницах сайта.
3. Идентифицируется Marked Subtree Count: количество раз, когда контент, связанный с этим путем, менялся между версиями соответствующих страниц.
4. Subtree Count сравнивается с Marked Subtree Count.
5. На основе сравнения путь идентифицируется как Transient Path.

Claim 7 (Зависимый от 6): Уточняет критерий идентификации.

Путь идентифицируется как Transient Path, если отношение (ratio) количества изменений (Marked Subtree Count) к общему количеству появлений (Subtree Count) превышает пороговую частоту (threshold frequency).

Claim 12 (Независимый пункт): Альтернативное описание статистического метода (аналогично Claim 6).

Описывает метод, включающий получение известного временного контента, идентификацию его пути, подсчет общего числа появлений пути на сайте (Subtree Count), подсчет числа изменений контента в этом пути (Marked Subtree Count), сравнение этих счетчиков и идентификацию пути как временного на основе сравнения.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов работы поисковой системы.

CRAWLING – Сканирование и Сбор данных
Для работы алгоритма необходим доступ к нескольким версиям (snapshots) одних и тех же страниц, собранных в разное время. Это подразумевает частое пересканирование контента и хранение истории.

INDEXING – Индексирование и извлечение признаков
Основное место применения патента. Процесс происходит во время анализа контента перед его добавлением в индекс.

1. Парсинг и Токенизация: Страницы разбираются на токены и анализируется их HTML-структура (пути).
2. Анализ изменений: Система сравнивает текущую версию страницы с предыдущими для выявления Transient Content.
3. Статистический анализ путей: Система агрегирует данные по всему сайту для выявления Transient Paths.
4. Фильтрация контента: Transient Content удаляется перед индексацией (улучшение IR-scores).
5. Анализ ссылок: Ссылки, найденные внутри Transient Content или Transient Paths, могут быть проигнорированы при расчете PageRank.

RANKING – Ранжирование
Патент напрямую не влияет на процесс ранжирования в реальном времени, но оказывает косвенное влияние через качество индекса и скорректированные значения PageRank. Отсутствие временного шума в индексе позволяет точнее рассчитывать релевантность (IR score).

Входные данные:

• Несколько версий (snapshots) веб-страниц одного сайта.
• HTML-код этих страниц.

Выходные данные:

• Битовые векторы (Bit Vectors), маркирующие временные токены на конкретных страницах.
• Список идентифицированных Transient Paths для сайта.
• Очищенный контент для индексации.
• Скорректированный граф ссылок для расчета PageRank.

На что влияет

• Типы контента: Наибольшее влияние оказывается на страницы с большим количеством динамических элементов: новостные порталы (блоки "Срочные новости"), E-commerce (блоки "Рекомендуемые товары", ротация баннеров), блоги с виджетами (погода, курсы валют).
• Структура сайта: Влияет на сайты, использующие общие шаблоны для генерации страниц, где динамический контент вставляется в одни и те же структурные блоки (HTML-пути).

Когда применяется

• Триггеры активации (Анализ контента): При обработке новой версии страницы во время индексирования.
• Триггеры активации (Анализ путей): Периодически, при накоплении достаточного количества данных об изменениях на страницах сайта.
• Пороговые значения (Threshold T): Алгоритм идентификации Transient Path активируется, если частота изменений контента в определенном пути превышает заданный порог (например, 50%).
• Исключения: Если процент изменений между двумя версиями страницы слишком велик (превышает отдельный порог), система может решить, что произошла полная реорганизация сайта (редизайн), и не маркировать изменения как временные, чтобы избежать ложных срабатываний. Также упоминается ограничение на максимальную длину пути (например, 1000 символов) для поддержания эффективности.

Пошаговый алгоритм

Алгоритм состоит из двух взаимосвязанных процессов.

Процесс А: Идентификация временного контента (Сравнение версий)

1. Получение данных: Извлечение двух версий одной веб-страницы (Версия 1 и Версия 2).
2. Парсинг и Токенизация: Каждая версия разбирается на последовательность токенов (теги и текст). Парсер также определяет родительский элемент для каждого токена, используя стек открытых тегов (для обработки некорректного HTML).
3. Генерация фингерпринтов: Для каждого токена вычисляется фингерпринт (хеш).
4. Создание структур данных: Фингерпринты сохраняются в структурах данных (например, хеш-таблицах) для каждой версии.
5. Сравнение (V1 vs V2): Система перебирает токены Версии 1. Для каждого токена она проверяет, присутствует ли его фингерпринт в структуре данных Версии 2.
6. Маркировка (V1): Если фингерпринт не найден в V2, соответствующий бит в Битовом векторе 1 устанавливается (маркируется как временный).
7. Сравнение (V2 vs V1): Повторение шага 5 для токенов Версии 2, проверяя их наличие в Версии 1.
8. Маркировка (V2): Если фингерпринт не найден в V1, соответствующий бит в Битовом векторе 2 устанавливается.
9. Постобработка: Области временных токенов могут быть расширены, чтобы включить охватывающие их HTML-теги, если весь контент между тегами является временным.

Процесс Б: Идентификация временных путей (Анализ сайта)

1. Инициализация: Создание трех хеш-таблиц для хранения статистики по сайту: subtrees (общий счетчик), marked_subtrees (счетчик изменений), unique_children (счетчик уникальных дочерних путей). Ключом является строка HTML-пути.
2. Сбор данных: Выполнение Процесса А для множества страниц сайта и их версий.
3. Агрегация статистики: Для каждой проанализированной страницы система сканирует список токенов и их пути:
   • Счетчик subtrees для данного пути инкрементируется.
   • Если это первое появление пути, счетчик unique_children для родительского пути инкрементируется.
   • Если битовый вектор (из Процесса А) показывает, что все токены в поддереве, начинающемся с текущего токена, маркированы как временные, счетчик marked_subtrees для этого пути инкрементируется.
4. Анализ и Идентификация: Система анализирует собранную статистику. Путь идентифицируется как Transient Path, если выполняется условие: $\frac{marked\_subtrees(path)}{subtrees(path)} > Порог T$ (например, T=0.5).
5. Иерархическая обработка: Если родительский путь идентифицирован как временный, все дочерние пути также считаются временными.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текстовое содержимое между HTML-тегами (анализируется как токены).
• Структурные факторы: HTML-теги (анализируются как токены) и иерархия этих тегов (используется для определения путей).
• Временные факторы: Критически важные данные. Система требует наличия нескольких версий (snapshots) страниц, собранных в разное время, для анализа изменений.

Какие метрики используются и как они считаются

• Фингерпринты токенов: Вычисляются с помощью хеш-функции от текстового представления токена.
• Subtree Count: Простой счетчик появлений определенного HTML-пути на сайте.
• Marked Subtree Count: Счетчик случаев, когда контент внутри HTML-пути изменился между версиями страницы.
• Token Change Ratio (Коэффициент изменения токенов): Отношение Marked Subtree Count к Subtree Count.
• Порог T (Threshold Frequency): Предопределенное значение (например, 0.5 или 1.0), с которым сравнивается Token Change Ratio для классификации пути как временного.
• Порог максимальных изменений страницы: Если отношение маркированных (измененных) токенов к общему числу токенов на странице превышает этот порог, считается, что страница была полностью реорганизована, и результаты анализа аннулируются для этой пары версий.

1. Google активно борется с динамическим шумом: Патент демонстрирует механизм, направленный на отделение основного, постоянного контента от временных элементов (виджеты, реклама, дата/время). Контент, который меняется слишком часто, считается неважным для характеристики страницы.
2. Структура HTML используется для обобщения на уровне сайта: Ключевым моментом является переход от идентификации временного контента на одной странице к идентификации Transient Paths на всем сайте. Если определенный блок шаблона (HTML-путь) систематически содержит меняющийся контент, Google научится игнорировать этот блок на всех страницах.
3. Влияние на индексацию (IR Scores): Временный контент исключается из индекса. Это означает, что ключевые слова, присутствующие только в таких блоках, не будут способствовать ранжированию страницы по этим запросам.
4. Влияние на ссылочный вес (PageRank): В патенте прямо указано, что ссылки, обнаруженные во временном контенте, могут игнорироваться при вычислении PageRank. Это критически важно для стратегий внутренней перелинковки.
5. Эффективность за счет статистики: Система не полагается на сложный анализ контента, а использует быструю (линейной сложности) статистическую оценку частоты изменений в привязке к структуре документа (токены, фингерпринты, пути).
6. Риск ложных срабатываний при редизайне: Система имеет защиту от массовых изменений на сайте (редизайн), чтобы не классифицировать весь контент как временный в этот период.

Best practices (это мы делаем)

• Размещайте ключевой контент в стабильных блоках: Убедитесь, что основное содержание страницы (Main Content) находится в HTML-структурах, которые не подвержены постоянным изменениям. Контент должен быть постоянным между разными сканированиями Googlebot.
• Критически оценивайте динамическую перелинковку: Ссылки в блоках, которые полностью меняются при каждой загрузке или очень часто (например, "Случайные товары", "Самые комментируемые статьи за последний час"), имеют высокий риск быть классифицированными как Transient Content и проигнорированными для PageRank. Важная навигация должна быть стабильной.
• Используйте чистую и семантическую HTML-структуру: Хотя это всегда хорошая практика, данный патент подчеркивает, что Google анализирует HTML-пути. Четкое отделение основного контента от сайдбаров и динамических виджетов помогает системе корректно интерпретировать структуру страницы.
• Мониторинг кэша Google и результатов сканирования: Сравнивайте, как Google видит вашу страницу в разные моменты времени (используя кэш или инструменты анализа логов сервера). Если важные блоки контента постоянно меняются, это повод для беспокойства.

Worst practices (это делать не надо)

• Размещение важной навигации в ротируемых блоках: Использование JavaScript для генерации основного меню или важных ссылок таким образом, что их состав или порядок полностью меняется при каждом визите, может привести к их игнорированию.
• Чрезмерное использование динамических вставок в основном контенте: Если основной текст статьи постоянно перемежается динамическими виджетами (например, курсы валют, погода) или агрессивной ротацией рекламы, это увеличивает риск того, что части основного контента или даже весь блок будут признаны временными.
• Использование нестабильных идентификаторов и классов в шаблонах: Хотя патент фокусируется на путях (иерархии тегов), нестабильная структура HTML в целом затрудняет сравнение версий и может привести к некорректной идентификации изменений.

Стратегическое значение

Патент подтверждает стратегию Google на глубокое понимание структуры страницы и отделение сигнала от шума. Это не просто обнаружение дублирующегося boilerplate-контента (статических шаблонов), а идентификация динамически меняющихся элементов. Для SEO это означает, что стабильность и предсказуемость контента и структуры являются факторами доверия. Системы, которые полагаются на агрессивную динамическую оптимизацию или манипуляцию ссылками через часто меняющиеся блоки, рискуют тем, что их усилия будут полностью проигнорированы алгоритмами индексации и расчета PageRank.

Практические примеры

Сценарий 1: Игнорирование ссылок в блоке E-commerce

1. Ситуация: Интернет-магазин размещает на главной странице блок "Специальные предложения дня". Контент этого блока (товары и ссылки на них) полностью меняется каждые 24 часа.
2. Анализ Google (Процесс А): Googlebot сканирует страницу сегодня и завтра. Сравнивая версии, он видит, что токены внутри этого блока полностью изменились. Контент маркируется как временный.
3. Анализ Google (Процесс Б): Система определяет HTML-путь этого блока (например, <body><div id="daily-deals">...). Анализируя статистику по другим страницам или по истории этой страницы, система видит, что контент в этом пути меняется в 100% случаев (Порог T достигнут). Путь маркируется как Transient Path.
4. Результат: Ссылки на товары внутри этого блока игнорируются при расчете PageRank. Товары получают меньше ссылочного веса, что может замедлить их индексацию и ухудшить ранжирование.

Сценарий 2: Фильтрация контента новостного виджета

1. Ситуация: Корпоративный блог размещает в сайдбаре виджет, показывающий последние заголовки из внешнего новостного источника. Виджет обновляется каждый час.
2. Анализ Google: Система идентифицирует HTML-путь этого виджета как Transient Path из-за высокой частоты изменений контента.
3. Результат: Текст заголовков из виджета не попадает в индекс блога. Это хорошо, так как предотвращает ранжирование блога по нерелевантным новостным запросам и улучшает тематическую чистоту индекса.