Close Menu

    Как Google определяет и игнорирует «транзиентный» контент (рекламу, даты, виджеты) при индексировании и расчете PageRank

    IDENTIFYING TRANSIENT PORTIONS OF WEB PAGES (Идентификация временных (транзиентных) частей веб-страниц)
    2008 Индексация Патенты Google Свежесть контента Ссылки

    Google использует механизм для определения контента, который часто меняется между версиями страницы (транзиентный контент). Сравнивая HTML-структуру и содержимое на всем сайте, система выявляет блоки (Transient Paths), такие как реклама или динамические виджеты. Этот контент игнорируется при индексации, а ссылки в нем не учитываются при расчете PageRank.

    Описание

    Какую задачу решает

    Патент решает проблему «зашумления» поискового индекса и искажения оценки релевантности из-за наличия на страницах Transient Content (транзиентного или временного контента). К такому контенту относится информация, которая часто меняется и не характеризует основную тематику страницы (например, текущая дата, погода, ротируемая реклама, динамические виджеты). Игнорирование этого контента позволяет точнее индексировать страницу, избегать учета ссылок из динамических/рекламных блоков при расчете PageRank, а также повышает точность таргетинга рекламы.

    Что запатентовано

    Запатентована система для автоматического обнаружения Transient Content и Transient Paths (транзиентных путей). Система сравнивает разные версии одной и той же веб-страницы, а затем обобщает эти данные на весь сайт, анализируя HTML-структуру (пути). Цель – выявить блоки контента, содержимое которых нестабильно во времени и между разными страницами сайта.

    Как это работает

    Механизм работает в два основных этапа:

    1. Идентификация транзиентного контента: Система получает разные версии страницы, парсит их на Tokens (HTML-теги и текст) и генерирует Fingerprints (цифровые отпечатки) для каждого токена. Сравнивая отпечатки, система выявляет, какие токены изменились между версиями, и помечает их в Bit Vector.
    2. Идентификация транзиентных путей (Path Analysis): Система анализирует HTML-путь (последовательность тегов) для изменившихся токенов. Она собирает статистику по всему сайту: как часто встречается этот путь (Subtree Count) и как часто его содержимое меняется (Marked Subtree Count). Если соотношение изменений превышает порог (Threshold T), весь путь маркируется как Transient Path.

    Контент, идентифицированный как транзиентный, игнорируется системами индексации.

    Актуальность для SEO

    Высокая. Отделение основного контента от шаблонных элементов (boilerplate), рекламы и динамических виджетов остается критически важной задачей для поисковых систем. Хотя конкретные методы могли эволюционировать (например, с более глубоким анализом DOM после рендеринга), базовая концепция игнорирования нестабильного контента для улучшения качества индекса и точности расчета ссылочного веса (PageRank) остается фундаментальной.

    Важность для SEO

    Патент имеет значительное влияние на SEO (7.5/10). Он напрямую описывает механизмы, которые определяют, какая часть контента будет проиндексирована и какие ссылки будут учтены при расчете PageRank. Размещение ключевой информации или важных навигационных ссылок в блоках, которые система может классифицировать как Transient Paths из-за их динамичности (например, часто меняющиеся виджеты рекомендаций), может привести к их полному игнорированию поисковой системой.

    Детальный разбор

    Термины и определения

    Transient Content (Транзиентный/Временный контент)
    Контент, который вряд ли останется на странице в будущем и не помогает охарактеризовать страницу. Контент, который меняется между разными версиями страницы (например, погода, дата, реклама).
    Token (Токен)
    Элементарная единица контента после парсинга. Включает HTML-теги (открывающие и закрывающие) и текст, расположенный между тегами.
    Fingerprint (Цифровой отпечаток)
    Короткое числовое описание токена (например, результат хеш-функции). Используется для быстрого сравнения токенов.
    Bit Vector (Битовый вектор)
    Структура данных, содержащая по одному биту для каждого токена страницы. Используется для маркировки токенов: например, ‘1’ означает, что токен является транзиентным (изменился), ‘0’ — стабильным.
    Path (Путь)
    Последовательность открытых HTML-тегов, ведущих к текущему токену (например, <html><body><div>). Определяет положение токена в структуре документа.
    Transient Path (Транзиентный путь)
    HTML-путь (структура), который часто содержит транзиентный контент. Определяется на основе статистического анализа частоты изменений контента внутри этого пути на уровне сайта.
    Subtree Count (Счетчик поддерева)
    Общее количество раз, когда определенный путь (Path) встречается на проанализированных страницах сайта.
    Marked Subtree Count (Счетчик маркированного поддерева)
    Количество раз, когда контент, связанный с определенным путем (Path), был помечен как изменившийся (транзиентный) между версиями страниц.
    Threshold T (Пороговое значение T)
    Порог для определения Transient Path. Если соотношение Marked Subtree Count / Subtree Count превышает T, путь считается транзиентным.

    Ключевые утверждения (Анализ Claims)

    Claim 1 (Независимый пункт): Описывает комплексный метод идентификации транзиентных путей, объединяющий сравнение версий и анализ статистики сайта.

    1. Получение первой и второй версий веб-страницы.
    2. Парсинг версий на наборы токенов.
    3. Вставка Fingerprints токенов в соответствующие структуры данных.
    4. Сравнение отпечатков.
    5. Маркировка токенов, чьи отпечатки присутствуют только в одной структуре, как транзиентных.
    6. Идентификация HTML-пути (Path) для каждого токена.
    7. Подсчет Subtree Count: сколько раз путь появляется на других страницах сайта.
    8. Подсчет Marked Subtree Count: сколько раз контент, связанный с этим путем, меняется между версиями.
    9. Сравнение Subtree Count и Marked Subtree Count.
    10. Определение, является ли путь транзиентным (Transient Path) на основе этого сравнения.

    Claim 6 (Зависимый от 1): Детализирует механизм сравнения отпечатков с использованием Bit Vectors.

    Система инициализирует битовые векторы для каждой версии. Если отпечаток из первой версии не найден во второй, соответствующий бит в первом векторе устанавливается (и наоборот). Это позволяет быстро маркировать изменившиеся токены.

    Claim 11 (Зависимый от 1): Определяет формулу для идентификации Transient Path на основе порога.

    Путь идентифицируется как транзиентный, если соотношение (Ratio) между количеством изменений контента по этому пути (Marked Subtree Count) и общим количеством появлений этого пути (Subtree Count) превышает пороговое значение (Threshold T).

    Claims 5, 13, 19 (Применение): Утверждается, что метод используется для индексации только тех частей веб-страницы, которые не идентифицированы как транзиентные.

    Claims 4, 14, 20 (Применение): Утверждается, что метод используется для таргетинга рекламы только на основе нетранзиентных частей веб-страницы.

    Где и как применяется

    Изобретение применяется на этапе обработки контента перед его индексацией и анализом ссылок.

    CRAWLING – Сканирование и Сбор данных
    На этом этапе система собирает необходимые данные для анализа — несколько версий одних и тех же страниц, а также множество разных страниц с одного сайта.

    INDEXING – Индексирование и извлечение признаков
    Это основной этап применения патента. Во время обработки контента система определяет, какие части страницы являются стабильными (основное содержимое), а какие — транзиентными (шум, реклама, динамические элементы).

    • Парсинг и анализ контента: Происходит сравнение версий и анализ путей.
    • Индексация текста: Transient Content исключается из индекса.
    • Анализ ссылок (PageRank): В описании патента и на схеме 4A указано, что Indexing Engine может игнорировать ссылки, появляющиеся в транзиентном контенте, во время вычисления PageRank.

    Входные данные:

    • Несколько версий (минимум две) веб-страницы.
    • Другие веб-страницы с того же сайта для статистического анализа путей.

    Выходные данные:

    • Битовые векторы (Bit Vectors), маркирующие транзиентный контент на конкретных страницах.
    • Список идентифицированных транзиентных путей (Transient Paths) для сайта.
    • Очищенный контент для индексации.

    На что влияет

    • Конкретные типы контента: Наибольшее влияние оказывается на динамически генерируемый контент, рекламные вставки, виджеты (погода, курсы валют), блоки ротации контента (например, «Последние новости», «Популярные товары», если они часто меняются), счетчики посещений, метки текущего времени и даты.
    • Структурные элементы: Влияет на шаблонные блоки (сайдбары, футеры), если их содержимое часто меняется между посещениями краулера.

    Когда применяется

    • Условия работы алгоритма: Алгоритм применяется при наличии достаточного количества данных для сравнения — как минимум двух версий страницы и достаточной выборки страниц сайта для анализа путей.
    • Триггеры активации: Обнаружение различий (несовпадающих Fingerprints) между версиями страницы запускает процесс маркировки контента и обновления статистики путей.
    • Пороговые значения:
      • Threshold T: Используется для классификации пути как Transient Path. Если частота изменений контента внутри пути выше порога (в патенте упоминается пример 50% или 100%), путь считается транзиентным.
      • Порог максимального изменения: Если соотношение изменившихся токенов к общему числу токенов превышает определенный высокий порог, система делает вывод, что страница претерпела полную реорганизацию (редизайн). В этом случае контент не маркируется как транзиентный, чтобы избежать ложных срабатываний.

    Пошаговый алгоритм

    Процесс состоит из двух основных фаз.

    Фаза 1: Идентификация транзиентного контента (на уровне страницы)

    1. Получение данных: Извлечение двух версий веб-страницы (Версия А и Версия Б).
    2. Парсинг: Разбор HTML-кода обеих версий на токены (теги и текст). При парсинге также определяется HTML-путь для каждого токена.
    3. Генерация отпечатков: Вычисление Fingerprint (например, хеша) для каждого токена в обеих версиях.
    4. Создание структур данных: Сохранение отпечатков в структурах данных (например, Hash Tables) для быстрого поиска.
    5. Сравнение и маркировка: Для каждого токена Версии А система проверяет, присутствует ли его Fingerprint в структуре данных Версии Б (и наоборот).
      • Если НЕТ (токен изменился или отсутствует): Установить соответствующий бит в Bit Vector.
    6. Постобработка: Расширение областей транзиентных токенов, чтобы включить охватывающие их HTML-теги, если весь контент между открывающим и закрывающим тегом помечен как транзиентный.

    Фаза 2: Идентификация транзиентных путей (на уровне сайта)

    1. Инициализация статистики: Создание структур данных для хранения статистики путей: Subtrees (общий счетчик), Marked Subtrees (счетчик изменений).
    2. Агрегация данных: Повторение Фазы 1 для множества страниц сайта и их версий.
    3. Обновление статистики: Для каждого проанализированного пути обновляются счетчики:
      • Subtree Count инкрементируется при каждом появлении пути.
      • Marked Subtree Count инкрементируется, если контент внутри пути был помечен как транзиентный (на основе Bit Vectors из Фазы 1).
    4. Анализ и классификация путей: Для каждого пути рассчитывается соотношение изменений: Ratio = Marked Subtree Count / Subtree Count.
    5. Применение порога: Если Ratio > Threshold T, путь классифицируется как Transient Path.
    6. Использование результата: Контент, соответствующий Transient Paths на любой странице сайта, помечается для игнорирования системами индексации.

    Какие данные и как использует

    Данные на входе

    • Структурные факторы: HTML-код страниц. Система интенсивно анализирует структуру документа, HTML-теги и их вложенность для определения токенов и путей (Paths).
    • Временные факторы: Используются разные версии одной и той же страницы, полученные в разное время (история сканирования). Это ключевой аспект для обнаружения изменений.
    • Контентные факторы: Текст, расположенный между HTML-тегами. Этот текст анализируется на предмет изменений путем сравнения его цифровых отпечатков (Fingerprints).

    Какие метрики используются и как они считаются

    • Fingerprint: Вычисляется путем применения хеш-функции к текстовому представлению токена.
    • Bit Vector: Генерируется в результате сравнения наборов Fingerprints двух версий страницы. Служит маской для идентификации измененных токенов.
    • Subtree Count: Статистический показатель частоты появления определенного HTML-пути на сайте.
    • Marked Subtree Count: Статистический показатель частоты изменения контента внутри определенного HTML-пути.
    • Threshold (T): Предопределенное пороговое значение (например, 50%). Используется для принятия решения о классификации пути как транзиентного.
    • Ratio (Соотношение изменений): Рассчитывается как Marked Subtree Count / Subtree Count.

    Выводы

    1. Google активно отделяет стабильный контент от динамического шума: Основная цель патента — не индексировать и не учитывать при ранжировании контент, который часто меняется и не характеризует страницу (реклама, даты, виджеты).
    2. Изменения контента могут привести к его игнорированию: Если блок контента часто меняется между посещениями краулера, он с высокой вероятностью будет классифицирован как Transient Content.
    3. Анализ структуры (Paths) на уровне сайта: Система не просто сравнивает текст, она анализирует HTML-структуру. Если определенная структура (например, сайдбар) часто содержит меняющийся контент на разных страницах сайта, она будет помечена как Transient Path.
    4. Игнорирование ссылок в транзиентных блоках: Патент явно указывает на возможность игнорирования ссылок, найденных в транзиентном контенте, при расчете PageRank. Это критически важно для оценки ссылочного профиля и внутренней перелинковки.
    5. Защита от ошибок при редизайне: Система включает механизм защиты: если меняется слишком большая часть страницы, это интерпретируется как реорганизация (редизайн), а не как транзиентность, что предотвращает случайное исключение всего контента из индекса.
    6. Эффективность вычислений: Использование Fingerprints и Hash Tables позволяет проводить сравнение версий быстро и с линейной сложностью.

    Практика

    Best practices (это мы делаем)

    • Стабильность основного контента: Убедитесь, что основной контент страницы (текст, заголовки) остается неизменным между посещениями краулера, если в него не вносятся существенные обновления. Избегайте динамической вставки ключевых слов или незначительных изменений при каждой загрузке.
    • Размещение важных ссылок в стабильных блоках: Ключевые навигационные и контекстные ссылки должны располагаться в HTML-структурах, которые не подвержены частым изменениям. Основная навигация и ссылки в основном контенте с меньшей вероятностью будут признаны транзиентными и проигнорированы для PageRank.
    • Изоляция динамических элементов: Размещайте рекламу, виджеты, счетчики и блоки ротации контента в отдельных, четко определенных HTML-контейнерах. Это поможет системе изолировать транзиентность в этих блоках (Transient Paths) и снизит риск того, что основной контент будет также классифицирован как транзиентный.
    • Контроль за шаблонными блоками: Если используются сквозные блоки (сайдбары, футеры), их содержимое должно быть максимально консистентным. Если необходимо показывать динамический контент (например, «Последние комментарии»), нужно понимать, что он может быть проигнорирован.

    Worst practices (это делать не надо)

    • Ротация важных ссылок: Размещение важных для перелинковки ссылок в блоках, которые часто меняются (например, динамическое «облако тегов», блок «Рекомендуем сегодня»). Ссылки в таких блоках рискуют быть классифицированными как транзиентные.
    • Динамическая подмена основного контента: Использование скриптов, которые меняют текст основного контента или мета-информацию при каждой загрузке без изменения сути.
    • Смешивание рекламы и контента: Плотное переплетение динамических рекламных блоков с основным контентом таким образом, что их сложно структурно разделить, увеличивает риск некорректной классификации основного контента.
    • Частое изменение структуры (HTML Paths): Постоянное изменение HTML-тегов или порядка блоков внутри основного контента может помешать системе определить стабильные пути.

    Стратегическое значение

    Этот патент подчеркивает важность отделения основного содержимого (Main Content) от вспомогательного и рекламного (Supplementary/Ads). Для Google важна стабильность сигналов. Контент и ссылки, которые постоянно меняются, рассматриваются как ненадежные сигналы для индексации и ранжирования. Стратегия SEO должна фокусироваться на создании качественного, стабильного контента в предсказуемой и консистентной HTML-структуре. Это также подтверждает, что вес ссылок зависит от их расположения и стабильности блока, в котором они находятся.

    Практические примеры

    Сценарий 1: Игнорирование ссылок во внутренней перелинковке (E-commerce)

    • Ситуация: Интернет-магазин использует сквозной сайдбар с блоком «Популярные товары». Содержимое этого блока меняется автоматически каждый час на основе данных о продажах.
    • Работа алгоритма: Googlebot сканирует разные страницы сайта. Система видит, что HTML-путь, соответствующий этому блоку, присутствует часто (высокий Subtree Count), но его содержимое постоянно меняется (высокий Marked Subtree Count). Соотношение превышает порог T.
    • Результат: Путь маркируется как Transient Path. Ссылки на товары из этого блока игнорируются при расчете внутреннего PageRank. Магазин теряет инструмент управления внутренним ссылочным весом через этот блок.

    Сценарий 2: Игнорирование рекламного блока (Контентный сайт)

    • Ситуация: Новостной сайт вставляет рекламные блоки в середину статей. Реклама меняется при каждой загрузке.
    • Работа алгоритма: Система видит, что токены внутри рекламного блока постоянно меняются между версиями страниц. Блок идентифицируется как Transient Content.
    • Результат: Текст рекламы не смешивается с текстом статьи при индексации, что повышает точность определения тематики статьи. Исходящие ссылки из рекламы не передают PageRank с новостного сайта рекламодателям.

    Вопросы и ответы

    Что такое «транзиентный контент» в контексте этого патента?

    Транзиентный контент (Transient Content) — это любая часть веб-страницы, которая часто меняется между последовательными сканированиями и не характеризует основное содержание документа. Примеры, приведенные в патенте, включают текущую дату, время, погоду, а также рекламу. Система определяет его путем сравнения цифровых отпечатков (Fingerprints) разных версий страницы.

    Как обнаружение транзиентного контента влияет на SEO и PageRank?

    Влияние значительно и затрагивает два ключевых аспекта. Во-первых, транзиентный контент игнорируется при индексации, то есть он не будет использоваться для определения релевантности страницы запросам. Во-вторых, в патенте указано, что ссылки, найденные в транзиентном контенте, могут игнорироваться при вычислении PageRank. Это означает, что ссылки в динамических блоках (например, ротируемых виджетах или часто меняющихся сайдбарах) могут не передавать вес.

    Что такое «Транзиентный путь» (Transient Path) и чем он отличается от транзиентного контента?

    Transient Content — это конкретное содержимое, которое изменилось на странице. Transient Path — это HTML-структура (например, определенный DIV в сайдбаре), которая статистически часто содержит меняющийся контент на уровне всего сайта. Если система помечает путь как транзиентный, то любое содержимое внутри этого пути на любой странице сайта может быть автоматически проигнорировано, даже если оно еще не менялось на конкретной странице.

    Как система определяет, что путь является транзиентным?

    Система собирает статистику по сайту: как часто встречается путь (Subtree Count) и как часто его содержимое меняется (Marked Subtree Count). Если соотношение изменений к общему числу появлений превышает определенный порог (Threshold T, например, 50%), путь классифицируется как транзиентный. Это статистический анализ поведения контента в рамках структуры сайта.

    Если я обновляю контент на странице, будет ли он считаться транзиентным?

    Это зависит от характера обновления. Система предназначена для обнаружения часто меняющегося шума, а не для пессимизации обновлений контента. Если вы существенно обновляете основное содержимое, это не должно быть проблемой. Однако, если вы постоянно меняете небольшие фрагменты (например, ротируете ключевые слова или ссылки в одном и том же блоке), этот блок может быть признан транзиентным.

    Как система реагирует на полный редизайн сайта?

    В патенте предусмотрен механизм защиты от таких случаев. Если количество изменившихся токенов превышает определенный высокий порог, система предполагает, что страница претерпела полную реорганизацию (редизайн). В этом случае анализ транзиентности не применяется, и новая версия обрабатывается как обычно. Это предотвращает случайное исключение всего контента из индекса после редизайна.

    Влияет ли этот механизм на контент, загружаемый через JavaScript (SPA)?

    Да. Патент описывает анализ HTML, разобранного парсером. Эти принципы применяются к DOM после рендеринга. Если JavaScript динамически генерирует разный HTML-код при каждом посещении краулера (даже после рендеринга), этот контент подвержен анализу на транзиентность и может быть проигнорирован.

    Могут ли ссылки в футере или сайдбаре быть признаны транзиентными?

    Да, если их содержимое часто меняется. Например, если у вас есть сквозной блок «Рекомендуемые статьи», и список ссылок в нем меняется ежедневно, этот блок с высокой вероятностью будет классифицирован как Transient Path. Стабильные сквозные ссылки (например, Политика конфиденциальности или основное меню) не будут затронуты, так как они не меняются во времени.

    Как этот патент связан с идентификацией шаблонного контента (boilerplate)?

    Это связанные, но разные концепции. Шаблонный контент (boilerplate) стабилен (он одинаков на многих страницах), тогда как транзиентный контент (transient) нестабилен (он меняется с течением времени на одном и том же URL или пути). Оба механизма помогают Google сосредоточиться на уникальном и стабильном основном контенте страницы.

    Как этот патент влияет на сайты с высокой степенью персонализации?

    Это представляет значительный риск. Если контент страницы сильно меняется в зависимости от пользователя или времени суток (например, главная страница с персонализированной лентой), большая часть этого контента может быть классифицирована как transient. Для SEO важно убедиться, что ключевые элементы и основной контент остаются стабильными и доступными краулеру в неперсонализированном виде.