Как Google идентифицирует перемещенный контент при сравнении версий веб-страниц во время индексации

Термины и определения

Additional Sets of Matching Elements (Дополнительные наборы совпадающих элементов)

Совпадающие элементы, идентифицированные во время последующих (не первых) итераций процесса сравнения. Если их местоположение отличается в двух документах, они соответствуют перемещенному контенту.

Information Content (Информационное содержание)

Метрика значимости набора совпадающих элементов. Рассчитывается для фильтрации тривиальных совпадений. Может основываться на количестве символов или взвешенной сумме, где разные символы (например, пробелы) имеют разный вес.

Labels (Метки)

Классификаторы, присваиваемые элементам документа. Основные метки: 'Unchanged' (не изменен), 'Moved' (перемещен), 'Changed' (изменен), а также 'Moved and Changed' (перемещен и изменен).

Longest-Common-Subsequence (LCS) (Наибольшая общая подпоследовательность)

Алгоритмическая техника, упомянутая как метод для поиска самых длинных последовательностей элементов, общих для двух документов.

Marker (Маркер)

Идентификатор, который может быть добавлен в документ на место удаленного совпадения в процессе итеративного анализа для отслеживания изменений.

Set of Matching Elements (Набор совпадающих элементов)

Группа элементов (символов, слов, строк), которая идентична в обоих сравниваемых документах. Часто относится к совпадениям, найденным на первой итерации.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод сравнения.

1. Идентификация первого набора совпадающих элементов (set of matching elements) и их местоположений в первом и втором документах.
2. Повторяющаяся идентификация дополнительных наборов (additional sets of matching elements) до тех пор, пока совпадений больше нет. Каждый набор отличается от других.
3. Вычисление Information Content для заданного набора.
4. Присвоение меток (Labels) на основе вычисленного Information Content.
5. Детализация: Метка 'Unchanged' присваивается, если Information Content больше или равен пороговому значению (pre-determined value). Метка 'Changed' присваивается, если меньше.

Claim 6 (Зависимый от 1): Указывает на применение в контексте поисковой системы.

Документы хранятся в репозитории, который включает документы, извлеченные (scraped) с хост-сайтов в сети (например, Интернет).

Claim 10 (Зависимый от 1): Уточняет, что идентификация может выполняться с использованием техники Longest-Common-Subsequence (LCS).

Claim 11 и 12 (Зависимые от 1): Описывают итеративный процесс.

Все экземпляры найденных наборов удаляются из документов перед поиском последующих дополнительных наборов. На место удаленных экземпляров может быть добавлен Marker.

Claim 13 (Зависимый от 1): Определяет возможность перемещения.

Местоположение дополнительного набора в Документе 2 может отличаться от его местоположения в Документе 1.

Claim 18 (Зависимый от 1): Вводит метку 'Moved' для дополнительных наборов.

1. Метка 'Moved' присваивается экземплярам additional sets, если их Information Content больше или равен другому пороговому значению (another pre-determined value).
2. Метка 'Changed' присваивается, если меньше этого порога.

Claim 21 (Зависимый): Описывает слияние смежных блоков.

Если два набора с меткой 'Moved' разделены промежуточным набором с меткой 'Changed', они могут быть объединены в единую группу с меткой 'Moved and Changed'.

Где и как применяется

Изобретение применяется на этапе обработки данных после сканирования для эффективного сравнения новой версии документа со старой.

CRAWLING – Сканирование и Сбор данных
На этом этапе система получает новую версию веб-страницы. Этот контент служит входом для механизма сравнения.

INDEXING – Индексирование и извлечение признаков
Основное применение. Система индексирования (например, Caffeine) сравнивает только что сканированный контент с последней версией, хранящейся в репозитории (Claim 6). Это позволяет:

1. Анализировать эволюцию контента: Система определяет, изменился ли основной контент ('Changed') или произошла реорганизация макета ('Moved'). Это влияет на необходимость переоценки страницы и на сигналы свежести.
2. Эффективно обновлять индекс: Позволяет обрабатывать только те части страницы, которые действительно изменились.

Входные данные:

• Первый документ (например, версия веб-страницы из индекса).
• Второй документ (например, только что сканированная версия).
• Пороговые значения для Information Content.

Выходные данные:

• Структурированное представление различий.
• Метки (Labels) для каждого блока контента ('Moved', 'Changed', 'Unchanged').
• Контекстная информация (Context Information), включая указатели на старые/новые местоположения перемещенных блоков.

На что влияет

• Конкретные типы контента: Патент явно упоминает применение к web pages (веб-страницам) (Claim 3) и computer-software instructions (программному коду) (Claim 2).
• Структура документа: Алгоритм особенно важен для анализа страниц, где часто меняется макет или порядок блоков (например, редизайн, изменение шаблонов, перемещение виджетов).

Когда применяется

• Условия применения: Алгоритм применяется, когда краулер повторно посещает URL и обнаруживает, что контент изменился с момента последнего сканирования.
• Триггеры активации: Необходимость сравнить новую версию документа с предыдущей версией, хранящейся в репозитории.

Пошаговый алгоритм

Процесс сравнения Документа 1 (Старый) и Документа 2 (Новый).

1. Инициализация: Получение двух версий документа.
2. Итеративная идентификация совпадений (Цикл):
   1. Поиск совпадений: Применение техники (например, LCS) для идентификации совпадающих наборов элементов в текущем состоянии документов.
   2. Маркировка и удаление (Опционально): Найденные совпадения удаляются из документов для следующей итерации, а на их место ставятся маркеры.
   3. Проверка выхода: Если совпадений больше не найдено, выход из цикла. Иначе повторить шаг 2a.
3. Вычисление Information Content: Для всех идентифицированных наборов (найденных на всех итерациях) вычисляется Information Content (например, взвешенная сумма символов).
4. Присвоение меток (Labels): Анализ каждого набора с учетом итерации, на которой он был найден, и его Information Content:
   • Наборы первой итерации: Если Information Content выше Порога 1, присвоить 'Unchanged'. Если ниже, 'Changed'.
   • Наборы последующих итераций (Additional Sets): Если Information Content выше Порога 2 (может отличаться от Порога 1), присвоить 'Moved' (так как их местоположение, вероятно, отличается). Если ниже, 'Changed'.
   • Остаток: Элементам, не вошедшим ни в один набор совпадений, присваивается 'Changed'.
5. Слияние смежных наборов (Опционально): Смежные блоки объединяются. Например, последовательность 'Moved' -> 'Changed' -> 'Moved' может быть объединена в один блок 'Moved and Changed'.
6. Генерация вывода: Формирование итогового представления с контекстной информацией.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке содержимого документов.

• Контентные факторы: Основные данные — это содержимое сравниваемых документов. Алгоритм анализирует последовательности элементов, которыми могут быть символы, слова или строки (Claim 8).
• Структурные факторы: Порядок и расположение (locations) элементов в каждом документе критически важны для обнаружения перемещений.
• Технические факторы: Упоминается возможность определения языка документа (например, языка программирования), что может влиять на расчет Information Content (Claim 17).

Какие метрики используются и как они считаются

• Information Content (Информационное содержание): Ключевая метрика значимости совпадения. Методы расчета включают:
  • Количество символов: Базовый расчет (Claim 15).
  • Взвешивание символов: Применение разных весов к разным символам (Claim 16). Например, пробелы и табуляция могут иметь меньший вес, чем текст.
• Pre-determined values (Пороговые значения): Пороги, используемые для сравнения с Information Content. Определяют, будет ли совпадение помечено как значимое ('Unchanged' или 'Moved') или тривиальное ('Changed'). Пороги могут отличаться для разных итераций.
• Методы анализа:
  • Longest-Common-Subsequence (LCS): Упоминается как техника для нахождения совпадений (Claim 10).

1. Google точно распознает перемещенный контент: Патент описывает конкретный механизм, позволяющий системе идентифицировать блоки контента, перемещенные в пределах страницы, не помечая их как удаленные и заново добавленные.
2. Различение реорганизации и обновления: Система способна технически отличить изменение макета (редизайн, перемещение блоков) от фактического обновления содержания текста.
3. Оценка значимости изменений (Information Content): Вводится метрика Information Content, которая позволяет игнорировать тривиальные изменения и фокусироваться на существенных блоках контента при анализе обновлений.
4. Применение к индексации веб-страниц: Механизм используется для сравнения веб-страниц, хранящихся в репозитории Google (Claim 6), что подтверждает его применение в конвейере индексации.
5. Влияние на сигналы свежести: Поскольку система знает, что контент был перемещен ('Moved'), а не обновлен ('Changed'), простое перемещение контента вряд ли активирует сильные сигналы свежести, которые могли бы быть активированы при добавлении аналогичного объема нового контента.

Best practices (это мы делаем)

• Уверенное проведение редизайна и реструктуризации: Не стоит опасаться, что перемещение ключевых блоков контента (например, при смене шаблона или улучшении UX) приведет к потере релевантности. Механизм, описанный в патенте, позволяет Google понять, что это тот же самый контент в новом месте (метка 'Moved').
• Сохранение целостности блоков при перемещении: При реструктуризации старайтесь перемещать блоки контента с минимальными изменениями внутри блока. Это максимизирует Information Content совпадения и гарантирует, что система корректно классифицирует его как 'Moved', а не 'Changed'.
• Фокус на реальном обновлении контента для свежести: При актуализации страниц вносите существенные изменения в содержание (высокий Information Content изменений), а не просто меняйте порядок абзацев. Это необходимо, чтобы Google распознал обновление как значимое ('Changed').

Worst practices (это делать не надо)

• Имитация свежести через перемещение контента: Попытки обмануть алгоритмы свежести путем изменения порядка существующих блоков на странице неэффективны. Патент напрямую описывает механизм для обнаружения такого перемещения (метка 'Moved'), и система не будет интерпретировать это как новый контент.
• Внесение только тривиальных изменений: Обновление страницы путем изменения нескольких незначительных слов или форматирования (низкий Information Content) может быть классифицировано как незначительное изменение и не приведет к существенной переоценке страницы.
• Полное переписывание во время перемещения: Если блок контента перемещается и одновременно полностью переписывается, система не найдет совпадений и интерпретирует это как удаление старого и добавление нового контента. Если цель — сохранить сигналы старого контента, этого следует избегать без необходимости.

Стратегическое значение

Патент подтверждает, что Google обладает сложными инфраструктурными инструментами для анализа эволюции контента на блочном уровне. Это подчеркивает, что система оценивает не только финальное состояние страницы, но и процесс ее изменения. Стратегически важно понимать, что Google различает перемещение и обновление, что позволяет более уверенно проводить работы по улучшению архитектуры сайта и шаблонов страниц, снижая риски потери накопленных сигналов при редизайне.

Практические примеры

Сценарий 1: Редизайн сайта и изменение макета страницы товара

1. Ситуация: Проводится редизайн интернет-магазина. Блок с основным описанием перемещается из правой колонки под изображение товара. Текст описания не меняется.
2. Обработка Google: Система сравнения использует итеративный LCS. Она идентифицирует блок описания как Additional Set of Matching Elements.
3. Анализ: Так как блок содержит много текста (высокий Information Content), ему присваивается метка 'Moved'.
4. Результат: Google понимает, что основной контент не изменился, а был реорганизован. Страница не требует полной переоценки релевантности, как если бы этот контент был заменен новым.

Сценарий 2: Попытка «освежить» старую статью

1. Ситуация: SEO-специалист меняет местами 3-й и 5-й абзацы старой статьи и обновляет дату публикации.
2. Обработка Google: Система сравнения идентифицирует эти абзацы как перемещенные ('Moved').
3. Результат: Google видит, что новый контент добавлен не был (нет значимых блоков 'Changed'). Система может проигнорировать сигнал свежести, так как фактическое содержание статьи не обновилось.