Как Google использует шинглирование для обнаружения дубликатов и связывания повторяющихся фрагментов текста в разных документах

Описание

Какую задачу решает

Патент решает проблему навигации в больших цифровых корпусах (Corpus), таких как оцифрованные книги (например, Google Books), где отсутствуют естественные гиперссылки между документами. Изобретение позволяет автоматически идентифицировать общие сегменты текста (цитаты, дубликаты, заимствования) и создавать навигационные ссылки между ними, улучшая пользовательский опыт и имитируя веб-браузинг.

Что запатентовано

Запатентована система (Passage Mining Engine), которая использует технику шинглирования (shingling) для обнаружения идентичных или почти идентичных отрывков текста (Similar Passages) в разных документах. Система идентифицирует общие последовательности шинглов, объединяет их, ранжирует на основе длины и частоты встречаемости («интересности») и создает структуру ссылок между документами, содержащими эти отрывки.

Как это работает

Механизм работает в несколько этапов:

• Шинглирование (Shingling): Текст разбивается на перекрывающиеся последовательности слов фиксированной длины (shingles).
• Генерация Таблицы Шинглов: Создается индекс (Shingle Table), сопоставляющий каждый уникальный шингл с документами и позициями, где он встречается.
• Построение Последовательностей (Sequencing): Система идентифицирует непрерывные последовательности (Sequences) шинглов, которые являются общими для исходного и одного или нескольких целевых документов.
• Объединение (Merging): Перекрывающиеся общие последовательности объединяются для формирования максимально длинных похожих отрывков.
• Ранжирование (Ranking): Отрывки ранжируются на основе эвристик (длина и частота), чтобы найти наиболее «интересные» или «популярные».

Актуальность для SEO

Высокая. Технология шинглирования остается фундаментальным и эффективным методом в информационном поиске (Information Retrieval) для обнаружения дубликатов и почти дубликатов (near-duplicates) в больших масштабах. Это критически важно для индексирования, каноникализации и выявления плагиата.

Важность для SEO

Среднее влияние (6/10). Патент в первую очередь описывает инфраструктуру и функции для улучшения навигации в закрытых корпусах (например, Google Books), а не алгоритм веб-ранжирования. Однако он имеет критическое значение для понимания того, как Google алгоритмически обнаруживает дублированный, синдицированный и цитируемый контент в вебе. Понимание этого механизма необходимо для эффективного управления уникальностью контента и стратегиями синдикации.

Детальный разбор

Термины и определения

Corpus (Корпус)

Набор цифровых документов (например, книги, веб-страницы), хранящихся в системе.

Passage Mining Engine (Система анализа отрывков)

Компонент, который анализирует текст документов в корпусе для выявления похожих отрывков.

Sequence (Последовательность)

Один или несколько смежных шинглов, которые появляются в том же порядке как в исходном документе (Source Document), так и хотя бы в одном целевом документе (Target Document).

Shingle (Шингл)

Группа смежных слов в порядке чтения текста (N-грамма). Смежные шинглы перекрываются (скользящее окно).

Shingle Table (Таблица шинглов)

Индекс, который сопоставляет каждый уникальный шингл (Shingle ID) с документами (Doc ID) и позициями (Pos ID), где этот шингл встречается.

Shingle Bucket (Корзина шинглов)

Запись в Shingle Table, содержащая список всех вхождений для конкретного Shingle ID.

Similar Passage (Похожий отрывок)

Отрывок в исходном документе, который также встречается в похожей (часто идентичной) форме в одном или нескольких целевых документах. Формируется путем объединения (Merging) перекрывающихся Sequences.

Source Gap (Разрыв в источнике)

Шингл в исходном документе, который не встречается в других документах корпуса (или исключен из Shingle Table). Определяет границы между группами последовательностей.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации похожих отрывков с использованием шинглирования и секвенирования.

1. Построение Shingle Table для корпуса.
2. Для целевого шингла в исходном документе, идентификация других документов, содержащих его.
3. Идентификация следующего шингла в исходном документе (расположенного сразу после целевого).
4. Идентификация подмножества документов, которые также содержат этот следующий шингл сразу после целевого.
5. Определение Sequence смежных шинглов, общей для исходного документа и подмножества документов.
6. Объединение (Merging) перекрывающихся шинглов в последовательности для формирования объединенной последовательности.
7. Определение Similar Passage на основе объединенной последовательности и его сохранение.

Это алгоритмический процесс поиска точных совпадений текстовых сегментов. Ключевым моментом является требование смежности и сохранения порядка: система итеративно проверяет, что шинглы следуют друг за другом в одинаковом порядке как в исходном, так и в целевом документе. Это обеспечивает высокую точность при поиске дубликатов и цитат.

Claim 5 (Зависимый от 1): Уточняет роль Source Gap.

Шингл, который встречается только в исходном документе (Source Gap), используется для определения границы (завершения) текущей Sequence.

Claim 6 и 7 (Зависимые от 1): Детализируют механизм ранжирования отрывков.

Similar Passage ранжируется относительно других отрывков в документе. Ранжирование основано на вычислении оценки (score), которая учитывает длину отрывка и частоту его появления в других документах корпуса.

Claim 8 и 9 (Зависимые от 1): Описывают применение результатов в пользовательском интерфейсе.

Система отображает найденный Similar Passage и предоставляет гиперссылку, позволяющую пользователю перейти к другому документу, содержащему этот отрывок.

Где и как применяется

Изобретение применяется на этапе обработки данных после их сбора.

INDEXING – Индексирование и извлечение признаков
Это основная фаза применения патента. Passage Mining Engine обрабатывает Corpus для извлечения признаков (похожих отрывков) и построения базы данных Similar Passage DB. Это включает:

• Анализ текста: Процессы Shingling и Sequencing анализируют содержимое для выявления общих последовательностей.
• Обнаружение дубликатов: Технология фундаментальна для систем обнаружения дубликатов и почти дубликатов.
• Ранжирование отрывков: Процессы Merging и Ranking определяют границы и значимость общих отрывков.

Патент указывает, что этот анализ выполняется офлайн, периодически или инкрементально, а не в реальном времени в ответ на запрос.

METASEARCH (Уровень представления UI)
Результаты работы (Similar Passage DB) используются веб-сервером для генерации пользовательского интерфейса (например, в Google Books), отображения популярных фрагментов и создания гиперссылок.

Входные данные:

• Цифровой текстовый Corpus (документы с Doc ID и позициями слов Pos ID).

Выходные данные:

• Similar Passage DB, хранящая идентифицированные отрывки, их местоположение в разных документах и их ранги (scores).

На что влияет

• Типы контента: Влияет на любой контент, где происходит дублирование: оцифрованные книги, описания товаров в E-commerce, синдицированные статьи, новости, юридические документы.
• Ниши и тематики: Особенно актуально для E-commerce (описания от производителей), новостных агрегаторов и академических ресурсов (цитирование и плагиат).

Когда применяется

• Условия работы: Алгоритм применяется во время обработки корпуса (индексирования).
• Триггеры активации: Процесс анализа запускается при обнаружении шингла, присутствующего более чем в одном документе (т.е. не являющегося Source Gap).
• Частота применения: Офлайн. Периодически для обновления корпуса или инкрементально при добавлении новых документов.

Пошаговый алгоритм

Процесс работы Passage Mining Engine:

1. Подготовка и Шинглирование (Shingling):
   1. Нормализация текста (нижний регистр, токенизация, возможное удаление стоп-слов).
   2. Разбивка документов на перекрывающиеся шинглы фиксированного размера (например, 8 слов).
2. Генерация Таблицы Шинглов (Generate Shingle Table):
   1. Создание индекса (Shingle Table), который сопоставляет каждый уникальный Shingle ID со списком (Shingle Bucket) его вхождений (Doc ID, Pos ID).
   2. Шинглы, встречающиеся только один раз, могут быть исключены (они определяют Source Gap).
3. Построение Последовательностей (Build Shingle Sequences): Для каждого исходного документа:
   1. Итерация по шинглам документа в порядке их следования.
   2. Если шингл определяет Source Gap, завершить все активные последовательности.
   3. Если это не разрыв, найти целевые документы, содержащие этот шингл.
   4. Проверить, расширяет ли текущий шингл существующую активную последовательность в целевом документе (т.е. следует ли он непосредственно за предыдущим шинглом).
   5. Если расширяет, обновить последовательность. Если нет, завершить старую и/или начать новую.
4. Объединение Последовательностей в Отрывки (Merge Sequences into Passages):
   1. Группировка идентифицированных последовательностей (границы часто определяются Source Gaps).
   2. Объединение перекрывающихся последовательностей внутри группы. Например, если Документ А и Б имеют общее совпадение 1-20, а Документ А и В — совпадение 10-30, они объединяются, чтобы идентифицировать полный отрывок 1-30 в Документе А.
   3. Короткие последовательности (например, менее 12 слов) могут быть отброшены.
5. Ранжирование Отрывков (Rank Passages):
   1. Вычисление оценки (score) для каждого похожего отрывка на основе эвристик длины и частоты встречаемости.
   2. Фильтрация отрывков, которые слишком короткие/длинные или слишком частые/редкие.

Какие данные и как использует

Данные на входе

• Контентные факторы: Основным входным сигналом является сырой текст документов. Применяется нормализация. Стоп-слова и пунктуация могут быть исключены из шинглов.
• Структурные факторы: Система критически зависит от последовательного порядка слов (использование Pos ID) для идентификации смежных шинглов и построения последовательностей.

Какие метрики используются и как они считаются

• Shingle Size: Предопределенное количество слов в шингле (например, 8).
• Minimum Sequence Length: Порог минимальной длины последовательности (например, 12 слов) для фильтрации общих фраз.
• Passage Score (Оценка отрывка): Метрика для ранжирования «интересности» отрывка. Рассчитывается на основе оценки длины (LS) и оценки частоты (FS).
• Формула оценки: Патент предлагает использовать взвешенное геометрическое среднее:

Выводы

1. Точное и масштабируемое обнаружение дубликатов: Патент детально описывает, как Google использует шинглирование для масштабного обнаружения точных или почти точных дубликатов текста. Этот метод очень эффективен для выявления скопированного контента, плагиата и синдикации.
2. Фокус на последовательности и порядке слов: Обнаружение фокусируется на Sequences смежных слов в строгом порядке. Это отличает его от методов семантического поиска, которые ищут сходство по смыслу.
3. Идентификация «интересного» контента: Система не просто находит дубликаты, но и ранжирует их. Цель — выделить значимые общие отрывки (например, популярные цитаты), фильтруя шаблонный текст или слишком распространенные фразы с помощью оценок длины и частоты.
4. Автоматическое создание связей на основе контента: Основная цель, описанная в патенте, — создать структуру ссылок (гипертекст) между документами на основе общего контента, улучшая навигацию.
5. Фундамент для инфраструктуры поиска: Эта технология является необходимой частью конвейера индексирования, обеспечивая данные для процессов каноникализации и управления дублированным контентом.

Практика

Best practices (это мы делаем)

• Обеспечение оригинальности основного контента: Этот патент демонстрирует, насколько точно Google может алгоритмически обнаружить скопированный текст. Основной контент страницы должен быть уникальным, чтобы избежать проблем с дублированием.
• Уникализация описаний в E-commerce: Критически важно создавать уникальные описания товаров, а не полагаться на текст производителя. Общие описания будут идентифицированы с помощью шинглирования как Similar Passages, присутствующие на множестве других сайтов.
• Добавление уникальной ценности при синдикации: При использовании синдицированного контента или длинных цитат необходимо предоставлять значительную уникальную ценность (аналитику, комментарии) помимо общего текста. Всегда используйте rel=canonical для указания первоисточника.
• Создание «цитируемого» контента (Стратегически): Разрабатывайте контент, содержащий авторитетные формулировки. Патент показывает, что Google измеряет частоту повторного использования текста. Если ваш контент часто цитируется (высокая частота), это может косвенно служить сигналом авторитетности (E-E-A-T).

Worst practices (это делать не надо)

• Плагиат и копирование контента: Использование чужого контента без изменений крайне неэффективно, так как он будет точно идентифицирован как дубликат с помощью шинглирования.
• Легкий рерайтинг/Спиннинг (Spinning): Хотя описанный метод фокусируется на точных последовательностях, шинглирование является основой для систем обнаружения почти дубликатов (near-duplicates). Поверхностное изменение текста может быть недостаточным для обеспечения уникальности.
• Публикация шаблонного контента (Boilerplate): Размещение больших объемов дублированного контента без добавления уникальной ценности может размыть основное содержание страницы.

Стратегическое значение

Патент подтверждает алгоритмическую способность Google идентифицировать и картировать общий контент по всему интернету на лексическом уровне. Хотя Google активно использует семантический анализ (NLP, Entities), этот патент напоминает, что обнаружение дубликатов на основе точного совпадения остается фундаментальной частью инфраструктуры индексирования. Долгосрочная стратегия должна фокусироваться на оригинальности.

Практические примеры

Сценарий: Управление описаниями товаров в E-commerce

1. Ситуация: Интернет-магазин использует стандартные описания товаров от производителя, которые также используют десятки конкурентов.
2. Анализ (на основе патента): Используя шинглирование, Google идентифицирует эти описания как Similar Passages. Система видит, что последовательности шинглов на всех этих сайтах идентичны.
3. Действие SEO-специалиста: Инициируется проект по созданию уникальных описаний для приоритетных товаров, добавляя обзоры, детали применения и уникальные характеристики.
4. Ожидаемый результат: Новые описания гарантируют, что последовательности шинглов уникальны для сайта. Это устраняет проблему дублированного контента на уровне продукта и повышает потенциал ранжирования по релевантным запросам.

Вопросы и ответы