Как Google использует семантические сигнатуры на основе фраз для выявления и удаления дубликатов контента

Термины и определения

Document Description (Описание документа / Сигнатура)

Набор из Топ-N предложений документа, выбранных и упорядоченных на основе количества содержащихся в них related phrases. Используется как уникальная сигнатура для обнаружения дубликатов.

Good Phrase (Хорошая фраза)

Фраза (включая отдельные слова), которая встречается в корпусе достаточно часто и/или имеет "выделенное" использование, и которая обладает предсказательной силой в отношении других фраз.

Information Gain (Прирост информации)

Метрика для определения связи между фразами. Рассчитывается как отношение фактической частоты совместной встречаемости двух фраз к ожидаемой частоте (если бы они были независимы). Высокий Information Gain указывает на сильную связь.

Related Phrases (Связанные фразы)

Две фразы считаются связанными, если показатель Information Gain между ними превышает определенный порог. Это означает, что появление одной фразы в документе значительно увеличивает вероятность появления другой.

Document significance measure (Показатель значимости документа)

Независимая от запроса метрика качества или авторитетности документа. PageRank приводится в патенте как пример (Claim 4). Используется для выбора канонической версии среди дубликатов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обнаружения дубликатов.

1. Система выбирает первый и второй документы из набора.
2. Система сравнивает document description первого документа с document description второго документа.
3. Определяется, что такое document description: это выбранный набор предложений документа, которые отобраны и упорядочены в зависимости от количества related phrases в этих предложениях.
4. Определяется, что такое related phrase: фраза g(j) связана с фразой g(k), если Information Gain между ними превышает порог. Information Gain определяется как функция фактической и ожидаемой частоты совместной встречаемости.
5. Если описания документов совпадают, система идентифицирует документы как дубликаты.

Ядро изобретения — использование семантической сигнатуры, основанной на концентрации связанных концепций в ключевых предложениях, для выявления концептуальных, а не только текстуальных дубликатов.

Claim 2 (Зависимый от 1): Уточняет применение метода к результатам поиска.

1. Система получает запрос и формирует набор результатов поиска.
2. На основе идентификации дубликатов (по методу из Claim 1), система исключает как минимум один из дублирующихся документов из набора результатов поиска.

Claim 3 и 4 (Зависимые от 2): Уточняют критерии выбора документа для исключения. Исключается документ с более низким показателем значимости (document significance measure). Claim 4 уточняет, что этот показатель может включать PageRank.

Claim 6 (Зависимый от 1): Детализирует процесс генерации document description. Для каждого документа описание генерируется путем выбора предложений и их упорядочивания в зависимости от количества related phrases в них.

Claim 11 и 12 (Зависимые): Описывают способ хранения и сравнения сигнатур. Предложения в document description конкатенируются, вычисляется хэш-значение. Сравнение описаний происходит путем сравнения их хэш-значений.

Где и как применяется

Изобретение может применяться на двух ключевых этапах поисковой архитектуры.

CRAWLING и INDEXING – Сканирование, Сбор данных и Индексирование
Механизм используется для поддержания чистоты индекса. При сканировании нового документа (Claim 9) система генерирует его document description (сигнатуру) на основе related phrases. Эта сигнатура сравнивается с сигнатурами уже проиндексированных документов. Если обнаружен дубликат, новый документ может быть отброшен (Claim 5), или может быть выбрана более авторитетная версия.

RERANKING – Переранжирование
Механизм применяется к набору документов, отобранных на этапе RANKING (Claim 2). Перед показом пользователю система анализирует результаты поиска для выявления дубликатов. Сигнатуры документов сравниваются, и дубликаты удаляются из финальной выдачи (SERP), чтобы повысить ее разнообразие.

Предварительные вычисления (INDEXING): Для работы этого механизма система должна предварительно рассчитать данные о фразах в масштабе всего корпуса: идентифицировать Good Phrases, рассчитать Information Gain и определить Related Phrases.

Входные данные:

• Текст документа.
• Данные о связях между фразами и их Information Gain (Related Phrases).
• Показатели авторитетности документов (например, PageRank).

Выходные данные:

• Сгенерированная сигнатура документа (Document Description).
• Решение о том, является ли документ дубликатом.
• Очищенный от дубликатов индекс или набор результатов поиска.

На что влияет

• Типы контента: Наибольшее влияние оказывается на текстовый контент, подверженный копированию или синдикации: новостные статьи, описания товаров, пресс-релизы, справочная информация.
• Конкретные ниши: Влияет на ниши, где часто используется рерайтинг, спиннинг или генерация контента на основе шаблонов (e-commerce, агрегаторы новостей).

Когда применяется

• Триггеры активации (Индексирование): Активируется при обработке каждого нового или обновленного документа для проверки его уникальности перед добавлением в основной индекс.
• Триггеры активации (Ранжирование): Активируется при формировании страницы результатов поиска для устранения дубликатов в реальном времени перед показом пользователю.
• Условие срабатывания: Совпадение (полное или в пределах заданного допуска) сигнатур (Document Descriptions) двух документов.

Пошаговый алгоритм

Процесс А: Генерация сигнатуры документа (Document Description Generation)

1. Идентификация фраз: Документ обрабатывается для выявления всех присутствующих в нем Good Phrases и Related Phrases.
2. Ранжирование предложений: Каждое предложение документа оценивается. Подсчитывается количество вхождений Related Phrases в предложение.
3. Сортировка и выбор: Предложения сортируются по убыванию количества Related Phrases.
4. Формирование сигнатуры: Топ-N (например, 5-10) предложений с наивысшим рейтингом выбираются и формируют Document Description.

Процесс Б: Обнаружение и устранение дубликатов

1. Получение сигнатур: Для сравниваемых документов генерируются или извлекаются их сигнатуры (Процесс А).
2. Сравнение сигнатур: Сигнатуры сравниваются. В одном из вариантов реализации (Claim 11, 12) сравнение происходит путем вычисления хэша от конкатенированных предложений сигнатуры и проверки наличия этого хэша в базе данных.
3. Идентификация дубликатов: Если хэши совпадают, документы идентифицируются как дубликаты.
4. Выбор версии для сохранения: Сравниваются показатели значимости дубликатов (например, PageRank). Документ с наивысшим показателем сохраняется.
5. Устранение: Остальные дубликаты удаляются из индекса или исключаются из результатов поиска.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании фразовой информации и структуры документа.

• Контентные факторы: Текст документа, структура предложений.
• Системные данные (Phrase Data): Критически важные данные, рассчитанные заранее:
  • Список Good Phrases.
  • Данные о Related Phrases и значениях Information Gain.
• Факторы авторитетности: Упоминаются document significance measure (Claim 3) и PageRank (Claim 4) как критерии для выбора версии документа при обнаружении дубликатов.

Какие метрики используются и как они считаются

• Information Gain (I(j,k)): Основная метрика для определения связи между фразами. Формула, предложенная в описании: $I(j,k) = A(j,k)/E(j,k)$. Где A(j,k) — фактическая частота совместной встречаемости, E(j,k) — ожидаемая частота.
• Sentence Score (Оценка предложения): Количество Related Phrases, содержащихся в предложении. Используется для ранжирования предложений при создании сигнатуры.
• Hash Value (Хэш-значение): Результат применения хэш-функции к Document Description. Используется для быстрого сравнения сигнатур.

1. Уникальность определяется семантикой, а не только текстом: Google использует семантические сигнатуры для идентификации дубликатов. Сигнатура основана на related phrases (концепциях), а не просто на совпадении слов. Это означает, что документы с разным текстом, но одинаковым набором ключевых концепций в основных предложениях могут быть признаны дубликатами.
2. Ключевые предложения формируют сигнатуру: Не весь документ используется для определения уникальности, а только Топ-N предложений с наибольшей концентрацией related phrases. Это "смысловое ядро" документа.
3. Важность Related Phrases и Information Gain: Система полагается на предварительно вычисленные статистические связи между фразами. Это позволяет системе понимать тематику и значимость предложений.
4. Авторитетность как решающий фактор: При обнаружении дубликатов система явно предпочитает документ с более высоким независимым показателем значимости (например, PageRank). Авторитетность является решающим фактором при выборе канонической версии.
5. Два уровня применения: Обнаружение дубликатов происходит как превентивно (во время индексирования для поддержания чистоты индекса), так и реактивно (во время обработки запроса для очистки результатов поиска).

Best practices (это мы делаем)

• Обеспечение семантической уникальности: При создании контента фокусируйтесь на уникальности смыслового ядра. Убедитесь, что набор и концентрация related phrases в ваших ключевых предложениях отличаются от контента конкурентов или других страниц вашего сайта. Добавляйте новую ценность, а не просто переписывайте текст.
• Насыщение контента связанными концепциями: Используйте естественно связанные фразы и сущности при раскрытии темы. Это помогает сформировать четкую тематическую сигнатуру (document description) и подтверждает релевантность контента.
• Усиление авторитетности (PageRank/E-E-A-T): Поскольку при обнаружении дубликатов сохраняется наиболее авторитетная версия, необходимо постоянно работать над улучшением сигналов авторитетности сайта и страниц. Это страховка на случай, если ваш контент будет скопирован.
• Управление синдикацией контента: При синдикации контента убедитесь, что каноническая версия (оригинал на вашем сайте) является наиболее авторитетной. Используйте канонические ссылки как дополнительный сигнал управления дубликатами.

Worst practices (это делать не надо)

• Поверхностный рерайтинг и спиннинг: Техники, которые меняют слова на синонимы, но сохраняют набор базовых концепций (related phrases) в ключевых предложениях, неэффективны против этого механизма. Если смысловое ядро остается прежним, система идентифицирует такой контент как дубликат.
• Создание множества страниц с очень похожим смыслом (Каннибализация/Дорвеи): Создание большого количества страниц (например, локальных лендингов), которые используют идентичный набор related phrases в ключевых предложениях, увеличивает риск их классификации как внутренних дубликатов.
• Синдикация без добавления ценности: Публикация чужого контента (например, описаний товаров от производителя) без существенных изменений. Семантическая сигнатура будет идентична оригиналу, и страница будет отфильтрована.

Стратегическое значение

Патент подтверждает, что Google анализирует контент на глубоком семантическом уровне, используя совместную встречаемость фраз для понимания тем и выявления уникальности. Это подчеркивает переход от анализа ключевых слов к анализу тем и концепций (related phrases). Для SEO-стратегии это означает, что уникальность контента — это не технический показатель (процент уникальности текста), а семантический показатель (уникальность набора и концентрации связанных идей).

Практические примеры

Сценарий: Выявление поверхностного рерайтинга статьи о "Кето диете"

1. Оригинальный Документ А: Содержит related phrases: "кетоз", "низкое потребление углеводов", "высокое потребление жиров", "потеря веса", "инсулин". Ключевые предложения насыщены этими фразами. Система генерирует Сигнатуру А.
2. Документ Б (Рерайт): Текст переписан с использованием синонимов, но для раскрытия темы используются те же концепции: "состояние кетоза", "минимизация углеводов", "увеличение жиров в рационе", "снижение массы тела", "уровень инсулина".
3. Анализ Системы: Несмотря на разницу в тексте, система определяет, что набор related phrases в Документе Б идентичен Документу А.
4. Генерация Сигнатуры: Ключевые предложения Документа Б (с наибольшей концентрацией этих фраз) выбираются для Сигнатуры Б.
5. Сравнение: Система обнаруживает, что Сигнатура А и Сигнатура Б совпадают (их хэши идентичны).
6. Результат: Документ Б классифицируется как дубликат. Если Документ А более авторитетен, Документ Б будет исключен из выдачи.