Как Google определяет и фильтрует дубликаты в выдаче, сравнивая релевантные запросу сниппеты вместо целых страниц

Термины и определения

Candidate Results (CR) (Результаты-кандидаты)

Предварительный ранжированный список документов, возвращенный поисковым процессом в ответ на запрос, до удаления дубликатов.

Duplicate Removal Management Process (Процесс управления удалением дубликатов)

Основной процесс, который управляет извлечением релевантных частей и сравнением схожести для формирования финального набора.

Feature Vector (Вектор признаков)

Векторное представление текста (например, сниппета), где измерения соответствуют словам, а величина — частоте их встречаемости. Используется для расчета cosine distance.

Final Set (Финальный набор)

Итоговый набор результатов поиска после удаления дубликатов, который предоставляется пользователю.

Query Relevant Information (QRI) / Query Relevant Part(s) (QR) (Релевантные запросу части)

Извлеченные фрагменты текста из документа-кандидата, которые релевантны запросу. Синоним Snippet. Именно эти части используются для сравнения схожести.

Repository (Репозиторий)

Хранилище (декомпрессированных) документов, из которого система может быстро получить полный текст документа для извлечения сниппетов.

Shingle (Шингл)

Непрерывная последовательность слов или символов в документе. Используется в одном из методов определения схожести (shingling или метод Бродера).

Similarity Metric (Метрика схожести)

Метод для количественной оценки схожести между двумя QRI (например, точное совпадение, редакционное расстояние, косинусное расстояние, метод шинглов).

Ключевые утверждения (Анализ Claims)

Основное ядро изобретения сосредоточено в независимых пунктах 3, 15 и 26, которые описывают процесс фильтрации и метод определения схожести на основе запроса.

Claim 3 и 15 (Независимые пункты): Описывают основной метод обработки результатов поиска.

1. Система принимает результаты поиска и ключевые слова из запроса.
2. Генерируется финальный набор результатов. Этот процесс включает:
   1. Определение того, является ли кандидат похожим на результат, уже находящийся в финальном наборе, используя ключевые слова запроса.
   2. Если кандидат похож, он НЕ добавляется в финальный набор (Claim 3) ИЛИ добавляется ТОЛЬКО если он не похож ни на один результат в финальном наборе (Claim 15).
3. Определение схожести (пункт 2.i) включает:
   1. Извлечение релевантной части из кандидата (Первый QRI).
   2. Извлечение релевантной части из результата в финальном наборе (Второй QRI).
   3. Определение схожести между Первым и Вторым QRI.

Ключевой аспект — схожесть определяется между частями (A и B), извлеченными на основе запроса, а не между документами в целом. Формулировка Claim 15 критически важна для избегания транзитивной схожести (сравнение только с принятыми результатами).

Claim 26 (Независимый пункт): Описывает метод определения схожести двух документов в контексте запроса.

Метод включает принятие запроса, извлечение Query-relevant information из первого и второго документа на основе этого запроса, и последующее сравнение этой извлеченной информации. Если извлеченная информация похожа, документы считаются похожими для данного запроса.

Зависимые пункты (Claims 4-13, 16-25, 27-36): Детализируют методы извлечения QRI.

• Метод скользящего окна: Окно фиксированного размера (например, 100 символов) применяется к документу. Подсчитывается количество ключевых слов запроса (hit count) в каждом окне. Выбирается Топ-N окон с наибольшим количеством попаданий.
• Метод сегментации: Документ делится на предложения или абзацы. Сегмент добавляется в QRI, если он содержит хотя бы одно ключевое слово, определенное количество ключевых слов или определенное количество различных ключевых слов.

Где и как применяется

Изобретение применяется на финальных стадиях обработки запроса, после основного ранжирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна обеспечить хранение полных (или декомпрессированных) версий документов в Repository, чтобы они были доступны для извлечения сниппетов в реальном времени.

RANKING – Ранжирование
Search Process генерирует первоначальный ранжированный список кандидатов (Candidate Results Set). Этот список является входными данными для системы удаления дубликатов.

RERANKING – Переранжирование (Twiddlers)
Основное применение патента. Duplicate Removal Management Process активируется после этапа RANKING и до финального формирования SERP. Он действует как механизм фильтрации (Twiddler), который удаляет элементы из списка.

• Он взаимодействует с Repository для получения полных текстов.
• Он использует Query Relevant Information Extraction Process для генерации сниппетов на лету, используя текущий запрос.
• Он использует Query Dependent Similarity Process для сравнения сгенерированных сниппетов.

Входные данные:

• Исходный запрос (Query Keywords).
• Ранжированный набор кандидатов (Candidate Results Set).
• Доступ к полным текстам документов (Repository).
• Параметры извлечения и схожести.

Выходные данные:

• Финальный набор результатов без дубликатов (Final Set).

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент, который часто дублируется или имеет незначительные вариации: новостные статьи (синдикация), зеркала сайтов, агрегированный контент, документы с разными шаблонами, но одинаковым основным содержанием, разные версии документа (например, plain text vs HTML).
• Конкретные ниши или тематики: Влияет на ниши, где распространено копирование контента или использование стандартных описаний (e-commerce, базы данных, FAQ, новостные агрегаторы).

Когда применяется

• Условия работы алгоритма: Алгоритм применяется динамически при обработке поискового запроса, после получения первичного списка ранжированных результатов.
• Временные рамки и частота применения: Процесс выполняется в реальном времени, что требует быстрого доступа к репозиторию и эффективных алгоритмов сравнения.

Пошаговый алгоритм

Процесс управления удалением дубликатов (Duplicate Removal Management)

1. Инициализация: Принять список кандидатов (CR). Добавить первый результат (CR1) в финальный набор (Final Set).
2. Начало цикла по кандидатам: Начать итерацию со следующего кандидата (CRi).
3. Извлечение QRI: Извлечь QRI (QRIi) для текущего кандидата (CRi). Это включает:
   1. Получение документа из Репозитория.
   2. Применение метода извлечения (скользящее окно или сегментация по предложениям) для поиска фрагментов с наибольшей релевантностью запросу.
   3. Выбор лучших фрагментов в качестве QRIi.
4. Начало цикла сравнения: Начать итерацию по результатам (CRj), уже находящимся в Final Set.
5. Применение метрики схожести: Сравнить QRIi с QRIj, используя выбранную метрику (например, Shingling или Cosine Distance).
6. Проверка условия схожести: Являются ли QRIi и QRIj похожими (выше порога)?
   1. Если ДА: Пометить CRi как дубликат, прекратить цикл сравнения и перейти к шагу 7.
   2. Если НЕТ: Продолжить цикл сравнения со следующим результатом в Final Set.
7. Обработка кандидата:
   • Если CRi помечен как дубликат: Подавить CRi.
   • Если цикл сравнения завершен и дубликат не найден: Добавить CRi в Final Set.
8. Завершение: Продолжать цикл по кандидатам, пока не будет набрано достаточное количество результатов в Final Set или пока не закончатся кандидаты.

Какие данные и как использует

Данные на входе

• Контентные факторы: Полный текст документа (полученный из Repository). В частности, используются слова, предложения и абзацы для извлечения Query Relevant Parts. Упоминается возможность использования заголовка (Title) документа как части QRI. Коды форматирования (например, HTML) могут быть удалены перед анализом.
• Пользовательские факторы (Факторы запроса): Ключевые слова из запроса пользователя (Query Keywords) являются критически важными, так как они определяют, какие части документа будут извлечены. Стоп-слова могут исключаться.

Какие метрики используются и как они считаются

Система использует метрики для двух задач: извлечения сниппетов (QRI) и определения их схожести.

Метрики извлечения QRI:

• Hit Count (Количество попаданий): Количество ключевых слов запроса в определенном фрагменте (окне или сегменте). Используется для ранжирования фрагментов.
• Window Size (Размер окна): Предопределенное количество символов (например, 100) или слов (например, 15).
• Пороги для сегментов: Минимальное количество ключевых слов, необходимое для включения сегмента (предложения/абзаца) в QRI.

Метрики схожести (Similarity Metrics):

Патент предлагает несколько взаимозаменяемых методов:

• Exact Match (Точное совпадение): QRI должны быть идентичны.
• Edit Distance (Редакционное расстояние): Измерение количества операций (вставок, удалений), необходимых для преобразования одного QRI в другой.
• Cosine Distance (Косинусное расстояние): Создаются векторы частотности слов (feature vectors) для каждого QRI. Вычисляется косинус угла между нормализованными векторами. Чем ближе к 1, тем больше схожесть (игнорирует порядок слов).
• Shingling (Метод шинглов): QRI разбивается на последовательности (шинглы). Схожесть рассчитывается как размер пересечения наборов шинглов, деленный на размер их объединения (учитывает порядок слов).

Similarity Threshold (Порог схожести): Настраиваемый параметр. Результат метрики схожести сравнивается с этим порогом для принятия бинарного решения (похож / не похож). Патент отмечает, что при сравнении QRI порог можно установить достаточно высоко.

1. Определение дубликатов зависит от запроса: Патент устанавливает, что схожесть документов не является статическим свойством. Два документа могут считаться дубликатами по одному запросу и уникальными по другому, в зависимости от того, какие их части (QRI) релевантны запросу.
2. Сравнение на основе сниппетов, а не целых документов: Система сравнивает только Query Relevant Parts. Это позволяет эффективно обнаруживать дубликаты даже в документах, которые сильно различаются в целом (например, из-за шаблонов или агрегации), но содержат одинаковую релевантную информацию.
3. Фильтрация происходит на лету (Real-Time): Обнаружение дубликатов происходит во время обработки запроса (Reranking), а не на этапе индексации, что позволяет учитывать контекст запроса.
4. Избегание транзитивной схожести: Алгоритм сравнивает кандидата только с документами, уже добавленными в финальный набор. Это гарантирует разнообразие: если A похож на B, а B похож на C, но A не похож на C, то и A, и C могут быть показаны в выдаче (так как B будет удален при сравнении с A).
5. Приоритет более высокого ранжирования: Если два документа признаны дубликатами, система всегда предпочитает тот, который имел более высокий изначальный ранг. Дубликат с более низким рангом подавляется.

Best practices (это мы делаем)

• Обеспечение уникальности релевантных фрагментов: При создании страниц, которые могут пересекаться по тематике (например, разные страницы товаров с похожими характеристиками или локализованные страницы услуг), убедитесь, что фрагменты текста, которые будут релевантны целевым запросам (вероятные сниппеты/QRI), существенно различаются.
• Мониторинг сниппетов в выдаче: Анализируйте, какие фрагменты вашего контента Google выбирает в качестве сниппетов по ключевым запросам. Если сниппеты разных страниц вашего сайта выглядят идентично, это может привести к их фильтрации как дубликатов по этому запросу.
• Стратегическое управление синдикацией: Если вы синдицируете контент, помните, что если релевантные части оригинала и копии идентичны, в выдаче останется только одна версия (наиболее высоко ранжирующаяся). Используйте каноникализацию или добавляйте существенную уникальную ценность к синдицированному контенту.
• Уникализация шаблонного контента: Для страниц с большим количеством шаблонного текста (boilerplate) убедитесь, что основной контент достаточно объемен и уникален, чтобы сгенерированные Query Relevant Parts отличались от других страниц вашего или чужих сайтов.

Worst practices (это делать не надо)

• Создание множества страниц с минимальными отличиями (Doorways): Генерация большого количества страниц, отличающихся только названием города или одним параметром. Если по целевому запросу Query Relevant Parts этих страниц будут идентичны (например, описание услуги), они будут отфильтрованы как дубликаты.
• Поверхностный рерайтинг и спиннинг: Легкое переписывание контента неэффективно против метрик типа Shingling или Feature Vectors. Если информационное ядро не меняется, страницы будут признаны дубликатами.
• Использование одинаковых описаний для разных сущностей: Использование одного и того же текста для описания разных товаров или услуг. Это приведет к тому, что по запросам, связанным с этим описанием, будет показана только одна из страниц.
• Надежда на уникальный дизайн/шаблон: Полагаться на уникальность HTML-шаблона, навигации или футера для дифференциации контента. Патент указывает, что эти элементы игнорируются при извлечении и сравнении QRI.

Стратегическое значение

Патент подчеркивает важность уникальности контента не на уровне URL или технической реализации, а на уровне предоставляемой информации в контексте запроса. Он подтверждает, что Google стремится показывать разнообразную информацию (SERP Diversity). Для SEO-стратегии это означает, что фокус должен быть на создании действительной добавленной ценности в тех частях документа, которые отвечают на интент пользователя, а не на технических методах обхода проверок уникальности.

Практические примеры

Сценарий 1: Фильтрация дубликатов в E-commerce (Описание от производителя)

1. Ситуация: Десятки интернет-магазинов используют стандартное описание товара от производителя.
2. Запрос: "[Название товара] характеристики".
3. Работа алгоритма: Система извлекает QRI (блок с характеристиками) для всех сайтов. QRI идентичны.
4. Результат: В выдаче остается только один или два наиболее авторитетных/релевантных магазина. Остальные подавляются как дубликаты по этому запросу.
5. SEO-действие: Дополнить страницу уникальным контентом (собственные обзоры, тесты, сравнения), чтобы дифференцировать свои QRI от конкурентов.

Сценарий 2: Локальное SEO и шаблонные страницы

1. Ситуация: Компания создает страницы для разных городов с идентичным описанием услуги, меняя только название города.
2. Запрос: "[Название услуги]".
3. Работа алгоритма: Система извлекает QRI (описание услуги). Если название города не попало в сниппет или метрика схожести игнорирует это различие, QRI признаются идентичными.
4. Результат: В выдаче остается только одна страница компании (наиболее релевантная), остальные фильтруются.
5. SEO-действие: Уникализировать описание услуги для каждого города, добавив локальную специфику (кейсы, отзывы), чтобы гарантировать генерацию различных QRI.