Как Google использует структурированные данные для борьбы с дублированием страниц с одинаковыми сущностями (например, фасеты и сортировки)

Термины и определения

Entity (Сущность)

Реальный объект, человек, место, вещь или идея. Система присваивает каждой сущности уникальный идентификатор (Entity Identifier) и хранит информацию о ней.

Entity Alias (Псевдоним сущности)

Текстовая строка, связанная с сущностью. Значения свойств в структурированных данных используются как псевдонимы для идентификации сущностей.

Entity Set (Набор сущностей)

Набор идентификаторов сущностей, которые были идентифицированы на конкретной веб-странице через анализ её структурированных данных.

Duplicative Entity Set (Дублирующийся набор сущностей)

Entity Set, который признан избыточным по сравнению с другими наборами (например, является подмножеством другого набора или не требуется для оптимального покрытия всех сущностей).

Entity Index Database (База данных индекса сущностей)

Хранилище данных о сущностях. Включает Entity Alias Index (сопоставляет псевдонимы с сущностями и оценками вероятности) и Entity Relationship Index (хранит связи между сущностями и оценки значимости связей).

Markup Language Structured Data Item (Элемент структурированных данных языка разметки)

Данные, встроенные в исходный код страницы с использованием языка разметки (например, HTML5, Schema.org), которые описывают свойства сущности.

Set Cover Problem (Задача о покрытии множества)

Алгоритмическая задача, используемая для определения минимального количества страниц (Entity Sets), необходимого для представления всех сущностей. Страницы, не вошедшие в минимальный набор, могут считаться дублирующимися.

Structured Data Engine

Компонент системы, отвечающий за парсинг структурированных данных и сопоставление их с сущностями.

Ключевые утверждения (Анализ Claims)

Патент описывает два основных сценария применения механизма дедупликации: во время ранжирования и во время индексации.

Claim 1 (Независимый пункт) — Дедупликация при Ранжировании: Описывает метод реагирования на поисковый запрос.

1. Система получает набор результатов поиска. Каждый результат идентифицирует ресурс со структурированными данными и ассоциирован с Entity Set.
2. Система определяет, что конкретный Entity Set является дублирующим (duplicative).
3. В ответ на это система модифицирует ranking score результата поиска, связанного с этим дублирующим Entity Set.

Claim 2 (Зависимый от 1): Уточняет, что модификация ранга включает применение понижения (demotion) к оценке или удаление результата из выдачи.

Claim 3 (Зависимый от 2): Важное уточнение: определение дублирования может происходить по отношению к Entity Sets ресурсов, расположенных на том же самом веб-сайте (same web site).

Claim 15 (Независимый пункт) — Дедупликация при Индексировании: Описывает метод индексации ресурсов.

1. Indexing Engine получает ресурсы со структурированными данными.
2. Для ресурсов определяются Entity Sets. Значения свойств используются как Entity Alias.
3. Система определяет, что конкретный Entity Set является дублирующим.
4. В ответ на это система индексирует ресурс с дублирующим набором, добавляя индикацию (пометку) о том, что этот набор является дублирующим.

Claims 5, 6, 7 (Зависимые): Детализируют процесс идентификации сущностей, включая получение свойств из разметки, сопоставление их с псевдонимами сущностей и использование связанных сущностей (через другие свойства) для подтверждения идентификации.

Где и как применяется

Изобретение применяется на этапах индексирования и ранжирования для управления видимостью и разнообразием результатов.

CRAWLING – Сканирование и Сбор данных
Система собирает сырой контент, включая HTML с разметкой структурированных данных.

INDEXING – Индексирование и извлечение признаков
Основной этап обработки. Indexing Engine и Structured Data Engine взаимодействуют для:

• Парсинга структурированных данных.
• Сопоставления свойств с сущностями и разрешения неоднозначностей (Disambiguation).
• Формирования Entity Set для каждого ресурса.
• Дедупликация (Claim 15): Сравнение Entity Sets (часто в рамках одного сайта). Дублирующиеся ресурсы помечаются в индексе. Патент также упоминает возможность исключения дубликатов из основного (primary index), но сохранения их во вторичном (secondary index).

RANKING / RERANKING – Ранжирование и Переранжирование
Корректировка выдачи в реальном времени.

• Система получает кандидатов для ранжирования и их Entity Sets из индекса.
• Дедупликация (Claim 1): Ranking Engine анализирует Entity Sets результатов (особенно с одного сайта). Если обнаружены дубликаты, система модифицирует Ranking Scores (понижает или удаляет результаты) для повышения разнообразия SERP.

На что влияет

• Конкретные ниши и типы контента: Наибольшее влияние на E-commerce, маркетплейсы, сайты недвижимости, агрегаторы вакансий. Влияет на страницы листингов, категорий, результатов поиска по сайту.
• Технические реализации: Сайты, активно использующие фасетную навигацию, параметры сортировки в URL и пагинацию.
• Структурные факторы: Критически зависит от наличия и качества микроразметки (например, Schema.org/Product, ItemList).

Когда применяется

• Триггеры активации: Наличие в ресурсах распознаваемых структурированных данных, которые могут быть сопоставлены с сущностями.
• Условия применения: Когда система обрабатывает несколько ресурсов (во время индексирования или ранжирования), особенно с одного и того же веб-сайта (same web site), и их Entity Sets пересекаются или идентичны.

Пошаговый алгоритм

Процесс можно разделить на три части: Идентификация сущностей, Дедупликация при индексации и Дедупликация при ранжировании.

Часть А: Идентификация Сущностей (Entity Identification)

1. Получение ресурса и извлечение свойств: Structured Data Engine парсит структурированные данные и извлекает свойства (пары имя-значение).
2. Идентификация кандидатов: Значения свойств используются как Aliases для запроса к Entity Alias Index. Возвращается список сущностей-кандидатов (CE) и их начальные оценки (Initial Score, IS).
3. Разрешение неоднозначности (Disambiguation): Если кандидатов несколько:
   1. Система ищет связанные сущности (RE) через другие свойства или текст страницы.
   2. Из Entity Relationship Index извлекаются оценки связей (Link Score, W) между CE и RE.
   3. Вычисляется модификатор (M) для каждой связи:

      $M_{i}=IS(A_{i},RE_{i})\times W(CE,RE_{i})$

   4. Вычисляется модифицированная оценка (MS) для кандидата:

      $MS=IS(A_{c},CE)+\Sigma M_{i}$

   5. Выбирается кандидат с наивысшей MS.
4. Формирование Entity Set: Идентификаторы всех выбранных сущностей объединяются в Entity Set ресурса.

Часть Б: Дедупликация при Индексации (Indexing Deduplication)

1. Группировка и Сравнение: Система сравнивает Entity Sets группы ресурсов (часто с одного сайта).
2. Определение дубликатов: Применяются критерии дублирования:
   1. Критерий подмножества (Subset): Если Entity Set B является подмножеством A, B может быть признан дубликатом.
   2. Критерий покрытия (Set Cover): Определяется минимальный набор страниц, необходимый для представления всех сущностей. Остальные страницы признаются дубликатами.
3. Индексация: Ресурсы с дублирующими Entity Sets индексируются с соответствующей пометкой или исключаются из основного индекса.

Часть В: Дедупликация при Ранжировании (Ranking Deduplication)

1. Получение результатов: Система получает предварительный набор результатов поиска и их Entity Sets.
2. Определение дубликатов: Применяются критерии дублирования (Subset или Set Cover), как в Части Б, часто фокусируясь на результатах с одного сайта.
3. Модификация ранжирования: К результатам-дубликатам применяется понижение (demotion) ranking score, или они удаляются из выдачи.

Какие данные и как использует

Данные на входе

• Структурные факторы (Микроразметка): Основной тип данных. Анализируются markup language structured data items. Извлекаются свойства (itemprop), такие как "name", "manufacturer", "productID". Значения этих свойств используются как Entity Aliases.
• Контентные факторы: Текст ресурса может использоваться на этапе разрешения неоднозначности (Disambiguation) для поиска упоминаний связанных сущностей.
• Системные данные (Entity Data): Данные из Entity Index Database: псевдонимы, идентификаторы, связи между сущностями и предварительно рассчитанные оценки (IS, W).

Какие метрики используются и как они считаются

Метрики используются в основном для идентификации и разрешения неоднозначности сущностей:

• Initial Score (IS) (Начальная оценка): Вероятность того, что псевдоним (A) ссылается на сущность (E). Получается из Entity Alias Index.
• Link Score (W) (Оценка связи): Важность связи между сущностью-кандидатом (CE) и связанной сущностью (RE). Получается из Entity Relationship Index.
• Modifier (M) (Модификатор): Оценка, корректирующая начальную оценку на основе связанной сущности.

  $M_{i}=IS(A_{i},RE_{i})\times W(CE,RE_{i})$

• Modified Score (MS) (Модифицированная оценка): Итоговая оценка уверенности для кандидата (CE).

  $MS=IS(A_{c},CE)+\Sigma M_{i}$

Критерии дедупликации:

• Subset Comparison: Сравнение Entity Sets на предмет включения.
• Set Cover Algorithms: Алгоритмы оптимизации для выбора минимального набора страниц.

1. Структурированные данные как инструмент семантической дедупликации: Патент показывает, что Google использует микроразметку для понимания контента на уровне сущностей. Это позволяет проводить дедупликацию более точно, чем при анализе только текста или URL, особенно для страниц листингов.
2. Entity Set как отпечаток контента: Система формирует Entity Set — точный список сущностей на странице. Именно этот набор служит основой для сравнения страниц, независимо от порядка сортировки или текстового оформления.
3. Фокус на внутрисайтовой дедупликации (Host Crowding): Механизм в первую очередь направлен на устранение дубликатов в пределах одного сайта (same web site). Google стремится показать разнообразную выдачу, а не разные версии одной и той же информации от одного источника.
4. Сложные критерии выбора предпочтительной версии: Google использует конкретные критерии для выбора:
   • Полнота (Subset): Предпочтение может отдаваться более полным страницам. Страницы-подмножества могут быть понижены.
   • Эффективность (Set Cover): Система стремится найти минимальный набор страниц для представления всех сущностей.
5. Важность точной идентификации сущностей: Эффективность механизма зависит от точности сопоставления данных с сущностями. Сложный процесс разрешения неоднозначностей (Disambiguation) подчеркивает важность предоставления полной и точной информации в разметке.

Best practices (это мы делаем)

• Комплексное внедрение микроразметки на листингах: Для E-commerce и агрегаторов критически важно размечать все элементы на страницах категорий (например, используя Schema.org/Product и Schema.org/ItemList). Это позволяет Google сформировать точный Entity Set.
• Использование уникальных идентификаторов: Внедряйте стабильные и уникальные идентификаторы (GTIN, MPN, productID) в разметку. Это помогает системе использовать свойства как надежные Entity Aliases и упрощает процесс Disambiguation.
• Обеспечение контекста для сущностей: Заполняйте связанные свойства в микроразметке (например, brand, category). Эти связанные сущности используются системой для разрешения неоднозначности основных сущностей на странице.
• Контроль каноникализации сортировок: Для страниц с разными параметрами сортировки (по цене, алфавиту), которые содержат идентичный Entity Set, необходимо использовать rel="canonical", указывающий на основную версию категории. Это позволяет контролировать дедупликацию.
• Обеспечение полноты на канонических страницах: Так как система может использовать критерий подмножества (Subset), убедитесь, что канонические страницы содержат наиболее полный набор сущностей.
• Стратегическое управление фасетной навигацией: Открывайте для индексации только те страницы фасетов, которые формируют уникальные Entity Sets и отвечают реальному поисковому спросу. Избегайте индексации страниц, которые являются незначительными подмножествами основной категории.

Worst practices (это делать не надо)

• Открытие всех параметров сортировки и фасетов для индексации: Это создает огромное количество страниц с дублирующимися Entity Sets. Данный патент напрямую направлен на борьбу с такой практикой, что приведет к пессимизации или исключению этих страниц из выдачи.
• Использование неоднозначных данных в разметке: Отсутствие уникальных идентификаторов или использование общих названий затрудняет сопоставление с сущностями и может привести к формированию некорректных Entity Sets.
• Несогласованная разметка: Если один и тот же товар размечен по-разному на разных страницах, это может помешать системе понять, что это одна и та же сущность, нарушая логику дедупликации.
• Игнорирование структурированных данных на листингах: Отсутствие разметки не позволит Google применить этот точный механизм, заставляя его полагаться на другие, менее надежные методы дедупликации.

Стратегическое значение

Патент подтверждает стратегию Google по переходу к Entity-First пониманию контента. Для сайтов с каталогами и листингами управление структурированными данными и архитектура сайта становятся определяющими факторами для успешной индексации. Патент показывает, что SEO-стратегия должна фокусироваться на уникальности предлагаемого контента на уровне набора сущностей, а не только на уникальности текста.

Практические примеры

Сценарий 1: Дедупликация страниц с разной сортировкой в E-commerce

Сайт продает 4 модели камер (C1, C2, C3, C4). Есть три страницы категории:

• Page A: /cameras (По популярности). Entity Set {C1, C2, C3, C4}.
• Page B: /cameras?sort=price (По цене). Entity Set {C1, C2, C3, C4}.
• Page C: /cameras?sort=az (По алфавиту). Entity Set {C1, C2, C3, C4}.

1. Анализ Google: Система определяет, что Entity Sets всех трех страниц идентичны.
2. Дедупликация: Система признает Page B и Page C дублирующими.
3. Результат: При ранжировании по запросу "камеры", Ranking Scores для Page B и C понижаются (demotion) или они удаляются из SERP. В выдаче остается только Page A (или другая страница, выбранная на основе стандартных сигналов ранжирования).

Сценарий 2: Применение метода Set Cover

Сайт недвижимости имеет три страницы:

• Page X (Все квартиры): Entity Set {A1, A2, A3, A4}.
• Page Y (Однокомнатные): Entity Set {A1, A2}.
• Page Z (Двухкомнатные): Entity Set {A3, A4}.

1. Анализ Google: Система анализирует Entity Sets.
2. Определение дублирования (Set Cover): Система может определить, что комбинация Page Y и Page Z покрывает все сущности {A1, A2, A3, A4} с минимальным пересечением.
3. Результат: Система может решить, что Page X является избыточной (дублирующей) в контексте этого набора, и предпочесть показ Page Y и Page Z (или наоборот, в зависимости от запроса и других факторов), так как они представляют оптимальное покрытие.