Как Google использует машинное обучение для обнаружения дубликатов, анализируя контент до и после рендеринга

Термины и определения

Attributes (Атрибуты)

Характеристики документа, используемые для сравнения (текст, длина, заголовок, URL, сниппеты, ссылки, количество изображений, данные о кликах и т.д.). Описаны в TABLE 1 патента.

Distance-based Signals (Сигналы, основанные на расстоянии)

Класс сигналов, измеряющих степень различия между документами с использованием метрик расстояния (например, расстояние Левенштейна, tf-idf, Jaccard distance).

DOM (Document Object Model)

Иерархическое представление отрендеренного документа (Rendered Body).

Fetched Body (Загруженное тело / Исходный код)

Нерендеренная версия документа (non-rendered version). Исходный HTML-код, полученный с сервера.

ML Model (Machine Learning Classifier Model)

Модель машинного обучения (например, дерево решений, нейронная сеть), обученная классифицировать пары документов как дубликаты на основе входного вектора сигналов.

Query-based Signals (Сигналы, основанные на запросе)

Класс сигналов, учитывающих контекст поискового запроса. Включают сравнение сниппетов, частоту терминов запроса, данные о релевантности.

Rendered Body (Отрендеренное тело)

Версия документа после его обработки (рендеринга), включающая динамический контент.

Signal Vector (Вектор сигналов)

Структура данных, объединяющая все сгенерированные сигналы для пары документов. Служит входом для ML Model.

Simple Signals (Простые сигналы)

Класс сигналов, основанных на сравнении базовых атрибутов: заголовков, URL, длины тела, языка документа или классификации спама.

Synthetic Body (Синтетическое тело)

Рендеренная версия документа (rendered version), используемая для анализа. Сериализованная версия DOM, включающая весь контент после рендеринга.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обнаружения дубликатов с использованием машинного обучения и анализа двух версий документов.

1. Выполнение первого набора тестов на нерендеренных версиях (Fetched Body) первого и второго документов для определения первого набора сигналов. Сравниваются атрибуты тела документа (document body attributes).
2. Выполнение второго набора тестов на рендеренных версиях (Synthetic Body) документов для определения второго набора сигналов. Сравниваются атрибуты синтетического тела (synthetic body attributes).
3. Обязательное условие: Утверждается, что как минимум один сигнал в каждом наборе должен быть сигналом, основанным на запросе (query-based signal), который базируется на сравнении соответствующих сниппетов (snippet) документов.
4. Генерация вектора сигналов (signal vector), включающего первый и второй наборы сигналов.
5. Предоставление вектора сигналов на вход ML Model, обученной определять уверенность (confidence) в том, являются ли документы дубликатами.

Ядром изобретения является обязательная комбинация анализа сырого HTML и финального отрендеренного DOM, использование широкого спектра сигналов, включая специфичные для запроса (сниппеты), и применение ML для принятия финального решения.

Claims 3-6 (Зависимые): Уточняют типы и примеры сигналов.

• Сигналы делятся на три класса: distance-based, simple или query-based (Claim 3).
• Приводятся конкретные примеры алгоритмов и метрик для каждого типа (например, расстояние Левенштейна, TF-IDF, сравнение заголовков, URL, частота терминов запроса).

Claim 9 (Зависимый): Описывает процесс улучшения модели ML (Active Learning).

Если уверенность (confidence), выданная моделью, ниже порога, система может запросить оценку у человека-асессора (human comparison). Эта оценка затем используется для дообучения классификатора и создания новой модели с улучшенной точностью.

Где и как применяется

Изобретение применяется преимущественно на этапе индексирования для управления качеством индекса и каноникализации.

CRAWLING – Сканирование и Сбор данных
Система может использовать результаты обнаружения дубликатов для оптимизации краулингового бюджета, избегая сканирования зеркального контента (mirrored content) и бесконечных хостов (infinite hosts).

INDEXING – Индексирование и извлечение признаков
Основной этап применения.

1. Рендеринг (WRS): Система обрабатывает Fetched Body и выполняет рендеринг для получения DOM и Synthetic Body.
2. Извлечение признаков и Генерация Сигналов: Извлекаются атрибуты из обеих версий, вычисляются сигналы сравнения с другими документами.
3. Каноникализация: ML Model используется для определения дубликатов. Результат (confidence score) влияет на выбор канонической версии и решение о включении документа в основной индекс.

RANKING – Ранжирование
На этом этапе могут вычисляться или учитываться query-based signals (например, сравнение сниппетов), так как они зависят от контекста конкретного запроса.

Входные данные:

• Fetched Body и Synthetic Body двух сравниваемых документов.
• Атрибуты, извлеченные из этих тел (текст, ссылки, метаданные и т.д.).
• Поисковый запрос (для query-based signals).
• Данные о релевантности (например, клики пользователей).

Выходные данные:

• Оценка уверенности (confidence), указывающая на вероятность того, что два документа являются дубликатами.

На что влияет

• Типы контента и технологии: Наибольшее влияние оказывается на контент, генерируемый динамически (JavaScript, AJAX, SPA), а также на синдицированный контент или контент в разных форматах (например, версия для печати, AMP).
• E-commerce: Влияет на страницы товаров, которые могут незначительно отличаться (например, только артикулом или цветом).
• Специфические запросы: Патент требует использования query-based signals. Это означает, что решение о дублировании может зависеть от контекста запроса. Два документа могут быть признаны дубликатами для одного запроса, но уникальными для другого.

Когда применяется

Алгоритм применяется в процессе индексирования для определения уникальности нового или обновленного документа и выбора канонической версии.

• Оптимизация: В патенте упоминается возможность использования "простых скрининговых тестов" (simple screening tests). Если предварительные тесты показывают низкую вероятность дублирования, полный анализ может не проводиться.
• Пороговые значения: Порог уверенности используется для принятия решения. Если уверенность низкая, может быть задействован процесс с участием асессоров (Claim 9).

Пошаговый алгоритм

Процесс обнаружения дубликатов для пары документов (Документ 1 и Документ 2):

1. Получение исходных данных: Система получает Fetched Body (исходный код) для обоих документов.
2. Рендеринг и генерация DOM: Система выполняет рендеринг обоих документов, включая выполнение JavaScript и загрузку динамического контента, для создания DOM.
3. Генерация Synthetic Body: DOM сериализуется в Synthetic Body для обоих документов.
4. Выбор атрибутов (Attribute Selection): Система выбирает атрибуты для сравнения из Fetched Bodies и Synthetic Bodies. Может применяться фильтрация для исключения изменчивого контента (например, рекламы) из некоторых тестов.
5. Генерация первой группы сигналов (Non-Rendered): Выполняется набор тестов (Distance-based, Simple, Query-based) для сравнения атрибутов Fetched Bodies.
6. Генерация второй группы сигналов (Rendered): Выполняется набор тестов для сравнения атрибутов Synthetic Bodies.
7. Формирование Signal Vector: Все сгенерированные сигналы объединяются в единый Signal Vector.
8. Классификация (ML Model): Signal Vector подается на вход обученной модели машинного обучения.
9. Определение Confidence Score: Модель вычисляет уверенность в том, что документы являются дубликатами.
10. Пост-обработка (Опционально): Если Confidence Score ниже порога, документы могут быть отправлены на ручную проверку асессорам для дообучения модели.

Какие данные и как использует

Данные на входе

Патент предоставляет обширный список атрибутов (TABLE 1), которые могут использоваться:

• Контентные факторы: Содержимое тела, заголовок (title), видимый текст (для сниппетов), коллекции слов и N-грамм, самая длинная общая подстрока.
• Технические факторы: URL, домен, длина документа (length), длина сжатой версии.
• Ссылочные факторы: Количество входящих ссылок (anchors), домены входящих и исходящих ссылок и их частота.
• Поведенческие факторы (Relevance Data): Данные о релевантности документа запросу. Пропорция или абсолютное число кликов (clicks) в результатах поиска.
• Мультимедиа факторы (для Rendered Body): Количество изображений. Количество пикселей, занятых изображениями по сравнению с текстом.
• Системные факторы: Классификация документа как спам. Определение языка документа. Список и частота запросов, по которым документ был показан.

Какие метрики используются и как они считаются

Система использует комбинацию метрик для генерации сигналов (TABLE 2):

1. Метрики схожести (Distance-based signals):

• Строковые метрики: Расстояние Хэмминга, Левенштейна, Дамерау-Левенштейна. Самая длинная общая подпоследовательность (longest subsequence). Расстояние Жаккара (Jaccard distance).
• Векторные метрики: Term frequency-inverse document frequency (TF-IDF). Упоминается сравнение топ-100 TF-IDF терминов.
• Хеширование: Алгоритм Charikar random-hyperplane hashing.
• Метрики сжатия: Modified normal compression distance (MCD).

  $mcd(A,B)=\frac{max\{|c(AB)-c(AA)|,|c(AB)-c(BB)|\}}{max\{c(AA),c(BB)\}$

2. Простые метрики (Simple signals):

• Сравнение заголовков, URL, доменов.
• Сравнение длин документов (Body length distance - BLD).

  $bld(A,B) \begin{cases} 0 & \text{if } len(A)=len(B)=0 \\ \frac{|len(A)-len(B)|}{max[len(A),len(B)]} & otherwise \end{cases}$

3. Метрики на основе запроса (Query-based signals):

• Сравнение сниппетов (обязательно согласно Claim 1).
• Частота терминов запроса.
• Сравнение данных о релевантности (клики).

Методы машинного обучения:

Для агрегации сигналов используется обученный классификатор. Упоминаются propositional rule learner (JRIP, RIPPER), decision tree classifier (J48, ID3, C4.5), нейронные сети, байесовские сети, логистическая регрессия и другие.

1. Рендеринг критичен для оценки уникальности: Ключевой вывод — необходимость анализа контента как до (Fetched Body), так и после (Synthetic Body) рендеринга. Google оценивает дублирование на основе того, что пользователь видит в браузере, включая контент, загруженный динамически через JavaScript.
2. Комплексный подход (Beyond Text Similarity): Обнаружение дубликатов — это не результат работы одного алгоритма. Это результат работы системы машинного обучения, которая взвешивает множество разнообразных сигналов (текстовых, структурных, ссылочных и поведенческих).
3. Устойчивость к манипуляциям и Boilerplate: Использование ML Model, агрегирующей множество сигналов, делает систему устойчивой к попыткам обмана отдельных алгоритмов. Различия в шаблонном или динамическом контенте (например, рекламе) могут игнорироваться, если основной контент идентичен.
4. Дублирование зависит от контекста запроса: Патент явно требует использования query-based signals (в частности, сравнение сниппетов). Это означает, что оценка уникальности контента может меняться в зависимости от того, какой запрос ввел пользователь.
5. Итеративное улучшение модели (Active Learning): Система предусматривает механизм обратной связи, при котором низкая уверенность модели приводит к ручной оценке асессорами, что позволяет постоянно улучшать точность классификатора.

Best practices (это мы делаем)

• Анализ контента после рендеринга (DOM): SEO-специалисты должны оценивать уникальность контента, анализируя DOM (или Synthetic Body), а не только исходный HTML-код. Это особенно важно для сайтов на JavaScript (SPA). Используйте инструменты Google (GSC URL Inspection, Mobile-Friendly Test) для проверки отрендеренного контента.
• Обеспечение корректного рендеринга (JavaScript SEO): Гарантируйте доступность критических ресурсов (JS/CSS) для Googlebot. Для сайтов с Client-Side Rendering (CSR) необходимо убедиться, что контент рендерится корректно, или рассмотреть использование SSR/Dynamic Rendering.
• Обеспечение уникальности основного контента (Core Content): Сосредоточьтесь на создании уникального основного контента. Система разработана так, чтобы игнорировать различия в шаблонных элементах (boilerplate), таких как навигация или футер.
• Оптимизация сниппетов для демонстрации уникальности: Поскольку query-based signals и сравнение сниппетов являются обязательной частью системы (Claim 1), важно, чтобы видимый текст на странице позволял генерировать уникальные сниппеты для целевых запросов. Это поможет дифференцировать похожие страницы (например, карточки товаров).
• Управление каноникализацией: Внедряйте четкие сигналы каноникализации (rel="canonical"). Хотя система Google может принимать собственное решение на основе ML, ваши указания являются важным сигналом.

Worst practices (это делать не надо)

• Блокировка критических ресурсов: Блокировка JS/CSS файлов, необходимых для рендеринга основного контента. Это может привести к тому, что Synthetic Body будет неполным, вызывая неправильную классификацию страницы.
• Попытки скрыть дублирование мелкими правками кода: Незначительные изменения в исходном коде, перестановка блоков или добавление невидимого текста не помешают системе обнаружить дубликаты, так как анализируется рендеренная версия и используется множество сигналов.
• Клоакинг (Cloaking): Показ разного контента в Fetched Body и Synthetic Body с целью манипуляции поисковой системой. Система анализирует обе версии.
• Создание множества страниц с минимальными отличиями (Near-Duplicates): Создание страниц (например, вариантов товаров или локальных лендингов), отличающихся только незначительными деталями. Если система не считает эти отличия существенными для основного содержания или контекста запроса, они будут классифицированы как дубликаты.

Стратегическое значение

Патент подтверждает фундаментальную важность этапа рендеринга в архитектуре Google. Стратегии, основанные только на анализе статического HTML, устарели. Для успешного SEO необходимо глубокое понимание того, как Googlebot сканирует, рендерит и интерпретирует контент. Кроме того, патент демонстрирует, что каноникализация — это сложный процесс, основанный на машинном обучении и учитывающий контекст запроса, а не просто набор жестких правил. Это подчеркивает необходимость комплексного подхода к созданию уникального контента и технической оптимизации рендеринга.

Практические примеры

Сценарий 1: Сравнение AMP и основной версии страницы

1. Ситуация: Есть основная страница (Doc 1) и ее AMP-версия (Doc 2). Их HTML-код (Fetched Body) сильно различается из-за спецификаций AMP.
2. Анализ Fetched Body: Сигналы показывают значительные различия.
3. Анализ Synthetic Body: После рендеринга основной контент, заголовки и видимый текст практически идентичны. Сигналы показывают высокую степень сходства.
4. Решение ML Model: Модель получает противоречивые сигналы, но, будучи обученной фокусироваться на основном контенте, она присваивает больший вес сигналам из Synthetic Body.
5. Результат: Система классифицирует страницы как дубликаты с высокой степенью уверенности, несмотря на разный исходный код.

Сценарий 2: Управление вариантами товара в E-commerce

1. Ситуация: Футболка доступна в цветах: Красный (Doc 1) и Синий (Doc 2). Описание идентично, отличаются только цвет и артикул в тексте и заголовке.
2. Анализ Synthetic Body: Distance-based signals (например, TF-IDF) покажут очень высокую степень сходства.
3. Детальный анализ: Simple signals зафиксируют разницу в заголовке и тексте. Query-based signals по запросу "красная футболка" покажут разницу в сниппетах.
4. Результат: ML Model учитывает эти различия. Если модель обучена распознавать значимость таких атрибутов в контексте E-commerce, она может классифицировать страницы как уникальные. Если различия минимальны и не влияют на сниппеты, они могут быть признаны дубликатами, что требует использования rel="canonical".