Как Google использует сравнение DOM и Render Tree для обнаружения и девальвации скрытого текста при генерации сниппетов и ранжировании

Термины и определения

Document Object Model (DOM) Tree (Объектная модель документа)

Первая структура данных (Document Model). Иерархическое представление всех элементов веб-страницы на основе исходного кода. Включает текст, который будет виден, и текст, который не будет виден при рендеринге.

Render Tree (Дерево рендеринга)

Вторая структура данных (Render Model). Представление элементов веб-страницы, которые фактически визуально отображаются на экране пользователя после применения стилей (CSS) и скриптов (JavaScript). Основано на DOM Tree.

Hidden Text (Скрытый текст / Tokens)

Текст, который присутствует в DOM Tree, но отсутствует в Render Tree, или текст, невидимый из-за стилей (размер шрифта ниже порога, цвет совпадает с фоном, позиционирование за пределами экрана).

Hidden Text Data Index (Индекс скрытого текста)

База данных, хранящая информацию об обнаруженном скрытом тексте и связанные с ним Weighting Factors.

Weighting Factor (Весовой коэффициент)

Числовое значение (повышение/promotion или понижение/demotion), присваиваемое скрытому тексту. Используется для снижения вероятности выбора этого текста в качестве сниппета и/или для корректировки оценки ранжирования.

Snippet Generation Module (Модуль генерации сниппетов)

Компонент поисковой системы, отвечающий за выбор текстового фрагмента (сниппета) для отображения в результатах поиска.

Tidbit Database

База данных, содержащая кандидатов для сниппетов (tidbits) и связанные с ними весовые коэффициенты.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обнаружения скрытого текста и генерации весовых коэффициентов.

1. Система генерирует первую структуру данных (DOM Tree), включающую видимый и невидимый текст.
2. Система генерирует вторую структуру данных (Render Tree) на основе первой, включающую только текст, который будет визуально отображен при рендеринге.
3. Система сравнивает узлы первой и второй структур для идентификации узлов, которые не будут визуально отображены (скрытый текст).
4. Система генерирует Weighting Factors для этих идентифицированных скрытых текстовых узлов.

Claim 3 (Зависимый от 1): Описывает применение механизма во время поиска для выбора сниппета.

1. Система получает поисковый запрос и идентифицирует множественных кандидатов текста (потенциальные сниппеты), релевантных запросу.
2. Система выбирает финальный текст (сниппет) из кандидатов, основываясь на Weighting Factors (сгенерированных в Claim 1), отдавая предпочтение видимому тексту.

Claim 4 (Зависимый от 1), Claim 12 (Зависимый от 10), Claim 19 (Зависимый от 15): Уточняют расчет весового коэффициента. Weighting Factor генерируется на основе объема (amount) скрытого текста на веб-странице.

Claim 6 (Зависимый от 5): Указывает на влияние на ранжирование. Список результатов поиска отображается в ранжированном порядке (rank order), основанном на Weighting Factors. Это подразумевает, что коэффициенты влияют не только на выбор сниппета, но и на итоговое ранжирование результатов.

Claim 8 (Зависимый от 1) и Claim 18 (Зависимый от 15): Определяют технические критерии скрытого текста. Это текст, который:

• Имеет размер шрифта ниже определенного порога (predetermined/particular font size threshold);
• Имеет цвет шрифта, совпадающий с цветом фона;
• Присутствует в первой структуре (DOM), но отсутствует во второй (Render Tree).

Claim 15 (Независимый пункт): Описывает метод создания Hidden Text Data Index. Он повторяет логику Claim 1, но фокусируется на создании индекса, который идентифицирует скрытые узлы и включает связанные с ними Weighting Factor.

Где и как применяется

Изобретение применяется на нескольких ключевых этапах поисковой архитектуры, связывая процессы рендеринга и формирования выдачи.

CRAWLING – Сканирование и Сбор данных
На этом этапе загружается исходный код страницы (HTML, CSS, JavaScript), необходимый для анализа.

INDEXING – Индексирование и извлечение признаков
Основной этап работы алгоритма (офлайн-процесс).

• Рендеринг (WRS): Система выполняет рендеринг страницы для генерации DOM Tree и, что критически важно, Render Tree. Это требует исполнения JavaScript и применения CSS.
• Анализ и Извлечение Признаков: Происходит сравнение DOM и Render Tree.
• Расчет Метрик: Вычисляются Weighting Factors на основе объема и характера скрытого текста.
• Индексация: Данные сохраняются в Hidden Text Data Index и Tidbit Database. Текст в индексе аннотируется как видимый или скрытый.

RANKING – Ранжирование
Weighting Factors, рассчитанные на основе объема скрытого текста, могут использоваться как сигнал качества или спама на этапах ранжирования (согласно Claim 6).

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
На финальных этапах формирования выдачи (онлайн-процесс) происходит применение рассчитанных данных. Snippet Generation Module использует Weighting Factors, чтобы выбрать наилучший сниппет, предпочитая видимый текст скрытому.

Входные данные:

• Исходный код веб-страницы (HTML, CSS, JavaScript).
• Поисковый запрос (на этапе применения).

Выходные данные:

• Hidden Text Data Index.
• Weighting Factors для скрытого текста.
• Выбранный сниппет для SERP.
• Скорректированный порядок результатов поиска.

На что влияет

• Типы контента: Влияет на любой контент, отображаемый через веб-браузер. Особенно критично для страниц, активно использующих JavaScript и CSS для управления видимостью (SPA, сложные интерфейсы).
• Форматы контента: Влияет на текст, скрытый в элементах UI (аккордеоны, табы, выпадающие меню, модальные окна), а также на текст, скрытый намеренно (спам).
• Конкретные ниши: Влияет на E-commerce и агрегаторы, где часто используется сложный интерфейс для структурирования информации, а также на ниши с высокой конкуренцией, где ранее применялись техники скрытия текста.

Когда применяется

• Условия работы: Алгоритм анализа применяется при индексации и рендеринге веб-страницы (офлайн). Алгоритм выбора сниппета применяется при обработке запроса (онлайн).
• Триггеры активации (для пессимизации): Применение понижающих Weighting Factors активируется при обнаружении скрытого текста. Степень понижения зависит от объема скрытого текста (Claim 4) или его пропорции.
• Критерии скрытого текста: Применяется, если текст соответствует техническим критериям (Claim 8): размер шрифта ниже порога, совпадение цвета текста и фона, или отсутствие в Render Tree (например, из-за display: none, visibility: hidden или позиционирования за пределами экрана).

Пошаговый алгоритм

Процесс А: Индексация и Обнаружение скрытого текста (Офлайн)

1. Получение страницы: Поисковая система получает исходный код (HTML, CSS, JS).
2. Генерация DOM Tree: Document Model Module обрабатывает страницу и генерирует первую структуру данных (DOM Tree), содержащую все текстовые узлы.
3. Генерация Render Tree: Render Model Module симулирует отображение страницы в браузере и генерирует вторую структуру данных (Render Tree), содержащую только визуально отображаемые узлы.
4. Сравнение структур: Hidden Text Index Module сравнивает узлы DOM Tree с узлами Render Tree.
5. Идентификация скрытого текста: Узлы, присутствующие в DOM, но отсутствующие в Render Tree, или не соответствующие порогам видимости (цвет, размер), идентифицируются как скрытый текст.
6. Генерация Weighting Factors: Система рассчитывает весовые коэффициенты для скрытого текста. Например, рассчитывается пропорция скрытого текста к видимому. При высокой пропорции применяется сильное понижение (demotion).
7. Сохранение данных: Идентифицированный скрытый текст и его Weighting Factors сохраняются в Hidden Text Data Index и Tidbit Database.

Процесс Б: Обработка запроса и Генерация сниппета (Онлайн)

1. Получение запроса: Система получает запрос пользователя и находит релевантные страницы.
2. Идентификация кандидатов: Snippet Generation Module определяет несколько кандидатов для сниппета на этих страницах.
3. Оценка кандидатов: Модуль проверяет, содержат ли кандидаты текст, помеченный в Hidden Text Data Index.
4. Применение Weighting Factors: К оценкам кандидатов применяются весовые коэффициенты. Кандидаты из скрытого текста получают понижение. Кандидаты из видимого текста получают предпочтение.
5. Выбор сниппета: Выбирается кандидат с наилучшей итоговой оценкой.
6. Формирование SERP: Результаты поиска предоставляются пользователю. Ранжирование также может быть скорректировано на основе Weighting Factors (Claim 6).

Какие данные и как использует

Данные на входе

Система использует данные, определяющие структуру и визуальное представление контента.

• Контентные факторы: Весь текст страницы.
• Технические факторы: Исходный код страницы (HTML).
• Структурные факторы: Структура DOM Tree, иерархия элементов.
• Визуальные/Стилевые факторы (CSS, JavaScript): Данные, влияющие на рендеринг:
  • Свойства шрифта (размер, цвет).
  • Цвет фона.
  • CSS правила позиционирования (например, смещение за экран, патент упоминает left: -999em в описании).
  • CSS правила видимости (например, display, visibility).
  • Скрипты, динамически управляющие видимостью элементов (например, для hover-меню).

Какие метрики используются и как они считаются

• Наличие скрытого текста: Бинарный результат сравнения DOM Tree и Render Tree.
• Weighting Factor (Весовой коэффициент): Метрика понижения (demotion) или повышения (promotion). Рассчитывается для скрытого текста. Патент приводит примеры в описании (Table 2): -25 demotion, если 70% текста скрыто; -5 demotion за факт наличия скрытого текста.
• Объем скрытого текста (Amount of hidden text): Количество слов или символов, идентифицированных как скрытые (Claim 4).
• Пропорция скрытого текста (Ratio): Соотношение объема скрытого текста к объему видимого текста на странице.
• Пороги визуализации:
  • Минимальный порог размера шрифта (predetermined font size threshold).
  • Совпадение цвета шрифта и фона.

1. Рендеринг критичен для индексации: Google не просто читает HTML. Система полноценно рендерит страницу, чтобы понять, что именно видит пользователь. Оценка контента основана на Render Tree, а не только на DOM Tree.
2. Скрытый текст имеет меньший вес: Текст, который не виден пользователю при загрузке, идентифицируется и получает понижающие коэффициенты (Weighting Factors). Это относится как к спаму, так и к легитимным элементам UI (меню, табы, аккордеоны).
3. Приоритет видимого контента в сниппетах: Основная цель патента — улучшение качества сниппетов. Система активно избегает использования скрытого текста в сниппетах, чтобы не вводить пользователя в заблуждение.
4. Объем скрытого текста как фактор ранжирования: Патент указывает (Claim 4, Claim 6), что Weighting Factors зависят от объема скрытого текста и могут влиять на итоговый порядок результатов (ранжирование). Большое соотношение скрытого текста к видимому может привести к пессимизации страницы.
5. Точное обнаружение визуальных и структурных манипуляций: Система способна обнаруживать классические техники спама: текст цветом фона, мелкий шрифт (анализ Render Tree), а также текст, скрытый с помощью CSS-позиционирования или свойств видимости (сравнение DOM и Render Tree).

Best practices (это мы делаем)

• Обеспечение видимости ключевого контента: Основной контент страницы, отвечающий на интент пользователя, должен быть виден по умолчанию при загрузке. Не следует скрывать важный SEO-контент за табами, аккордеонами или кнопками "Читать далее", если это не критично для UX.
• Приоритет рендеринга при аудите: При техническом SEO-аудите необходимо анализировать не исходный код, а финальное визуальное отображение страницы (Render Tree). Используйте Google Search Console URL Inspection Tool, чтобы убедиться, что Googlebot видит контент так же, как пользователь.
• Оптимизация JavaScript и CSS: Убедитесь, что ресурсы JS и CSS, отвечающие за формирование и видимость основного контента, доступны для сканирования и быстро исполняются. Блокировка или ошибки в этих ресурсах могут привести к тому, что контент будет классифицирован как скрытый.
• Соблюдение стандартов доступности (Accessibility): Обеспечивайте достаточный размер шрифта и высокую контрастность между текстом и фоном. Это гарантирует, что контент не будет классифицирован как скрытый по визуальным критериям (Claim 8).

Worst practices (это делать не надо)

• Использование техник скрытия текста для SEO (Keyword Stuffing): Абсолютно недопустимо использование display: none, visibility: hidden, текста цветом фона, шрифта размером 0/1px, а также смещения текста за пределы экрана (например, text-indent: -9999px или left: -999em). Этот патент описывает прямой механизм борьбы с этими техниками.
• Клоакинг (Cloaking): Предоставление разного контента пользователям и Googlebot. Система сравнения DOM и Render Tree направлена на выявление таких расхождений.
• Скрытие основного контента в сложных интерфейсах: Размещение важного контента в элементах, требующих взаимодействия пользователя (клик, наведение) для отображения. Это несет риск того, что контент получит понижающий Weighting Factor.
• Избыточное количество шаблонного скрытого текста: Большие объемы текста в мега-меню или скрытых блоках могут негативно повлиять на соотношение видимого и скрытого контента, что может привести к применению более агрессивных Weighting Factors ко всей странице.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google на оценку контента с точки зрения пользователя (User Experience). Фундаментальный механизм сравнения DOM и Render Tree является основой для многих алгоритмов качества и удобства страниц. Для SEO это означает, что техническая оптимизация должна быть неразрывно связана с UX и дизайном. Стратегия должна фокусироваться на создании быстрых, доступных интерфейсов, где ключевая информация легко обнаруживается как пользователем, так и поисковым роботом при рендеринге.

Практические примеры

Сценарий 1: Выбор сниппета для страницы товара (E-commerce)

1. Страница: Карточка товара смартфона. Основное описание видно сразу. Подробные характеристики скрыты во вкладке (табе), которая неактивна по умолчанию.
2. Запрос: "Смартфон X время работы батареи".
3. Анализ Google: Система рендерит страницу. Текст характеристик (включая время работы батареи) присутствует в DOM, но не в Render Tree. Он попадает в Hidden Text Index с понижающим коэффициентом.
4. Генерация сниппета: Система находит ответ в скрытой вкладке. Из-за понижающего Weighting Factor она предпочтет менее релевантный текст из видимой части или выберет другую страницу для ответа.
5. Рекомендация SEO: Если время работы батареи является ключевым УТП, его следует разместить в видимой части страницы, чтобы гарантировать его использование в сниппетах и при оценке релевантности.

Сценарий 2: Борьба со спамом

1. Страница: Статья, внизу которой добавлен блок текста с ключевыми словами, скрытый через <div style="color: #FFFFFF"> на белом фоне (#FFFFFF).
2. Анализ Google: Система генерирует DOM (включает скрытый блок). При генерации Render Tree система определяет, что цвет текста совпадает с цветом фона (Claim 8).
3. Результат: Текст помечается как скрытый. Страница получает значительный понижающий Weighting Factor из-за большого объема скрытого текста (Claim 4). Страница может быть понижена в ранжировании, а скрытый текст не используется в сниппетах.