Как Google автоматически определяет важность различных частей веб-страницы (DOM-узлов) для ранжирования

Описание

Какую задачу решает

Патент решает задачу автоматического определения семантической важности различных частей (сегментов) веб-документа. Вместо использования жестко заданных правил (например, «текст в заголовке важнее основного текста»), система предлагает метод определения весов на основе анализа данных о запросах и поведении пользователей. Это позволяет поисковой системе более точно оценивать релевантность контента, расположенного в ключевых областях страницы, и снижать вес шаблонного контента (boilerplate), навигации или рекламы.

Что запатентовано

Запатентована система для автоматического присвоения весов различным частям документа на основе анализа коллекции структурированных документов. Система создает обобщенную модель структуры документа (Document Object Model, DOM) для группы похожих страниц. Затем она анализирует логи запросов (Query Logs) и кликов (Click Logs), чтобы определить, какие узлы DOM чаще всего содержат термины из запросов, которые привели к взаимодействию пользователя с документом (Impression). Узлам с высокой корреляцией присваиваются более высокие веса, которые затем используются при ранжировании.

Как это работает

Ключевой механизм работает следующим образом:

• Генерация DOM: Система анализирует коллекцию похожих структурированных документов (например, все страницы товаров на сайте) и создает общий DOM, описывающий их структуру.
• Анализ логов: Извлекаются данные о запросах, по которым эти документы были показаны и выбраны пользователями (Impressions).
• Идентификация совпадений: Система определяет, в каких частях документов (соответствующих узлам DOM) содержались термины из этих запросов.
• Расчет весов узлов (Node Weights): Узлам DOM присваиваются веса. Вес увеличивается, если узел часто содержит поисковые термины из запросов, которые привели к клику на документ.
• Применение весов: При индексации и ранжировании конкретного документа контент, найденный в частях с более высоким весом, получает больший вклад в общую оценку релевантности документа (Scoring Function).

Актуальность для SEO

Высокая. Понимание структуры документа и выделение основного контента (Main Content) на фоне шаблонных элементов является критически важной задачей для современных поисковых систем. Методы, описанные в патенте, лежат в основе систем, позволяющих Google игнорировать шум (рекламу, навигацию) и фокусироваться на семантическом центре страницы, что напрямую влияет на оценку качества и релевантности.

Важность для SEO

Патент имеет высокое значение для технического и контентного SEO. Он демонстрирует механизм, с помощью которого Google может автоматически снижать значимость контента в зависимости от его расположения на странице. Это подчеркивает важность чистой семантической верстки и размещения ключевой информации в тех структурных элементах, которые с наибольшей вероятностью будут идентифицированы как семантически важные для данного типа документа.

Детальный разбор

Термины и определения

Click Log (Лог кликов)

Часть User Activity Log. Хранит данные о том, какой контент был выбран (кликнут) пользователем в ответ на запросы.

Document Object Model (DOM) (Объектная модель документа)

Иерархическое представление структуры электронного документа (например, HTML или XML). В контексте патента, это обобщенная модель, созданная для коллекции похожих документов.

Impression (Показ/Взаимодействие)

В контексте патента, это событие, представляющее собой предшествующий выбор пользователем (prior user selection) идентифицированного документа (например, клик по ссылке в результатах поиска).

Node Weight (Вес узла)

Вес, присвоенный узлу в обобщенном DOM. Отражает семантическую важность этого структурного элемента, основанную на анализе запросов и кликов в коллекции документов.

Portion Weight (Вес части документа)

Вес, присвоенный конкретной части (Portion) конкретного документа. Этот вес наследуется (derived from) от Node Weight соответствующего узла в DOM.

Query Log (Лог запросов)

Часть User Activity Log. Хранит историю запросов, отправленных пользователями.

Scoring Function (Функция оценки/ранжирования)

Функция, используемая для расчета итоговой оценки релевантности документа. Она учитывает Portion Weights контента, найденного в документе.

Structured Documents (Структурированные документы)

Документы, имеющие определенную иерархию элементов и структурные правила (например, HTML, XML). Патент фокусируется на коллекциях документов с похожей структурой (шаблоном).

User Activity Log (Лог активности пользователя)

Хранилище данных о действиях пользователей, включая Query Logs и Click Logs.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод присвоения весов частям документа.

1. Система генерирует DOM, который представляет общий формат документов в коллекции.
2. Получаются данные, связанные с запросами, для которых эти документы были релевантны.
3. Выбираются части документов, содержащие поисковые термины из этих запросов.
4. Узлам DOM присваиваются веса (Node Weights) на основе подсчета (count) поисковых терминов, содержащихся в соответствующих частях документов.
5. Определяются веса (Portion Weights) для частей конкретного (первого) документа. Эти веса наследуются от весов соответствующих узлов DOM.
6. Эти веса предоставляются процессу ранжирования для оценки документа.

Ядро изобретения по Claim 1 — это автоматическое определение важности структурных элементов на основе того, насколько часто они содержат релевантные поисковые термины.

Claim 2 (Зависимый от 1): Уточняет, что данные о запросах включают информацию об Impressions (предшествующих выборах пользователя).

Claim 3 (Зависимый от 2): Детализирует процесс присвоения весов.

1. Вес, связанный с узлом DOM, увеличивается, если этот узел представляет части документа, которые включают поисковые термины.

Claim 4 (Зависимый от 3): Вводит ключевое условие для увеличения веса.

1. Вес узла дополнительно увеличивается, если этот узел представляет части документа, связанные с Impression (т.е. пользователь кликнул на документ, когда искал эти термины).

Claims 2-4 критически важны, так как они связывают вес структурного элемента не просто с наличием ключевых слов, а с успешным взаимодействием пользователя. Это позволяет системе учиться на поведении пользователей для определения семантической важности.

Claim 5 (Зависимый от 4): Указывает на источник данных.

1. Система анализирует User Activity Log для определения количества Impressions, связанных с каждой частью документов.

Где и как применяется

Изобретение применяется на этапах индексирования и ранжирования, используя данные о поведении пользователей.

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются структурированные документы и логи активности пользователей (запросы и клики), которые служат входными данными для системы.

INDEXING – Индексирование и извлечение признаков
Основное применение патента происходит здесь (вероятно, в виде офлайн или пакетного процесса):

1. Анализ структуры и генерация DOM: Система идентифицирует коллекции документов с похожей структурой и генерирует обобщенные DOM.
2. Анализ логов и расчет весов: Система обрабатывает User Activity Logs, сопоставляет запросы и клики (Impressions) с узлами DOM и вычисляет Node Weights.
3. Присвоение весов и индексация: При обработке конкретного документа ему присваиваются Portion Weights, наследуемые от DOM. Эти веса сохраняются в индексе и используются для взвешивания контента внутри документа.

RANKING – Ранжирование
На этом этапе система использует предварительно рассчитанные веса. Scoring Function при расчете релевантности документа запросу учитывает не только наличие терминов, но и Portion Weights тех частей документа, где эти термины были найдены.

Входные данные:

• Коллекция структурированных документов (например, HTML-страницы с одного сайта или использующие один шаблон).
• User Activity Log (Query Logs и Click Logs), относящийся к этим документам.

Выходные данные:

• Обобщенный DOM с рассчитанными Node Weights.
• Portion Weights для индексируемых документов.
• Вклад в Scoring Function для ранжирования.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на сайты с большим количеством однотипных страниц, сгенерированных по шаблону: карточки товаров (E-commerce), статьи в блогах, профили пользователей, страницы объектов недвижимости, новостные статьи.
• Структурные факторы: Влияет на значимость контента в зависимости от его расположения в структуре документа (DOM) – заголовки, основной текст, боковые панели (sidebars), футеры, навигационные меню, рекламные блоки.

Когда применяется

• Условия применения: Алгоритм применяется, когда поисковая система может идентифицировать коллекцию документов, имеющих общую или очень похожую структуру (т.е. когда можно построить обобщенный DOM).
• Частота применения: Генерация DOM и расчет Node Weights, вероятно, выполняются периодически в пакетном режиме (офлайн), так как требуют анализа больших объемов логов. Применение рассчитанных весов (Portion Weights) происходит постоянно во время индексации и ранжирования.

Пошаговый алгоритм

Этап А: Генерация модели и расчет весов (Офлайн/Пакетная обработка)

1. Генерация обобщенного DOM: Система анализирует коллекцию структурированных документов и создает DOM, определяющий структуру узлов, соответствующую формату этих документов.
2. Сбор данных о запросах и взаимодействиях: Из User Activity Log извлекаются данные о запросах, по которым документы из коллекции были релевантны, а также данные об Impressions (кликах).
3. Идентификация совпадений: Для каждого запроса определяются части документов (и соответствующие им узлы DOM), которые содержат поисковые термины.
4. Расчет весов узлов (Node Weights): Система присваивает веса узлам DOM. Расчет основан на:
   • Количестве поисковых терминов, найденных в частях документа, соответствующих узлу.
   • (Критически важно) Увеличении веса, если наличие этих терминов в узле коррелирует с Impression (кликом пользователя).

Этап Б: Применение весов (Индексация/Ранжирование)

1. Определение весов частей документа (Portion Weights): Для конкретного документа из коллекции определяются веса его частей. Каждый Portion Weight наследуется от Node Weight соответствующего узла в обобщенном DOM.
2. Взвешивание контента: Контент, найденный в частях документа, взвешивается в соответствии с присвоенными Portion Weights.
3. Расчет функции ранжирования: Эти взвешенные значения используются при расчете итоговой Scoring Function для документа. Контент в более важных (с большим весом) частях вносит больший вклад в итоговый рейтинг.

Какие данные и как использует

Данные на входе

• Структурные факторы: Структура документов (HTML/XML), позволяющая построить DOM. Идентифицируются узлы, такие как заголовки (Title, Headings), параграфы (Paragraph), таблицы (Table), изображения (Image), навигация (Navigation Menu), реклама (Advertisements), футер (Footer).
• Поведенческие факторы: User Activity Log, включающий Query Logs (поисковые запросы) и Click Logs (данные об Impressions или выборе пользователем документа).
• Контентные факторы: Текстовое содержимое узлов DOM, которое сопоставляется с терминами из запросов.

Какие метрики используются и как они считаются

• Count of Search Terms (Подсчет поисковых терминов): Количество терминов из релевантных запросов, которые появляются в определенном узле DOM в коллекции документов.
• Count of Impressions (Подсчет взаимодействий): Количество кликов (выборов пользователя), связанных с запросами, чьи термины появились в определенном узле DOM.
• Node Weight (Вес узла): Метрика семантической важности узла DOM. Рассчитывается на основе Count of Search Terms и значительно увеличивается при наличии корреляции с Count of Impressions.
• Portion Weight (Вес части документа): Метрика, наследуемая от Node Weight и применяемая к конкретному документу.

Выводы

1. Автоматическое определение важности структуры: Google использует анализ данных о запросах и кликах для автоматического определения того, какие части страницы являются семантически важными для данного шаблона. Это более продвинутый подход, чем жестко заданные правила.
2. Важность зависит от контекста шаблона: Важность одного и того же элемента (например, H1 или Sidebar) может различаться для разных сайтов или разных типов страниц (например, блог vs. e-commerce), в зависимости от того, как пользователи взаимодействуют с ними и какой контент там размещен.
3. Автоматическое снижение веса шаблонного контента: Элементы, которые редко содержат термины из успешных запросов (например, навигация, футеры, рекламные блоки, boilerplate текст), автоматически получат низкий Node Weight. Контент в этих блоках будет иметь меньшее влияние на ранжирование.
4. Поведенческие данные определяют семантику: Ключевым аспектом является использование Impressions (кликов). Недостаточно просто разместить ключевое слово в элементе; важно, чтобы пользователи, ищущие это слово, кликали на документ именно тогда, когда слово находится в этом элементе.
5. Фокус на коллекциях структурированных документов: Механизм требует наличия группы похожих страниц для генерации обобщенного DOM и сбора достаточной статистики.

Практика

Best practices (это мы делаем)

• Использование семантической верстки: Применяйте чистый, структурированный HTML5 (<header>, <footer>, <nav>, <article>, <aside>, <main>). Это помогает поисковой системе корректно построить DOM и отделить основное содержание от вспомогательных блоков.
• Размещение ключевого контента в центральных областях: Убедитесь, что основная тема страницы и ключевые слова расположены в основном контенте (Main Content Area), который с наибольшей вероятностью получит высокий Node Weight.
• Поддержание консистентной структуры сайта: Используйте согласованные шаблоны для однотипных страниц (например, всех карточек товаров). Это облегчает генерацию обобщенного DOM и позволяет системе эффективно накапливать статистику для расчета весов.
• Оптимизация сниппетов для повышения CTR: Поскольку клики (Impressions) используются для определения весов, важно работать над привлекательностью сниппетов. Высокий CTR по релевантным запросам может косвенно подтвердить системе, что контент в ключевых узлах (например, Title, Description) является важным.

Worst practices (это делать не надо)

• Keyword Stuffing в сквозных блоках: Размещение оптимизированных текстов или списков ключевых слов в футере, боковых панелях или других шаблонных элементах. Описанный механизм автоматически присвоит этим блокам низкий вес, делая такую тактику неэффективной.
• Размещение критически важной информации в нетипичных местах: Например, размещение основного описания товара в блоке, который структурно похож на рекламу или блок «Похожие товары». Система может присвоить этому блоку низкий вес.
• Использование запутанной или неконсистентной верстки: Сложные, вложенные структуры или частая смена шаблонов могут помешать системе сгенерировать корректный обобщенный DOM и точно рассчитать веса узлов.

Стратегическое значение

Патент подтверждает стратегию Google по глубокому пониманию структуры и контекста контента на странице. Он показывает, как поведенческие сигналы используются не только для прямого ранжирования, но и для обучения системы пониманию семантической структуры веб-документов. Для SEO это означает, что информационная архитектура, чистота кода и пользовательский опыт (UX) являются взаимосвязанными факторами, определяющими, как именно контент будет взвешен при ранжировании.

Практические примеры

Сценарий: Оптимизация карточки товара E-commerce

1. Анализ структуры: Сайт использует единый шаблон для всех товаров. Google генерирует обобщенный DOM с узлами: «Название товара», «Цена», «Описание», «Отзывы», «Похожие товары» (Sidebar), «Футер».
2. Сбор данных: Пользователи часто ищут конкретные характеристики (например, «размер XL синяя футболка Nike») и кликают на карточку товара.
3. Расчет весов:
   • Термины запроса чаще всего находятся в «Название товара» и «Описание». Эти узлы получают высокий Node Weight.
   • Термины редко находятся в «Футер» или «Похожие товары». Эти узлы получают низкий Node Weight.
4. Применение в SEO:
   • Правильно: Включить ключевые характеристики в «Описание». Этот контент получит высокий вес при ранжировании.
   • Неправильно: Добавить блок текста о доставке, оптимизированный под эти характеристики, в «Футер». Этот контент получит низкий вес, даже если он содержит ключевые слова.

Вопросы и ответы