Как Google определяет наиболее релевантный раздел структурированного документа (сайта или книги) для показа в выдаче

Описание

Какую задачу решает

Патент решает проблему оптимального представления результатов поиска для больших, структурированных документов (таких как книги, патенты, длинные статьи или веб-сайты). Вместо того чтобы просто возвращать ссылку на весь документ или показывать произвольные сниппеты, система определяет, какая именно часть документа (structural element) – будь то страница, раздел, глава или весь документ – является наиболее релевантной запросу пользователя, и представляет именно эту часть.

Что запатентовано

Запатентована система для идентификации и представления оптимального структурного элемента документа на основе анализа распределения поисковых терминов. Система анализирует, где именно в иерархии документа сконцентрированы совпадения (hits) с запросом. Если совпадения плотно сгруппированы в определенном разделе, система представит этот раздел, а не весь документ.

Как это работает

Система использует структуру документа для определения релевантности на разных уровнях гранулярности. Описаны два основных метода:

• Кластеризация (Clustering): Совпадения группируются на основе их физической близости (physical proximity) в документе. Система определяет наименьший структурный элемент (например, раздел или страницу), который охватывает весь кластер совпадений.
• Иерархическое дерево и распространение оценок (Tree Representation and Score Propagation): Документ представляется в виде дерева (страницы – листья, разделы – узлы, документ – корень). Страницам с совпадениями присваиваются оценки. Эти оценки суммируются и передаются вверх по иерархии. Если оценка узла (раздела) превышает порог (threshold), этот раздел выбирается для показа, а отдельные страницы внутри него исключаются из рассмотрения.

Актуальность для SEO

Средняя/Высокая. Хотя патент подан в 2004 году (эпоха становления Google Books), описанные в нем принципы фундаментальны для обработки структурированных данных. Эти концепции актуальны для Google Books, Google Patents и, что важно для SEO, для анализа архитектуры веб-сайтов и структурирования длинного контента (например, для генерации ссылок «Перейти к разделу» (Jump To) в SERP). Присутствие Амита Сингхала (Amitabh Singhal) среди изобретателей подчеркивает важность патента для базовых механизмов поиска.

Важность для SEO

Патент имеет значительное влияние (7/10) на стратегию информационной архитектуры (IA) и структурирования контента. Он показывает, что Google может оценивать релевантность не только на уровне страницы, но и на уровне разделов сайта (например, категорий или хабов). Четкая, логичная иерархия сайта помогает Google идентифицировать релевантные структурные элементы. Для длинного контента это подчеркивает важность использования семантических заголовков для определения внутренней структуры документа.

Детальный разбор

Термины и определения

Structural Elements (Структурные элементы)

Компоненты, из которых состоит документ. Примеры включают документ целиком, части (Parts), подразделы (Sub-parts) и страницы (Pages). В контексте веб-сайта это могут быть главная страница, категории, подкатегории и отдельные статьи.

Hierarchical Structure (Иерархическая структура)

Организация структурных элементов документа, часто представляемая в виде дерева.

Hit Distribution (Распределение совпадений)

Расположение и частота встречаемости поисковых терминов внутри структурных элементов документа.

Clustering (Кластеризация)

Процесс группировки совпадений (hits) на основе их близости друг к другу в документе.

Physical Proximity (Физическая близость)

Метрика, определяющая, насколько близко расположены два совпадения в документе (например, по номерам страниц или расположению в структуре). Используется для кластеризации.

Tree Representation (Древовидное представление)

Модель структуры документа, используемая во втором алгоритме.

Leaf Nodes (Листовые узлы)

Нижний уровень иерархии в древовидном представлении, обычно соответствующий страницам или наименьшим структурным единицам.

Higher Level Nodes (Узлы более высокого уровня)

Узлы в дереве, представляющие части или разделы документа (например, главы или категории).

Root Node (Корневой узел)

Верхний узел дерева, представляющий весь документ или веб-сайт.

Score Propagation (Распространение оценки)

Механизм передачи оценок релевантности снизу вверх по иерархическому дереву (от страниц к разделам).

Threshold (Порог)

Значение оценки, при превышении которого структурный элемент считается достаточно релевантным для представления в качестве результата.

Ключевые утверждения (Анализ Claims)

Патент описывает два основных подхода к решению задачи: кластеризацию и древовидное скорирование.

Claim 1 (Независимый пункт) – Подход на основе кластеризации: Описывает метод идентификации релевантного структурного элемента.

1. Система идентифицирует документ, связанный с поисковым термином.
2. Определяются места вхождения (occurrences) поискового термина в документе.
3. Вхождения группируются в кластеры на основе их относительного расположения (relative locations).
4. Важное условие: группировка предпочитает (favoring) кластер, который находится внутри одного структурного элемента, кластеру, который охватывает несколько структурных элементов.
5. Идентифицируется структурный элемент, охватывающий кластер.
6. Предоставляется информация, связанная с этим идентифицированным структурным элементом.

Claim 28 (Независимый пункт) – Акцент на наименьшем элементе: Аналогичен Claim 1, но явно указывает на цель выбора.

Система определяет наименьший структурный элемент (smallest structural element), который охватывает каждый из кластеров, и предоставляет информацию, связанную с этим элементом. Это означает, что если кластер умещается на странице, будет показана страница; если он охватывает раздел, будет показан раздел.

Claim 33 (Независимый пункт) – Подход на основе иерархического дерева и оценок: Описывает альтернативный алгоритм с использованием скоринга.

1. Идентифицируется документ с иерархической структурой (части, страницы).
2. Создается древовидное представление (Страницы=Листья, Части=Узлы, Документ=Корень).
3. Листовым узлам (страницам) присваиваются оценки на основе наличия поискового термина.
4. Оценки для узлов более высокого уровня (частей) определяются на основе оценок связанных с ними листовых узлов (например, суммированием).
5. Определяется оценка для корневого узла.
6. Устанавливается порог (threshold), который может зависеть от количества страниц, связанных с узлом.
7. Выбирается узел (лист, узел высокого уровня или корень) на основе сравнения его оценки с порогом.
8. Предоставляется информация, относящаяся к выбранному узлу.

Где и как применяется

Изобретение применяется на нескольких этапах поисковой архитектуры, преимущественно влияя на финальное представление результатов.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна идентифицировать и сохранить иерархическую структуру документа. Для книг это может быть получено от издателя или через OCR. Для веб-сайтов это подразумевает анализ структуры URL, навигации, хлебных крошек и внутренней перелинковки для построения иерархии (дерева сайта).

RANKING – Ранжирование
Основные алгоритмы ранжирования определяют общую релевантность документа запросу и идентифицируют места вхождения поисковых терминов (hits).

RERANKING / METASEARCH – Переранжирование и Смешивание (Представление результатов)
Основное применение патента. После того как документ признан релевантным, система анализирует распределение совпадений (Hit Distribution) внутри его структуры. Алгоритмы (кластеризация или древовидный скоринг) определяют, какой именно структурный элемент (страницу, раздел или весь сайт) следует представить пользователю в качестве основного результата и точки входа.

Входные данные:

• Иерархическая структура документа (Hierarchical Structure).
• Распределение совпадений (Hit Distribution) поисковых терминов в документе.
• Пороговые значения (Thresholds) для кластеризации или скоринга.

Выходные данные:

• Идентификатор оптимального структурного элемента для представления в SERP.
• Информация для формирования сниппета (например, первая страница раздела или конкретная страница с выделенными терминами).

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на структурированные документы: книги, патенты, техническую документацию, законодательные акты.
• Веб-сайты: Влияет на сайты с четкой иерархической структурой (e-commerce, контентные проекты с категориями и подкатегориями). Алгоритм может определить, показывать ли в выдаче страницу статьи, страницу категории или главную страницу.
• Лонгриды: Влияет на длинные статьи или руководства, имеющие внутреннюю структуру (например, определенную через заголовки H2/H3). Система может идентифицировать конкретный раздел как наиболее релевантный.

Когда применяется

• Триггеры активации: Алгоритм применяется, когда поисковая система идентифицирует документ как релевантный и этот документ обладает идентифицируемой иерархической структурой.
• Условия работы: Эффективность зависит от плотности и расположения ключевых слов. Если термины равномерно распределены по всему документу, система может выбрать корневой элемент. Если термины сконцентрированы в одном месте, система выберет наименьший структурный элемент, охватывающий эту концентрацию.

Пошаговый алгоритм

В патенте описаны два варианта реализации.

Алгоритм А: Кластеризация (Clustering)

1. Идентификация совпадений: Определяются все вхождения поисковых терминов в документе.
2. Группировка по близости: Совпадения кластеризуются на основе их физической близости (physical proximity). Пороги близости могут быть фиксированными или пропорциональными размеру документа/раздела.
3. Применение структурных ограничений: Алгоритм предпочитает формировать кластеры, которые полностью находятся внутри одного структурного элемента, а не пересекают границы разделов.
4. Идентификация контейнера: Для каждого кластера определяется наименьший структурный элемент (страница, подраздел, раздел), который полностью его охватывает.
5. Выбор результата: Идентифицированные структурные элементы выбираются для представления в результатах поиска.

Алгоритм Б: Древовидное скорирование (Tree-Based Scoring)

1. Построение дерева: Определяется древовидная структура документа (Корень, Узлы высокого уровня, Листья).
2. Начальное присвоение оценок: Листовым узлам (страницам), содержащим совпадения, присваиваются оценки. Оценка может быть бинарной (1 или 0) или взвешенной на основе «важности» совпадения (например, в заголовке, жирном шрифте).
3. Распространение оценок вверх: Оценки передаются родительским узлам (разделам). Оценка родителя обычно равна сумме оценок его дочерних элементов.
4. Сравнение с порогом: Оценка родительского узла сравнивается с порогом (threshold).
5. Принятие решения:
   • Если оценка > порога: Родительский узел выбирается как потенциальный результат. Все ранее выбранные дочерние узлы удаляются из списка результатов. Этот узел передает оценку 0 своему родителю (чтобы остановить дальнейшее распространение этой конкретной релевантности).
   • Если оценка <= порога: Узел не выбирается. Он передает свою полную оценку вверх своему родителю.
6. Итерация: Процесс повторяется на следующем уровне иерархии, пока не будет достигнут корень.
7. Финальный выбор: Структурные элементы, соответствующие выбранным узлам, идентифицируются для представления в поиске.

Какие данные и как использует

Данные на входе

• Структурные факторы: Критически важные данные. Информация об иерархической структуре документа (дерево частей, подразделов, страниц). Метаданные, определяющие границы структурных элементов.
• Контентные факторы: Текст документа и точное расположение (offset) всех вхождений поисковых терминов.
• Факторы форматирования/Важности: В описании алгоритма Б упоминается возможность взвешивания оценок на основе «важности» (importance) совпадения. Это может включать анализ шрифта (размер, жирность) и семантических тегов (заголовки).
• Технические факторы: Упоминается использование OCR (Optical Character Recognition) для определения текста и структуры сканированных документов (например, книг).

Какие метрики используются и как они считаются

• Physical Proximity (Физическая близость): Используется в Алгоритме А. Метрика для определения возможности объединения двух совпадений в один кластер.
• Score (Оценка): Используется в Алгоритме Б. Присваивается листовым узлам. Может быть рассчитана как:
  • Бинарная: 1, если термин присутствует; 0, если нет.
  • Взвешенная: Функция от важности совпадения (форматирование, позиция).
• Propagated Score (Распространенная оценка): Оценка узла высокого уровня, обычно рассчитываемая как сумма оценок его дочерних элементов.
• Threshold (Порог): Используется в обоих алгоритмах.
  • Для кластеризации: Определяет максимальное расстояние для включения в кластер.
  • Для скоринга: Определяет минимальную оценку для выбора узла. Пороги могут быть фиксированными, специфичными для уровня иерархии или функцией от количества страниц, связанных с узлом.

Выводы

1. Релевантность оценивается внутри структурных границ: Google не просто ищет ключевые слова на странице, но и анализирует, как эти слова распределены в рамках общей структуры документа или сайта. Система активно пытается найти четко определенный раздел, который является тематическим центром запроса.
2. Определение оптимальной гранулярности результата: Ключевая цель патента – решить, показывать ли пользователю конкретную страницу, целый раздел (категорию/хаб) или весь сайт. Это решение принимается на основе того, насколько плотно сконцентрированы релевантные совпадения.
3. Предпочтение четкой структуры (Поддержка Siloing): Алгоритм кластеризации явно предпочитает (favoring) кластеры, которые не пересекают структурные границы. Это подчеркивает важность четкой и логичной информационной архитектуры (IA) и тематического силоирования для SEO.
4. Механизм иерархического скоринга (Bottom-Up): Алгоритм Б предоставляет конкретную модель того, как релевантность на уровне страниц может агрегироваться в оценку релевантности раздела. Если раздел достигает порога релевантности, он может заменить отдельные страницы в выдаче.
5. Сигналы важности контента: Патент подтверждает, что сигналы «важности» (importance), такие как заголовки и форматирование (жирный шрифт), могут использоваться для взвешивания оценок релевантности отдельных совпадений.

Практика

Best practices (это мы делаем)

• Проектирование четкой информационной архитектуры (Silos/Hubs): Создавайте логичную иерархическую структуру сайта. Это помогает Google идентифицировать Structural Elements. Используйте структуру URL, навигацию и хлебные крошки для подкрепления этой иерархии.
• Концентрация тематической релевантности: Убедитесь, что контент, относящийся к определенной теме, физически сгруппирован в соответствующем разделе (категории). Это способствует формированию плотных кластеров релевантности (Clustering) внутри этого структурного элемента и согласуется с предпочтением системы не пересекать структурные границы.
• Структурирование лонгридов: Используйте семантическую разметку (H1-H6) для определения внутренней иерархии длинных статей. Это позволяет Google рассматривать каждый подзаголовок как потенциальный структурный элемент, который может быть выбран для показа (аналогично Jump To ссылкам).
• Оптимизация Хабовых Страниц: Развивайте страницы категорий/хабов. Алгоритм древовидного скоринга показывает, как релевантность дочерних страниц может агрегироваться и помочь хабовой странице достичь порога (threshold) для показа в выдаче по общим запросам.
• Использование сигналов важности: Используйте заголовки и выделение текста для ключевых терминов. Патент предполагает, что такие сигналы importance могут увеличивать вес (Score) совпадений.

Worst practices (это делать не надо)

• Плоская архитектура сайта: Отсутствие четкой иерархии затрудняет для Google идентификацию структурных элементов и анализ распределения релевантности.
• Размытие тематик между разделами: Размещение контента по одной теме в разных, структурно не связанных разделах сайта. Это приводит к рассеиванию сигналов релевантности, мешает формированию плотных кластеров и противоречит предпочтению системы (favoring) кластеров внутри одного элемента.
• Игнорирование внутренней структуры контента: Публикация длинных текстов без четкой структуры заголовков. Это не позволяет системе идентифицировать внутренние структурные элементы документа.

Стратегическое значение

Патент подтверждает критическую важность информационной архитектуры для SEO. Он предоставляет модель того, как Google может оценивать авторитетность и релевантность не только отдельных страниц, но и целых разделов сайта. Стратегия построения тематических хабов и силосов напрямую поддерживается описанными механизмами, так как они облегчают кластеризацию релевантности внутри определенных структурных границ. Для контент-стратегии это означает, что структура документа так же важна, как и его содержание.

Практические примеры

Сценарий 1: Выбор между страницей товара и категорией (E-commerce)

1. Запрос: «Кроссовки Nike Air Max»
2. Структура сайта: /footwear (Корень раздела) -> /nike (Узел высокого уровня) -> /air-max (Узел низкого уровня) -> Конкретные модели (Листья).
3. Анализ (Алгоритм Б — Древовидный скоринг): Множество страниц товаров (листьев) содержат этот запрос, получая оценки (Score). Эти оценки передаются вверх к узлу /air-max.
4. Результат: Оценка узла /air-max превышает порог (threshold), так как релевантность широко распределена по многим товарам в этой категории. Google выбирает страницу категории /air-max как оптимальный структурный элемент для показа.

Сценарий 2: Идентификация релевантного раздела в лонгриде

1. Запрос: «Побочные эффекты витамина D»
2. Документ: Длинная статья «Полное руководство по витамину D».
3. Структура статьи: H1 (Корень) -> H2 Разделы (Узлы): «Преимущества», «Дозировка», «Побочные эффекты», «Источники».
4. Анализ (Алгоритм А — Кластеризация): Система анализирует распределение терминов «побочные эффекты» и «витамин D».
5. Результат: Совпадения плотно кластеризованы в разделе H2 «Побочные эффекты». Этот раздел идентифицируется как наименьший структурный элемент, охватывающий кластер. Google показывает этот раздел в качестве точки входа (например, с помощью Jump To ссылки в SERP).

Вопросы и ответы