Как Google использует организационные структуры (папки, ярлыки) как ссылки для расчета PageRank и ранжирования документов

Термины и определения

Conceptual Organizational Structures (Концептуальные организационные структуры)

Логические или виртуальные методы группировки документов, определяемые пользователями. Включают ярлыки (labels), под-ярлыки (sub-labels), логические файловые системы (папки/директории) и пользовательские закладки (bookmarks).

Degree of Relatedness (Степень близости/родства)

Метрика, определяющая силу связи между двумя документами на основе их расположения в организационной структуре. Например, документы с общим ярлыком имеют высокую степень близости; документы с сестринскими ярлыками — более низкую.

Document (Документ)

Любой машиночитаемый продукт: текстовый файл, таблица, электронное письмо, изображение, веб-страница, новостной пост, блог и т.д.

First Relationship / First Link (Первая связь / Первая ссылка)

Сильная связь между документами. Определяется как наличие общего иерархического ярлыка, нахождение в одной поддиректории или в одной папке закладок.

IR Score (Information Retrieval Score)

Стандартная оценка релевантности документа запросу, основанная на анализе содержания (частота терминов, их расположение в документе и т.д.).

Link (Ссылка)

В контексте патента — любая связь между документами в коллекции, основанная на организационных структурах. Используется как основа для расчета рейтинга.

Ranking Score / Rank (Рейтинг)

Оценка документа, рассчитанная на основе его концептуальных связей с другими документами, независимо от поискового запроса. Может рассчитываться с использованием итеративных алгоритмов типа PageRank.

Second Relationship / Second Link (Вторая связь / Вторая ссылка)

Более слабая связь между документами. Определяется как наличие сестринских (sibling) ярлыков, нахождение в сестринских поддиректориях или сестринских папках закладок.

Total Score (Итоговая оценка)

Финальная оценка документа, используемая для ранжирования в результатах поиска. Является комбинацией IR Score и Ranking Score.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной механизм дифференцированного учета связей разной силы для ранжирования.

1. Система выбирает первый документ.
2. Определяется "Первая связь" (First Relationship) между первым и вторым документом. Эта связь интерпретируется как "Первая ссылка" (First Link). Условия для Первой связи: общий иерархический ярлык, общая поддиректория ИЛИ общая папка закладок. (Это сильная связь).
3. Определяется "Вторая связь" (Second Relationship) между первым и третьим документом. Эта связь интерпретируется как "Вторая ссылка" (Second Link). Условия для Второй связи: сестринские (sibling) ярлыки, сестринские поддиректории ИЛИ сестринские папки закладок. (Это более слабая связь).
4. Первому документу присваивается Ranking Score на основе Первой и Второй ссылок.
5. Ключевое условие: Первая ссылка вносит больший вклад в Ranking Score, чем Вторая ссылка.

Claim 6 (Зависимый от 1): Уточняет механизм расчета рейтинга. Ranking Score первого документа основывается на Ranking Score второго и третьего документов. Это подтверждает использование итеративного алгоритма, подобного PageRank, где связанные документы передают свой вес.

Claim 7 (Зависимый от 1): Уточняет, что Ranking Score также зависит от количества других документов, которые разделяют ту же организационную структуру (ярлык, директорию, закладку) с первым документом.

Claim 9 (Независимый пункт): Описывает механизм с акцентом на ярлыки (Labels) и учет мнения нескольких пользователей.

1. Система получает ярлыки для первого документа от нескольких разных пользователей.
2. Обнаруживается Первая ссылка (общий ярлык) и Вторая ссылка (сестринский ярлык).
3. Присваивается Ranking Score (вклад Первой ссылки больше, чем Второй).
4. Ключевое условие: Ranking Score дополнительно основывается на количестве разных пользователей, присвоивших ярлыки.
5. Обнаруживается Третья ссылка (непрямая связь): второй документ связан с четвертым документом через ярлык, которого нет у первого документа.
6. Ranking Score первого документа модифицируется на основе этой Третьей ссылки.

Где и как применяется

Изобретение применяется на этапах индексирования для расчета структурного рейтинга и на этапе ранжирования для его применения.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная работа по анализу структур и расчету рейтинга.

1. Сбор данных: Система собирает информацию об организационных структурах (файловая система, ярлыки, закладки).
2. Анализ связей: Идентифицируются связи (First Relationship, Second Relationship) между документами и определяются степени близости (degree of relatedness).
3. Расчет рейтинга: Система итеративно рассчитывает независимый от запроса Ranking Score для каждого документа на основе этих связей (например, используя PageRank). Эти оценки сохраняются в индексе.

RANKING – Ранжирование
На этом этапе предварительно рассчитанный рейтинг используется для сортировки результатов.

1. Отбор кандидатов: Система идентифицирует набор документов, соответствующих запросу.
2. Расчет IR Score: Для кандидатов рассчитывается оценка релевантности (IR Score).
3. Расчет Total Score: Система комбинирует IR Score с предварительно рассчитанным Ranking Score (основанным на связях) для получения Total Score.
4. Сортировка: Документы сортируются на основе Total Score.

Входные данные:

• Информация о файловой структуре (директории, поддиректории).
• Данные о ярлыках (Labels) и под-ярлыках, присвоенных документам.
• Информация о пользовательских закладках (Bookmarks) и их организации.
• Идентификаторы пользователей, создавших ярлыки или закладки.

Выходные данные:

• Ranking Score для каждого документа, основанный на концептуальных связях.
• Итоговый отсортированный список результатов поиска.

На что влияет

Хотя патент в первую очередь описывает системы, где Google имеет прямой доступ к пользовательским организационным структурам (десктопный поиск, Gmail, корпоративный поиск), его принципы применимы к веб-поиску через анализ аналогичных структур на сайтах:

• Структура URL (Logical Directory Structures): Влияет на документы, организованные в четкую иерархию URL-адресов (подпапки).
• Внутренняя архитектура сайта (Conceptual Structures/Labels): Влияет на документы, сгруппированные с помощью навигации, хлебных крошек, внутренних ссылок, формирующих тематические кластеры (которые действуют как виртуальные "ярлыки" или "папки").
• Внешние ссылки (Bookmarks/Multiple Users): Принципы, связанные с закладками и учетом мнения разных пользователей, могут применяться к анализу внешних ссылок и ко-цитирования.

Когда применяется

• Постоянно (Индексирование): Расчет Ranking Score на основе связей происходит в процессе индексирования и обновляется по мере изменения организационных структур.
• При каждом запросе (Ранжирование): Рассчитанный Ranking Score используется как фактор ранжирования при обработке поисковых запросов, комбинируясь с IR Score.

Пошаговый алгоритм

Процесс А: Расчет рейтинга на основе связей (Индексирование)

1. Идентификация документов и структур: Сбор данных о документах и связанных с ними организационных структурах (ярлыки, директории, закладки).
2. Идентификация связей: Для каждого документа A определяются связанные документы.
3. Классификация связей: Связи классифицируются по силе (Degree of Relatedness):
   • Сильные (First Relationship): Общий ярлык/папка.
   • Слабые (Second Relationship): Сестринский ярлык/папка.
   • Непрямые: Связь через промежуточные документы.
4. Итеративный расчет рейтинга: Расчет Ranking Score для документа A. Может использоваться формула, подобная PageRank: $r(A) = \frac{\alpha}{N} + (1-\alpha)(\frac{r(R_{1})}{|R_{1}|}+...+\frac{r(R_{n})}{|R_{n}|})$ Где R1..Rn – связанные документы. При этом вклад каждого связанного документа (слагаемого в скобках) дополнительно взвешивается в зависимости от силы связи (First Relationship вносит больший вклад, чем Second Relationship).
5. Учет дополнительных факторов: Модификация рейтинга на основе количества документов в группе и количества уникальных пользователей, создавших связи.
6. Сохранение рейтинга: Ranking Score сохраняется в индексе.

Процесс Б: Обработка запроса (Ранжирование)

1. Получение запроса: Пользователь вводит поисковый запрос.
2. Идентификация совпадений: Поиск документов, соответствующих запросу.
3. Расчет IR Score: Генерация оценки релевантности контента (IR Score) для каждого документа.
4. Получение Ranking Score: Извлечение предварительно рассчитанного рейтинга на основе связей (Ranking Score) из индекса.
5. Расчет Total Score: Генерация итоговой оценки (Total Score) путем комбинации IR Score и Ranking Score.
6. Сортировка и представление: Сортировка документов по Total Score и отображение результатов пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании структурных данных, созданных пользователями.

• Технические факторы (Структура хранения): Логическая файловая система, структура директорий и поддиректорий (аналог URL-структуры в вебе).
• Структурные факторы (Организация): Ярлыки (Labels) и под-ярлыки, присвоенные документам. Иерархия этих ярлыков.
• Пользовательские факторы (Взаимодействие): Закладки (Bookmarks), организация закладок в папки. Идентификаторы пользователей, присвоивших ярлыки или создавших закладки.

Какие метрики используются и как они считаются

• Degree of Relatedness (Степень близости): Качественная метрика для взвешивания связей.
  • First Relationship (Высокая): Общая папка/ярлык.
  • Second Relationship (Низкая): Сестринская папка/ярлык.
• Ranking Score (Рейтинг на основе связей): Рассчитывается итеративно. Основан на количестве связей, их степени близости и рейтинге связанных документов. В патенте приводится формула, аналогичная PageRank (см. Пошаговый алгоритм).
• Количество пользователей: Количество уникальных пользователей, которые организовали документ определенным образом (например, присвоили ярлык). Большее количество пользователей может повышать рейтинг.
• IR Score (Оценка релевантности): Стандартная метрика релевантности контента запросу.
• Total Score (Итоговая оценка): Комбинация Ranking Score и IR Score.

1. Структура как ранжирующий сигнал: Патент четко определяет, что способ организации документов (концептуальные и логические структуры) является самостоятельным сигналом ранжирования, независимым от содержания документа.
2. Концептуальные связи как ссылки: Организационные группировки (общие папки, ярлыки, закладки) интерпретируются как ссылки (Links) между документами.
3. Передача веса по структуре (Structural PageRank): Система использует итеративные алгоритмы типа PageRank для расчета рейтинга на основе этих структурных ссылок. Документы передают вес друг другу в зависимости от их собственного рейтинга.
4. Дифференцированная передача веса: Вводится понятие степени близости (Degree of Relatedness). Более тесные связи (First Relationship, например, в одной папке) передают значительно больше веса, чем более слабые связи (Second Relationship, например, в сестринских папках).
5. Сигнал "Мудрость толпы": Если несколько разных пользователей независимо друг от друга организуют документ схожим образом (например, добавляют в закладки или присваивают ярлык), это повышает его Ranking Score.
6. Итоговое ранжирование: Финальный рейтинг документа (Total Score) является комбинацией его релевантности запросу (IR Score) и его структурного рейтинга (Ranking Score).

Best practices (это мы делаем)

Хотя патент описывает анализ пользовательских структур (папки, ярлыки), его принципы напрямую переносятся на проектирование архитектуры веб-сайтов, поскольку структура сайта является аналогом этих организационных систем.

• Оптимизация структуры URL (Аналог Logical Directories): Используйте четкую, логичную и иерархическую структуру URL. Документы внутри одной поддиректории (например, /blog/seo/) формируют сильные связи (First Relationship) и активно обмениваются весом.
• Создание сильных тематических кластеров (Аналог Labels/Folders): Группируйте контент в тесные тематические кластеры. Кластер действует как виртуальная папка или ярлык. Все документы внутри кластера должны быть тесно связаны внутренними ссылками, чтобы максимизировать передачу веса через First Relationship.
• Оптимизация внутренней перелинковки для усиления связей: Убедитесь, что документы, которые должны быть тесно связаны концептуально, также тесно связаны структурно (через навигацию, хлебные крошки и контекстные ссылки). Это усиливает их Degree of Relatedness.
• Использование иерархии для управления передачей веса: Понимайте разницу между вертикальными и горизонтальными связями. Связи внутри иерархии (родитель-потомок и документы на одном уровне в одной подпапке) сильнее, чем связи между сестринскими разделами (Second Relationship). Проектируйте архитектуру так, чтобы наиболее важные страницы получали максимальный вес через сильные связи.
• Стимулирование внешних ссылок и цитирования (Аналог Bookmarks/Multiple Users): Получение внешних ссылок и упоминаний с разных авторитетных сайтов соответствует принципу повышения рейтинга за счет независимых действий разных пользователей (Multiple Users).

Worst practices (это делать не надо)

• Плоская структура сайта: Размещение всех страниц в корне домена (site.com/page1, site.com/page2) не позволяет системе идентифицировать четкие концептуальные группы и сильные связи (First Relationship), что затрудняет передачу структурного веса.
• Хаотичная внутренняя перелинковка: Связывание документов без учета их тематической или структурной близости размывает концептуальные связи и приводит к неэффективному распределению веса.
• Изолированные страницы (Сироты): Страницы, не включенные в общую структуру сайта и не имеющие внутренних ссылок, не участвуют в обмене структурным весом и будут иметь низкий Ranking Score.
• Слишком глубокая и разветвленная структура: Создание множества мелких разделов с небольшим количеством контента может привести к тому, что большинство связей будут классифицированы как слабые (Second Relationship), что снижает общую эффективность передачи веса.

Стратегическое значение

Патент подтверждает критическую важность информационной архитектуры (IA) для SEO. Он предоставляет математическую модель (PageRank по структуре) и четкие правила (дифференциация сильных и слабых связей) для проектирования сайтов. Стратегически, это означает, что структура сайта — это не просто удобство для пользователя, а мощный инструмент управления распределением ранжирующего веса. Понимание того, как структурная близость влияет на передачу веса, является ключом к созданию эффективной SEO-стратегии на уровне архитектуры.

Практические примеры

Сценарий: Оптимизация архитектуры интернет-магазина

Применение принципов дифференциации связей для распределения веса.

1. Структура URL: Товары организованы по категориям: /shoes/running/product1.html и /shoes/hiking/product2.html.
2. Сильные связи (First Relationship): Все товары внутри /shoes/running/ тесно связаны между собой (общая поддиректория). Они активно обмениваются весом друг с другом и со страницей категории /shoes/running/. Это усиливает ранжирование всех страниц в этом кластере по запросам, связанным с беговой обувью.
3. Слабые связи (Second Relationship): Товары из /shoes/running/ и /shoes/hiking/ связаны слабее, так как это сестринские директории. Они обмениваются весом, но в значительно меньшей степени, чем внутри своих категорий.
4. Действия SEO-специалиста:
   • Обеспечить максимальную перелинковку внутри категории /shoes/running/ (блоки похожих товаров, навигация по бренду внутри категории).
   • Использовать хлебные крошки для усиления вертикальных связей внутри иерархии.
   • Ограничить прямые ссылки между сестринскими категориями (например, не ссылаться с товара для бега на товар для хайкинга без веской причины), чтобы сохранить вес внутри кластера.
5. Результат: Четкое распределение структурного веса, усиление тематической авторитетности каждой категории и повышение Ranking Score для страниц внутри кластеров.