Как Google перераспределяет авторитетность и тематическую релевантность между страницами одного сайта на основе его структуры

Описание

Какую задачу решает

Патент решает проблему ограниченности алгоритмов, которые оценивают релевантность страницы изолированно, основываясь только на ее собственном контенте и прямых ссылках. Это приводит к ситуациям, когда ключевая информация, необходимая для оценки, находится на других страницах того же сайта.

Примеры проблем:

• Недостаток авторитетности: Страница конкретного отеля (например, Ramada в Цинциннати) может быть слабо связана с брендом «Ramada», хотя главный сайт сети авторитетен для этого термина.
• Недостаток описания: Главная страница ресторана может не содержать адрес или специфические термины (например, названия блюд), которые есть на внутренних страницах.

Что запатентовано

Запатентована система для улучшения результатов поиска путем распространения (Information Propagation) ключевой информации между связанными страницами одного веб-сайта (Intra-Website Association). Система идентифицирует информацию на одной странице (например, бренд или адрес), определяет связанные страницы на основе структуры сайта и ассоциирует эту информацию с ними. Эта ассоциация сохраняется (например, в индексе) для повышения оценки (search score) связанных страниц по релевантным запросам.

Как это работает

Система анализирует структуру (Website Topology или URL Hierarchy) и контент сайта, используя два основных механизма:

• Распространение Вниз (Propagation Down): Определяются термины, для которых сайт является авторитетным (Authoritative Terms), например, бренд. Эти термины и связанная с ними авторитетность распространяются с главной страницы на внутренние релевантные страницы.
• Распространение Вверх (Propagation Up): Идентифицируется высокоописательная информация (Highly Descriptive Information), например, адреса, категории товаров, редкие термины, на внутренних страницах. Эта информация агрегируется, оценивается ее достоверность (Confidence), и затем ассоциируется со страницами выше в иерархии (например, с главной).

Ассоциация реализуется путем модификации индекса, например, через применение специального повышения (Weight Boost) для целевой страницы.

Актуальность для SEO

Высокая. Патент описывает фундаментальные механизмы того, как Google интерпретирует архитектуру сайта и консолидирует сигналы внутри него. Концепции распределения авторитета (E-E-A-T) и агрегации тематической/локальной информации критически важны для современного SEO. Участие ключевых фигур Google (Amitabh Singhal, Paul Haahr) подчеркивает значимость этих методов.

Важность для SEO

Патент имеет критическое значение (90/100). Он напрямую влияет на подходы к информационной архитектуре (IA) и структуре URL. Патент демонстрирует, что релевантность страницы определяется не только ее собственным контентом, но и тем, как она интегрирована в общую структуру сайта. Это критично для оптимизации E-commerce, локального бизнеса и построения бренда.

Детальный разбор

Термины и определения

Authoritative Term (Авторитетный термин)

Термин (слово или фраза), для которого данный веб-сайт считается основным источником информации. Часто это название бренда. Определяется на основе внешних сигналов и поведения пользователей.

Highly Descriptive Information (Высокоописательная информация)

Информация, которая точно характеризует сайт, но часто отсутствует на главной странице. Примеры: адреса, локации, категории продуктов (Product Category Term), редкие термины (с высоким IDF).

Information Propagation (Распространение информации)

Процесс переноса информации с одной страницы (источника) на другую связанную страницу (цель) в рамках одного сайта.

Propagation Down (Распространение вниз)

Перенос Authoritative Terms с верхних уровней сайта (главная страница) на нижние (внутренние страницы).

Propagation Up (Распространение вверх)

Перенос Highly Descriptive Information с нижних уровней сайта на верхние.

URL Hierarchy / Website Topology (Иерархия URL / Топология сайта)

Структура сайта, часто определяемая иерархией URL. Используется для определения взаимосвязей между страницами и направления распространения информации.

Confidence Score (Оценка достоверности)

Метрика, используемая при Propagation Up. Определяет уверенность системы в том, что агрегированная описательная информация действительно относится к целевой странице. Рассчитывается на основе взвешивания доказательств.

Weight Boost (Повышение веса) / Boost Value

Механизм увеличения оценки релевантности страницы для определенного термина в индексе в результате Information Propagation.

Ключевые утверждения (Анализ Claims)

Важное замечание: Патент US8990210B2 является продолжением (continuation) более ранних заявок. В то время как описание (Description) патента охватывает широкие механизмы распространения информации как «сверху вниз» (авторитет, бренды), так и «снизу вверх» (локации, адреса, категории), формула изобретения (Claims) в этой конкретной версии (B2) узко сфокусирована именно на распространении терминов категорий продуктов (Product Category Terms) снизу вверх на главную страницу.

Claim 1 (Независимый пункт): Описывает процесс распространения категории продукта на главную страницу.

1. Система идентифицирует главную (home or root) страницу сайта.
2. Система анализирует другие страницы сайта.
3. Определяется, что Product Category Term встречается на первой веб-странице (которая не является главной).
4. Система проверяет индекс веб-страниц, ассоциирован ли этот термин с главной страницей.
5. Если НЕТ: В индекс добавляется ассоциация между термином и главной страницей.
6. Если ДА: Существующая ассоциация в индексе обновляется.

Claim 9 (Независимый пункт): Альтернативное описание, подчеркивающее отсутствие термина на главной странице.

1. Система получает главную и первую внутреннюю страницы.
2. Создается базовая ассоциация в индексе между первой страницей и термином на ней.
3. Система определяет, что этот термин является Product Category Term И что он отсутствует (does not occur) на главной странице.
4. В ответ на это система генерирует ассоциацию в индексе между главной страницей и этим термином (которого на ней нет).

Зависимые пункты (3, 4): Уточняют, что обновление ассоциации (из Claim 1) включает увеличение веса (weight) или обновление значения буста (boost value).

Где и как применяется

Изобретение применяется в основном на этапе индексирования и влияет на последующее ранжирование.

INDEXING – Индексирование и извлечение признаков
Основной этап применения. Система анализирует контент и структуру всего сайта офлайн (Intra-Website Information Association Operations).

• Определяется топология сайта (URL Hierarchy).
• Идентифицируются Authoritative Terms (на основе внешних данных) и Highly Descriptive Information (на основе контента внутренних страниц).
• Происходит распространение (Propagation) этой информации вверх и вниз по иерархии.
• Рассчитываются Confidence Scores для информации, распространяемой вверх.
• Инвертированный индекс обновляется для отражения новых ассоциаций и весов (Revised Website/Web Page Information).

RANKING – Ранжирование
На этом этапе система использует предварительно рассчитанные ассоциации. Когда поступает запрос, содержащий распространенный термин, страницы, получившие этот термин через механизм Propagation, получают более высокий search score.

Входные данные:

• Контент страниц сайта и структура сайта (URL Hierarchy).
• Внешние данные: ссылки, данные справочников (Yellow Pages), регистрации доменов, товарные знаки.
• Поведенческие данные: клики на результатах поиска (для определения авторитетности).

Выходные данные:

• Модифицированный инвертированный индекс с обновленными весами или boost values.

На что влияет

• E-commerce: Критическое влияние. Распространение категорий продуктов (как указано в Claims) с внутренних страниц на главную. Распространение бренда вниз на товары.
• Локальный поиск (Local SEO): Сильно влияет за счет распространения адресов и локаций с внутренних страниц (например, контактов) на главную страницу (Propagation Up).
• Крупные бренды: Влияет за счет распространения авторитетных терминов (бренда) с главной страницы на страницы продуктов или услуг (Propagation Down).

Когда применяется

Алгоритмы применяются во время индексирования при выполнении определенных условий:

• Для распространения вниз: Когда система определяет, что сайт является высокоавторитетным для определенного термина.
  • Исключения: Информация может не распространяться на страницы, считающиеся не связанными (например, пресс-релизы, форумы), страницы с низким качеством (упоминается low PageRank) или страницы, находящиеся слишком далеко в иерархии (degrees of separation).
• Для распространения вверх: Когда на внутренних страницах обнаруживается Highly Descriptive Information, и система достигает достаточного уровня уверенности (Confidence Score).
  • Исключения: Если обнаружено слишком много разрозненной информации (например, сотни разных адресов), распространение может быть отменено, так как сайт не имеет четкого фокуса.

Пошаговый алгоритм

Патент описывает два основных процесса (на основе общего описания).

Процесс А: Распространение Авторитетной Информации Вниз (Authority Down)

1. Определение авторитетных терминов: Анализ внешних источников и поведения пользователей для определения терминов, по которым сайт авторитетен (например, бренд).
2. Валидация терминов (Опционально): Проверка, действительно ли пользователи ищут этот сайт, используя данный термин.
3. Определение связанных страниц: Идентификация страниц сайта, связанных с источником информации (обычно главной страницей), используя URL Hierarchy.
4. Исключение страниц: Фильтрация страниц, не подходящих для распространения (например, пресс-релизы, низкое качество).
5. Ассоциация и Сохранение: Authoritative Terms ассоциируются с оставшимися связанными страницами, изменения сохраняются в индексе (например, применяется Weight Boost).

Процесс Б: Распространение Высокоописательной Информации Вверх (Descriptive Info Up)

1. Идентификация описательной информации: На внутренних страницах идентифицируется Highly Descriptive Information (адреса, категории, редкие термины).
2. Оценка информации: Информация оценивается на основе ее источника и контекста.
3. Распространение и Агрегация: Информация пропагируется вверх по URL Hierarchy. На каждом уровне информация агрегируется со всех страниц ниже.
4. Определение достоверности (Confidence): Для каждой целевой страницы определяется Confidence Score. Может использоваться машинное обучение для взвешивания доказательств.
5. Проверка порога достоверности: Система проверяет, достаточно ли высок Confidence Score и нет ли слишком много разрозненной информации.
6. Ассоциация и Сохранение: Если порог превышен, описательная информация ассоциируется с целевой страницей и сохраняется в индексе.

Какие данные и как использует

Данные на входе

Система использует комбинацию внутрисайтовых и внешних данных.

• Контентные факторы: Текст на страницах. Используется для идентификации Highly Descriptive Information (адресов, категорий, терминов с высоким IDF).
• Структурные факторы: Топология сайта, URL Hierarchy. Критически важны для определения направления распространения (вверх или вниз) и идентификации связанных страниц.
• Ссылочные факторы (Внешние): Входящие ссылки и их анкор-тексты. Основной источник для определения Authoritative Terms.
• Поведенческие факторы: Вероятность того, что запрос, включающий термин, приведет к «хорошему результату» (например, клику или long click) на данном сайте. Используется для валидации Authoritative Terms.
• Внешние источники данных: Данные каталогов (Yellow Pages), данные регистрации домена (Meta information from domain registration), базы данных товарных знаков. Используются для подтверждения авторитетности и идентификации локаций.

Какие метрики используются и как они считаются

• Authoritativeness (Авторитетность) / Strength of Evidence: Метрика, определяющая, насколько сайт является главным источником для термина. Агрегирует данные из внешних источников и поведенческих сигналов.
• Confidence Score (Оценка достоверности): Метрика для Propagation Up. Рассчитывается на основе агрегации свидетельств с дочерних страниц. Патент упоминает использование машинного обучения (Machine learning system) для взвешивания факторов (источник, контекст, частота, количество вариантов).
• Degrees of Separation (Степени разделения): Расстояние между страницами в иерархии сайта. Может использоваться для ограничения глубины распространения вниз.
• Weight Boost (Повышение веса): Значение, на которое увеличивается оценка релевантности в индексе. Патент предлагает формулу, где буст зависит от исходной оценки: score = score * (1 + boost_score). Это означает, что страницы с более высокой исходной оценкой получают большее абсолютное увеличение.
• PageRank: Упоминается как фактор для исключения: страницы с низким PageRank могут не получать распространенную информацию (Propagation Down).

Выводы

1. Сайт анализируется холистически, информация не изолирована: Релевантность страницы зависит не только от ее контента, но и от контента связанных страниц на том же сайте. Google активно перераспределяет информацию внутри сайта.
2. Консолидация сигналов (Information Consolidation): Патент описывает явные механизмы для консолидации разрозненных сигналов: авторитетность распространяется вниз (Propagation Down), а специфические детали (локации, категории) — вверх (Propagation Up).
3. Искусственная релевантность: Google модифицирует индекс, ассоциируя термины со страницами, на которых эти термины физически отсутствуют. Это позволяет страницам ранжироваться по запросам, которым они контекстуально релевантны, но текстуально не соответствуют.
4. Информационная архитектура (IA) и иерархия URL критичны: Топология сайта напрямую управляет тем, как и куда распространяется информация. Четкая иерархическая структура способствует правильному распределению авторитета и описательности.
5. Авторитетность как переносимый актив: Авторитетность бренда (Authoritative Term) рассматривается как актив, который может быть перенесен на внутренние страницы для повышения их конкурентоспособности, но с учетом исключений.
6. Защита от чрезмерного распространения: Система использует Confidence Scores и исключения. Если информация слишком разрозненная (например, сотни адресов), распространение вверх может быть подавлено, чтобы избежать «размывания» фокуса сайта.

Практика

Best practices (это мы делаем)

• Построение четкой иерархической структуры сайта: Используйте логичную структуру URL (например, /категория/продукт). Это помогает системам Google правильно определить URL Hierarchy и корректно распространять информацию как вверх, так и вниз.
• Развитие авторитетности бренда (для Propagation Down): Активно работайте над тем, чтобы ваш сайт стал авторитетным источником для вашего бренда (внешние ссылки с брендовыми анкорами, регистрация в каталогах). Эта авторитетность будет распространяться на внутренние страницы.
• Обеспечение наличия Highly Descriptive Information (для Propagation Up): Убедитесь, что ключевая информация (точный адрес, телефон, уникальные услуги, основные категории товаров) присутствует на сайте в текстовом формате и консистентна. Не обязательно размещать все на главной, но эта информация должна быть четко представлена на соответствующих внутренних страницах.
• Стратегия для E-commerce (как в Claims): Создавайте четкие страницы категорий. Патент подтверждает, что Google может переносить названия этих категорий (Product Category Terms) на главную страницу, позволяя ей ранжироваться по общим категориальным запросам.
• Использование редких и специфичных терминов (High IDF): Включайте в контент внутренних страниц уникальные термины, хорошо описывающие продукт или услугу. Они могут быть идентифицированы как Highly Descriptive и распространены вверх.

Worst practices (это делать не надо)

• Плоская структура сайта: Размещение всех страниц на одном уровне затрудняет определение иерархии и мешает механизмам распространения информации.
• Скрытие ключевой информации: Размещение адресов или названий категорий только в изображениях или скриптах, недоступных для индексации. Система не сможет идентифицировать эту информацию для распространения.
• Игнорирование сигналов авторитетности бренда: Фокус только на небрендовом трафике без построения авторитетности сайта для собственного бренда. Внутренние страницы не получат буст от Propagation Down.
• Непоследовательное использование данных: Использование разных форматов адресов или противоречивой информации снижает Confidence Score и может помешать распространению вверх.
• Смешивание основного и вспомогательного контента: Размещение форумов или старых новостей в основной иерархии. Система имеет механизмы для исключения таких страниц из наследования авторитетности.

Стратегическое значение

Патент подтверждает стратегическую важность информационной архитектуры (IA) не просто как средства навигации, а как механизма для управления потоками авторитетности и релевантности. Он демонстрирует, что Google стремится найти наилучший ответ на сайте, даже если сигналы распределены неоптимально. Для SEO это означает, что работа над общей авторитетностью сайта (E-E-A-T, бренд) и создание логичной структуры являются взаимодополняющими стратегиями, которые усиливают ранжирование всего ресурса.

Практические примеры

Сценарий 1: Сетевой бизнес (Propagation Down)

1. Ситуация: Веб-сайт сети отелей Ramada. Сайт авторитетен для термина «Ramada». Пользователь ищет «Ramada Cincinnati». Страница конкретного отеля в Цинциннати релевантна запросу, но имеет меньше сигналов авторитетности, чем главная страница сети.
2. Действие системы: Google идентифицирует «Ramada» как Authoritative Term. Система распространяет этот термин (и связанную с ним авторитетность) вниз по иерархии на страницу отеля в Цинциннати.
3. Результат: Страница отеля в Цинциннати получает Weight Boost. Ее итоговая оценка для запроса «Ramada Cincinnati» значительно возрастает, и она занимает ТОП-1.

Сценарий 2: Локальный бизнес (Propagation Up)

1. Ситуация: Веб-сайт ресторана «Saigon II». На главной странице нет адреса. Адрес «123 Main Street, Anytown, CA» есть только на странице «Контакты». На странице меню есть редкий термин «Pho».
2. Действие системы: Google идентифицирует адрес и термин «Pho» как Highly Descriptive Information. Система распространяет эту информацию вверх к главной странице. Confidence Score высок.
3. Результат: Главная страница ассоциируется с адресом и термином. При поиске «Pho restaurant Anytown CA» главная страница получает значительный Weight Boost и ранжируется высоко.

Сценарий 3: E-commerce (Propagation Up — согласно Claims)

1. Ситуация: Интернет-магазин Best Buy. На сайте есть внутренние страницы категорий «Телевизоры» и «Компьютеры».
2. Действие системы: Google идентифицирует их как Product Category Terms. Согласно Claims 1 и 9, система ассоциирует эти термины с главной страницей в индексе.
3. Результат: Главная страница Best Buy получает повышенную релевантность по запросам, включающим эти категории.

Вопросы и ответы