Как Google использует структуру URL для прогнозирования качества, популярности и поведения пользователей для новых страниц

Термины и определения

Aggregated Data (Агрегированные данные)

Статистические данные (например, среднее значение, дисперсия), рассчитанные для URL Class на основе индивидуальных данных всех URL, входящих в этот класс. Служат основой для прогнозирования.

Document Attribute (Атрибут документа)

Характеристика документа, которую система стремится предсказать. Примеры включают поведение пользователей, ожидаемый срок жизни документа (life expectancy), меру качества, коммерциализацию или тематическую категорию.

Long Clicks / Dwell Time (Долгие клики / Время пребывания)

В контексте Claim 1, это данные о поведении пользователя, основанные на подсчете случаев, когда документ просматривался дольше порогового периода времени после перехода из результатов поиска. Указывает на удовлетворенность пользователя.

Lookup-URL (Целевой URL)

URL документа, для которого необходимо спрогнозировать данные, обычно новый или имеющий недостаточно собственной статистики.

Pattern Extraction Procedure (Процедура извлечения шаблонов)

Алгоритм обработки строки URL для генерации иерархии структурных шаблонов. Включает методы усечения пути (truncating the file path), замены аргументов/параметров на подстановочные знаки (wildcard) и обработки имен хоста/домена.

Repeated String Pattern (Повторяющийся строковый шаблон)

Шаблон URL, который встречается в двух или более известных URL. Определяет URL Class.

URL Class (Класс URL)

Группа URL, объединенных наличием общего Repeated String Pattern.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод прогнозирования атрибутов документа на основе URL.

1. Система получает множество URL, каждый из которых связан с данными. Критически важно, что эти данные получены из подсчета просмотров документа дольше порогового времени (Long Clicks).
2. Из этих URL генерируются группы строк (шаблоны) с помощью Pattern Extraction Procedure.
3. Идентифицируются повторяющиеся шаблоны (встречающиеся в 2+ URL).
4. Для каждого повторяющегося шаблона данные связанных с ним URL комбинируются (агрегируются).
5. Из нового (целевого) URL генерируются шаблоны тем же методом.
6. Данные для нового URL рассчитываются (прогнозируются) на основе агрегированных данных тех повторяющихся шаблонов, которые ему соответствуют.

Claim 3 (Зависимый от 1): Уточняет метод Pattern Extraction Procedure, фокусируясь на параметрах (аргументах) URL.

Процедура включает идентификацию аргументов в URL. Генерируются шаблоны путем индивидуальной замены каждого аргумента на wildcard, а также путем замены всех аргументов на wildcard. Это создает шаблоны разной степени специфичности.

Claim 4 (Зависимый от 1): Уточняет метод Pattern Extraction Procedure, фокусируясь на структуре пути.

Процедура включает идентификацию файлового пути (сайт, каталоги, файл) и генерацию шаблонов путем последовательного усечения этого пути сегмент за сегментом (например, от файла к каталогу).

Claim 5 (Зависимый от 1): Уточняет метод Pattern Extraction Procedure, фокусируясь на имени сайта.

Процедура включает идентификацию имени хоста и домена. Генерируются два набора шаблонов: первый включает и хост, и домен (например, user1.blog.com); второй включает домен, но не хост (например, *.blog.com).

Claim 6 (Зависимый от 1): Описывает механизм интеграции прогнозов от разных шаблонов.

Если целевой URL соответствует нескольким шаблонам разной специфичности, система получает прогнозы от всех. При интеграции этих данных для финального прогноза большее предпочтение (more deference) отдается данным из более специфичного шаблона.

Где и как применяется

Изобретение применяется на нескольких ключевых этапах жизненного цикла документа в поиске для оптимизации ресурсов и улучшения качества.

CRAWLING – Сканирование и Сбор данных

• Приоритезация сканирования (Crawl Scheduling): Когда краулер обнаруживает новый URL, он использует этот механизм для прогнозирования его важности (например, ожидаемого количества кликов или качества). URL с высокой прогнозируемой важностью получают приоритет в очереди сканирования (Crawl Frontier).
• Управление бюджетом (Crawl Budget Management): Система может решить не скачивать URL или снизить частоту его посещения, если прогнозируется низкая ценность или редкие обновления на основе шаблона URL.

INDEXING – Индексирование и извлечение признаков

• Выбор для индекса (Index Selection): Система может решить, стоит ли индексировать документ или когда его следует удалить из индекса, основываясь на прогнозируемых атрибутах, таких как ожидаемый срок жизни (life expectancy).
• Приоритезация обработки: Документы с прогнозируемо высокой важностью могут обрабатываться системой индексирования в первую очередь.

RANKING – Ранжирование

• Начальное ранжирование (Cold Start Problem): Для документов, у которых еще нет собственных исторических данных о поведении пользователей, прогнозируемые данные (например, ожидаемый CTR или вероятность долгих кликов) могут использоваться как временный сигнал ранжирования.

Входные данные (Офлайн):

• Множество известных URL.
• Исторические данные для этих URL (Long Clicks, Click-Count, данные о сроке жизни, качестве и т.д.).

Входные данные (Онлайн/Прогноз):

• Lookup-URL.
• База данных URL Classes и их Aggregated Data.

Выходные данные:

• Прогнозируемое значение атрибута для Lookup-URL.

На что влияет

• Типы контента и Структура сайтов: Наибольшее влияние оказывается на сайты с четкой и логичной структурой URL, где шаблоны коррелируют с качеством или типом контента (E-commerce, новостные порталы, крупные контент-проекты, блоги). Сайты с хаотичными или непрозрачными URL получают меньше преимуществ от этой системы.
• Жизненный цикл контента: Влияет на скорость обнаружения и индексации нового контента, а также на частоту повторного сканирования.

Когда применяется

• Условие применения: Алгоритм применяется, когда необходимо оценить документ, но прямые исторические данные для этого конкретного URL отсутствуют, недостаточны или недостоверны.
• Триггер активации: Обнаружение нового URL краулером, обработка документа индексатором или оценка документа на этапе ранжирования при дефиците данных.

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов: построение базы данных шаблонов и использование ее для прогнозирования.

Процесс А: Построение базы данных классов URL (Офлайн)

1. Сбор данных: Получение множества URL и связанных с ними данных об атрибутах (например, количество долгих кликов).
2. Извлечение шаблонов: Для каждого URL применяется Pattern Extraction Procedure:
   • Идентификация и замена аргументов на wildcards (индивидуально и всех сразу).
   • Последовательное усечение файлового пути сегмент за сегментом.
   • Обработка имени хоста и домена (генерация шаблонов с хостом и без него).
3. Идентификация повторяющихся шаблонов: Сбор всех сгенерированных шаблонов и выбор тех, которые встречаются у нескольких URL (Repeated String Patterns).
4. Определение Классов URL: Каждый повторяющийся шаблон определяет URL Class. Группировка URL по соответствующим классам.
5. Агрегация данных: Для каждого URL Class расчет Aggregated Data (например, среднее значение, дисперсия атрибута, количество URL в классе) на основе данных всех URL в классе.
6. Сохранение модели: Сохранение базы данных соответствий <Повторяющийся Шаблон URL, Агрегированные Данные>.

Процесс Б: Прогнозирование атрибутов для Lookup-URL (Онлайн)

1. Получение запроса: Получение Lookup-URL от клиента (краулера, индексатора или системы ранжирования).
2. Извлечение шаблонов: Применение той же Pattern Extraction Procedure к Lookup-URL для генерации его иерархии шаблонов.
3. Поиск соответствий: Поиск сгенерированных шаблонов в базе данных URL Classes.
4. Получение прогнозов: Извлечение Aggregated Data для всех найденных соответствующих классов URL.
5. Интеграция прогнозов: Расчет финального прогнозируемого значения путем интеграции данных из всех соответствующих классов. При интеграции больший вес (more deference) отдается данным из более специфичных классов URL. Может учитываться Confidence Score (Оценка уверенности).
6. Возврат результата: Предоставление прогнозируемого значения клиенту.

Какие данные и как использует

Данные на входе

Система использует несколько типов данных для построения модели прогнозирования.

• Технические факторы (URL-структура): Структура URL является основным элементом анализа. Система анализирует домен, хост, путь (каталоги), имя файла и аргументы (параметры запроса).
• Поведенческие факторы: Это ключевые данные, которые система агрегирует и прогнозирует. Патент (Claim 1) явно указывает на использование данных, полученных из подсчета просмотров документа дольше порогового времени (Long Clicks / Dwell Time). Также упоминаются click-count (количество кликов), click-duration (продолжительность клика) и click-to-impression ratio (CTR).
• Временные факторы: В качестве примеров атрибутов упоминаются срок жизни документа (life expectancy) и частота обновления (update-frequencies).
• Факторы качества/Ссылочные факторы: В качестве примера атрибута документа упоминается мера качества, основанная на количестве ссылок на документ (number of links).
• Контентные факторы: В качестве примеров упоминаются тематическая категория и коммерциализация (количество рекламы в документе).

Какие метрики используются и как они считаются

• Уровень специфичности (Level of Specificity): Метрика, определяющая степень детализации шаблона URL. Более длинные шаблоны или шаблоны с меньшим количеством wildcards являются более специфичными.
• Aggregated Data (Агрегированные данные): Рассчитываются для каждого URL Class. Методы расчета включают среднее значение (mean), дисперсию (variance) и общее количество образцов (URLs в классе).
• Confidence Score (Оценка уверенности): Метрика, используемая при интеграции прогнозов. Она зависит от уровня специфичности класса (более специфичный – выше уверенность), количества образцов (больше образцов – выше уверенность) и дисперсии данных (меньше дисперсия – выше уверенность).
• Интегрированный прогноз (Integrated Prediction): Финальное прогнозируемое значение. Рассчитывается как взвешенная комбинация Aggregated Data из разных классов URL, где веса определяются специфичностью или Confidence Score.

1. Структура URL как сигнал наследования качества и релевантности: Патент подтверждает, что Google использует структуру URL не только для навигации, но и как механизм наследования характеристик. Система предполагает, что страницы со схожими URL будут иметь схожие атрибуты и показатели качества.
2. Концепция «Хороших и Плохих Районов» (Neighborhoods): Качество страницы оценивается в контексте ее «соседей» по структуре URL (URL Class). Новая страница, размещенная в директории, которая исторически показывала высокие показатели вовлеченности (Long Clicks), унаследует положительный прогноз. И наоборот, размещение в «плохой» директории приведет к пессимизации.
3. Важность Долгих Кликов (Dwell Time): Claim 1 явно определяет, что агрегируемые данные основаны на времени просмотра дольше порогового значения. Это подчеркивает фокус Google на удовлетворенности пользователей и вовлеченности.
4. Иерархическая оценка и вес специфичности: Система ценит детализацию. Прогноз, основанный на точном шаблоне (например, /category/subcategory/), имеет значительно больший вес, чем прогноз, основанный на общем шаблоне (например, /category/).
5. Влияние на весь жизненный цикл документа: Прогнозирование на основе URL влияет на документ с момента его обнаружения (Crawl Scheduling), через индексацию (Index Selection) до его ранжирования (Ranking).
6. Критичность консистентности URL: Последовательное использование логичных шаблонов URL критически важно. Хаотичные структуры затрудняют для Google формирование стабильных URL Classes и точное прогнозирование.

Best practices (это мы делаем)

• Разработка логичной, иерархической и последовательной структуры URL: Внедряйте строгие правила формирования URL. Структура должна быть читаемой и стабильной. Это позволит системе точнее классифицировать ваши URL и формировать надежные URL Classes.
• Группировка контента по качеству и типу в структуре URL: Сегментируйте контент с разными показателями качества или интентом в разные директории или шаблоны URL. Например, отделяйте высококачественные статьи (/blog/) от пользовательского контента низкого качества (/forum/) или технических страниц.
• Размещение нового контента в «сильных» директориях: Запускайте новые страницы в рамках тех шаблонов URL (директорий), которые уже демонстрируют высокие показатели вовлеченности (Long Clicks, высокий CTR). Это обеспечит новым страницам начальный «буст» доверия.
• Использование чистых URL без мусорных параметров: Минимизируйте использование динамических, незначащих параметров (например, session IDs). Это помогает системе корректно применять wildcards и группировать страницы в правильные классы.
• Анализ производительности по разделам сайта: Регулярно анализируйте данные в Google Search Console и системах аналитики, сегментированные по директориям (шаблонам URL). Выявляйте «горячие» и «холодные» разделы сайта, чтобы понять, как Google может оценивать ваши URL Classes.

Worst practices (это делать не надо)

• Хаотичная или непоследовательная структура URL: Использование разных структур URL для одного типа контента затрудняет формирование стабильных URL Classes и снижает точность прогнозов.
• Использование непрозрачных параметров и случайных идентификаторов: URL вида /page?id=12345 менее эффективны для этого алгоритма, чем структурированные пути, хотя система и пытается обрабатывать параметры (Claim 3).
• Смешивание контента разного качества в одной директории: Размещение низкокачественного контента в той же директории, что и основной трафикогенерирующий контент, снизит общие агрегированные показатели (Aggregated Data) для этого шаблона URL, навредив всем страницам в классе.
• Частое изменение структуры URL без необходимости: Это разрушает исторические данные, накопленные для URL Classes, и вынуждает систему заново строить модель для новых шаблонов.
• Плоская структура URL без иерархии: Размещение всех страниц в корне затрудняет системе определение специфичных URL Classes, заставляя ее полагаться только на общие данные всего сайта.

Стратегическое значение

Патент подчеркивает важность технического SEO и информационной архитектуры как фундаментальных элементов стратегии продвижения. Способность Google прогнозировать качество на основе структуры URL означает, что архитектурные решения имеют прямое влияние на производительность контента, особенно на этапе запуска. Стратегия должна включать проектирование структуры сайта таким образом, чтобы максимизировать положительные прогнозы, группируя высокоценный контент в четко определенные иерархические структуры.

Практические примеры

Сценарий 1: Оптимизация краулингового бюджета для E-commerce

• Ситуация: Крупный интернет-магазин имеет миллионы страниц. Анализ логов показывает, что страницы товаров (/product/item-name/) имеют высокую вовлеченность, а страницы фильтрации (/category/?color=red&size=M...) – низкую.
• Применение патента: Google формирует URL Class для /product/* с высокими агрегированными данными и URL Class для /category/?* с низкими данными.
• Действие SEO: Убедиться в чистоте структуры. Можно также создать статические URL для важных фильтров (/category/red-dresses/), чтобы они формировали отдельный, более качественный URL Class.
• Ожидаемый результат: Система прогнозирует высокую ценность для новых товаров в /product/* и низкую ценность для динамических фильтров. Краулер приоритизирует сканирование товаров, экономя бюджет на фильтрах.

Сценарий 2: Запуск нового раздела на контентном сайте

• Ситуация: Авторитетный сайт о здоровье запускает новый раздел о питании.
• Применение патента: Необходимо, чтобы новый контент быстро получил высокие позиции.
• Действие SEO: Вместо запуска на новом поддомене (nutrition.site.com), новый раздел интегрируется в существующую высокопроизводительную структуру (например, /health/wellness/nutrition/).
• Ожидаемый результат: Новые URL наследуют положительные агрегированные данные от сильных шаблонов /health/wellness/. Система прогнозирует высокую вовлеченность (Long Clicks), что ускоряет индексацию и дает начальный буст в ранжировании.