Как Google использует данные о посещаемости, уникальных пользователях и длине URL для ранжирования документов

Термины и определения

Usage Statistics (Статистика использования)

Данные о взаимодействии пользователей с документом. Включают частоту посещений и количество уникальных пользователей.

Usage Score (Оценка использования)

Агрегированная оценка, рассчитываемая на основе Usage Statistics. Используется как фактор ранжирования.

IR Score (Information Retrieval Score)

Стандартная оценка релевантности документа запросу, основанная на анализе терминов (текстовая релевантность).

Frequency of Visit (VF) (Частота посещений)

Количество посещений документа за определенный период (например, месяц). Может быть абсолютным значением или изменением во времени.

Unique Users (UU) (Уникальные пользователи)

Количество уникальных хостов/IP/пользователей, которые обращались к документу за период.

MAXVF / MAXUU

Предопределенные константы для нормализации оценок VF и UU. В примере патента MAXVF=2000, MAXUU=400.

Path Length (PL) (Длина пути)

Метрика, основанная на структуре URL. В примере это количество символов "/" в пути документа.

Path Length Score (Оценка длины пути)

Оценка, основанная на PL. Более короткие пути получают более высокую оценку.

Filtering (Фильтрация)

Процесс очистки сырых данных. Например, удаление посещений автоматизированных агентов (ботов) или аффилированных лиц.

Weighting (Взвешивание)

Процесс присвоения разной значимости посещениям или пользователям на основе их характеристик (например, географии, истории браузера).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод организации документов.

1. Идентификация документов, релевантных запросу.
2. Доступ к usage information, которая включает ДВА компонента: (i) значение частоты посещений (frequency of visit value) за период времени и (ii) значение уникальных посещений (unique visit value).
3. Определение Usage Score на основе комбинации обоих значений (i) и (ii).
4. Организация документов, основанная, по крайней мере частично, на этих Usage Scores.

Ядром изобретения является обязательное использование как частоты посещений, так и количества уникальных пользователей.

Claim 5 (Зависимый от 1): Дополняет метод включением структурного фактора.

Система также определяет Path Length Score на основе пути документа и включает эту оценку в расчет итоговой оценки.

Claim 6 (Зависимый от 1): Детализирует метод расчета Usage Score.

Рассчитываются отдельные Frequency of Visit Score и Unique User Score с использованием максимальных значений (MAXVF, MAXUU), а затем они комбинируются.

Claims 8 и 9 (Зависимые от 1): Вводят понятие трендов.

Значения VF и UU могут представлять собой процентное изменение (percentage change) по сравнению с предыдущим периодом, что позволяет учитывать динамику популярности.

Claim 10 и 11 (Зависимые от 1): Описывают методы уточнения данных (Refining).

• Claim 10: Статистика исключает визиты автоматизированных агентов (фильтрация ботов).
• Claim 11: Значение частоты посещений может быть взвешено в зависимости от географического источника визита (гео-взвешивание).

Claim 12 (Зависимый от 1): Описывает комбинирование оценок.

Ранжирование основано на Usage Scores И на Information Retrieval scores (IR scores).

Где и как применяется

Изобретение затрагивает несколько этапов поиска.

CRAWLING & Data Acquisition (Сбор данных)
Система должна собирать Usage Statistics. Патент упоминает, что данные могут собираться на клиенте (браузер, тулбар), на серверах или на прокси.

INDEXING – Индексирование и извлечение признаков
Собранные данные об использовании обрабатываются (фильтрация, взвешивание) и ассоциируются с документами или сайтами в индексе. Также извлекается и сохраняется Path Length (PL).

RANKING – Ранжирование
Основной этап применения. После определения релевантных документов и их базовых IR scores, система рассчитывает или извлекает Usage Score для каждого документа. Затем Usage Score комбинируется с IR Score (и, возможно, Path Length Score) для определения итогового рейтинга.

Входные данные:

• Набор релевантных документов и их IR Scores.
• Обработанные данные VF и UU для каждого документа.
• Структурные данные (Path Length).

Выходные данные:

• Переупорядоченный список документов с итоговыми оценками ранжирования.

На что влияет

• Все типы контента: Влияет на любой документ, для которого доступна статистика использования.
• Новые и трендовые документы: Этот механизм помогает новым документам, которые еще не накопили ссылочную массу, но быстро набирают популярность. Возможность учета трендов (Claims 8, 9) усиливает этот эффект.
• Сайты в целом: Патент упоминает возможность поддержания статистики на уровне сайта (site-by-site basis) и ассоциации её со всеми документами сайта.

Когда применяется

• Условие применения: Алгоритм применяется во время процесса ранжирования.
• Ограничения: Эффективность зависит от наличия достаточного объема Usage Statistics. Для редко посещаемых страниц влияние минимально (патент упоминает использование малых значений по умолчанию, если данные неизвестны).

Пошаговый алгоритм

Процесс А: Сбор и обработка данных (Офлайн или Непрерывно)

1. Сбор сырых данных: Сбор информации о частоте посещений и количестве пользователей из различных источников.
2. Фильтрация данных: Очистка данных от нежелательных визитов (автоматизированные агенты, аффилированные лица).
3. Взвешивание данных: Применение весовых коэффициентов на основе характеристик визита или пользователя (география, история браузера).
4. Агрегация и Индексация: Расчет обработанных метрик VF и UU (включая тренды) и их сохранение в индексе вместе с PL.

Процесс Б: Обработка запроса и Ранжирование (Реальное время)

1. Получение запроса и первичная выборка: Идентификация документов и расчет их базовых IR Scores.
2. Извлечение данных: Получение значений VF, UU и PL для каждого документа.
3. Расчет субоценок: Вычисление Frequency of Visit Score, Unique User Score и Path Length Score с использованием нормализационных констант (MAXVF, MAXUU, K).
4. Расчет Usage Score: Комбинирование субоценок (например, путем перемножения).
5. Расчет итоговой оценки: Комбинирование Usage Score и IR Score (например, $\sqrt{IR Score} * Usage Score$).
6. Организация результатов: Сортировка документов на основе итоговых оценок.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые):
  • Частота посещений (Frequency of Visit, VF).
  • Количество уникальных пользователей (Unique Users, UU), идентифицируемых по IP, hostname или cookie.
• Технические / Структурные факторы:
  • Длина пути (Path Length, PL): количество символов "/" в URL.
• Географические факторы:
  • Географический источник визита (для взвешивания).
• Пользовательские факторы:
  • Идентификация автоматизированных агентов (для фильтрации).
  • Информация о браузере, история посещений (browsing history), закладки (bookmarked items) (для взвешивания).

Какие метрики используются и как они считаются

Патент приводит конкретный пример реализации с формулами и константами:

• Frequency of Visit Score (VF Score): Используется логарифмическое масштабирование.
  Формула: $log_2(1 + log(VF)/log(MAXVF))$. (VF — визиты в месяц, MAXVF=2000).
• Unique User Score (UU Score): Используется пороговое значение.
  • Если UU < 10: $0.5 * UU/10$
  • Если UU >= 10: $0.5 * (1 + UU/MAXUU)$
  (UU — уникальные хосты/IP в месяц, MAXUU=400).
• Path Length Score (PL Score): Предпочтение коротким URL.
  Формула: $log(K-PL)/log(K)$. (PL — количество "/", K=20).
• Usage Score: Комбинация оценок. В примере: VF Score * UU Score * PL Score.
• Total Score (Итоговая оценка): Комбинация Usage Score и IR Score.
  Формула: $\sqrt{IR Score} * Usage Score$.

1. Поведенческие факторы как прямой сигнал ранжирования: Патент четко устанавливает, что статистика использования (Usage Statistics) является прямым фактором, влияющим на позицию документа, наряду с текстовой релевантностью (IR Score).
2. Защита от манипуляций через комбинацию метрик: Ключевым является требование использовать как частоту посещений (VF), так и количество уникальных пользователей (UU). Это предотвращает накрутку рейтинга одним пользователем. Для высокого Usage Score нужна широкая и вовлеченная аудитория.
3. Важность качества трафика (Фильтрация и Взвешивание): Система активно дискриминирует трафик низкого качества. Фильтрация ботов (automated agents) является обязательной. Взвешивание позволяет предпочесть более ценных пользователей (например, на основе географии или истории), что делает сырые данные о трафике ненадежным индикатором.
4. Влияние структуры URL (Path Length Score): Патент явно включает длину пути URL как компонент ранжирования. Формула $log(K-PL)/log(K)$ математически предпочитает более короткие URL.
5. Учет динамики популярности (Тренды): Система может учитывать изменение посещаемости во времени (Claims 8, 9), что позволяет быстрее реагировать на актуальный контент.
6. Нормализация данных: Использование логарифмических шкал и констант (MAXVF, MAXUU) сглаживает экстремальные значения и нормализует данные для сравнения документов с разным уровнем популярности.

Best practices (это мы делаем)

• Фокус на привлечении качественного и разнообразного трафика: Создавайте контент и используйте каналы дистрибуции (соцсети, рассылки), которые привлекают широкую аудиторию (высокий UU) и стимулируют взаимодействие (высокий VF). Это напрямую влияет на Usage Score.
• Оптимизация структуры URL: Внедряйте плоскую архитектуру сайта и ЧПУ. Минимизируйте вложенность каталогов. Согласно Path Length Score, URL вида site.com/page/ предпочтительнее, чем site.com/category/subcat/2025/page/.
• Создание вирального и трендового контента: Используйте возможность системы учитывать динамику популярности. Быстрое реагирование на тренды может дать буст в ранжировании, особенно для новых страниц, компенсируя недостаток ссылок.
• Анализ качества аудитории: Учитывайте, что не весь трафик одинаково полезен. Патент предполагает взвешивание пользователей по географии или истории. Фокусируйтесь на привлечении целевой аудитории.
• Мониторинг бот-трафика: Поисковая система активно игнорирует автоматизированный трафик при расчете Usage Score. Убедитесь, что ваша аналитика также корректно его фильтрует.

Worst practices (это делать не надо)

• Покупка трафика и использование клик-ферм: Попытки манипулировать Usage Score с помощью искусственного трафика неэффективны. Система фильтрует ботов и требует наличия уникальных пользователей (UU).
• Игнорирование структуры сайта: Создание глубоких, сложных URL-структур с множеством уровней вложенности негативно скажется на Path Length Score.
• Фокус только на контенте и ссылках без учета UX: Создание страниц, которые технически релевантны (высокий IR Score), но неинтересны пользователям (низкий Usage Score), приведет к снижению итогового рейтинга, так как Usage Score выступает множителем.

Стратегическое значение

Этот патент является одним из фундаментальных документов, подтверждающих переход Google от чисто аналитических методов ранжирования (текст и ссылки) к включению эмпирических данных о поведении пользователей. Стратегическое значение заключается в необходимости комплексного подхода к SEO, где пользовательский опыт (UX), качество контента и общая маркетинговая стратегия играют решающую роль в генерации положительных поведенческих сигналов.

Практические примеры

Сценарий 1: Оптимизация структуры E-commerce сайта

1. Ситуация: Страница товара находится по адресу shop.com/catalog/electronics/audio/headphones/model-z.html (PL=5).
2. Действие: Реструктуризация URL для ключевых товаров на shop.com/products/model-z (PL=2).
3. Ожидаемый результат: Улучшение Path Length Score, что положительно влияет на итоговый рейтинг страницы при прочих равных.

Сценарий 2: Быстрое ранжирование нового контента

1. Ситуация: Опубликовано исследование на актуальную тему. У страницы пока нет обратных ссылок.
2. Действие: Запуск активной дистрибуции через социальные сети, email-рассылку и отраслевые СМИ для генерации всплеска интереса.
3. Ожидаемый результат: Страница получает высокие показатели VF и UU. Система рассчитывает высокий Usage Score, что позволяет исследованию быстро занять высокие позиции в поиске, компенсируя отсутствие ссылочного веса.