Как Google использует машинное обучение и поведенческие данные для прогнозирования полезности документов и решает, что включать в поисковый индекс

Термины и определения

Utility Score (Оценка полезности)

Прогнозируемая метрика, отражающая меру качества документа как результата поиска. Определяется как вероятность того, что документ будет выбран (кликнут) или показан по крайней мере пороговое количество раз в течение определенного периода времени (например, один раз в день).

Model (Модель)

Статистическая модель (например, логистическая регрессия, случайный лес, нейронная сеть), обученная на исторических данных для прогнозирования Utility Score на основе Document Features.

Historical Search Logs (Исторические журналы поиска)

Данные о прошлых поисках: отправленные запросы, показанные результаты и информация об интересе пользователей к этим результатам (клики/показы). Используются для обучения Model.

Document Features (Характеристики документа)

Входные данные для Модели. Примеры: язык, тип файла, хост/домен, ссылочная оценка (link-based score), длина документа, степень сжатия, предыдущий Utility Score.

Selection data (Данные о выборе)

Данные о том, что документ был выбран (кликнут) пользователем в результатах поиска.

Impression data (Данные о показе)

Данные о том, что документ был представлен пользователю в результатах поиска.

Cost (Стоимость индексации)

Мера ресурсов, необходимых для включения документа в индекс. Часто функция объема пространства, которое документ займет в индексе (зависит от количества слов и вспомогательных данных).

Importance score (Оценка важности)

Мера важности документа. В патенте в качестве примера приводится ссылочная оценка, такая как алгоритм PageRank.

Performance score (Оценка производительности)

Показатель, основанный на количестве выборов (кликов), которые документ получил, когда он ранее был включен в индекс.

Match score (Оценка соответствия / Свежесть)

Показатель, указывающий, соответствует ли содержимое просканированного документа содержимому "живого" документа, доступного в сети в данный момент.

Content Score (Оценка контента)

Метрика, основанная на содержании документа, например, относится ли он к актуальной (hot topic) или редкой теме (rare topic).

Quotas (Квоты)

Механизм, гарантирующий минимальное представительство в индексе для определенных категорий документов (например, по языку, региону, хосту или даже документов с низким Utility Score) для обеспечения разнообразия и обучения модели.

Whitelist / Blacklist (Белый / Черный список)

Списки сайтов, документы с которых должны быть обязательно включены (Whitelist) или исключены (Blacklist) из индекса, независимо от их оценок.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс выбора документов для индекса.

1. Система идентифицирует коллекцию документов.
2. Для каждого документа прогнозируется Utility Score. Эта оценка основана на: (i) правилах модели, сгенерированных на основе прошлых запросов и результатов, И (ii) вероятности того, что документ будет выбран (кликнут) ИЛИ показан по крайней мере пороговое количество раз в течение определенного периода времени.
3. Создается ранжированный список документов на основе прогнозируемых Utility Scores.
4. Из ранжированного списка выбирается определенное количество документов.
5. Выбранные документы индексируются для создания индекса.

Ядро изобретения — использование прогнозируемой оценки полезности, основанной на вероятности будущих взаимодействий (кликов или показов), для принятия решения об индексации.

Claim 28 (Независимый пункт): Описывает процесс обучения модели (офлайн).

1. Идентифицируется набор документов, которые ранее были включены в индекс.
2. Для каждого из этих документов определяется исторический Utility Score (на основе фактических данных о вероятности кликов/показов выше порога).
3. Определяется набор Document Features для каждого документа.
4. Генерируются правила модели, которые отображают Document Features на Utility Scores.

Этот пункт защищает метод создания предиктивной модели, используемой в Claim 1.

Claims 4-8 (Зависимые): Детализируют факторы, которые могут использоваться при создании ранжированного списка, помимо прогнозируемого Utility Score. Это приводит к расчету итоговой оценки (в патенте упоминается как $U_F$ - Final Utility Score).

• Claim 4: Учет стоимости индексации (Cost).
• Claim 5: Учет оценки производительности (Performance score), основанной на прошлых кликах.
• Claim 6: Учет оценки контента (Content score), основанной на тематике.
• Claim 7: Учет оценки соответствия (Match score/Свежесть).
• Claim 8: Учет оценки важности (Importance score, например, PageRank).

Эти пункты показывают, что решение об индексации является многофакторным, взвешивающим прогнозируемую полезность против стоимости, важности и свежести.

Claims 10-12 (Зависимые): Детализируют процесс выбора документов с учетом стратегических правил.

• Claim 10: Использование Белых списков (Whitelists) для гарантированного включения определенных сайтов.
• Claim 11-12: Использование Квот (Quotas) по языку, региону, хосту или для включения документов с низким Utility Score.

Где и как применяется

Изобретение применяется на этапе INDEXING – Индексирование и извлечение признаков. Это ключевой процесс, который происходит после сканирования (CRAWLING) и перед тем, как документы станут доступны для ранжирования (RANKING).

CRAWLING – Сканирование и Сбор данных
Crawler engine предоставляет коллекцию документов-кандидатов и их базовые характеристики.

INDEXING – Индексирование
Основное место применения патента. Indexing engine выполняет:

1. Извлечение признаков: Расчет Document Features (например, Importance Score, Cost).
2. Прогнозирование: Применение Model для расчета Utility Score.
3. Выбор индекса (Index Selection): Ранжирование документов по итоговой оценке ($U_F$) и выбор лучших кандидатов.
4. Построение индекса: Фактическое индексирование выбранных документов.

RANKING (Источник данных)
Процессы ранжирования генерируют Historical Search Logs (показы и клики). Эти данные используются офлайн для обучения модели прогнозирования полезности.

Входные данные:

• Коллекция просканированных документов и их Document Features.
• Обученная Model.
• (Для обучения): Historical Search Logs.
• Whitelists, Blacklists, и правила Quotas.

Выходные данные:

• Поисковый индекс, состоящий из выбранных документов.

На что влияет

• Все типы контента и запросов: Патент влияет на состав всего поискового индекса. Если документ не выбран, он не может ранжироваться.
• Крупные сайты и Index Bloat: Механизм критичен для сайтов с большим количеством страниц (e-commerce, агрегаторы). Страницы с низким прогнозируемым Utility Score и высокой Cost будут исключены.
• Страницы с низким авторитетом: Документы, которые не имеют достаточного Importance score (ссылок) и не прогнозируются как полезные, рискуют не попасть в индекс.
• Техническое состояние: Влияет на документы с проблемами свежести (низкий Match Score) или чрезмерно большим размером (высокий Cost).

Когда применяется

• Обучение модели: Происходит офлайн, периодически, по мере накопления новых исторических данных поиска.
• Выбор документов: Происходит в процессе индексирования, во время создания или обновления (освежения) индекса. Патент упоминает многоуровневые индексы (tiered indices), и процесс выбора применяется при обновлении каждого уровня.

Пошаговый алгоритм

Процесс А: Офлайн-обучение модели (Model Training)

1. Идентификация обучающей выборки: Выбор набора документов, которые ранее присутствовали в индексе.
2. Расчет исторической полезности: Анализ Historical Search Logs для расчета фактического Utility Score для каждого документа (например, вероятность клика в день).
3. Извлечение признаков: Извлечение Document Features (язык, ссылки, хост, размер и т.д.) для обучающей выборки.
4. Обучение модели: Генерация правил модели (например, с помощью логистической регрессии или нейронной сети) для отображения Document Features на Utility Score.
5. Тестирование и сохранение модели.

Процесс Б: Выбор документов для индекса (Index Selection)

1. Идентификация кандидатов: Получение коллекции сканированных документов (новых и ранее проиндексированных).
2. Прогнозирование полезности: Применение обученной модели к Document Features кандидатов для прогнозирования их Utility Score.
3. Расчет итоговой оценки: Вычисление Final Utility Score ($U_F$). Корректировка прогнозируемой оценки с учетом Cost, Importance score (PageRank), Match score (свежесть), Performance score и Content score.
4. Создание ранжированного списка: Сортировка документов по $U_F$.
5. Применение фильтров и правил:
   • Удаление спама, дубликатов и сайтов из Blacklist.
   • Гарантированное включение сайтов из Whitelist.
   • Обеспечение выполнения Quotas.
6. Выбор документов: Выбор топовых документов из итогового списка в соответствии с доступной емкостью индекса.
7. Индексирование: Обработка и добавление выбранных документов в поисковый индекс.

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных как для обучения модели, так и для принятия решения об индексации.

• Поведенческие факторы (Критично для обучения): Historical Search Logs, включающие Selection data (клики) и Impression data (показы). Используются для расчета Utility Score и Performance Score.
• Ссылочные факторы: Link-based score используется как Document Feature и как Importance score. Явно упоминается PageRank как пример.
• Технические факторы: Тип кодировки, тип файла, хост, домен, TLD. Длина документа и сжатая длина (используются для оценки Cost).
• Контентные факторы: Язык документа. Анализ содержания для определения Content score (горячие темы, редкие темы).
• Временные факторы: Свежесть документа, оцениваемая через Match score (сравнение сканированной версии с текущей "живой" версией).
• Географические факторы: Используются для настройки квот (Quotas) по регионам.

Какие метрики используются и как они считаются

• Utility Score (Прогнозируемая или историческая): Рассчитывается как вероятность того, что документ получит пороговое количество кликов или показов за определенный период (например, >1 клика в день).
• Cost: Функция от объема пространства, необходимого для индексации документа.
• Performance score: Основана на историческом количестве кликов, когда документ ранее находился в индексе.
• Content score: Оценка на основе того, содержит ли документ слова, относящиеся к горячим, часто запрашиваемым или редким темам.
• Match score (Свежесть): Оценка, указывающая, соответствует ли сканированный документ текущей версии на сайте.
• Importance score: Ссылочная оценка, например, PageRank.
• Final Utility Score ($U_F$): Функция, агрегирующая Utility Score и одну или несколько из вышеупомянутых метрик.
• Алгоритмы машинного обучения: Для генерации модели упоминаются логистическая регрессия (logistic regression), случайный лес (random forest) или нейронная сеть (neural network).

1. Индексация является выборочной и предиктивной: Попадание в индекс не гарантировано. Google индексирует только те документы, которые, по прогнозам его модели, будут полезны пользователям (высокий Utility Score) и оправдают затраты на хранение (низкий Cost).
2. Сигналы ранжирования используются для индексации: Факторы, которые традиционно считаются ранжирующими (например, PageRank/Importance Score, поведенческие факторы/Performance Score), используются гораздо раньше в конвейере — для принятия решения о том, достоин ли документ занять место в индексе.
3. Многофакторное решение об индексации: Итоговое решение представляет собой баланс между прогнозируемой полезностью, стоимостью хранения, авторитетностью и свежестью (Match Score).
4. Критичность исторических данных: Система сильно зависит от Historical Search Logs. Прошлая производительность документа (клики, показы) напрямую влияет на его шансы остаться в индексе и обучает модель для оценки похожих документов.
5. Управление Index Bloat: Этот патент описывает конкретный механизм для борьбы с раздуванием индекса. Документы должны преодолеть порог полезности, скорректированный на стоимость их хранения.
6. Стратегические корректировки (Overrides): Система использует Whitelists для гарантированного включения важных сайтов и Quotas для обеспечения разнообразия индекса и предотвращения "слепых зон" модели (например, намеренно индексируя часть низкокачественного контента для обучения).

Best practices (это мы делаем)

• Максимизация сигналов важности (Importance Score/PageRank): Построение качественных внешних ссылок и эффективная внутренняя перелинковка критически важны не только для ранжирования, но и для обеспечения индексации контента. Importance Score является явным фактором при выборе документов для индекса.
• Максимизация вовлеченности пользователей (Utility/Performance Score): Работайте над повышением CTR и удовлетворенности пользователей. Эти данные (Selection data) используются для расчета Performance Score и обучения модели. Позитивные сигналы повышают шансы на сохранение страниц в индексе.
• Борьба с Index Bloat и управление мусорными URL: Проактивно управляйте страницами с низкой ценностью (пустые фильтры, технические дубли, устаревший контент). Их наличие увеличивает общую Cost сайта. Используйте noindex, robots.txt или каноникализацию для консолидации сигналов на ценных страницах.
• Обеспечение свежести и технической корректности (Match Score): Убедитесь, что контент, отдаваемый краулеру, актуален и соответствует тому, что видят пользователи. Match score (свежесть) используется при принятии решения об индексации.
• Оптимизация эффективности (Cost): Оптимизируйте размер страницы и чистоту кода. Это снижает Cost индексации, улучшая соотношение Стоимость/Полезность, что может дать преимущество при прочих равных.

Worst practices (это делать не надо)

• Генерация массы низкокачественных страниц: Создание большого количества страниц с низкой ценностью (Index Bloat). Такие страницы будут иметь низкий прогнозируемый Utility Score и высокую Cost, что приведет к их исключению из индекса.
• Игнорирование ссылочной стратегии: Полагаться только на контент без работы над авторитетностью. Отсутствие Importance score значительно снижает шансы на индексацию, особенно для нового контента.
• Клоакинг или медленное обновление контента: Показ разного контента пользователям и поисковым системам или наличие устаревшей информации приведет к низкому Match score и исключению из индекса.
• Создание контента без учета спроса и взаимодействия: Создание контента, который не интересен пользователям. Если контент не генерирует кликов, его Utility Score будет падать, что может привести к деиндексации.

Стратегическое значение

Этот патент подчеркивает, что SEO начинается задолго до ранжирования. Индексация — это привилегия, которую нужно заслужить, доказав свою потенциальную ценность. Он подтверждает стратегическую важность холистического подхода: техническое здоровье, ссылочная авторитетность и пользовательский опыт в совокупности определяют, будет ли контент вообще допущен к участию в поиске. Патент объясняет механизм, почему технически доступные страницы не попадают в индекс — они не проходят фильтр прогнозируемой полезности и важности.

Практические примеры

Сценарий 1: Управление индексацией крупного E-commerce сайта с фасетной навигацией

1. Ситуация: Сайт имеет миллионы URL, многие из которых являются комбинациями фильтров (фасетами) с нулевым спросом и малым количеством внутренних ссылок.
2. Анализ через призму патента: Система Google прогнозирует низкий Utility Score для большинства фасетных страниц (низкая вероятность клика) и низкий Importance score. При этом Cost индексации этих страниц высока из-за их количества.
3. Действие: SEO-команда анализирует логи и данные GSC, чтобы идентифицировать полезные фасеты (получающие показы/клики) и бесполезные. Бесполезные фасеты закрываются от индексации (noindex/robots.txt), а сигналы консолидируются через canonical.
4. Ожидаемый результат: Снижение общей Cost сайта и концентрация Importance score на ключевых страницах. Это повышает вероятность того, что высокоценные категории и товары будут стабильно находиться в индексе.

Сценарий 2: Обеспечение индексации новых товаров

1. Ситуация: Новые товары добавляются на сайт, но долго не попадают в индекс.
2. Анализ через призму патента: Новые товары часто имеют низкий Importance Score и не имеют Performance Score. Их прогнозируемый Utility Score может быть недостаточен для преодоления порога индексации.
3. Действие: Необходимо искусственно повысить их Importance Score и стимулировать начальный Utility Score.
4. Реализация: Размещение ссылок на новые товары на главной странице и в популярных категориях (повышение Importance). Использование XML-карт сайта. Запуск контекстной рекламы или email-рассылки для генерации начального трафика и поведенческих сигналов (повышение Utility).
5. Ожидаемый результат: Ускорение попадания новых товаров в индекс за счет улучшения ключевых метрик, используемых системой выбора индекса.