Как Google прогнозирует полезность страниц (Utility Score), чтобы решить, какие из них включать в индекс

Описание

Какую задачу решает

Патент решает фундаментальную проблему управления ресурсами поисковой системы: ограниченную емкость индекса и значительные затраты (вычислительные ресурсы, хранение) на индексацию и обслуживание всех обнаруженных документов. Система должна эффективно выбирать, какие документы стоят затрат на индексацию, чтобы максимизировать общую полезность индекса для пользователей.

Что запатентовано

Запатентована система для выборочного включения документов в индекс на основе прогнозируемой полезности. Используется модель машинного обучения (Model), обученная на исторических данных поиска, для присвоения документу Utility Score (Оценки полезности). Эта оценка прогнозирует вероятность того, что документ удовлетворит запросы пользователей (будет показан и/или кликнут). Документы ранжируются по этому баллу, и для индексации выбираются только наиболее перспективные.

Как это работает

Система работает в два этапа:

• Обучение модели (Офлайн): Анализируются исторические логи поиска для документов, которые ранее были в индексе. Вычисляется их фактическая полезность (частота показов и кликов). Модель обучается связывать характеристики документа (Document Features), такие как ссылочный вес или язык, с этой фактической полезностью.
• Выбор индекса (Пайплайн): Для сканированных документов модель прогнозирует их Utility Score. Документы ранжируются по этому прогнозу. Этот рейтинг может корректироваться с учетом затрат на индексацию (Cost), важности документа (Importance Score) и других факторов. Затем применяются фильтры (спам, черные списки) и квоты, после чего лучшие документы индексируются.

Актуальность для SEO

Высокая. Управление размером и качеством индекса (Index Bloat) остается критически важной задачей для Google. Хотя конкретные модели и признаки, вероятно, эволюционировали с момента подачи заявки (приоритетная дата от 2008 г.), основополагающий принцип использования прогнозируемой полезности для управления ресурсами индекса является ядром современных поисковых систем.

Важность для SEO

Патент имеет высокое значение для SEO (8/10). Он описывает механизм, определяющий «барьер для входа» в поисковый индекс. Если система предсказывает низкий Utility Score, страница не будет проиндексирована и не сможет ранжироваться. Понимание того, какие характеристики (например, авторитет) используются для прогнозирования полезности, критически важно для обеспечения индексации контента, особенно на крупных или новых сайтах.

Детальный разбор

Термины и определения

Utility Score (Оценка полезности)

Ключевая метрика патента. Отражает меру качества документа как результата поиска. Определяется как функция вероятности того, что документ удовлетворит запрос пользователя. Например, вероятность того, что документ будет выбран (кликнут) или показан хотя бы один раз в день.

Model (Модель)

Статистическая модель машинного обучения (например, логистическая регрессия, нейронная сеть), обученная на исторических данных для прогнозирования Utility Score на основе Document Features.

Document Features (Характеристики документа)

Признаки документа, используемые как входные данные для модели. Примеры: язык, тип кодировки, тип файла, хост/домен, ссылочный вес (link-based score), длина документа.

Selection Data (Данные о выборе/кликах)

Исторические данные о том, как часто пользователи выбирали (кликали) документ, когда он показывался в результатах поиска.

Impression Data (Данные о показах)

Исторические данные о том, как часто документ показывался в результатах поиска.

Cost (Стоимость)

Ресурсы, необходимые для включения документа в индекс. В патенте упоминается как функция от объема пространства, необходимого для индексации документа (например, на основе количества слов).

Importance Score (Оценка важности)

Мера важности документа, используемая для корректировки рейтинга при отборе в индекс. В качестве примера приводится ссылочный вес (например, PageRank).

Quotas (Квоты)

Правила, гарантирующие включение в индекс минимального количества документов по определенным критериям (язык, регион, хост), независимо от их Utility Score. Также используются для намеренного включения низкокачественных документов для обучения модели.

Whitelist / Blacklist (Белый / Черный список)

Списки сайтов, документы с которых должны быть принудительно включены (Whitelist, например, Amazon, CNET) или исключены (Blacklist, например, спам-фермы) из индекса.

Ключевые утверждения (Анализ Claims)

Основная формула изобретения (Claims 1, 8, 15) описывает метод выбора документов для индексации на основе прогнозирования их качества, основанного на исторических данных о взаимодействии.

Анализ Claim 1 и 15 (Независимые пункты):

1. Определение исторической меры качества: Система определяет меру качества (Utility Score) для набора уже известных документов.
2. Основа меры качества: Эта мера базируется на двух ключевых вероятностях за определенный период времени:
   1. Вероятность того, что документ будет выбран (кликнут) пороговое количество раз. (Claim 1 уточняет, что эта вероятность может быть основана на позиции документа в ранжированном списке – т.е. оценка кликов по позиции).
   2. Вероятность того, что документ будет показан пороговое количество раз.
3. Прогнозирование для новых документов: На основе этой исторической информации система прогнозирует меру качества для другого (нового) документа.
4. Принятие решения об индексации: Система определяет, следует ли хранить информацию о новом документе в индексе, основываясь на его прогнозируемой мере качества.

Анализ зависимых пунктов (Claims 2, 3, 12, 17, 18):

Эти пункты уточняют, что прогнозирование осуществляется с помощью Модели машинного обучения.

1. Система генерирует правила для Модели на основе исторических мер качества.
2. Система определяет Характеристики документа (Document Features) и использует их вместе с мерами качества для генерации правил Модели. Модель учится связывать признаки с качеством.

Анализ зависимых пунктов (Claims 4, 6, 14, 19, 20):

Перечисляются конкретные примеры признаков документа, используемых моделью: тип файла, хост или домен, длина документа, язык, тип кодировки, оценка на основе ссылок (link-based score).

Где и как применяется

Изобретение применяется на стыке процессов сканирования и индексирования, выступая в роли фильтра качества и оптимизатора ресурсов.

CRAWLING – Сканирование и Сбор данных
Crawler Engine обнаруживает документы и собирает сырые данные. Этот процесс поставляет «кандидатов» для системы выбора индекса.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Процесс происходит после извлечения признаков, но до построения финального поискового индекса.

1. Извлечение признаков (Feature Extraction): Система рассчитывает статические сигналы (язык, размер, PageRank и т.д.) и сохраняет их как Document Features.
2. Обучение модели (Офлайн): Model Generator Engine использует Document Features и Historical Search Logs (полученные от поисковой системы) для расчета исторических Utility Scores и обучения Модели.
3. Выбор индекса (Index Selection): Indexing Engine применяет Модель к набору сканированных документов, прогнозирует их Utility Score, ранжирует их и выбирает лучшие для включения в индекс.

Входные данные:

• Коллекция сканированных документов (кандидаты).
• Document Features для каждого документа.
• Обученная Модель.
• Historical Search Logs (для обучения).
• Списки (Blacklists, Whitelists) и правила (Quotas).

Выходные данные:

• Отобранный набор документов.
• Построенный поисковый индекс (возможно, многоуровневый — Tiered Index).

На что влияет

• Типы контента и ниши: Наибольшее влияние оказывается на контент с низким авторитетом, «длинный хвост», новые сайты или большие объемы автоматически сгенерированного контента. Система может решить не индексировать этот контент, если прогнозируемая полезность низкая.
• Крупные сайты: Критически важно для очень больших сайтов (e-commerce, UGC), где объем контента превышает возможности индексации. Система будет выборочно индексировать только наиболее полезные страницы.
• Языковые и географические ограничения: Патент явно упоминает использование квот (Quotas) для обеспечения представительства определенных языков или регионов в индексе, чтобы избежать предвзятости модели.

Когда применяется

• Временные рамки: Алгоритм применяется во время процесса построения или обновления индекса (Index Refresh). Это может быть непрерывный процесс или периодический.
• Условия работы: Применяется ко всем документам, рассматриваемым для включения в индекс (новым и старым), чтобы определить, превышает ли их прогнозируемая полезность порог, необходимый для оправдания стоимости их хранения.

Пошаговый алгоритм

Процесс разделен на две основные фазы: Обучение модели и Выбор индекса.

Фаза А: Обучение Модели (Офлайн)

1. Сбор данных: Идентификация набора документов, ранее включенных в индекс.
2. Расчет исторической полезности: Для каждого документа рассчитывается фактический Utility Score на основе исторических логов поиска (Selection Data и Impression Data). Например, вероятность получения хотя бы одного клика в день. Клики могут быть фактическими или оценочными (на основе позиции в SERP).
3. Извлечение признаков: Определение Document Features (язык, PageRank, размер и т.д.).
4. Обучение: Генерация правил Модели с использованием статистических методов (например, логистической регрессии). Модель учится сопоставлять Document Features с Utility Score.
5. Тестирование и сохранение: Модель тестируется и сохраняется для использования.

Фаза Б: Выбор Индекса (Применение)

1. Идентификация кандидатов: Определение коллекции сканированных документов, рассматриваемых для включения в индекс.
2. Прогнозирование полезности: Применение обученной Модели к характеристикам каждого документа для получения прогнозируемого Utility Score.
3. Создание ранжированного списка: Ранжирование документов на основе прогнозируемого Utility Score.
4. Корректировка рейтинга (Опционально): Расчет финального Utility Score с учетом дополнительных факторов:
   • Cost (стоимость индексации/размер документа).
   • Importance Score (например, PageRank).
   • Performance Score (предыдущая производительность в индексе).
   • Content Score (актуальность или редкость темы).
   • Match Score (свежесть/соответствие сканированной версии живой).
5. Фильтрация и Применение правил:
   • Удаление спама, дубликатов и сайтов из Blacklist.
   • Принудительное включение сайтов из Whitelist.
   • Применение Quotas (языковых, региональных, хостовых; включение низкокачественных документов для обучения).
6. Выбор документов: Выбор Топ-N документов из скорректированного ранжированного списка для заполнения емкости индекса.
7. Индексация: Построение поискового индекса из выбранных документов.

Какие данные и как использует

Данные на входе

Система использует широкий спектр факторов (Document Features) для обучения модели и принятия решений об индексации.

• Контентные и Технические факторы: Язык документа, тип кодировки, тип файла, длина документа, сжатая длина, соотношение сжатой длины к оригинальному размеру. Content Score (основан на актуальности или редкости темы).
• Структурные факторы: Хост, домен, домен верхнего уровня (TLD) или организация, связанная с документом.
• Ссылочные факторы: Ссылочный вес (link-based score). PageRank упоминается как пример Importance Score и как одна из характеристик документа.
• Поведенческие факторы (для обучения и корректировки): Исторические логи поиска (Historical Search Logs), включая Selection Data (клики) и Impression Data (показы). Performance Score (предыдущая производительность).
• Временные факторы: Свежесть документа, проверяемая через Match Score (сравнение сканированной копии с текущей версией на сайте).

Какие метрики используются и как они считаются

• Utility Score (Исторический): Рассчитывается на основе поведенческих данных. Определяется как вероятность того, что документ будет выбран (кликнут) и/или показан пороговое количество раз (например, ≥1) за определенный период времени (например, день).
• Оценка количества выборов (Estimation): Если точные данные о кликах недоступны, они могут быть оценены на основе позиций документа в SERP (например, позиция 1 получает 40% кликов).
• Utility Score (Прогнозируемый): Выходные данные ML-модели, основанные на Document Features.
• Final Utility Score: Скорректированная оценка полезности. Может рассчитываться как функция от прогнозируемого Utility Score и других факторов (Cost, Importance Score, Content Score, Match Score).
• Методы машинного обучения: Для генерации модели упоминаются логистическая регрессия (logistic regression), метод случайного леса (random forest) или нейронная сеть (neural network).

Выводы

1. Индексация является выборочной и предиктивной: Попадание в индекс не гарантировано после сканирования. Google применяет строгий процесс отбора, основанный на прогнозировании будущей полезности документа (Utility Score) для экономии ресурсов и повышения качества индекса.
2. Историческое поведение пользователей определяет состав индекса: Модель прогнозирования обучается на исторических данных о кликах и показах. Система отдает приоритет контенту, который, по прогнозам, будет востребован.
3. Авторитет (PageRank) критичен для индексации: Ссылочный вес (link-based score) используется дважды: как входной признак для модели прогнозирования Utility Score и как фактор корректировки (Importance Score). Низкий авторитет может привести к исключению из индекса.
4. Анализ затрат и выгод (Cost vs. Utility): Система взвешивает прогнозируемую полезность с затратами на индексацию (Cost/размер документа). Документы должны оправдывать свое включение в индекс.
5. Существуют механизмы переопределения: Белые списки (Whitelist) гарантируют индексацию критически важных сайтов (упомянуты Amazon, CNET). Квоты (Quotas) обеспечивают разнообразие контента (языковое, региональное) и предотвращают «слепые зоны» модели, в том числе путем намеренного включения документов с низким Utility Score для обучения.

Практика

Best practices (это мы делаем)

• Повышение сигналов авторитетности (Importance Score): Поскольку link-based score (PageRank) является ключевой характеристикой для прогнозирования полезности, наращивание качественного ссылочного профиля критически важно не только для ранжирования, но и для обеспечения индексации контента.
• Оптимизация под удовлетворенность пользователя (Intent): Создавайте контент, который с высокой вероятностью будет востребован и кликнут. Модель обучается на исторических кликах, поэтому высокая вовлеченность существующих страниц помогает обучать модель в пользу вашего сайта.
• Обеспечение технического здоровья и эффективности: Оптимизируйте контент для снижения «затрат» (Cost). Следите за свежестью контента (Match Score) и корректностью технических сигналов (язык, кодировка), так как это явные Document Features.
• Управление индексацией на крупных сайтах: Для сайтов с миллионами страниц необходимо активно управлять тем, какой контент доступен для индексации. Концентрируйте сигналы авторитетности на ключевых страницах и закрывайте от индексации низкокачественные или дублирующиеся страницы, чтобы повысить средний Utility Score домена.
• Мониторинг статуса индексации в GSC: Активно отслеживайте статус «Просканировано, но не проиндексировано». Этот статус является прямым следствием работы этой системы — прогнозируемый Utility Score страницы оказался слишком низким.

Worst practices (это делать не надо)

• Генерация массового низкокачественного контента: Создание большого количества тонкого или автоматически сгенерированного контента. Такие страницы получат низкий Utility Score и, скорее всего, будут исключены из индекса.
• Игнорирование ссылочного авторитета: Попытка продвигать контент без достаточного внешнего авторитета. Модель, вероятно, не предскажет высокую полезность для такого контента.
• Манипулятивные практики (Spam): Патент явно указывает на использование черных списков (Blacklist) и фильтрации спама как часть процесса выбора индекса.
• Создание «тяжелого» контента без необходимости: Использование неэффективных форматов может увеличить «затраты» (Cost) на индексацию, повышая порог полезности, необходимый для включения в индекс.

Стратегическое значение

Этот патент объясняет механизм, стоящий за статусом «Crawled — currently not indexed». Это не просто нехватка краулингового бюджета; это осознанное решение системы, основанное на прогнозе, что документ не принесет достаточной пользы по сравнению с затратами на его индексацию. Стратегия SEO должна быть направлена на то, чтобы доказать ценность контента модели прогнозирования, используя сигналы авторитетности, уникальности и технического качества.

Практические примеры

Сценарий: Управление индексацией крупного E-commerce сайта с фасетной навигацией

1. Проблема: Сайт генерирует миллионы URL-адресов через фасетную навигацию (фильтры). Большинство этих страниц дублируют контент или не представляют ценности для поиска.
2. Анализ по патенту: Система прогнозирует низкий Utility Score для этих страниц (низкая вероятность клика, низкий link-based score) и высокие совокупные Cost для их индексации.
3. Действия SEO-специалиста:
   • Использовать robots.txt, мета-теги noindex или canonical для закрытия неценных комбинаций фасетов и консолидации сигналов.
   • Оптимизировать внутреннюю перелинковку, чтобы направить ссылочный вес (Importance Score) на приоритетные страницы (товары, категории).
4. Ожидаемый результат: Google тратит меньше ресурсов. Модель начинает присваивать более высокие Utility Score приоритетным страницам за счет консолидации сигналов. Увеличивается полнота индексации важного контента.

Вопросы и ответы