Как Google тестирует изменения в критериях индексации без перестроения всего индекса

Термины и определения

Automated Resource Selection Process (Автоматизированный процесс отбора ресурсов)

Алгоритм или эвристика, определяющая, следует ли включать конкретный ресурс (документ) в индекс поисковой системы. Использует один или несколько Index Selection Signals.

Index Selection Signals (Сигналы выбора индекса)

Метрики качества ресурса, получаемые из его атрибутов (внутренних или внешних). Используются для принятия решения об индексации. Примеры: длина ресурса, длина заголовка, количество ссылок, данные о поведении пользователей.

Index Selection Score (Оценка выбора индекса)

Единое (обычно скалярное) значение, получаемое путем применения эвристики к Index Selection Signals ресурса. Эта оценка сравнивается с порогом для принятия решения об индексации.

Query Results Table (Таблица результатов запросов)

Предварительно созданная структура данных (Resource Source), которая связывает тестовые запросы с релевантными ресурсами. Для каждого ресурса хранит его Query-specific Score и необходимые Index Selection Signals. Позволяет симулировать различные процессы отбора без построения реальных индексов.

To-be-indexed / Not-to-be-indexed (К индексации / Не к индексации)

Классификация ресурса, присваиваемая Automated Resource Selection Process на основе сравнения Index Selection Score с порогом.

Query-independent quality score (Оценка качества, не зависящая от запроса)

Метрика качества ресурса, которая не зависит от конкретного запроса (например, общая оценка качества сайта/документа). Упоминается как один из возможных Index Selection Signals.

Query-specific score (Оценка, специфичная для запроса)

Оценка ранжирования ресурса относительно конкретного запроса (Ranking Score). Используется для упорядочивания результатов в гипотетических SERP во время оценки.

Approximate Ranking Score (Приблизительная оценка ранжирования)

Быстро вычисляемая оценка, используемая при построении Query Results Table для предварительной фильтрации ресурсов, прежде чем вычислять точный Final Ranking Score.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методологии оценки, а не на конкретных алгоритмах отбора.

Claim 1 (Независимый пункт): Описывает основной метод симуляции для сравнения двух процессов отбора (Процесс 1 и Процесс 2).

1. Система получает множество тестовых запросов.
2. Для каждого запроса генерируются две группы ресурсов (Группа 1 и Группа 2). Этот процесс включает:
   • Идентификацию всех ресурсов, релевантных запросу.
   • Для каждого ресурса: определение, классифицирует ли его Процесс 1 как to-be-indexed. Все такие ресурсы формируют Группу 1.
   • Для каждого ресурса: определение, классифицирует ли его Процесс 2 как to-be-indexed. Все такие ресурсы формируют Группу 2.
3. Ключевое утверждение: Решение Процесса 1 о классификации ресурса принимается независимо от решения Процесса 2 для того же ресурса.

Claim 7 (Зависимый от 1): Детализирует механизм принятия решения об индексации внутри процесса отбора.

Определение классификации ресурса (to-be-indexed или not-to-be-indexed) включает вычисление Index Selection Score для ресурса. Если эта оценка удовлетворяет пороговому значению (threshold), ресурс классифицируется как to-be-indexed.

Claim 8 (Зависимый от 1): Уточняет источник данных для симуляции.

Идентификация релевантных ресурсов может происходить из Query Results Table. Эта таблица связывает запросы с ресурсами и включает query-independent quality score для каждого ресурса.

Claim 9 (Зависимый от 1): Описывает процесс оценки на основе сравнения групп.

Система получает обратную связь (feedback) для каждого тестового запроса, которая выбирает либо Группу 1, либо Группу 2. На основе агрегированной обратной связи выбирается лучший процесс отбора (Процесс 1 или Процесс 2).

Claim 10 и 11 (Зависимые): Детализируют метод оценки с помощью асессоров (Human Evaluators).

Результаты для Группы 1 и Группы 2 представляются асессорам. Получается обратная связь (предпочтение). Результаты упорядочиваются с использованием Query-specific score перед представлением.

Claim 12 (Зависимый): Детализирует метод оценки через A/B тестирование на живом трафике.

Тестовый запрос принимается от пользователей. Части пользователей (Первые пользователи) показываются результаты Группы 1. Другой части (Вторые пользователи) показываются результаты Группы 2. Сравнивается оценка пользователей (user assessment, например, CTR) для обеих групп. Анализ сравнения используется для выбора лучшего процесса.

Где и как применяется

Этот патент описывает инфраструктуру для исследований и разработки (R&D), а не компонент живой поисковой системы, обслуживающей пользователей. Он применяется для оценки потенциальных изменений в конвейере индексирования.

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются ресурсы и вычисляются их атрибуты, которые затем используются для генерации Index Selection Signals. Патент упоминает, что при построении Query Results Table система может сканировать ресурсы глубже, чем обычно делает поисковая система для построения живого индекса, чтобы включить в оценку ресурсы, которые в настоящее время не проиндексированы.

INDEXING – Индексирование и извлечение признаков (R&D/Оценка)
Основная область применения. Система Index Selection Evaluation System оценивает различные Automated Resource Selection Processes, которые являются частью этапа индексирования. Она использует Index Selection Signals, извлеченные на этом этапе, для симуляции того, как разные процессы повлияют на состав индекса.

RANKING – Ранжирование (R&D/Оценка)
Система использует алгоритмы ранжирования для вычисления Query-specific scores. Эти оценки необходимы для упорядочивания результатов в гипотетических SERP, которые затем представляются для оценки (асессорам или в A/B тесте).

Входные данные:

• Набор тестовых запросов (Test Queries).
• Resource Source или Query Results Table, содержащая ресурсы, их Index Selection Signals и Query-specific scores.
• Определения (эвристики и пороги) тестируемых процессов отбора (Процесс А, Процесс Б).

Выходные данные:

• Агрегированная обратная связь (от асессоров) или сравнение пользовательских оценок (из A/B тестов).
• Решение о выборе лучшего Automated Resource Selection Process.

На что влияет

Патент не описывает влияние на конкретные типы контента, запросы, ниши или географию. Он описывает универсальную методологию тестирования, которая может быть применена для оценки процессов отбора в любых сегментах (например, тестирование критериев индексации для новостного контента, YMYL-тематик или специфических языков).

Когда применяется

Алгоритм применяется во время циклов исследований и разработки (R&D), когда инженеры хотят протестировать изменения в критериях индексации. Например:

• При тестировании нового сигнала качества для определения того, стоит ли индексировать ресурс.
• При корректировке пороговых значений (thresholds) для существующих сигналов.
• При оценке эффективности новых фильтров спама на этапе индексации.

Пошаговый алгоритм

Процесс А: Генерация Query Results Table (Офлайн)

1. Выбор запросов: Выбирается набор тестовых запросов для включения в таблицу (например, путем сэмплирования из логов запросов).
2. Идентификация ресурсов: Система идентифицирует ресурсы (например, из краулинговых данных), которые соответствуют одному или нескольким тестовым запросам.
3. Определение порога оценки (Опционально): Для оптимизации размера таблицы система может оценить порог ранжирования (score threshold), используя подмножество ресурсов.
4. Вычисление приблизительной оценки: Для каждой пары (ресурс, запрос) вычисляется Approximate Ranking Score.
5. Вычисление точной оценки: Если приблизительная оценка удовлетворяет порогу, вычисляется точный Query-specific score (Final Ranking Score).
6. Получение сигналов: Для отобранных ресурсов извлекаются все необходимые Index Selection Signals.
7. Сохранение данных: Данные сохраняются в Query Results Table, связывая запросы с ресурсами, их точными оценками и сигналами.

Процесс Б: Симуляция и Сравнение Процессов Отбора

1. Получение тестового запроса: Система получает тестовый запрос.
2. Идентификация ресурсов: Из Query Results Table извлекаются все ресурсы, релевантные запросу, вместе с их сигналами.
3. Симуляция Процесса 1: Для каждого ресурса система применяет эвристику Процесса 1 к его сигналам для вычисления Index Selection Score. Если оценка превышает порог Процесса 1, ресурс классифицируется как to-be-indexed. Формируется Группа 1.
4. Симуляция Процесса 2: Аналогично, для каждого ресурса применяется эвристика Процесса 2. Формируется Группа 2.
5. Сравнение: Процессы 1 и 2 сравниваются путем сравнения Группы 1 и Группы 2 (см. Процесс В или Г).

Процесс В: Оценка Асессорами (Side-by-Side)

1. Представление результатов: Генерируются две SERP (для Группы 1 и Группы 2), упорядоченные по Query-specific scores. Они представляются асессорам (например, бок о бок).
2. Получение обратной связи: Асессоры указывают, какую SERP они предпочитают (опционально указывая степень предпочтения).
3. Агрегация: Обратная связь от разных асессоров агрегируется.
4. Выбор процесса: Выбирается процесс отбора, чьи результаты получили более высокие оценки.

Процесс Г: Оценка A/B Тестированием (Live Traffic)

1. Получение запроса от пользователей: Тестовый запрос поступает от реальных пользователей через интерфейс поисковой системы.
2. Разделение трафика: Пользователи разделяются на две группы.
3. Представление SERP 1: Первой группе пользователей представляется SERP, соответствующая Группе 1.
4. Представление SERP 2: Второй группе пользователей представляется SERP, соответствующая Группе 2.
5. Сравнение оценок пользователей: Сравниваются метрики user assessment (например, CTR) для обеих SERP.
6. Анализ и выбор: Анализируются результаты сравнения для выбора лучшего процесса отбора.

Какие данные и как использует

Данные на входе

Система использует данные, необходимые для принятия решения об индексации (Index Selection Signals) и данные для ранжирования (для упорядочивания SERP при оценке).

• Контентные/Структурные факторы: Внутренние атрибуты ресурса, такие как количество слов в ресурсе (number of words), длина заголовка (length of the title).
• Технические факторы: Длина идентификатора ресурса (например, URL).
• Ссылочные факторы: Внешние атрибуты, полученные из ресурсов, ссылающихся на данный ресурс (attributes derived from resources that link to a given resource).
• Поведенческие факторы: Атрибуты, полученные из поведения пользователей по отношению к ресурсу (attributes derived from user behavior toward the resource), например, click-through-rate.
• Системные метрики качества: Query-independent quality score (оценка качества ресурса, не зависящая от запроса).

Важно отметить, что патент перечисляет эти типы данных как примеры Index Selection Signals. Он не утверждает, что все они используются в конкретном процессе отбора.

Какие метрики используются и как они считаются

• Index Selection Score: Вычисляется путем применения определенной эвристики (формулы) к одному или нескольким Index Selection Signals. Эвристика специфична для каждого тестируемого Automated Resource Selection Process.
• Threshold (Порог индексации): Значение, с которым сравнивается Index Selection Score. Может быть фиксированным или определяться динамически на основе желаемого размера индекса и распределения оценок.
• Approximate Ranking Score: Быстро вычисляемая оценка релевантности пары (ресурс, запрос). Используется для предварительной фильтрации при построении Query Results Table. Должна быть оптимизирована для сравнения одного запроса со многими документами.
• Query-specific Score (Final Ranking Score): Точная оценка ранжирования, вычисляемая стандартными алгоритмами поисковой системы. Используется для финального упорядочивания результатов при оценке.
• User Assessment (Оценка пользователей): Метрики, используемые в A/B тестировании для сравнения качества SERP. Примеры: агрегированный click-through-rate, время взаимодействия пользователя с результатами.

1. Индексация — это селективный процесс, отдельный от ранжирования: Патент четко разделяет процесс отбора ресурсов для индекса (Resource Selection) и процесс ранжирования (Ranking). Ресурс должен сначала пройти критерии отбора, чтобы попасть в индекс.
2. Критерии отбора основаны на сигналах и порогах: Решение об индексации принимается на основе Index Selection Signals (включая query-independent quality scores), которые агрегируются в Index Selection Score и сравниваются с порогом (Threshold).
3. Эффективность тестирования — приоритет Google: Основная цель патента — позволить Google тестировать изменения в критериях индексации быстро и дешево, без необходимости перестраивать весь индекс для каждого эксперимента. Это указывает на высокую скорость итераций и изменений в поисковых алгоритмах.
4. Симуляция гипотетических индексов: Google обладает инфраструктурой для симуляции того, как выглядел бы индекс и поисковая выдача, если бы использовались другие критерии отбора. Это достигается за счет Query Results Table.
5. Использование стандартных методов оценки: Для оценки качества симулированных индексов используются проверенные методы: оценка асессорами (Side-by-Side Evaluation) и A/B тестирование на живом трафике.
6. Возможность оценки непроиндексированного контента: Система может включать в Query Results Table ресурсы, которые в настоящее время отсутствуют в живом индексе (например, путем более глубокого сканирования). Это позволяет оценить, не упускает ли текущий процесс отбора качественный контент.

Best practices (это мы делаем)

Поскольку патент описывает внутреннюю инфраструктуру тестирования Google, он не дает прямых практических рекомендаций по SEO. Однако он подтверждает фундаментальные принципы:

• Обеспечение прохождения порогов качества для индексации: Необходимо сосредоточиться на повышении качества ресурсов, чтобы они соответствовали критериям отбора Google (Index Selection Criteria). Патент подтверждает, что существуют query-independent quality scores и пороги, которые ресурс должен преодолеть, чтобы быть рассмотренным для ранжирования.
• Фокус на атрибутах, упомянутых как примеры сигналов: Хотя конкретные сигналы не раскрыты, патент упоминает внутренние (длина контента, заголовки) и внешние (ссылки, поведение пользователей) атрибуты как основу для Index Selection Signals. Работа над этими фундаментальными аспектами повышает вероятность индексации.

Worst practices (это делать не надо)

• Игнорирование базового качества в надежде на краулинг: Недостаточно просто добиться сканирования ресурса. Если его сигналы качества низкие, он не пройдет этап отбора (Resource Selection) и не попадет в индекс.
• Создание большого количества низкокачественных страниц: Такие страницы с высокой вероятностью будут отфильтрованы на этапе отбора. Google активно тестирует и корректирует пороги (Thresholds), чтобы управлять размером индекса и его качеством, используя описанную в патенте методологию.

Стратегическое значение

Стратегическое значение патента заключается в понимании инфраструктуры Google. Он показывает, насколько быстро и эффективно Google может тестировать и внедрять изменения, влияющие на состав индекса. Если Google решит ужесточить критерии качества для индексации (например, повысить порог для query-independent quality score), они могут точно смоделировать влияние этого изменения до его внедрения. Это подчеркивает важность постоянного поддержания высокого качества контента, чтобы не оказаться за пределами индекса после очередного обновления критериев отбора.

Практические примеры

Практических примеров применения для SEO нет, так как патент описывает внутренние процессы Google. Однако можно привести пример того, как Google может использовать эту систему.

Сценарий: Тестирование нового порога качества для индексации

1. Задача: Google хочет уменьшить количество низкокачественного контента в индексе, повысив порог (Threshold) для Query-independent quality score.
2. Процесс А (Текущий): Использует текущий порог качества (например, 0.5).
3. Процесс Б (Новый): Использует повышенный порог качества (например, 0.7).
4. Симуляция: Используя Query Results Table, система симулирует, какие ресурсы попадут в индекс при Пороге 0.5 (Группа А) и Пороге 0.7 (Группа Б) для тысяч тестовых запросов.
5. Оценка: Генерируются гипотетические SERP. Асессоры сравнивают SERP А и SERP Б.
6. Результат: Если асессоры стабильно предпочитают SERP Б (более чистая выдача, меньше спама), Google может принять решение о внедрении нового порога 0.7 в продакшн. Все это происходит без необходимости строить реальный индекс с порогом 0.7.