Как Google тестирует и выбирает, какие документы включать в индекс, используя инкрементно обновляемую тестовую среду

Термины и определения

Approximate Score (Приблизительная оценка)

Быстро вычисляемая оценка, используемая для аппроксимации query-specific score. Используется для оптимизации вычислений при построении маппинга.

Automated Resource Selection Process (Автоматизированный процесс отбора ресурсов)

Алгоритм или эвристика, определяющая, следует ли включать конкретный ресурс в индекс поисковой системы. Анализирует Index Selection Signals.

Discovery Time (Время обнаружения)

Время, когда ресурс был впервые просканирован системой. Используется для идентификации Fresh Resources.

Evaluation Engine (Механизм оценки)

Компонент системы, который сравнивает различные Automated Resource Selection Processes путем анализа групп ресурсов, которые были бы проиндексированы каждым процессом.

Fresh Resources (Свежие ресурсы)

Ресурсы, обнаруженные в течение определенного недавнего временного интервала.

Index Selection Signals (Сигналы выбора индекса)

Метрики качества ресурса, используемые для принятия решения об индексации. Они не зависят от запроса и могут быть внутренними (например, количество слов, длина заголовка) или внешними (например, ссылки, поведение пользователей).

Query-Independent Index Selection Score (Независящая от запроса оценка выбора индекса)

Единая оценка, вычисленная на основе Index Selection Signals. Используется для классификации ресурса как to-be-indexed или not-to-be-indexed.

Query-Specific Score (Зависящая от запроса оценка)

Стандартная оценка ранжирования, показывающая релевантность ресурса конкретному запросу. Используется для упорядочивания результатов при тестировании и для отбора лучших ресурсов в маппинг.

Query-to-Resource Mapping (Маппинг запросов к ресурсам)

Структура данных, которая связывает группу тестовых запросов с ресурсами, которые им соответствуют. Является основой тестовой среды.

To-be-indexed / Not-to-be-indexed (Будет проиндексирован / Не будет проиндексирован)

Классификация ресурса, определяемая Automated Resource Selection Process.

Ключевые утверждения (Анализ Claims)

Патент имеет два основных аспекта: инкрементное обновление тестовой среды (QRM) и использование этой среды для оценки стратегий индексации.

Claim 1 (Независимый пункт): Описывает метод инкрементного обновления Query-to-Resource Mapping с фокусом на свежий контент.

1. Система работает в предопределенные периодические временные интервалы.
2. В каждом интервале обновляется Query-to-Resource Mapping.
3. Для каждого запроса в маппинге:
   1. Идентифицируются fresh resources, соответствующие запросу (те, чье discovery time попадает в текущий интервал).
   2. Получается query-specific score для каждого свежего ресурса.
   3. На основе этих оценок отбираются один или несколько свежих ресурсов (уточняется в Claim 8 как наивысшие оценки - highest scoring).
   4. Маппинг обновляется, чтобы включить эти отобранные свежие ресурсы для данного запроса.

Claim 2 (Зависимый): Описывает обновление самого набора запросов.

После истечения нескольких периодических интервалов (т.е. реже, чем обновление контента) система обновляет группу запросов, добавляя новые и удаляя существующие, и затем обновляет маппинг для этого нового набора.

Claim 3 (Зависимый): Связывает обновление маппинга с его целью — оценкой процессов индексации.

1. Система получает тестовый запрос.
2. Генерируются две группы ресурсов: Группа 1 (для Процесса 1) и Группа 2 (для Процесса 2).
3. Генерация включает:
   1. Использование Query-to-Resource Mapping для поиска всех соответствующих ресурсов.
   2. Применение Процесса 1: классификация каждого ресурса как to-be-indexed или not-to-be-indexed. Группа 1 состоит из всех to-be-indexed.
   3. Применение Процесса 2 аналогичным образом для формирования Группы 2.

Claim 4 (Зависимый): Детализирует механизм классификации to-be-indexed.

Для каждого ресурса выводится query-independent index selection score в соответствии с критериями тестируемого процесса. Классификация ресурса основывается на этой оценке.

Claims 5 и 6 (Зависимые): Описывают два варианта использования query-independent index selection score для классификации.

• Claim 5: Классификация на основе порога. Если оценка удовлетворяет порогу, ресурс классифицируется как to-be-indexed.
• Claim 6: Классификация на основе ранжирования (Top-N). Если ресурс входит в предопределенное количество лучших ресурсов по этой оценке, он классифицируется как to-be-indexed.

Где и как применяется

Этот патент описывает инфраструктуру для тестирования и улучшения поисковой системы (Index Selection Evaluation System), а не компонент, непосредственно обрабатывающий запросы пользователей в продакшене. Он взаимодействует со следующими этапами:

CRAWLING – Сканирование и Сбор данных
Система оценки использует данные, полученные в результате сканирования. В патенте упоминается, что для целей тестирования система может сканировать ресурсы на большую глубину, чем это обычно делается для построения продакшн-индекса. Система отслеживает discovery time ресурсов для идентификации свежести.

INDEXING – Индексирование и извлечение признаков
Это центральный этап. Система предназначена для оценки Automated Resource Selection Processes — алгоритмов, которые на этапе индексации решают, включать ли ресурс в индекс. Для этого используются Index Selection Signals (признаки качества, извлекаемые на этом этапе) и вычисляются Query-Independent Index Selection Scores.

QUNDERSTANDING – Понимание Запросов
Система использует логи запросов (query logs) для выбора репрезентативного набора тестовых запросов для включения в Query-to-Resource Mapping.

RANKING – Ранжирование
Система использует механизмы ранжирования для получения Query-Specific Scores. Эти оценки необходимы для отбора лучших ресурсов в маппинг и для упорядочивания результатов внутри тестовых групп (А и Б) при проведении оценки.

Входные данные:

• Набор тестовых запросов (выбранных из логов).
• Просканированные ресурсы с их discovery time.
• Index Selection Signals для каждого ресурса.
• Тестируемые стратегии индексации (эвристики).

Выходные данные:

• Обновленный Query-to-Resource Mapping.
• Сравнительная оценка эффективности различных стратегий индексации (на основе отзывов асессоров или пользовательских метрик, таких как CTR).

На что влияет

Патент описывает чисто технический инфраструктурный процесс. Он не оказывает прямого влияния на конкретные типы контента, запросы, ниши или географию в продакшн-выдаче. Он влияет на то, как Google внутренне принимает решения о том, какие алгоритмы индексации использовать в будущем.

Когда применяется

Алгоритмы обновления и оценки применяются непрерывно в рамках внутренней инфраструктуры тестирования Google.

• Триггеры активации: Обновление маппинга запускается по расписанию. Упоминаются два типа расписаний:
  • Частое (например, каждые 6-72 часа) для добавления fresh resources.
  • Менее частое (например, каждые 1-12 недель) для обновления набора тестовых запросов (замена 5%-25% запросов).
• Оценка стратегий: Запускается, когда инженеры хотят протестировать новую эвристику индексации против существующей.

Пошаговый алгоритм

Процесс А: Инкрементное обновление маппинга свежими ресурсами

1. Инициализация временного окна: Процесс запускается для каждого последующего временного окна (например, каждые 24 часа).
2. Идентификация свежих ресурсов: Система идентифицирует fresh resources, чье discovery time попадает в это окно и которые соответствуют одному или нескольким тестовым запросам из маппинга.
3. Итерация по запросам: Для каждого запроса, имеющего совпадения со свежими ресурсами:
   1. Получение оценок: Система получает query-specific score для каждого соответствующего свежего ресурса.
   2. Отбор лучших ресурсов: Идентифицируются свежие ресурсы с наивысшими оценками.
   3. Генерация N-best списка: Формируется список из N лучших свежих ресурсов (например, Топ-1000).
   4. Обновление маппинга: Query-to-Resource Mapping обновляется, чтобы включить данные, связывающие запрос с ресурсами из N-best списка.

Процесс Б: Обновление набора запросов

1. Обновление группы запросов: Система обновляет группу тестовых запросов, добавляя новые и удаляя часть существующих.
2. Идентификация ресурсов для новых запросов: Система ищет ресурсы, соответствующие новым запросам, независимо от их discovery time.
3. Итерация по новым запросам: Для каждого нового запроса формируется N-best список лучших ресурсов на основе query-specific score.
4. Обновление маппинга: Маппинг обновляется для новых запросов.

Процесс В: Оценка двух стратегий индексации

1. Получение тестового запроса.
2. Идентификация ресурсов: Используя Query-to-Resource Mapping, система находит все ресурсы, соответствующие запросу.
3. Применение Стратегии 1:
   1. Для каждого ресурса вычисляется query-independent index selection score согласно эвристике Стратегии 1 (используя Index Selection Signals).
   2. Ресурс классифицируется как to-be-indexed, если оценка удовлетворяет критерию (например, порогу или попаданию в Top-N).
   3. Формируется Группа 1 из всех ресурсов, классифицированных как to-be-indexed.
4. Применение Стратегии 2: Аналогичный процесс для формирования Группы 2.
5. Сравнение стратегий: Система сравнивает Группу 1 и Группу 2. Это может включать:
   1. Оценка асессорами: Представление результатов поиска (SERP) для Группы 1 и Группы 2 (упорядоченных по query-specific score) асессорам в формате side-by-side и сбор их предпочтений.
   2. Live-эксперимент (A/B тест): Показ SERP Группы 1 одной части пользователей, а SERP Группы 2 — другой. Сравнение пользовательской оценки (например, CTR).
6. Выбор стратегии: Анализ агрегированных данных сравнения для выбора лучшей стратегии индексации.

Какие данные и как использует

Данные на входе

Патент фокусируется на инфраструктуре тестирования и упоминает следующие типы данных:

• Временные факторы: Discovery time ресурса (время сканирования) критически важно для идентификации fresh resources и инкрементного обновления.
• Поведенческие факторы:
  • Логи запросов (query logs) используются для выбора тестовых запросов.
  • Пользовательская оценка (user assessment), такая как click-through-rate (CTR), используется для сравнения эффективности различных стратегий индексации в ходе live-экспериментов.
• Данные асессоров: Отзывы (feedback) и предпочтения асессоров при сравнении side-by-side результатов.
• Index Selection Signals (Сигналы выбора индекса): Это ключевые данные для определения того, следует ли индексировать ресурс. Патент упоминает примеры:
  • Контентные/Внутренние: Количество слов в ресурсе, длина заголовка ресурса.
  • Внешние: Атрибуты, полученные из ресурсов, ссылающихся на данный ресурс (ссылочные факторы), атрибуты, полученные из поведения пользователей по отношению к ресурсу.

Какие метрики используются и как они считаются

• Query-Independent Index Selection Score: Вычисляется путем применения эвристики (тестируемой стратегии) к Index Selection Signals ресурса. Конкретные формулы не приводятся, так как система тестирует разные формулы.
• Query-Specific Score: Стандартная оценка ранжирования, получаемая от поисковой системы.
• Approximate Score: Вычисляется с помощью эвристики для аппроксимации query-specific score с меньшими затратами. Используется для предварительной фильтрации ресурсов перед полным скорингом.
• Click-Through-Rate (CTR): Используется для оценки стратегий в A/B тестах. Приведен пример расчета для отдельного результата поиска: