Как Google определяет запросы, требующие свежего контента (QDF), анализируя темпы создания документов в интернете

Термины и определения

Best-fit step function (Аппроксимирующая ступенчатая функция наилучшего соответствия)

Математическая функция, используемая для моделирования временной шкалы документов. Она аппроксимирует данные гистограммы и помогает выявить изменения в скорости генерации контента. Часто используется монотонно возрастающая функция (monotonically increasing step function).

Epoch (Эпоха)

Период времени, характеризующийся определенной скоростью генерации контента, определенный ступенчатой функцией.

Event (Событие)

Момент времени (дата), когда происходит значительное изменение скорости генерации контента (резкий подъем ступени в best-fit step function). Часто соответствует реальному событию (например, выход нового продукта).

Fresh-seeking query (Запрос, ориентированный на свежесть)

Поисковый запрос, по которому пользователь с высокой вероятностью ищет информацию, связанную с недавними событиями, а не статическую информацию.

Histogram (Гистограмма)

Реализация Timeline of documents. Представление распределения документов во времени. Ось X — время (bins), ось Y — агрегированное значение (например, сумма relevance scores) за этот период.

Relevance Score (Оценка релевантности)

Числовое значение, отражающее меру релевантности документа поисковому запросу. В контексте патента различаются исходные (initial) и модифицированные (modified) оценки.

Timeline of documents (Временная шкала документов)

Представление набора документов, отсортированных по их временным меткам (timestamps).

Timestamp (Временная метка)

Дата, ассоциированная с документом. Может быть датой первой индексации, датой создания/публикации, датой, извлеченной из метаданных или контента.

Vote (Голос)

Вклад документа в значение бина гистограммы. Часто равен Relevance Score документа, возможно, с ограничениями для предотвращения перекосов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс анализа и модификации результатов поиска на основе темпоральных данных.

1. Система получает поисковый запрос.
2. Идентифицируется набор релевантных документов, каждый из которых имеет timestamp и relevance score.
3. Документы сортируются по timestamps для создания timeline of documents.
4. Определяется best-fit step function для этой временной шкалы. Функция определяется путем усреднения значений временной шкалы и включает значения, соответствующие датам с увеличением количества релевантных документов.
5. На основе best-fit step function идентифицируется как минимум одно event (событие).
6. На основе события определяется тип запроса (например, fresh-seeking). Это включает сравнение информации, связанной с конкретным значением (ступени) функции, с другими значениями, и проверку соответствия порогу.
7. Relevance scores документов модифицируются на основе определенного типа запроса и идентифицированного события.
8. Результаты передаются клиенту на основе модифицированных оценок.

Claim 3 и 4 (Зависимые): Уточняют, что сортировка документов подразумевает их организацию в гистограмму (histogram), и best-fit step function подбирается именно к этой гистограмме.

Claim 5 (Зависимый): Детализирует определение типа запроса и условие модификации.

Определение типа запроса включает определение того, является ли запрос fresh-seeking, на основе вариативности (variability) best-fit step function. Модификация оценок происходит только в том случае, если запрос определен как fresh-seeking.

Claim 6 и 7 (Зависимые): Описывают методы модификации оценок.

Модификация может включать уменьшение (Claim 6) relevance scores для документов с timestamps до даты наступления события или увеличение (Claim 7) relevance scores для документов с timestamps после даты наступления события.

Где и как применяется

Изобретение применяется на финальных этапах обработки поискового запроса, используя данные, собранные на этапе индексирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе система извлекает и сохраняет Timestamp для каждого документа. Это критически важные входные данные для алгоритма.

RANKING – Ранжирование
Система генерирует первоначальный набор релевантных документов и вычисляет их исходные Relevance Scores (L1-L3 ранжирование).

RERANKING – Переранжирование (Twiddlers)
Основной этап применения патента (алгоритм типа QDF). Система получает результаты этапа RANKING и выполняет следующие действия:

1. Темпоральный анализ: Строится Timeline of documents (гистограмма) и вычисляется Best-fit step function.
2. Классификация запроса: Определяется, является ли запрос Fresh-seeking, и идентифицируются ключевые Events (даты).
3. Корректировка оценок: Если запрос Fresh-seeking, Relevance Scores модифицируются для повышения свежих документов, связанных с событием.

Примечание: Анализ может выполняться в реальном времени или офлайн с кэшированием результатов для популярных запросов.

Входные данные:

• Поисковый запрос.
• Набор релевантных документов.
• Initial Relevance Scores для каждого документа.
• Timestamps для каждого документа.

Выходные данные:

• Набор документов с Modified Relevance Scores.
• Индикация того, является ли запрос Fresh-seeking.
• Даты ключевых событий (Event Dates).

На что влияет

• Специфические запросы: Наибольшее влияние на информационные и коммерческие запросы, связанные с трендами, новостями, запусками продуктов, регулярными мероприятиями (конференции, выборы) или внезапными событиями. Минимальное влияние на запросы по вечнозеленым темам.
• Конкретные ниши или тематики: Технологии, развлечения (кино, игры), спорт, политика, финансы, а также YMYL-тематики, где своевременность информации критична.
• Типы контента: Патент явно упоминает применение к поиску изображений (image search), но подчеркивает, что технология применима к любым типам документов, включая новостные статьи, блоги, посты в социальных сетях, страницы товаров.

Когда применяется

Алгоритм анализа применяется потенциально ко всем запросам для определения их типа, но модификация ранжирования активируется только при определенных условиях.

• Триггер активации модификации: Запрос должен быть классифицирован как Fresh-seeking query.
• Условия классификации: Классификация происходит, если Best-fit step function демонстрирует высокую вариативность. Например, если площадь самой большой ступени превышает пороговое значение (в патенте упоминается пример 40%) от общей площади под функцией. Это указывает на то, что произошло значимое событие, изменившее темпы генерации контента.

Пошаговый алгоритм

Процесс анализа темпоральных характеристик и модификации ранжирования.

1. Получение запроса и первичных данных: Система получает запрос и идентифицирует начальный набор релевантных документов (например, Топ-1000) с их Relevance Scores и Timestamps.
2. Генерация гистограммы (Timeline): Документы сортируются по Timestamps. Создается гистограмма, где каждый бин соответствует периоду времени (например, дню). Значение бина вычисляется как сумма Votes (Relevance Scores) документов в этом периоде. Могут применяться ограничения на максимальный Vote документа для сглаживания.
3. Расчет Best-Fit Step Function: К гистограмме применяется алгоритм для нахождения аппроксимирующей ступенчатой функции (например, монотонно возрастающей). Это достигается путем итеративного усреднения соседних значений, пока все значения не будут упорядочены по возрастанию.
4. Анализ функции и идентификация событий (Epochs): Система анализирует ступени функции. Каждая ступень определяет начало новой эпохи (Epoch) с новой скоростью генерации контента.
5. Определение типа запроса (Fresh-seeking): Система оценивает вариативность функции. Рассчитывается площадь прямоугольников, образованных ступенями. Если площадь самой большой ступени (или недавней ступени) превышает порог по сравнению с общей площадью или предыдущей ступенью, запрос классифицируется как Fresh-seeking.
6. Проверка условия модификации:
   • Если НЕ Fresh-seeking: Используются исходные Relevance Scores.
   • Если Fresh-seeking: Перейти к шагу 7.
7. Определение дат событий (Partitioning): Система определяет дату(ы) для разделения контента на "свежий" и "устаревший". Обычно это дата начала эпохи, соответствующей самой значимой недавней ступени.
8. Модификация Relevance Scores: Оценки релевантности корректируются. Например:
   • Оценки документов до даты события уменьшаются (например, умножаются на коэффициент < 1).
   • Оценки документов после даты события увеличиваются или остаются неизменными.
   Коэффициент может рассчитываться как отношение средней скорости генерации контента до события к скорости после события.
9. Финальное ранжирование и выдача: Документы сортируются на основе Modified Relevance Scores и предоставляются пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании темпоральных и базовых оценочных данных. Контентные, ссылочные или поведенческие факторы напрямую не упоминаются, но они используются для расчета исходных Relevance Scores.

• Временные факторы (Ключевые): Timestamps документов. Это основа всего анализа. Патент упоминает различные источники для Timestamp: дата первой индексации документа или содержащей его страницы, дата индексации дубликата, дата из имени файла, метаданных или окружающего текста.
• Системные данные: Исходные Relevance Scores. Они используются для взвешивания (Votes) при построении гистограммы и как основа для модификации.

Какие метрики используются и как они считаются

• Vote (Голос документа): Вклад документа в гистограмму. Обычно равен Relevance Score. Может быть ограничен (например, не более чем у документа на X-й позиции) для предотвращения перекоса от супер-релевантных документов.
• Bin Value (Значение бина гистограммы): Сумма Votes документов, попадающих в данный временной интервал.
• Generation Rate (Скорость генерации контента): Моделируется высотой ступеней в Best-fit step function.
• Variability of Step Function (Вариативность функции): Метрика для определения Fresh-seeking статуса. Рассчитывается путем сравнения площадей ступеней. Например,