Как Google ранжирует результаты для контекстного (неявного) поиска на основе форматирования контента и поведения пользователя

Термины и определения

Article (Статья/Документ)

Любой контент, с которым взаимодействует пользователь или который найден в поиске: документ word processor, e-mail, веб-страница, PDF и т.д.

Characteristics (Характеристики)

Атрибуты или метаданные контента в исходном документе, с которым взаимодействует пользователь. Включают форматирование (bolding, highlighting, italicizing, font color, heading data), капитализацию (capitalization data) и числовые данные (number data).

Data Stream (Поток данных)

Источник для извлечения ключевых слов из контекста пользователя (например, последние 10 введенных слов, текст вокруг курсора, выделенный текст, буфер обмена, весь документ).

Event (Событие)

Взаимодействие пользователя с документом на клиентском устройстве (например, ввод текста, перемещение курсора), которое фиксируется системой для определения контекста.

Implicit Query (Неявный запрос)

Поисковый запрос, сгенерированный системой автоматически на основе текущего контекста пользователя, без явного ввода запроса пользователем.

Preference Data (Данные о предпочтениях)

Данные, указывающие на интересы пользователя. Включают click-through data (историю кликов по результатам неявного поиска) и предпочтения по типам файлов (например, предпочтение HTML перед PDF).

TF (Term Frequency) и DF (Document Frequency)

Частота термина в документе и частота документа в коллекции. Используются для расчета TF-IDF.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования результатов неявного поиска.

1. Система получает Event о текущем контексте пользователя, включающее взаимодействие с контентом, хранящимся локально на клиентском устройстве.
2. Анализируется контент, связанный с событием, для извлечения ключевых слов И идентификации Characteristics этого контента. В качестве примера приводится highlighting (выделение).
3. Генерируется Implicit Query.
4. Выполняется поиск и определяется набор результатов.
5. Происходит ранжирование результатов. Ранжирование основано, по крайней мере частично, на идентифицированных Characteristics исходного контента (т.е. на форматировании текста в источнике).

Claim 5, 27-29 (Зависимые): Уточняют типы характеристик форматирования, используемых при ранжировании: bolding (жирный шрифт), italicizing (курсив), font color (цвет шрифта) и heading data (данные заголовка).

Claim 6-8 (Зависимые): Описывают использование статистического анализа текста (TF и DF) для ранжирования. Claim 7 определяет, что ранг пропорционален $log(TF+A)$ и обратно пропорционален $log(DF+B)$ (где A и B — константы).

Claim 2-4 (Зависимые): Описывают использование Preference Data для ранжирования. Предпочтения определяются на основе click-through data и предпочтений типа файлов (file type).

Claim 12 (Зависимый): Указывает, что capitalization data (капитализация) также является характеристикой, используемой для ранжирования.

Claim 14 (Зависимый): Ранжирование основывается на количестве наборов результатов, в которых появляется данный результат. Если система генерирует несколько запросов из разных Data Streams, результаты, найденные по нескольким запросам, повышаются.

Где и как применяется

Изобретение применяется в системах неявного (контекстного) поиска, таких как персональные ассистенты, системы проактивной доставки контента (например, Google Discover) или функции локального поиска (например, Google Desktop Search).

QUNDERSTANDING – Понимание Запросов (Неявное)
Система постоянно анализирует контекст пользователя (Data Streams и Events), чтобы определить момент и содержание для генерации Implicit Query. Это происходит в реальном времени и заменяет традиционный ввод запроса.

RANKING – Ранжирование (Неявное)
Основное применение патента. После выполнения поиска по неявному запросу система применяет описанные методы для сортировки результатов. Это включает анализ того, как ключевые слова были представлены в исходном контексте (форматирование, капитализация), расчет TF-IDF оценок и учет предпочтений пользователя.

RERANKING – Переранжирование
Система может корректировать ранжирование на основе поведения пользователя (click-through data). Если пользователь часто кликает на определенные типы результатов, эти результаты повышаются (персонализация).

Входные данные:

• События (Events) взаимодействия пользователя с контентом.
• Содержимое Data Streams (текст вокруг курсора, буфер обмена, весь документ).
• Характеристики контента (форматирование, капитализация).
• История кликов пользователя (Preference Data).

Выходные данные:

• Отранжированный список идентификаторов документов, релевантных текущему контексту.

На что влияет

• Типы контента и форматы: Влияет на ранжирование любого контента, доступного системе неявного поиска (локальные файлы, веб-результаты). Система явно учитывает форматирование (жирный шрифт, заголовки) и предпочтения пользователя по типам файлов.
• Специфические запросы: Применяется только к автоматически сгенерированным (неявным) запросам.

Когда применяется

• Условия работы: Алгоритм работает в реальном времени, когда пользователь взаимодействует с контентом на своем устройстве.
• Триггеры активации: Изменение контекста пользователя (Event) — например, ввод нового текста, выделение фрагмента, копирование в буфер обмена, просмотр нового документа.

Пошаговый алгоритм

1. Получение события (Receive Event): Система фиксирует взаимодействие пользователя с контентом (Event).
2. Извлечение ключевых слов и характеристик: Система анализирует Data Streams (например, последние введенные слова И весь документ). Извлекаются ключевые слова. Одновременно идентифицируются Characteristics этих слов в исходном контексте (жирность, курсив, заголовок, капитализация).
3. Генерация поискового запроса (Generate Search Query): Формируется один или несколько неявных запросов.
4. Выполнение поиска: Запрос отправляется поисковому движку (локальному или удаленному).
5. Ранжирование идентификаторов (Rank Article Identifiers): Система рассчитывает оценку ранжирования для каждого результата, используя комбинацию факторов:
   • Характеристики источника: Повышение результатов, если ключевые слова имели особое форматирование или капитализацию в исходном контексте.
   • Статистический анализ: Расчет оценок на основе TF и DF, например, по формуле $Log(TF+A)/log(DF+B)$