Как Google определяет ключевые аспекты (фасеты) сущности для организации и диверсификации поисковой выдачи

Термины и определения

Aspect (Аспект)

Ось информации (axis of information), по которой можно получить дополнительные сведения о сущности. Текст, который называет эту ось (например, «погода» или «отели» для сущности «Гавайи»).

Aspect Class (Класс аспекта)

Категория, к которой принадлежит аспект. Используется для группировки. Например, аспекты «Нью-Йорк» и «Чикаго» принадлежат к классу «Города США».

Aspector

Компонент поисковой системы (упомянутый на схемах), отвечающий за генерацию, ранжирование и ассоциацию аспектов с сущностями.

Diversity Score (Оценка разнообразия)

Метрика, оценивающая, насколько неранжированный аспект отличается от уже ранжированных аспектов. Используется для обеспечения разнообразия финального набора.

Entity (Сущность)

Текст, который именует или идентифицирует объект (физический, концептуальный), обладающий свойствами.

Entity Class (Класс сущности)

Абстракция сущности (например, «шоколадный торт» принадлежит к классу «еда»). Используется для генерации аспектов для редких сущностей на основе данных о других членах этого класса (class members).

Mashup (Мэшап)

Формат представления поисковой выдачи, где результаты и информация для нескольких аспектов представлены на одном экране и организованы по этим аспектам.

Popularity Score (Оценка популярности)

Метрика, оценивающая важность или частоту использования аспекта. Рассчитывается на основе частоты его появления в логах запросов. Может также учитывать CTR и Dwell Time.

Query Refinement (Уточнение запроса)

Запрос, который пользователь вводит после исходного запроса о сущности в рамках одной сессии. Например, «компьютер» -> «ноутбук».

Query Super-string (Суперстрока запроса)

Запрос в логах, который включает в себя текст другого запроса. Например, «Вьетнам тур пакет» является суперстрокой для «Вьетнам тур».

Similarity Score (Оценка схожести)

Численная оценка схожести между двумя аспектами. Рассчитывается путем сравнения наборов результатов поиска (SERP), соответствующих этим аспектам.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный цикл обработки запроса с использованием аспектов.

1. Система получает запрос, включающий сущность, и парсит его для извлечения сущности.
2. Генерируется группа кандидатов в аспекты.
3. Для пар кандидатов рассчитывается Similarity Score. Ключевой момент: расчет основан на идентификации и сравнении наборов поисковых результатов для соответствующих запросов кандидатов.
4. Группа модифицируется: (i) схожие кандидаты объединяются (combining на основе Similarity Score), (ii) кандидаты группируются (grouping) с использованием Aspect Classes.
5. Модифицированные кандидаты ранжируются на основе Diversity Score и Popularity Score (основанного на частоте появления).
6. Один или несколько топовых аспектов ассоциируются с сущностью.
7. Система получает наборы результатов поиска, специфичные для каждого из ассоциированных аспектов.
8. Система предоставляет презентацию результатов, организованную в соответствии с ассоциированными аспектами.

Claim 6 (Независимый пункт): Описывает офлайн-процесс генерации и хранения аспектов (аналогичен шагам генерации, модификации и ранжирования из Claim 1, но с фокусом на сохранении ассоциации в хранилище данных, а не на обработке живого запроса).

Claim 10 и 11 (Зависимые от 6): Детализируют генерацию кандидатов.

Сущность ассоциируется с классом. Кандидаты генерируются как для самой сущности, так и для ее класса. Источником являются истории поисковых запросов (user search histories) как для сущности, так и для других членов класса.

Claim 12 и 13 (Зависимые от 6): Детализируют расчет Similarity Score.

Схожесть рассчитывается на основе сравнения наборов результатов поиска. Сравнение может включать анализ путей (URL) или заголовков и сниппетов результатов.

Claim 16 (Зависимый от 6): Детализирует алгоритм ранжирования, направленный на максимизацию разнообразия.

1. Рассчитывается Popularity Score для каждого аспекта.
2. Аспект с наивысшей популярностью получает наивысший ранг.
3. Остальные аспекты ранжируются итеративно:
   • Рассчитывается Similarity Score (мера сходства с уже ранжированными аспектами) для каждого неранжированного аспекта.
   • Следующий наивысший ранг присваивается аспекту, у которого отношение популярности к схожести (Popularity Score / Similarity Score) является наивысшим.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, преимущественно в офлайн-обработке для подготовки данных и на финальных этапах для структурирования выдачи.

INDEXING / QUNDERSTANDING (Офлайн-процессы)
Основная часть работы алгоритма (генерация и ранжирование аспектов) происходит здесь в режиме офлайн-обработки компонентом Aspector:

• Анализ логов запросов (User Search Histories) для идентификации Query Refinements и Query Super-strings.
• Анализ баз знаний (Knowledge Bases) для идентификации сущностей, классов и признаков.
• Расчет Similarity Scores (требует доступа к индексу), Popularity Scores.
• Кластеризация, группировка и ранжирование аспектов.
• Сохранение финальных ассоциаций [Сущность -> Аспекты] в базе данных.

QUNDERSTANDING (Онлайн)
Во время выполнения запроса система идентифицирует сущность в запросе и извлекает связанные с ней предварительно рассчитанные аспекты.

RANKING / METASEARCH (Онлайн)
Система может инициировать несколько параллельных поисков по [Сущность + Аспект] для каждого из топовых аспектов (мультиплексирование поиска).

METASEARCH / RERANKING (Онлайн)
Финальный этап, где происходит структурирование SERP. Система организует полученные результаты поиска в соответствии с идентифицированными аспектами, формируя Mashup или фасетную презентацию.

На что влияет

• Специфические запросы: Наибольшее влияние на информационные и исследовательские запросы, где пользователь вводит название сущности для изучения темы (например, [Hawaii], [Dyson V15], [Albert Einstein]).
• Конкретные ниши: Продукты, локации (путешествия), персоны, организации, медиа (фильмы, книги) — ниши с четко определенными сущностями, имеющими множество фасетов.
• Структура SERP: Влияет на формирование связанных запросов, блоков PAA и любых элементов интерфейса, предлагающих фасетную навигацию или исследование подтем.

Когда применяется

• Триггеры активации: Когда в запросе идентифицирована сущность, для которой система предварительно рассчитала набор высокоранжированных аспектов.
• Условия работы: Применяется, когда интент запроса предполагает исследование (exploratory search), а не поиск конкретного факта или навигацию.

Пошаговый алгоритм

Процесс А: Офлайн-генерация и ранжирование аспектов (Aspector)

1. Получение Сущности и Класса: Система выбирает сущность и определяет ее класс (Entity Class).
2. Генерация Кандидатов:
   • Анализ логов запросов для поиска Query Refinements и Query Super-strings, связанных с сущностью.
   • Генерация аспектов на основе данных о других членах Entity Class (для борьбы с нехваткой данных).
   • Извлечение признаков из баз знаний.
3. Модификация Кандидатов (Объединение/Clustering):
   • Расчет Similarity Scores между всеми парами аспектов.
     • Получение Топ-N результатов поиска для каждого аспекта.
     • Создание TF-IDF векторов для заголовков/сниппетов результатов.
     • Расчет косинусной близости между векторами.
     • Агрегация схожести на уровне наборов результатов.
   • Применение алгоритма кластеризации (например, graph partition) для объединения высоко схожих аспектов.
4. Модификация Кандидатов (Группировка/Grouping):
   • Идентификация Aspect Classes и группировка аспектов, принадлежащих к одному классу (с учетом обработки неоднозначности).
5. Ранжирование Кандидатов:
   • Расчет Popularity Score для каждого аспекта (на основе частоты в логах).
   • Выбор аспекта с максимальной популярностью в качестве первого.
   • Итеративный выбор следующих аспектов: выбор аспекта с максимальным отношением Popularity/Similarity (где Similarity — это схожесть с уже выбранными аспектами).
6. Сохранение: Ассоциация топовых K аспектов с сущностью сохраняется в базе данных.

Процесс Б: Обработка запроса и презентация (Онлайн)

1. Получение Запроса и Идентификация Сущности.
2. Извлечение Аспектов: Извлекаются ассоциированные с сущностью топовые аспекты (из Процесса А).
3. Получение Результатов: Система получает наборы результатов поиска (например, для комбинаций [Сущность + Аспект]).
4. Презентация (Mashup): Результаты представляются пользователю в организованном виде, где каждый блок соответствует определенному аспекту.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (User Behavior): Логи запросов (user search histories) — критически важный источник. Используются для идентификации Query Refinements и Query Super-strings, а также для расчета Popularity Scores. Упоминается возможность использования CTR и Dwell Time.
• Структурные факторы (Knowledge Bases): Базы знаний (упомянуты Wikipedia, Freebase) используются для определения Entity Classes и Aspect Classes, а также как прямой источник аспектов.
• Контентные факторы (Search Results Content): Заголовки (titles) и сниппеты (snippets) результатов поиска используются для расчета Similarity Scores между аспектами.
• Технические факторы (URLs/Paths): Пути или веб-адреса результатов поиска также могут использоваться для расчета схожести.

Какие метрики используются и как они считаются

1. Popularity Score (Оценка популярности):

Рассчитывается на основе частоты (fq) в логах запросов. Например, для Query Refinement ($q_j$) запроса ($q$):

$p_r(q_j|q) = \frac{fq(q_j)}{\sum_j fq(q_j)}$∣q)=j∑​fq(qj​)fq(qj​)​

2. Similarity Score (Оценка схожести): Рассчитывается между двумя аспектами путем сравнения их наборов результатов поиска ($D_i$ и $D_j$). Используются TF-IDF векторы (X, Y) для контента результатов. Схожесть между двумя результатами ($d_i, d_j$) рассчитывается как косинусное расстояние: