Как Google использует отношения Класс-Сущность для генерации специализированных поисковых подсказок (Query Specializations)

Термины и определения

Candidate Text Queries (Кандидатные текстовые запросы)

Набор потенциальных запросов (например, из логов поиска или документов), для которых система пытается сгенерировать специализации.

Class-Instance Pair (Пара Класс-Сущность)

Отношение между общим классом (Class Text) и конкретным экземпляром этого класса (Entity Text). Пример: (еда, пицца).

Class Text (Текст класса)

Наименование класса сущностей (например, «свойство», «еда»). Часто является именной группой (noun phrase).

Context (Контекст)

Слова, окружающие n-грамму в запросе. Состоит из Prefix Context (до) и Suffix Context (после). Используется для обеспечения релевантности замены класса на сущность.

Diversity Score (Оценка Разнообразия)

Метрика, основанная на количестве различных Extraction Patterns, с помощью которых была извлечена пара Класс-Сущность. Ключевой компонент расчета веса.

Entity Text / Instance (Текст Сущности / Экземпляр)

Наименование конкретного экземпляра класса (например, «пицца», «плотность»).

Extraction Patterns (Шаблоны Извлечения)

Предопределенные лингвистические шаблоны для извлечения пар Класс-Сущность из текста. Например, "[C] such as [I]" или "[C] including [I]".

Frequency Score (Оценка Частоты)

Метрика, основанная на частоте извлечения пары Класс-Сущность из корпуса документов.

Partial Query (Частичный запрос)

Текст, введенный пользователем в поле поиска до момента отправки запроса.

Query Completion (Завершение запроса)

Стандартная поисковая подсказка, которая дополняет текст, введенный пользователем (автозаполнение).

Query Specialization (Специализация запроса)

Модифицированная версия запроса, в которой текст класса заменен текстом экземпляра.

Query Whitelist (Белый список запросов)

Список допустимых запросов. Может использоваться для фильтрации, чтобы гарантировать, что сгенерированные специализации являются валидными и естественными запросами.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает офлайн-процесс генерации и хранения специализаций запросов.

1. Получение пар Class-Instance, извлеченных из документов с помощью Extraction Patterns.
2. Вычисление Weight (веса) для каждой пары. Ключевой момент: вес рассчитывается на основе Frequency Score (частота извлечения) и Diversity Score (количество уникальных паттернов, которые извлекли пару).
3. Получение набора Candidate Text Queries.
4. Генерация Query Specializations путем модификации исходного запроса: замена n-граммы (совпадающей с Class Text) на соответствующий Entity Text.
5. Процесс генерации включает:
   • Извлечение n-грамм и их Context (префикс и суффикс) из запроса.
   • Сравнение n-грамм с Class Text.
   • При совпадении генерация специализации с использованием Entity Text и исходного Context.
6. Сохранение данных, связывающих исходные запросы с их специализациями.

Claim 8 (Независимый пункт): Описывает онлайн-процесс использования сохраненных данных для предоставления подсказок.

1. Система хранит Specialization Data (сгенерированные и взвешенные, как описано выше).
2. Получение Partial Query от пользователя.
3. Получение Candidate Queries, которые являются Completions (завершениями) частичного запроса.
4. Идентификация Query Specializations, связанных с этими завершениями, в сохраненных данных.
5. Представление пользователю поисковых подсказок, включающих как завершения, так и специализации.

Claim 31 (Независимый пункт): Описывает конкретную техническую реализацию процесса генерации специализаций, оптимизированную для масштабирования (например, MapReduce).

Процесс извлечения и генерации включает:

1. Генерацию первого набора пар ключ-значение: Ключ=Контекст, Значение=N-грамма.
2. Генерацию второго набора: Ключ=Пара N-грамм с общим контекстом, Значение=Общий Контекст. (Это находит взаимозаменяемые термины).
3. Соединение (Join) второго набора с третьим набором (данные Класс-Сущность). Если взаимозаменяемая пара терминов также является парой Класс-Сущность, она используется для генерации специализаций.

Где и как применяется

Изобретение охватывает несколько этапов поисковой архитектуры, фокусируясь на извлечении знаний и понимании запросов.

INDEXING – Индексирование и извлечение признаков
На этом этапе система анализирует корпус документов. Extraction Patterns применяются к тексту для извлечения сырых данных Class-Instance Pairs. Это фундаментальный процесс извлечения семантических отношений из неструктурированного текста (построение базы знаний/Knowledge Graph).

QUNDERSTANDING – Понимание Запросов
Основная часть изобретения реализуется здесь в двух режимах:

• Офлайн-обработка:
  • Обработка данных Класс-Сущность: Вычисление Frequency Score, Diversity Score и итогового Weight.
  • Анализ запросов: Обработка Candidate Text Queries.
  • Генерация специализаций: Масштабируемый процесс для сопоставления пар Класс-Сущность с запросами и генерации Query Specializations. Сохранение в Specialization Data Store.
• Онлайн (Real-time): Query Suggestion Module (Autocomplete) работает при вводе запроса пользователем. Он ищет стандартные Query Completions и запрашивает Specialization Data Store для поиска связанных специализаций. Затем происходит ранжирование и смешивание подсказок.

Входные данные:

• Офлайн: Корпус документов, Extraction Patterns, Логи запросов.
• Онлайн: Partial Query пользователя.

Выходные данные:

• Офлайн: Взвешенные пары Класс-Сущность, Specialization Data.
• Онлайн: Список поисковых подсказок (Query Suggestions).

На что влияет

• Специфические запросы: Наибольшее влияние на информационные и исследовательские запросы, где пользователи ищут детализацию (например, "свойства материала", "виды животных", "функции продукта").
• Типы контента: Влияет на видимость контента, который подробно описывает конкретные экземпляры (сущности) в рамках более широкого класса.
• Ниши и тематики: Влияние сильнее в тематиках с четко выраженной иерархией (наука, технологии, продукты, медицина).

Когда применяется

• Офлайн-процесс: Выполняется периодически для обновления базы данных Класс-Сущность и генерации новых специализаций.
• Онлайн-процесс: Активируется в реальном времени при вводе текста пользователем в строку поиска.
• Условия применения: Специализация предлагается, если: 1) Для частичного запроса найдено завершение; 2) Для этого завершения существует предварительно вычисленная специализация; 3) Специализация соответствует критериям качества (вес пары) и валидности (например, Query Whitelist).

Пошаговый алгоритм

Фаза А: Офлайн - Извлечение и Взвешивание пар Класс-Сущность

1. Применение паттернов: Система применяет предопределенные Extraction Patterns (например, "C, такие как I") к корпусу документов.
2. Извлечение и Нормализация: Извлечение сырых пар Класс-Сущность (C, I) и приведение их к стандартной форме.
3. Определение веса: Для каждой уникальной пары вычисляется вес.
   • Рассчитывается Frequency Score (Freq(C, I)) — частота извлечения.
   • Рассчитывается Diversity Score (Size({Pattern(C, I)})) — количество уникальных паттернов.
   • Вес вычисляется как функция от этих двух метрик. Пример формулы из патента: $Weight(C,I) = Size(\{Pattern(C,I)\})^2 \times Freq(C,I)$.
4. Хранение: Взвешенные пары сохраняются.

Фаза Б: Офлайн - Генерация Специализаций Запросов

1. Получение входных данных: Система получает Candidate Text Queries и взвешенные пары Класс-Сущность.
2. Извлечение контекста: Для каждого запроса извлекаются все n-граммы и их контексты (префикс/суффикс).
3. Фильтрация: Удаляются n-граммы, которые не встречаются в данных Класс-Сущность.
4. Идентификация общего контекста: Определяются пары n-грамм, которые встречаются в одинаковом контексте (масштабируемый процесс, например, MapReduce).
5. Сопоставление (Join): Система соединяет пары n-грамм с общим контекстом и данные Класс-Сущность. Это позволяет найти ситуации, где Класс и Сущность взаимозаменяемы в рамках одного контекста запроса.
6. Генерация и Фильтрация: Если Класс и Сущность взаимозаменяемы в Контексте, то "Контекст+Сущность" идентифицируется как специализация для "Контекст+Класс". Опционально проверяется наличие специализации в Query Whitelist.
7. Хранение: Сохранение связи между исходным запросом и его специализациями (включая вес пары).

Фаза В: Онлайн - Обслуживание Подсказок

1. Получение частичного запроса: Система получает ввод пользователя в реальном времени.
2. Получение завершений: Идентифицируются стандартные Query Completions (Q).
3. Идентификация специализаций: Система извлекает связанные Query Specializations из Specialization Data Store.
4. Ранжирование и Упорядочивание: Определяется порядок представления подсказок. Ранжирование специализаций может использовать вес завершения (F(Q)) и вес пары Класс-Сущность (W). Патент предлагает несколько методов, включая интерполяцию $score = V \times F(Q) + (1-V) \times W$ или Reciprocal Rank Fusion $score = \frac{1}{rank_Q} + \frac{1}{rank_{ISA}}$.
5. Представление: Список подсказок (завершения и специализации) отправляется пользователю.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст веб-документов является основным источником для извлечения пар Класс-Сущность. Система использует лингвистические паттерны (Extraction Patterns) для анализа структуры предложений.
• Структурные факторы: Упоминается использование разметки частей речи (parts-of-speech tags) для идентификации Class Text как именной группы (noun phrase).
• Поведенческие факторы: Query log data используется для определения Candidate Text Queries и для формирования Query Whitelist.

Какие метрики используются и как они считаются

Ключевые метрики связаны с оценкой качества пар Класс-Сущность и ранжированием подсказок.

Оценка пар Класс-Сущность (C, I):

• Frequency Score (Freq(C, I)): Основана на количестве раз, когда пара была извлечена. Может быть общим числом извлечений или количеством уникальных фраз, из которых пара была извлечена.
• Diversity Score (Size({Pattern(C, I)})): Основана на количестве различных паттернов извлечения, которые привели к нахождению этой пары.
• Weight(C,I) (Вес пары): Комбинированная оценка силы связи. Пример формулы из патента подчеркивает важность разнообразия (квадратичная зависимость): $Weight(C,I) = Size(\{Pattern(C,I)\})^2 \times Freq(C,I)$.

Ранжирование подсказок (Онлайн):

• Query Completion Weight (F(Q)): Стандартная оценка качества или вероятности завершения запроса.
• Query Specialization Score: Комбинация веса завершения (F(Q)) и веса пары Класс-Сущность (W). Патент предлагает несколько методов, включая линейную интерполяцию и Reciprocal Rank Fusion.

1. Автоматизированное извлечение иерархий сущностей: Google активно использует автоматизированные методы (здесь — лингвистические паттерны) для извлечения отношений "is-a" (Класс-Сущность) из неструктурированного текста. Это фундаментальный процесс для построения базы знаний.
2. Критическая важность Diversity Score: Сила связи Класс-Сущность (Weight) сильно зависит от Diversity Score (в примере формулы — квадратичная зависимость). Система больше доверяет связям, которые подтверждаются разнообразными лингвистическими конструкциями, а не только частым повторением одной и той же фразы.
3. Активное управление интентом пользователя: Система подсказок спроектирована так, чтобы активно направлять поисковый путь пользователя от общих запросов (Классы) к более сфокусированным темам (Сущности/Специализации).
4. Валидация через контекст и поведение пользователей: Система не просто заменяет классы сущностями. Она проверяет, что класс и сущность взаимозаменяемы в одном и том же Context запроса, и может фильтровать результаты по Query Whitelist (реальные запросы пользователей).
5. Масштабируемость процесса: Описанная реализация (включая методы, подобные MapReduce) подчеркивает, что этот процесс применяется в масштабах всего веба и всех логов запросов.

Best practices (это мы делаем)

• Использование четких лингвистических паттернов (Extraction Patterns): Структурируйте контент так, чтобы явно указывать на отношения Класс-Сущность. Используйте естественные паттерны, которые система ищет: "такие как", "включая", "например". Пример: "Основные функции SEO-платформы (Класс), такие как аудит сайта и анализ конкурентов (Сущности)."
• Максимизация Diversity Score: Поскольку разнообразие паттернов критично для веса связи, используйте различные способы описания одной и той же иерархии в вашем контенте. Не полагайтесь на один шаблон. Разнообразие формулировок повышает уверенность системы в извлеченных данных.
• Построение семантической иерархии (Topical Authority): Создавайте контент, охватывающий как уровень Класса (например, "Типы маркетинговых стратегий"), так и уровень Сущности (например, "Контент-маркетинг", "SEO"). Четкая связь между ними помогает Google извлекать отношения.
• Анализ специализаций в Autocomplete: Регулярно отслеживайте поисковые подсказки. Если Google предлагает специализации (например, по запросу "кроссовки Nike функции" предлагает "кроссовки Nike амортизация"), это указывает на то, какие сущности имеют наибольший вес. Обеспечьте полное покрытие этих тем в вашем контенте.
• Обеспечение консистентности контекста: Убедитесь, что вы используете классы и их экземпляры в схожих контекстах. Если вы пишете о «побочных эффектах лекарств» (класс), используйте тот же контекст, когда пишете о «побочных эффектах ибупрофена» (сущность).

Worst practices (это делать не надо)

• Неестественное использование шаблонов (Pattern Stuffing): Попытки манипулировать извлечением пар путем спама шаблонами. Это может выглядеть неестественно и неэффективно, так как система ценит разнообразие (Diversity), а не только частоту (Frequency).
• Изолированный контент о сущностях: Создание страниц о конкретных сущностях без четкой привязки к их родительским категориям (Классам). Это затрудняет установление семантических связей.
• Игнорирование детализации: Фокусировка только на широких ключевых словах (Классах) и пренебрежение конкретными сущностями, которые Google стремится предложить через специализации.

Стратегическое значение

Патент подтверждает стратегическую важность Entity SEO и четких семантических отношений. Это не просто о включении ключевых слов, а о том, как концепции связаны между собой (иерархии, таксономии). SEO-стратегии должны быть направлены на то, чтобы контент четко определял эти отношения, помогая поисковой системе строить свой граф знаний и максимизируя видимость сайта на этапе формирования запроса пользователем.

Практические примеры

Сценарий: Оптимизация сайта по ремонту техники для улучшения извлечения отношений

1. Анализ: Сайт хочет установить сильную связь между Классом ("проблемы iPhone") и Сущностями ("не работает экран", "быстро разряжается батарея").
2. Действие (Увеличение Diversity Score): Создать авторитетный гайд, используя разнообразные паттерны извлечения:
   • "Распространенные проблемы iPhone (Класс), включая (Паттерн 1) неработающий экран и быструю разрядку батареи (Сущности)."
   • "К основным неисправностям iPhone (Класс) относятся (Паттерн 2) сбои камеры (Сущность)."
   • "Такие проблемы iPhone (Класс), как (Паттерн 3) отказ Face ID (Сущность)..."
3. Ожидаемый результат: Google извлекает эти пары. За счет использования разных шаблонов (высокий Diversity Score) пары получают высокий Weight. Система с большей вероятностью будет использовать их для генерации специализаций в подсказках по запросу "проблемы iPhone".