Как Google использует статистическую вероятность для разбиения запросов на значимые фразы (Фразификация)

Описание

Какую задачу решает

Патент решает проблему неоднозначности интерпретации многословных поисковых запросов. Он устраняет ограничения традиционного поиска по отдельным словам (bag-of-words), который не учитывает, что слова в запросе часто образуют устойчивые концепции или сущности (например, разница между поиском по словам «new» и «york» и поиском по фразе «New York»). Изобретение улучшает понимание истинного намерения пользователя, позволяя поисковой системе идентифицировать концептуальный смысл запроса.

Что запатентовано

Запатентован метод определения наиболее вероятной интерпретации поискового запроса путем его разбиения на значимые фразы (Query Phrasification). Система генерирует все возможные комбинации слов запроса (candidate phrasifications) и оценивает их с использованием статистической модели. Эта модель учитывает вероятность того, что данная группа слов является реальной фразой, основываясь на предварительно рассчитанных данных из индекса.

Как это работает

Механизм работает следующим образом:

• Декомпозиция: Исходный запрос (Boolean Word Tree) анализируется и реструктурируется.
• Генерация Кандидатов: Генерируются все возможные варианты группировки слов в запросе в последовательности фраз (phrasifications).
• Оценка (Scoring): Каждая фразификация оценивается с помощью модели, которая учитывает вероятность существования каждой фразы в индексе (Probability of Occurrence), количество фраз в комбинации и параметры для настройки баланса между точностью (Precision) и полнотой (Recall).
• Выбор: Выбираются интерпретации с наивысшей оценкой, которые формируют Boolean Phrase Tree для последующего поиска.

Актуальность для SEO

Высокая. Понимание запросов и идентификация концепций и сущностей (Entities) являются фундаментальными задачами современного поиска. Хотя текущие системы Google (использующие BERT и MUM) применяют сложные нейросетевые подходы, описанный в патенте принцип статистической фразификации запросов на основе данных корпуса остается важным компонентом систем понимания языка (NLU) и обработки запросов.

Важность для SEO

Патент имеет высокое стратегическое значение (85/100). Он детально описывает механизм, с помощью которого Google предпочитает интерпретировать запросы как концепции или сущности, а не просто набор ключевых слов. Это напрямую влияет на исследование ключевых слов и оптимизацию контента, подчеркивая критическую важность использования распознаваемых, естественных фраз для обеспечения правильной интерпретации контента поисковой системой.

Детальный разбор

Термины и определения

Alpha (α) (Первый параметр)

Параметр в модели оценки фразификации. Используется для регулировки точности (precision). Более высокое значение α увеличивает точность и снижает полноту (recall).

Beta (β) (Второй параметр)

Параметр в модели оценки фразификации. Используется для регулировки смещения против получения слишком большого количества фраз. Меньшее значение β снижает полноту (recall).

Boolean Phrase Tree (Булево дерево фраз)

Результат процесса фразификации. Представляет выбранную интерпретацию запроса в виде фраз и операторов. Является входом для системы ранжирования.

Boolean Word Tree (Булево дерево слов)

Исходное представление запроса, включающее слова и операторы (AND, OR, NOT). Является входом для модуля фразификации.

Candidate Phrasification (Кандидат во фразификации)

Один из возможных вариантов разбиения слов исходного запроса на группы (фразы).

Confidence C(pi) (Уверенность во фразе / Confidence Level)

Метрика, отражающая уверенность системы в источнике фразы. Если фраза взята из исходного запроса, C=1. Если фраза добавлена из внешнего источника (например, синоним), C<1.

Probability of Occurrence P(pi) (Вероятность появления фразы)

Статистическая вероятность того, что данная последовательность слов является значимой фразой. Определяется на основе частоты ее появления в индексируемом корпусе документов.

Valid Phrase Table (Таблица валидных фраз / Phrase Data)

Предварительно рассчитанный список известных, значимых фраз, извлеченных из корпуса документов, вместе с их вероятностями P(pi).

Ключевые утверждения (Анализ Claims)

Патент US10152535B1 является патентом-продолжением (continuation) и его Claims сфокусированы исключительно на методе интерпретации запроса (Query Phrasification).

Claim 1 (Независимый пункт): Описывает основной метод фразификации запроса.

1. Система декомпозирует поисковый запрос (содержащий 3 и более слов) в несколько Candidate Phrasifications. Каждый кандидат представляет собой разную группировку слов запроса.
2. Система оценивает (скоринг) эти кандидаты с использованием модели оценки (scoring model).
3. Модель оценки базируется на:
   • Количестве составляющих фраз в кандидате (N).
   • Probability of Occurrence (P(pi)) каждой составляющей фразы (взятой из Valid Phrase Table).
   • Параметрах для настройки точности и полноты. Это включает первый параметр (Alpha) для настройки точности и второй параметр (Beta) для регулирования смещения против слишком большого количества фраз.
4. Система выбирает одну или несколько фразификаций с наивысшей оценкой.
5. Выбранная фразификация выполняется против индекса, который включает Phrase Posting Lists.

Ядром изобретения является использование статистической модели с настраиваемыми параметрами (Alpha и Beta) для выбора наилучшей семантической интерпретации запроса из всех возможных комбинаций фраз. Это математическая оптимизация для понимания концепций запроса.

Claim 3 (Зависимый): Уточняет, что система может генерировать дополнительные кандидаты, заменяя фразы на связанные (например, синонимы, как описано в Claim 2), и присваивать им уровень уверенности (Confidence Level). Фразы, которых не было в исходном запросе, получают более низкий уровень уверенности.

Система предпочитает точные слова пользователя, но может использовать синонимы. Однако интерпретации с синонимами будут оцениваться ниже, чем интерпретации с исходными терминами, при прочих равных условиях.

Где и как применяется

Изобретение применяется на этапе понимания запроса и использует данные, сформированные на этапе индексирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит извлечение фраз из корпуса документов и вычисление статистики их использования (Probability of Occurrence). Эти данные сохраняются в Valid Phrase Table (или Phrase Data) и используются позже модулем фразификации.

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Модуль фразификации (Query Decomposition Module на Front End Server) отвечает за интерпретацию входящего запроса. Он преобразует Boolean Word Tree в Boolean Phrase Tree.

RANKING – Ранжирование
Система ранжирования получает на вход Boolean Phrase Tree. Поиск кандидатов и их оценка происходят уже на основе фраз, идентифицированных на предыдущем этапе.

Входные данные:

• Исходный запрос пользователя в виде Boolean Word Tree.
• Valid Phrase Table со статистическими данными P(pi).
• Параметры настройки Alpha и Beta.

Выходные данные:

• Boolean Phrase Tree: Оптимизированное семантическое представление запроса.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на многословные запросы, которые могут быть интерпретированы по-разному. Особенно сильно влияет на запросы, содержащие именованные сущности (Named Entities), устоявшиеся выражения или технические термины.

Когда применяется

• Триггеры активации: Алгоритм применяется при обработке входящих поисковых запросов. В Claim 1 явно указано, что метод применяется к запросам, включающим «три или более слов».
• Исключения и особые случаи: В описании патента указано, что операторы (например, NOT) или явные кавычки в запросе действуют как «жесткие границы» (hard boundaries). Система не формирует фразы, пересекающие эти границы.

Пошаговый алгоритм

Процесс фразификации запроса (Query Phrasification):

1. Получение и реструктуризация запроса: Система получает запрос в виде Boolean Word Tree. Дерево реструктурируется и упрощается (например, приводится к дизъюнкции конъюнктов с использованием законов де Моргана).
2. Генерация кандидатов: Для каждого конъюнкта генерируются все возможные варианты разбиения слов на последовательные фразы (Candidate Phrasifications). Также могут генерироваться варианты с использованием синонимов.
3. Оценка кандидатов (Scoring): Каждая фразификация оценивается с использованием модели. В описании патента приводится пример логики оценки:

   S = f(N) * Product[ P(pi) * C(pi) ]

   Где f(N) – функция баланса, использующая Alpha и Beta (например, f(N) = (Beta/N)^Alpha).

   Оценка учитывает:

   • Вероятность P(pi) (из Valid Phrase Table).
   • Уверенность C(pi).
   • Количество фраз N.
   • Параметры Alpha и Beta.
4. Выбор наилучших интерпретаций: Выбирается подмножество фразификаций с наивысшими оценками S.
5. Формирование дерева фраз: Выбранные фразификации объединяются в итоговое Boolean Phrase Tree.

Какие данные и как использует

Данные на входе

• Контентные факторы (Индекса): Система критически зависит от предварительно вычисленных данных:
  • Таблица валидных фраз (Valid Phrase Table): Список фраз, идентифицированных как значимые в корпусе документов.
  • Статистика использования фраз: Данные для расчета Probability of Occurrence (P(pi)).
• Пользовательские факторы (Запроса):
  • Слова запроса и их порядок.
  • Структура запроса и операторы (Boolean Word Tree), включая кавычки, которые используются как жесткие границы.

Какие метрики используются и как они считаются

Ключевые метрики используются в функции оценки фразификации:

• Probability of Occurrence P(pi): Вероятность фразы. Может рассчитываться как отношение количества документов, содержащих фразу, к общему количеству документов в корпусе.
• Confidence C(pi): Уверенность во фразе. Определяется источником фразы (1 для исходного запроса, <1 для синонима).
• N (Количество фраз): Количество отдельных фраз в данной интерпретации запроса.
• Alpha (α): Настраиваемый параметр (>0) для регулирования точности. Повышение Alpha увеличивает предпочтение более точным фразам, снижая полноту.
• Beta (β): Настраиваемый параметр (0<β<1) для регулирования смещения против интерпретаций с большим количеством коротких фраз. Снижение Beta уменьшает полноту.
• S (Score): Итоговая оценка фразификации, рассчитываемая по формуле, агрегирующей вышеуказанные метрики.

Выводы

1. Приоритет концепций над словами: Google активно стремится интерпретировать запросы как набор концепций или сущностей (фраз), а не как набор изолированных слов. Система ищет наиболее вероятный смысл запроса.
2. Статистическая основа интерпретации: Выбор того, какие слова образуют фразу, основан на статистических данных (Probability of Occurrence), собранных при индексировании корпуса. Если комбинация слов часто встречается в вебе как фраза, Google с большей вероятностью будет считать ее фразой и в запросе.
3. Настраиваемый баланс Точности/Полноты: Система имеет «регуляторы» (параметры Alpha и Beta) для настройки баланса между точностью (Precision) и полнотой (Recall). Это позволяет Google изменять поведение системы: предпочитать ли более длинные и точные фразы или более короткие и частые.
4. Обработка синонимов с пессимизацией: Система может включать синонимы в процесс интерпретации, но они получают пессимизацию (Confidence < 1) по сравнению с исходными словами запроса.
5. Важность распознавания сущностей: Для SEO критически важно, чтобы ключевые концепции и сущности, связанные с сайтом, были распознаны Google как валидные фразы (попали в Valid Phrase Table) с высокой вероятностью.

Практика

Best practices (это мы делаем)

• Использование естественных и устоявшихся фраз: Используйте в контенте естественные формулировки, которые соответствуют известным концепциям, терминам и именованным сущностям. Это увеличивает вероятность того, что Google правильно интерпретирует запросы, связанные с ними, выбрав нужную фразификацию.
• Оптимизация под концепции и сущности (Entity SEO): Сосредоточьтесь на оптимизации контента вокруг четко определенных концепций и сущностей. Убедитесь, что контент ясно сигнализирует о том, к какой сущности он относится, используя ее устоявшееся название (фразу).
• Анализ интерпретации запросов: При исследовании ключевых слов анализируйте, как Google может интерпретировать многословные запросы и какие слова могут быть объединены в фразы. Например, при оптимизации под «samsung galaxy s25 case» нужно понимать, что Google скорее всего интерпретирует это как [«samsung galaxy s25»] AND [«case»].
• Поддержка глобальной статистики фраз: Последовательное и частое использование ключевых фраз в авторитетном контенте (как на вашем сайте, так и в нише в целом) способствует увеличению их Probability of Occurrence в индексе Google, что улучшает их распознавание в запросах.

Worst practices (это делать не надо)

• Неестественные комбинации ключевых слов: Использование неестественных или редко встречающихся комбинаций слов в надежде ранжироваться по ним. Система фразификации присвоит таким комбинациям низкую вероятность, предпочитая разбить их на более короткие и частые фразы.
• Игнорирование семантической структуры запроса: Отношение к запросу как к простому набору ключевых слов без учета того, как они группируются в концепции. Это приводит к созданию контента, который не соответствует предпочтительной интерпретации запроса Google.
• Чрезмерное увлечение длинными «хвостами» (Long-Tail) без анализа: Оптимизация под очень длинные и специфические запросы, которые не образуют статистически значимых фраз. Система может разбить такой запрос на менее специфические компоненты, если вероятность длинной фразы слишком мала.

Стратегическое значение

Этот патент подтверждает стратегический курс Google на семантический поиск и понимание естественного языка (NLU). Стратегия SEO должна быть направлена на работу с сущностями и концепциями. Важно не просто наличие ключевых слов на странице, а то, насколько эти слова формируют распознаваемые и статистически значимые фразы. Понимание механизма фразификации позволяет лучше прогнозировать, как Google интерпретирует запросы пользователей и какой контент будет считаться наиболее релевантным.

Практические примеры

Сценарий: Оптимизация страницы отеля в Нью-Йорке

1. Анализ запроса: Пользователь вводит «best new york hotels near times square».
2. Генерация кандидатов (Примеры):
   • Кандидат 1: [«best new york hotels near times square»] (N=1)
   • Кандидат 2: [«best new york hotels»] AND [«near times square»] (N=2)
   • Кандидат 3: [«best»] AND [«new york hotels»] AND [«near»] AND [«times square»] (N=4)
3. Оценка (Предположение):
   • Кандидат 1: Вероятность P(pi) очень низкая. Оценка S низкая.
   • Кандидат 2: Вероятности P(pi) для обеих фраз высокие. Функция f(N) умеренно снижает оценку (N=2). Оценка S высокая.
   • Кандидат 3: Вероятности P(pi) высокие, но функция f(N) сильно снижает оценку (N=4). Оценка S средняя.
4. Выбор: Система выбирает Кандидат 2 как наилучшую интерпретацию.
5. Действия SEO: Необходимо убедиться, что страница оптимизирована под обе концепции: «best new york hotels» (качество и локация отеля) и «near times square» (близость к достопримечательности). Использование этих точных фраз в контенте повышает релевантность страницы для выбранной интерпретации запроса.

Вопросы и ответы