Как Google генерирует новые поисковые подсказки, комбинируя структуры запросов и семантически схожие термины

Описание

Какую задачу решает

Патент решает проблему ограниченности систем поисковых подсказок, которые традиционно полагаются только на логи прошлых запросов (past queries). По мере появления новой информации в интернете, покрытие прошлых запросов устаревает. Если пользователь ищет что-то новое или редкое, чего нет в логах, система не может предложить полезные подсказки. Изобретение направлено на генерацию meaningful query suggestions (значимых поисковых подсказок) для информации, которая находится за пределами покрытия существующих логов запросов.

Что запатентовано

Запатентована система для создания Inferred Queries (предполагаемых запросов). Механизм основан на анализе структуры прошлых запросов и выявлении общих шаблонов (Query Templates). Система идентифицирует разные запросы с похожей структурой и заменяет отличающиеся части (Infixes) одного запроса на семантически схожие части другого запроса. Это позволяет сгенерировать новый, ранее не существовавший запрос, который является структурно корректным и семантически релевантным.

Как это работает

Система работает путем анализа логов запросов и выполнения нескольких ключевых шагов:

• Структурный анализ: Запросы разбиваются на префикс, инфикс и постфикс. Группируются запросы с одинаковыми префиксами и постфиксами, но разными инфиксами.
• Создание шаблонов: Для каждой группы создается Query Template, где инфикс заменяется на подстановочный знак (например, «lyrics of * beatles»).
• Каноникализация: Шаблоны приводятся к стандартной форме (Canonical Representation) с помощью правил (например, стемминг, удаление стоп-слов). Это позволяет сопоставить структурно схожие шаблоны.
• Сопоставление шаблонов: Система ищет разные группы запросов, чьи шаблоны имеют одинаковую каноническую форму.
• Анализ схожести инфиксов: Оценивается семантическая схожесть (Distributional Similarity) между инфиксами из сопоставленных групп.
• Генерация: Если инфиксы схожи, система берет инфикс из одной группы и подставляет его в шаблон другой группы, создавая новый Inferred Query.

Актуальность для SEO

Высокая. Генерация релевантных и актуальных поисковых подсказок, особенно для «длинного хвоста» и новых тем, остается критически важной задачей. Понимание структуры запросов и семантической схожести терминов (сущностей) является основой современных систем Query Understanding. Этот патент описывает конкретный механизм для расширения покрытия подсказок за пределы исторических данных.

Важность для SEO

Патент имеет среднее стратегическое значение для SEO (6.5/10). Он не описывает алгоритм ранжирования, а фокусируется на генерации поисковых подсказок (Autocomplete). Однако он дает важное понимание того, как Google анализирует структуру запросов и оценивает семантическую схожесть терминов и сущностей (Distributional Similarity). Понимание этих механизмов позволяет SEO-специалистам лучше интерпретировать связи между концепциями и использовать это для оптимизации контента под естественные языковые структуры и расширения семантического ядра.

Детальный разбор

Термины и определения

Inferred Query (Предполагаемый запрос)

Новый запрос, сгенерированный системой путем комбинирования частей (шаблонов и инфиксов) из разных прошлых запросов. Предназначен для использования в качестве поисковой подсказки.

Prefix (Префикс)

Последовательность терминов в начале запроса. Может быть пустым.

Infix (Инфикс)

Последовательность одного или нескольких терминов, расположенных между префиксом и постфиксом. Инфикс не может быть пустым. Это ключевая переменная часть запроса, часто содержащая сущность или концепцию.

Postfix (Постфикс)

Последовательность терминов в конце запроса. Может быть пустым.

Query Template (Шаблон запроса)

Обобщенное представление группы запросов с одинаковыми префиксами и постфиксами. Инфиксы заменяются подстановочным знаком (wildcard ‘*’). Пример: «lyrics of * beatles».

Canonical Representation (Каноническое представление)

Стандартизированная форма Query Template, полученная после применения правил каноникализации (стемминг, удаление стоп-слов, сортировка терминов). Используется для сопоставления разных шаблонов, имеющих схожую структуру.

Distributional Similarity (Дистрибутивная схожесть)

Мера семантической схожести между фразами (инфиксами). Основана на гипотезе, что фразы, встречающиеся в схожих контекстах, имеют схожие значения.

PMI (Pointwise Mutual Information, Поточечная взаимная информация)

Метрика, используемая для взвешивания контекстных признаков при расчете Distributional Similarity.

Query Term Triple (Тройка терминов запроса)

Конкретное разбиение запроса на Префикс, Инфикс и Постфикс. Один запрос может иметь несколько таких троек.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод создания предполагаемых запросов.

1. Система определяет префиксы, инфиксы и постфиксы для уникальных запросов из лога.
2. Идентифицируются группы запросов, где запросы в группе имеют совпадающие префиксы и постфиксы, но разные инфиксы.
3. Для каждой группы формируется Query Template (с подстановочным знаком вместо инфикса).
4. Шаблоны преобразуются в Canonical Representations с использованием правил каноникализации.
5. Определяется, что каноническое представление шаблона Группы 1 совпадает с каноническим представлением шаблона Группы 2.
6. Выбираются инфиксы из Группы 1 на основе схожести (similarity) терминов в инфиксах Группы 1 и терминов в инфиксах Группы 2.
7. Создаются Inferred Queries путем добавления выбранных инфиксов (из Группы 1) к шаблону Группы 2.
8. Предполагаемые запросы сохраняются для использования в качестве подсказок.

Claim 2 и 3 (Зависимые): Уточняют процесс разбиения запроса.

Один запрос может быть разбит на множество Query Term Triples (разные комбинации префикс/инфикс/постфикс). Следовательно, один запрос может принадлежать к нескольким разным группам.

Claim 5 и 6 (Зависимые): Детализируют правила каноникализации.

Правила могут включать стемминг (приведение слов к основе) и упорядочивание канонических форм терминов в шаблоне по определенному порядку (например, алфавитному).

Claim 7 и 8 (Зависимые): Описывают метод выбора инфиксов на основе схожести.

Создается список фраз-кандидатов (candidate phrases) на основе схожести с инфиксами Группы 2. Рассчитываются оценки схожести (similarity scores), фразы ранжируются. Выбираются только те инфиксы из Группы 1, которые присутствуют в этом списке высокоранжированных кандидатов.

Где и как применяется

Изобретение применяется на этапе понимания запросов и связано с генерацией подсказок.

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Система работает в двух режимах:

1. Офлайн-обработка (Query Creation Engine): Анализ логов запросов (Log Files), структурный анализ, создание шаблонов, каноникализация, расчет семантической схожести (Infix Similarity Module) и генерация базы Inferred Queries. Это ресурсоемкий процесс, выполняемый заранее.
2. Онлайн-обработка (Suggestion Engine): При получении частичного или полного запроса от пользователя система быстро обращается к базе сгенерированных Inferred Queries и выбирает наиболее подходящие подсказки (например, используя префиксное совпадение).

Входные данные:

• Логи прошлых запросов (Log Files).
• Внешние ресурсы или коллекции документов (например, веб-страницы) для расчета Distributional Similarity и анализа контекстов.

Выходные данные:

• База данных Inferred Queries, готовая к использованию Suggestion Engine.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на информационные и транзакционные запросы, имеющие четкую структуру (например, «характеристики [продукт]», «как сделать [действие]», «[сущность] в [локация]»). Особенно полезно для генерации подсказок для «длинного хвоста» (long-tail queries).
• Конкретные ниши или тематики: Влияет на ниши с большим количеством сущностей и стандартизированными запросами (e-commerce, рецепты, путешествия, технологии), позволяя генерировать подсказки для новых продуктов или локаций, которых еще нет в логах, но которые соответствуют известным шаблонам.

Когда применяется

• Условия применения (Офлайн): Алгоритм генерации запускается периодически для обработки новых логов. Активация генерации для конкретного шаблона происходит, когда система находит другой шаблон с такой же канонической формой и когда инфиксы демонстрируют достаточную семантическую схожесть (выше порога).
• Условия применения (Онлайн): Suggestion Engine активируется в момент ввода запроса пользователем (для Autocomplete) или после выполнения поиска (для Related Searches).

Пошаговый алгоритм

Процесс офлайн-генерации Inferred Queries

1. Сбор данных: Получение уникальных запросов из Log Files.
2. Разбиение запросов: Для каждого запроса определяются все возможные комбинации (Query Term Triples) префикса, непустого инфикса и постфикса.
3. Группировка: Запросы группируются на основе совпадения префиксов и постфиксов. Запросы в одной группе имеют разные инфиксы.
4. Создание шаблонов: Для каждой группы формируется Query Template путем замены инфиксов на подстановочный знак (*).
5. Каноникализация шаблонов: Каждый Query Template преобразуется в Canonical Representation (применение стемминга, удаление стоп-слов, упорядочивание).
6. Сопоставление: Идентификация пар групп (Группа А и Группа Б), чьи шаблоны имеют совпадающие Canonical Representations.
7. Анализ схожести инфиксов:
   • Система генерирует список фраз-кандидатов (candidate phrases), которые дистрибутивно схожи (distributionally similar) с инфиксами Группы Б.
   • Рассчитываются и ранжируются similarity scores для кандидатов.
8. Фильтрация инфиксов: Система проверяет, какие инфиксы из Группы А присутствуют в списке высокоранжированных фраз-кандидатов (сгенерированных для Группы Б). Эти инфиксы выбираются для генерации.
9. Генерация Inferred Queries: Выбранные инфиксы (из Группы А) подставляются в Query Template Группы Б.
10. Сохранение: Новые запросы сохраняются для использования в Suggestion Engine.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Логи прошлых запросов (log of past queries) являются основным источником данных для анализа структур и выявления шаблонов.
• Контентные/Контекстные данные (для NLP): Для расчета Distributional Similarity система анализирует внешние коллекции документов (например, веб-страницы), чтобы понять контексты, в которых встречаются фразы (инфиксы).

Какие метрики используются и как они считаются

Система использует сложные метрики для оценки семантической схожести:

• PMI (Pointwise Mutual Information): Метрика для определения веса контекстного признака (F) для фразы (P). Используется для построения контекстных векторов.
  Формула: PMI(P, F) = log [Freq(P, F) * N / (Freq(P) * Freq(F))].
• Distributional Similarity Score (DScore): Оценка схожести между двумя фразами. Рассчитывается как косинусное сходство (cosine similarity) между их контекстными векторами, построенными с использованием PMI. Также упоминаются коэффициенты Жаккара или Дайса.
• Similarity Score (Sim(U,T)): Агрегированная оценка схожести фразы-кандидата (U) по отношению ко всем инфиксам (K) шаблона (T). Рассчитывается как среднее значение DScore между U и каждым K.
  Формула: Sim(U, T) = [Сумма DScore(U, Ki)] / N.
• Методы анализа текста (NLP): Используются стемминг, удаление стоп-слов, определение границ терминов. Также упоминаются noun chucking и syntactic parsing для определения лингвистических зависимостей при анализе контекста.

Выводы

1. Генерация подсказок за пределами логов: Основная ценность патента — механизм, позволяющий Google создавать релевантные поисковые подсказки (Inferred Queries) для запросов, которые никогда ранее не вводились. Это критично для покрытия новых тем и «длинного хвоста».
2. Важность структуры запроса: Google активно анализирует синтаксическую структуру запросов, создавая шаблоны (Query Templates). Сопоставление канонических форм шаблонов позволяет переносить знания между разными, но структурно похожими запросами.
3. Семантическая схожесть (Distributional Similarity) как основа: Ключевым элементом является валидация через Distributional Similarity инфиксов. Это показывает, что Google использует сложные NLP-методы (контекстные векторы, PMI) для определения семантической близости терминов и сущностей, основываясь на контексте их употребления в вебе.
4. Инфиксы как сущности: Инфиксы часто представляют собой ключевые сущности или концепции. Механизм патента, по сути, определяет, какие сущности могут взаимозаменяться в определенных контекстах (шаблонах).
5. Офлайн-процессинг для скорости: Генерация Inferred Queries происходит офлайн, что позволяет Suggestion Engine работать быстро в реальном времени, используя предварительно рассчитанные данные.

Практика

Best practices (это мы делаем)

• Фокус на сущностях и их взаимосвязях: Необходимо понимать, какие сущности (Entities) семантически схожи в вашей нише с точки зрения Distributional Similarity. Это поможет понять, как Google может группировать и взаимозаменять концепции в подсказках. Используйте микроразметку Schema.org для четкого определения типов сущностей.
• Анализ и использование естественных структур запросов: Изучайте, какие Query Templates распространены в вашей тематике. Структурируйте контент (заголовки, подзаголовки, списки) так, чтобы он соответствовал этим естественным языковым шаблонам. Это повышает релевантность как существующим, так и сгенерированным (Inferred) запросам.
• Оптимизация контекста: Убедитесь, что ключевые термины и сущности на вашем сайте используются в правильных, естественных контекстах. Это помогает Google корректно рассчитать Distributional Similarity, так как контекстуальные векторы будут точнее.
• Расширение семантического ядра за счет схожих концепций: Не ограничивайтесь основными ключевыми словами. Включайте в контент семантически схожие термины и сущности, которые могут выступать в роли взаимозаменяемых инфиксов в релевантных шаблонах.

Worst practices (это делать не надо)

• Игнорирование структуры запроса: Создание контента, ориентированного только на набор ключевых слов без учета их синтаксической связи и естественной структуры запроса. Google анализирует шаблоны, поэтому неестественные формулировки менее эффективны.
• Фокус только на популярных запросах из логов: Ограничение семантического ядра только данными из инструментов, основанных на исторических данных. Патент показывает, что Google активно генерирует запросы за пределами этих данных.
• Использование терминов в неправильном контексте (Манипуляция): Попытки манипулировать семантической схожестью путем использования терминов в несвойственных им контекстах. Distributional Similarity рассчитывается на основе анализа огромного корпуса документов, и такие манипуляции могут быть неэффективны или вредны.

Стратегическое значение

Патент подтверждает стратегический курс Google на глубокое семантическое и структурное понимание языка. Он демонстрирует, как Google использует Distributional Similarity для определения взаимосвязей между сущностями и концепциями. Для SEO это означает, что построение Topical Authority и глубокое покрытие сущностей в правильном контексте становится все более важным. Стратегия должна включать анализ того, как пользователи структурируют свои запросы (Query Templates) и какие сущности могут быть взаимозаменяемы в этих структурах.

Практические примеры

Сценарий: Расширение подсказок для нового продукта в E-commerce

1. Существующие данные (Шаблоны): В логах много запросов по шаблонам: Шаблон А: «battery life of *» (инфиксы: iphone 14, galaxy s24); Шаблон Б: «camera quality of *» (инфиксы: iphone 14, pixel 8).
2. Каноникализация: Предположим, Шаблон А и Шаблон Б имеют одинаковую каноническую форму (например, «* characteristic»).
3. Новый продукт: Выходит «Galaxy S25». В логах еще нет запросов про него.
4. Анализ схожести: Система знает (через Distributional Similarity), что «Galaxy S25» семантически схож с другими инфиксами (это смартфоны).
5. Генерация Inferred Query: Система подставляет «Galaxy S25» в Шаблоны А и Б.
6. Результат: Google начнет показывать подсказки «battery life of galaxy s25» и «camera quality of galaxy s25» сразу после выхода продукта, даже если их еще никто не искал.
7. SEO Действие: При запуске нового продукта (Galaxy S25) убедитесь, что на сайте сразу присутствует контент, структурированный под все релевантные шаблоны запросов (battery life, camera quality, price, reviews), чтобы захватить трафик по этим сгенерированным запросам.

Вопросы и ответы