Как Google определяет семантическую схожесть запросов для генерации подсказок, используя N-граммы и семантические веса (IDF и Энтропия)

Описание

Какую задачу решает

Патент решает задачу повышения качества, охвата (coverage) и релевантности поисковых подсказок (query suggestions) и уточнений запросов (query refinements). Традиционные методы, основанные на кластеризации запросов, могут давать слишком общие подсказки, а методы, основанные на частичном совпадении текста, могут снижать релевантность. Изобретение предлагает точный механизм для измерения семантической схожести между запросами, чтобы помочь пользователю эффективнее уточнить свой поиск.

Что запатентовано

Запатентован метод определения схожести между двумя поисковыми запросами. Схожесть рассчитывается путем представления запросов в виде векторов N-грамм. Ключевым элементом является присвоение каждой N-грамме Semantic Weight (семантического веса), который отражает ее уникальность и значимость. Этот вес вычисляется на основе комбинации Inverse Document Frequency (IDF) и Entropy (Энтропии), рассчитанной по историческим логам запросов.

Как это работает

Система работает следующим образом:

• Извлечение N-грамм: Исходный запрос и запрос-кандидат (например, из исторических логов) разбиваются на N-граммы (слова и словосочетания).
• Расчет семантического веса: Для каждой N-граммы определяется Semantic Weight. Он комбинирует IDF (уникальность в корпусе документов) и Entropy (уникальность в логах запросов). Эти веса рассчитываются заранее офлайн и хранятся в Semantic Importance Log.
• Генерация векторов: Для каждого запроса создается вектор (N-gram Vector), состоящий из его N-грамм и их соответствующих весов.
• Определение схожести: Вычисляется мера схожести (Similarity Measurement) между двумя векторами (например, с помощью косинусного сходства — cosine similarity).
• Генерация подсказок: Если схожесть превышает определенный порог (threshold), второй запрос предлагается пользователю в качестве уточнения.

Актуальность для SEO

Высокая. Хотя конкретные методы генерации векторов значительно усложнились с появлением нейронных сетей (BERT, MUM), которые заменили явное использование IDF/Entropy, фундаментальные принципы, описанные в патенте — векторное представление запросов, измерение семантической схожести и взвешивание терминов на основе их значимости (используя данные из контента и поведения пользователей) — остаются ядром современных систем понимания запросов (Query Understanding).

Важность для SEO

Патент имеет значительное влияние на SEO (7.5/10). Он не описывает ранжирование документов, но раскрывает механизм, лежащий в основе генерации «Связанных запросов» (Related Searches) и поисковых подсказок. Понимание того, как Google измеряет схожесть запросов и определяет важность терминов (Semantic Weight), критически важно для построения семантического ядра, кластеризации запросов и создания контента, который охватывает семантически связанные кластеры.

Детальный разбор

Термины и определения

N-gram (N-грамма)

Подмножество из ‘N’ слов или комбинаций слов из запроса. Включает униграммы, биграммы и т.д. Является базовой единицей анализа в патенте.

Semantic Weight (Семантический вес)

Метрика, присваиваемая N-грамме, представляющая ее уникальность и значимость. Рассчитывается как функция от IDF и Entropy. Чем уникальнее N-грамма, тем выше ее вес.

Inverse Document Frequency (IDF, Обратная частота документа)

Компонент Semantic Weight. Определяет степень, в которой N-грамма способна различать документы в корпусе. Более редкие термины имеют более высокий IDF.

Entropy (Энтропия)

Компонент Semantic Weight. Определяет уникальность N-граммы в группе ранее отправленных поисковых запросов (логах). Рассчитывается с использованием вероятностных языковых моделей.

Katz backoff smoothing (Сглаживание по Кацу)

Метод, используемый для оценки вероятностей N-грамм при расчете Entropy, особенно если статистики по N-грамме недостаточно в обучающих данных (логах запросов).

N-gram Vector (Вектор N-грамм)

Векторное представление запроса в N-мерном пространстве, где компонентами являются N-граммы, взвешенные по их Semantic Weight.

Semantic Importance Log (Лог семантической значимости)

Хранилище (таблица или кэш), содержащее предварительно рассчитанные Semantic Weights для N-грамм.

Similarity Measurement (Мера схожести)

Метрика, определяющая близость двух запросов на основе сравнения их векторов. Может вычисляться как косинусное сходство (cosine similarity) или взвешенная сумма схожестей.

Suggestion/Refinement Module (Модуль предложений/уточнений)

Основной модуль системы, который координирует извлечение N-грамм, генерацию векторов и определение схожести.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения схожести запросов.

1. Система генерирует первый вектор для N-грамм первого запроса.
2. Для каждой N-граммы рассчитывается семантический вес (semantic weight). Ключевое требование: этот вес рассчитывается на основе «меры уникальности N-граммы в группе ранее отправленных поисковых запросов». Это соответствует определению Entropy, описанному в патенте.
3. Генерируется второй вектор для N-грамм второго запроса с расчетом их семантических весов.
4. Вычисляется мера схожести (similarity measurement) путем сравнения первого и второго векторов, взвешенных по их соответствующим семантическим весам.

Ядром изобретения является обязательное использование анализа логов запросов (для расчета Entropy) при определении веса компонентов запроса.

Claim 2 (Зависимый от 1): Дополняет расчет семантического веса.

Семантический вес дополнительно рассчитывается на основе обратной частоты документа (inverse document frequency, IDF) N-граммы.

Claim 4 (Зависимый от 1): Уточняет формулу семантического веса.

Семантический вес основан на взвешенной комбинации (weighted combination) IDF и меры уникальности (Entropy).

Claim 5 и 6 (Зависимые от 1): Описывают применение результата.

1. Мера схожести сравнивается с порогом (threshold).
2. Если порог превышен, запросы считаются схожими, и второй запрос предоставляется как подсказка (query suggestion) для первого запроса.

Claim 8 (Зависимый от 1): Уточняет метод расчета схожести.

Расчет меры схожести включает определение косинусного сходства (cosine similarity) между векторами.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя данные, рассчитанные на этапе индексирования, и применяясь на этапе понимания запросов.

INDEXING – Индексирование и извлечение признаков (Офлайн)
На этом этапе система анализирует корпус документов для вычисления IDF (Inverse Document Frequency) для различных N-грамм. Эти данные необходимы для последующего расчета Semantic Weight.

QUNDERSTANDING – Понимание Запросов
Основной этап применения. Система выполняет несколько функций:

1. Офлайн-анализ: Система анализирует исторические логи запросов (list of search queries) для расчета Entropy. Затем IDF и Entropy комбинируются для расчета финального Semantic Weight, который сохраняется в Semantic Importance Log.
2. Обработка в реальном времени (Онлайн): Когда пользователь вводит запрос, Suggestion/Refinement Module сравнивает его с другими запросами (кандидатами). Это включает генерацию векторов запросов и расчет их схожести для идентификации релевантных подсказок (Auto-Suggest, Related Searches).

Входные данные (Онлайн):

• Первый запрос (например, текущий запрос пользователя).
• Второй запрос (например, кандидат из логов).
• Semantic Importance Log (предварительно рассчитанные веса).

Выходные данные (Онлайн):

• Мера схожести (Similarity Measurement) между запросами.
• Список предложенных запросов (Query Suggestions).

На что влияет

• Специфические запросы: Влияет на все типы запросов, но особенно полезно для информационных и исследовательских запросов, где пользователи часто нуждаются в уточнении или изучении смежных тем.
• Пользовательский интерфейс: Напрямую влияет на генерацию подсказок в строке поиска (Auto-Suggest) и в блоках «Связанные запросы» (Related Searches) на SERP.

Когда применяется

• Триггеры активации: Ввод запроса пользователем или загрузка страницы результатов поиска, когда необходимо сгенерировать список предложений для уточнения.
• Пороговые значения: Система использует порог (threshold) для меры схожести. Только если схожесть превышает этот порог, запрос предлагается как подсказка.
• Ограничения и сглаживание: Для редких или новых N-грамм, по которым недостаточно статистики в логах запросов, система может использовать методы сглаживания (например, Katz backoff smoothing) для оценки Entropy.

Пошаговый алгоритм

Процесс А: Офлайн-расчет семантических весов

1. Сбор данных: Анализ корпуса документов и массива исторических логов запросов.
2. Расчет IDF: Вычисление IDF для каждой N-граммы на основе частоты ее встречаемости в документах. Более редкие N-граммы получают более высокий IDF.
3. Расчет Entropy: Вычисление Entropy для каждой N-граммы на основе вероятностных моделей, обученных на логах запросов. Оценивается вероятность появления слов в последовательности (например, Prob(wN|wN-1)). Используется сглаживание для редких N-грамм.
4. Расчет Semantic Weight: Комбинирование IDF и Entropy. Патент упоминает возможность использования взвешенной комбинации (например, 60% IDF и 40% Entropy) для получения итогового веса.
5. Сохранение: Запись весов в Semantic Importance Log.

Процесс Б: Онлайн-определение схожести запросов

1. Получение запросов: Идентификация первого (Q1) и второго (Q2) запросов.
2. Извлечение N-грамм: Разбиение Q1 и Q2 на N-граммы. Незначимые слова («мягкие термины», например, артикли) могут быть исключены.
3. Получение весов: Запрос Semantic Importance Log для получения Semantic Weight для каждой N-граммы.
4. Построение векторов: Генерация N-gram Vectors (V1 и V2) для запросов на основе взвешенных N-грамм.
5. Определение схожести: Вычисление Similarity Measurement между V1 и V2. Это может быть косинусное сходство или взвешенная сумма схожестей между всеми N-граммами одного вектора и другого.
6. Сравнение с порогом: Сравнение меры схожести с заданным порогом.
7. Генерация подсказок: Если порог превышен, Q2 генерируется в качестве подсказки для Q1.

Какие данные и как использует

Данные на входе

Патент использует два основных источника данных для определения важности терминов:

• Контентные факторы (Косвенно): Корпус проиндексированных документов используется для расчета IDF. Система оценивает, насколько часто N-граммы встречаются в общем корпусе контента.
• Поведенческие факторы (Логи запросов): Исторические логи поисковых запросов (list of search queries / group of previously submitted search queries) критически важны для расчета Entropy. Они используются как обучающие данные для понимания реальных языковых паттернов пользователей.

Какие метрики используются и как они считаются

• Semantic Weight (Семантический вес): Агрегированная метрика значимости N-граммы. Рассчитывается как функция (взвешенная комбинация) от IDF и Entropy.
• IDF (Inverse Document Frequency): Стандартная метрика информационного поиска, отражающая дискриминирующую способность термина в корпусе документов.
• Entropy (Энтропия): Измеряет уникальность N-граммы в логах запросов. Расчет основан на условных вероятностях терминов в последовательности. В патенте приводится формула расчета вероятности N-граммы как произведения условных вероятностей ее составляющих: Prob(w1, …, wN) = Prob(w1) * Prob(w2|w1) * ….
• Методы анализа текста (NLP): Используется N-грамный анализ и вероятностное языковое моделирование. Упоминается метод сглаживания Katz backoff smoothing.
• Similarity Measurement (Мера схожести): Метрика близости двух векторов запросов. Может рассчитываться как косинусное сходство (cosine similarity) или как взвешенная сумма схожестей.
• Threshold (Порог): Значение, с которым сравнивается Similarity Measurement для принятия решения о схожести запросов.

Выводы

1. Двойная природа семантической важности: Ключевой вывод — значимость термина (N-граммы) определяется двумя факторами: уникальностью в контенте (IDF) и уникальностью в поведении пользователей (Entropy). Google комбинирует данные о том, что публикуется, и о том, что и как ищут.
2. Запросы как взвешенные векторы N-грамм: Система представляет запросы не как набор слов, а как векторы в многомерном пространстве, где вес компонентов (N-грамм) определяет их вклад в смысл запроса. Общие термины имеют меньший вес, чем специфичные.
3. Важность уникальности и специфичности: Более уникальные и специфичные N-граммы имеют больший Semantic Weight и сильнее влияют на определение схожести запросов.
4. Роль логов запросов и естественного языка: Использование Entropy подчеркивает важность анализа реальных пользовательских запросов для обучения языковой модели. Это означает, что порядок слов и естественные формулировки имеют значение при определении семантической близости.
5. Математическая основа для Related Searches: Патент предоставляет конкретный алгоритм (векторное сравнение, косинусное сходство) для генерации связанных запросов и поисковых подсказок, основанный на семантической близости, а не простом текстовом совпадении.

Практика

Best practices (это мы делаем)

• Анализ семантически значимых N-грамм: Тщательно изучайте поисковые подсказки и блоки «Связанные запросы» (Related Searches). Этот патент описывает механизм их генерации. Это помогает выявить N-граммы с высоким Semantic Weight в вашей нише, которые необходимо интегрировать в контент-стратегию.
• Фокус на фразовом соответствии и естественном языке: Поскольку Entropy рассчитывается на основе реальных логов запросов, важно использовать в контенте естественные формулировки и словосочетания. Оптимизируйте под полные фразы (N-граммы), а не только под отдельные ключевые слова.
• Приоритет специфичных терминов (High IDF): Уделяйте внимание терминам, специфичным для вашей ниши, которые редко встречаются в общем корпусе документов. Эти термины имеют больший Semantic Weight и играют ключевую роль в определении тематики запроса.
• Построение Topical Authority через охват кластеров: Создавайте контент, который отвечает не только на основной запрос, но и на те запросы, которые Google считает семантически схожими. Это укрепляет авторитетность сайта в теме, покрывая весь кластер связанных интентов.

Worst practices (это делать не надо)

• Игнорирование порядка слов и контекста (Bag-of-Words подход): Отношение к запросу как к простому набору слов неэффективно. Система учитывает последовательность и совместную встречаемость слов (через Entropy и N-граммы).
• Фокус только на высокочастотных общих терминах: Ориентация на общие термины (с низким IDF) не позволит точно определить специфику запроса, так как они имеют низкий Semantic Weight. Объем поиска (Search Volume) не равен семантической значимости.
• Использование неестественных или переоптимизированных конструкций: Формулировки, которые не встречаются в реальных запросах пользователей, будут плохо соответствовать языковым паттернам, используемым для расчета Entropy.

Стратегическое значение

Патент подтверждает стратегическую важность семантического анализа и использования векторных моделей в поиске. Он демонстрирует, как Google интегрирует данные анализа контента (IDF) и данные о поведении пользователей (Entropy) для глубокого понимания языка и взаимосвязей между запросами. Для SEO это означает, что долгосрочная стратегия должна фокусироваться на глубоком понимании семантики ниши и создании контента, который соответствует реальным языковым паттернам пользователей.

Практические примеры

Сценарий 1: Кластеризация семантического ядра

1. Задача: Определить, следует ли объединить запросы «лучшая кофемашина для дома» (Q1) и «рейтинг домашних кофемашин» (Q2) на одной странице.
2. Применение патента: Google сравнит векторы этих запросов. N-граммы типа «кофемашина для дома» и «домашних кофемашин» имеют высокий Semantic Weight (они специфичны).
3. Результат: Система, вероятно, определит высокую Similarity Measurement между Q1 и Q2, так как ключевые взвешенные N-граммы пересекаются или близки.
4. Действие SEO-специалиста: Объединить эти запросы в один кластер и оптимизировать одну страницу, используя обе формулировки и связанные с ними N-граммы.

Сценарий 2: Оптимизация страницы сущности (Пример из патента, FIG. 5)

1. Анализ N-грамм: Патент показывает, что N-грамма «Guggenheim Museum York» имеет более высокий Semantic Weight (0.93), чем «Guggenheim Museum» (0.79).
2. Интерпретация: Первая фраза более уникальна (выше IDF и/или Entropy) и значима для определения схожести запросов. Общая фраза менее значима.
3. Действие SEO-специалиста: При оптимизации страницы музея Гуггенхайма в Нью-Йорке необходимо использовать полные и точные наименования сущностей (высоковесные N-граммы), а не полагаться только на общие термины.
4. Ожидаемый результат: Страница лучше ассоциируется со специфическими запросами, касающимися именно этой локации, и меньше пересекается с общими запросами о бренде или других музеях.

Вопросы и ответы