Как Google использует IDF и Энтропию для определения семантической схожести запросов при генерации поисковых подсказок

Термины и определения

Entropy (Энтропия)

Метрика, определяющая уникальность или предсказуемость N-граммы в контексте последовательности слов. Рассчитывается на основе вероятности появления термина после предыдущего термина (например, Prob(wN|wN-1)), используя данные из логов поисковых запросов (training data). Позволяет оценить информативность фразы на основе реального поведения пользователей.

Inverse Document Frequency (IDF, Обратная частота документа)

Стандартная метрика в информационном поиске, которая определяет, насколько хорошо N-грамма позволяет различать документы в корпусе. Чем реже встречается термин, тем выше его IDF и тем он уникальнее.

Katz backoff smoothing (Сглаживание по Кацу)

Метод, используемый в NLP для оценки вероятности N-грамм, особенно когда данных в обучающей выборке (логах запросов) недостаточно. Используется при расчете Entropy.

N-gram (N-грамма)

Подмножество из 'N' слов или комбинаций слов, извлеченных из запроса. Включает униграммы (1 слово), биграммы (2 слова), триграммы (3 слова) и т.д.

Query Vector / N-gram Vector (Вектор запроса)

Математическое представление запроса в многомерном пространстве, где измерениями являются N-граммы запроса, а значениями — их Semantic Weights.

Semantic Importance Log (Лог семантической важности)

База данных или кэш, хранящий предварительно рассчитанные Semantic Weights для N-грамм.

Semantic Weight (Семантический вес)

Ключевая метрика патента. Числовое значение, присваиваемое N-грамме и представляющее её уникальность и значимость для определения интента запроса. Является функцией от IDF и Entropy.

Similarity Measurement (Измерение схожести)

Метрика, определяющая степень семантической близости между двумя запросами на основе сравнения их Query Vectors.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения схожести запросов.

1. Генерация первого вектора для N-грамм первого запроса (Q1).
2. Расчет Semantic Weight для каждой N-граммы Q1. Ключевое условие: вес основан, по крайней мере частично, на Entropy N-граммы, которая оценивается из набора поисковых запросов (логов).
3. Генерация второго вектора для N-грамм второго запроса (Q2) и расчет их весов.
4. Расчет измерения схожести между Q1 и Q2. Ключевое условие: схожесть основана на (i) схожести взвешенных N-грамм Q1 со вторым вектором И (ii) схожести взвешенных N-грамм Q2 с первым вектором.

Ядром изобретения является использование Entropy, рассчитанной по логам запросов, для взвешивания N-грамм и специфический двусторонний метод расчета финальной схожести.

Claim 3 (Зависимый от 1): Уточняет расчет семантического веса.

1. Расчет Semantic Weight основан на комбинации Inverse Document Frequency (IDF) N-граммы и Entropy N-граммы.

Это определяет, что Semantic Weight является комплексной метрикой, учитывающей как редкость термина в документах (IDF), так и его уникальность/предсказуемость в потоке запросов (Entropy).

Claim 6 (Зависимый): Описывает применение результата.

1. Измерение схожести сравнивается с порогом (Threshold).
2. Если порог превышен (Claim 5), второй запрос предоставляется как поисковая подсказка (query suggestion) для первого запроса.

Где и как применяется

Изобретение применяется на этапе понимания запроса и использует данные, собранные на других этапах.

INDEXING – Индексирование и извлечение признаков
На этом этапе (или в ходе отдельного офлайн-процесса анализа корпуса документов) рассчитываются значения IDF для N-грамм, которые затем используются для расчета Semantic Weight.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Система выполняет несколько задач:

1. Офлайн-анализ логов: Анализ исторических поисковых логов (собранных на этапе Data Acquisition) для расчета Entropy N-грамм (вероятности следования слов друг за другом).
2. Расчет Semantic Weight: Комбинирование IDF и Entropy для создания Semantic Importance Log.
3. Обработка запроса: Когда система получает запрос, она использует описанный механизм для сравнения этого запроса с другими запросами (кандидатами) для нахождения семантически похожих вариантов для подсказок (Related Searches, Autocomplete).

Входные данные:

• Первый запрос (Q1) и Второй запрос (Q2).
• Корпус документов (для расчета IDF офлайн).
• Логи поисковых запросов (для расчета Entropy офлайн).
• Semantic Importance Log (предварительно рассчитанные веса).

Выходные данные:

• Показатель схожести (Similarity Measurement) между Q1 и Q2.
• Список поисковых подсказок (если схожесть превысила порог).

На что влияет

• Специфические запросы: Влияет на все типы запросов (информационные, коммерческие, навигационные), для которых система генерирует уточнения или похожие запросы.
• Форматы выдачи: Напрямую влияет на формирование блока «Похожие запросы» (Related Searches) и механизмы автодополнения (Autocomplete).

Когда применяется

• Условия применения: Алгоритм применяется, когда поисковой системе необходимо сгенерировать список семантически связанных запросов для помощи пользователю в уточнении поиска.
• Частота применения: Расчет весов происходит офлайн. Расчет схожести может происходить в реальном времени при обработке запроса или также офлайн для популярных запросов.
• Пороговые значения: Система использует порог для Similarity Measurement; только запросы, превышающие этот порог, предлагаются в качестве подсказок.

Пошаговый алгоритм

Алгоритм состоит из двух основных частей: офлайн-подготовка данных и расчет схожести.

Процесс А: Офлайн-расчет семантических весов (Semantic Weight)

1. Сбор данных: Сбор корпуса документов и большого объема логов поисковых запросов.
2. Расчет IDF: Анализ корпуса документов для определения IDF для различных N-грамм.
3. Расчет Entropy: Анализ логов запросов для оценки вероятностей следования слов (например, Prob(wN|wN-1)). Применение Katz backoff smoothing при недостатке данных. Расчет Энтропии для N-грамм.
4. Комбинирование и сохранение: Расчет финального Semantic Weight как функции от IDF и Entropy (например, взвешенная сумма, в патенте упоминается пример 60% IDF + 40% Entropy). Сохранение весов в Semantic Importance Log.

Процесс Б: Расчет схожести запросов (Онлайн или Офлайн)

1. Идентификация запросов: Получение первого запроса (Q1) и второго запроса (Q2).
2. Извлечение N-грамм: Извлечение всех N-грамм из Q1 и Q2 (N-Gram Extractor). (Опционально: исключение стоп-слов).
3. Получение весов: Запрос Semantic Importance Log для получения Semantic Weight для каждой N-граммы.
4. Построение векторов: Генерация вектора V_A для Q1 и вектора V_B для Q2 на основе N-грамм и их весов (Vector Generator).
5. Определение схожести N-грамм: Расчет промежуточных показателей схожести: схожесть каждой N-граммы из V_A с вектором V_B (D(v_a_i, V_B)), и схожесть каждой N-граммы из V_B с вектором V_A (D(v_b_j, V_A)).
6. Расчет финальной схожести: Вычисление итоговой схожести Sim(V_A, V_B) путем взвешенной суммы всех промежуточных показателей схожести (Similarity Determiner).
7. Генерация подсказок: Сравнение Sim(V_A, V_B) с пороговым значением. Если порог превышен, Q2 используется как подсказка для Q1.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных об использовании языка и структуре запросов.

• Контентные факторы (Косвенно): Текст документов в общем корпусе индексируемых документов используется для расчета Inverse Document Frequency (IDF).
• Поведенческие факторы (Прямо): Логи поисковых запросов критически важны. Они используются как обучающие данные (training data) для расчета Entropy. Система анализирует частоту и последовательность слов в реальных запросах.
• Структурные факторы (Прямо): Порядок слов в запросах важен, так как система использует N-граммы (последовательности слов).

Какие метрики используются и как они считаются

Система вычисляет несколько ключевых метрик:

1. Entropy (Энтропия)

• Рассчитывается на основе вероятностей последовательностей слов, полученных из логов запросов. Вероятность Prob(w1, ..., wN) оценивается через цепочку условных вероятностей:

$Prob(w1) * Prob(w2|w1) * ... * Prob(wN|w1, ... wN-1)$

• Для сглаживания используется Katz backoff.

2. IDF (Inverse Document Frequency)

• Стандартный расчет на основе частоты N-граммы в корпусе документов.

3. Semantic Weight (Семантический вес)

• Функция от IDF и Entropy. Патент упоминает возможность взвешенной комбинации (например, 60% IDF + 40% Entropy).

4. Similarity Measurement (Sim(V_A, V_B))

• Финальная метрика схожести между двумя векторами запросов V_A и V_B. Рассчитывается как взвешенная сумма схожестей N-грамм одного вектора к другому:

$Sim(V\_A, V\_B) = \Sigma_i weight(v\_a\_i) * D(v\_a\_i, V\_B) + \Sigma_j weight(v\_b\_j) * D(v\_b\_j, V\_A)$

• Где D(x, Y) — это функция схожести между N-граммой x и вектором Y. (Примечание: В патенте может подразумеваться нормализация этой суммы).

1. Семантическая схожесть — это не просто совпадение ключевых слов: Патент подчеркивает, что для определения близости запросов Google анализирует значимость (важность) терминов, а не только их наличие. Схожесть определяется совпадением семантически важных фраз.
2. Важность термина определяется его уникальностью (Semantic Weight): Ключевым инсайтом является расчет Semantic Weight. Термины, которые являются редкими в целом (высокий IDF) и/или неожиданными/уникальными в контексте запросов пользователей (высокая Entropy), вносят больший вклад в смысл запроса.
3. IDF и Entropy дополняют друг друга: IDF измеряет уникальность в корпусе документов, а Entropy измеряет уникальность и предсказуемость в поведении пользователей. Это дает комплексную оценку значимости термина.
4. Логи запросов как источник знаний о языке: Патент демонстрирует, как Google использует огромные массивы данных о поведении пользователей для обучения языковых моделей и понимания взаимосвязей между терминами (расчет вероятностей для Entropy).
5. Комплексный расчет схожести: Используемая формула схожести является двунаправленной (A к B и B к A) и гарантирует, что все N-граммы вносят вклад в финальную оценку, пропорционально их семантическому весу.

Best practices (это мы делаем)

• Идентификация «определяющих» терминов (High Semantic Weight): При анализе семантического ядра необходимо выявлять термины и фразы с высоким IDF (специфичные для ниши) и высокой Entropy. Это термины, которые наиболее точно определяют интент пользователя. Контент должен быть сфокусирован на этих терминах и сущностях.
• Стратегическое использование «Похожих запросов» (Related Searches): Активно анализируйте блоки Related Searches в выдаче. Этот патент (или его эволюция) лежит в основе их формирования. Эти запросы гарантированно семантически связаны с исходным. Включение их анализа в контент-стратегию и создание контентных кластеров необходимо для достижения Topical Authority.
• Кластеризация на основе семантической близости: Используйте понимание Semantic Weight при кластеризации запросов. Кластеры должны объединяться вокруг терминов с высоким весом (например, конкретные названия продуктов, услуг, сущностей), а не вокруг общих слов (имеющих низкий вес).
• Анализ N-грамм, а не только отдельных слов: Сосредоточьтесь на оптимизации под фразы (биграммы, триграммы). Значимость часто заключена в комбинации слов, и патент это явно учитывает. Убедитесь, что в контенте и заголовках присутствуют ключевые словосочетания в естественном порядке.

Worst practices (это делать не надо)

• Фокус только на высокочастотных общих запросах: Построение стратегии исключительно вокруг очень общих ключевых слов (которые часто имеют низкий IDF) неэффективно, так как их Semantic Weight может быть низким. Они несут меньше информации об интенте и не являются дискриминирующими.
• Keyword Stuffing и игнорирование порядка слов: Перенасыщение текста ключевыми словами без учета их естественного порядка неэффективно. Система анализирует N-граммы и учитывает Entropy (основанную на реальных последовательностях в запросах), поэтому неестественные комбинации не будут иметь значимого веса.
• Оценка схожести запросов «на глаз»: Не стоит полагаться на интуитивное восприятие схожести запросов. Система использует математическую модель, основанную на статистике всего интернета (IDF) и всех пользователей (Entropy).

Стратегическое значение

Патент подтверждает стратегический сдвиг от лексического анализа к семантическому пониманию. Он демонстрирует, что уже в 2007 году Google разрабатывал сложные механизмы для взвешивания важности терминов на основе глобальной статистики. Для SEO это означает, что построение контент-стратегии должно основываться на глубоком понимании того, какие термины и фразы являются наиболее информативными и определяющими в конкретной тематике. Построение Topical Authority через охват ключевых N-грамм и связанных запросов является основой долгосрочной стратегии.

Практические примеры

Сценарий: Анализ семантического веса для оптимизации страницы

1. Задача: Оптимизировать страницу под запрос «Guggenheim Museum New York».
2. Анализ (на основе примера из патента FIG. 5): Система рассчитывает веса:
   • N-грамма "Guggenheim Museum" имеет Semantic Weight 0.79.
   • N-грамма "Guggenheim Museum York" имеет вес 0.93 (предположим, что для "New York" вес аналогично высок).
   • N-грамма "New York" (вне контекста музея) имела бы низкий вес.
3. Интерпретация: Фраза с уточнением города является более уникальной и информативной (выше Semantic Weight), чем общая фраза. Именно она определяет основной интент.
4. Действие SEO-специалиста: Убедиться, что в Title, H1 и основном тексте используется точная формулировка (высоковесная N-грамма) «Guggenheim Museum New York». Нельзя полагаться только на упоминание «Guggenheim Museum» и «New York» по отдельности. Необходимо создать контент, точно отвечающий на интент, связанный с этой специфичной сущностью.
5. Поиск похожих запросов: Система определит, что запрос "Билеты в музей Гуггенхайма Нью-Йорк" семантически близок, так как разделяет ключевые взвешенные N-граммы. Этот запрос нужно учесть в контент-плане.