Как Google комбинирует временные тренды и контекстуальный анализ для определения схожести поисковых запросов

Термины и определения

Combined Correlation Score (Комбинированная оценка корреляции)

Итоговая оценка схожести между двумя запросами, полученная путем объединения нескольких Correlation Scores с помощью Linear Model.

Context Terms (Контекстные термины)

Термины из корпуса текстов, которые появляются в непосредственной близости (например, в окне из 3 слов) от заданного термина запроса.

Context Vector (Контекстный вектор)

Векторное представление термина запроса. Элементы вектора представляют собой частоты (frequency value) появления различных Context Terms рядом с этим термином в корпусе.

Corpus (Корпус)

Большой структурированный набор текстов, используемый для анализа. Примеры: веб-документы (Internet resources), логи запросов (search query log), новостные статьи (news articles), записи в блогах (blog entries).

Distributional Similarity (Дистрибутивная схожесть)

Мера схожести, основанная на гипотезе, что термины, встречающиеся в похожих контекстах, имеют схожее значение. Рассчитывается путем анализа статистики совместной встречаемости слов в корпусе.

Linear Model (Линейная модель)

Модель машинного обучения (например, логистическая регрессия или лог-линейная модель), используемая для взвешивания и комбинирования различных Correlation Scores. Обучается на данных асессоров (human annotated goldstandard).

Query Vector (Вектор запроса)

Векторное представление всего запроса. Генерируется путем комбинации (например, через геометрическое среднее) Context Vectors всех терминов, входящих в запрос.

Temporal Correlation / Time Series Similarity (Временная корреляция)

Мера схожести, основанная на сравнении временных рядов появления терминов или запросов. Учитывает, насколько часто два запроса используются в одни и те же периоды времени.

Ключевые утверждения (Анализ Claims)

Примечание: Формулировки Claims в этом патенте достаточно специфичны, особенно в отношении временной корреляции, что является результатом процесса утверждения патента.

Claim 1 (Независимый пункт): Описывает метод определения схожести на основе временной корреляции в разных источниках.

1. Система получает первый запрос (Q1) и множество вторых запросов (Q2s).
2. Определяется Temporal correlation score между Q1 и каждым Q2.
3. Ключевое утверждение: Определение основано на сравнении временного ряда появления терминов Q1 в первом корпусе (Новостные статьи) и временного ряда появления терминов Q2 во втором, отличном корпусе (Записи в блогах).
4. Сравнение учитывает документы с временными метками (timestamps) в одном и том же временном периоде.
5. Вычисляется Similarity score на основе этого Temporal correlation score, и Q2s ранжируются.

Этот пункт защищает специфический метод кросс-корпусного временного анализа, который может выявлять корреляции между тем, что обсуждается в СМИ, и тем, что обсуждается в блогах.

Claim 2 (Зависимый от 1): Добавляет дистрибутивную схожесть и механизм комбинации (ядро изобретения).

1. Определяется Distributional similarity score между Q1 и Q2. Он основан на сравнении частот совместно встречающихся терминов (контекста).
2. Итоговый Similarity score основан как на Distributional similarity score, так и на Temporal correlation score (из Claim 1).
3. Итоговая оценка вычисляется с помощью обученной Linear model.

Этот пункт вводит механизм комбинирования двух принципиально разных типов схожести (контекстной и временной) с использованием машинного обучения.

Claim 5 (Зависимый от 2): Детализирует процесс расчета Distributional similarity score.

1. Для каждого термина в запросе выбираются Context terms из корпуса на основе метрики расстояния (близости слов).
2. Для каждого термина генерируется Context vector, содержащий частоты этих Context terms.
3. Генерируется Query vector для всего запроса путем комбинирования Context vectors его терминов.
4. Distributional similarity score определяется путем сравнения Query vectors Q1 и Q2.

Где и как применяется

Изобретение применяется в основном на этапе понимания запросов, используя данные, подготовленные во время индексирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка данных:

• Анализ больших текстовых корпусов (веб, новости, блоги) для сбора статистики совместной встречаемости слов (для Distributional Similarity).
• Генерация и сохранение Context Vectors для терминов.
• Анализ временных меток в корпусах и логах запросов для построения временных рядов (для Temporal Correlation).

QUNDERSTANDING – Понимание Запросов
Основная область применения. Система использует описанные механизмы для:

• Query Suggestion: Генерация подсказок и связанных запросов.
• Query Expansion: Автоматическое расширение запроса синонимами или связанными терминами.
• Query Categorization: Определение тематики запроса.
• Sponsored Search: Предложение рекламодателям связанных ключевых слов (expanded broad match).

На этом этапе Linear Model комбинирует рассчитанные метрики схожести.

Входные данные:

• Исходный запрос (Q1) и кандидаты (Q2s).
• Различные корпуса (Веб, Новости, Блоги, Логи запросов).
• Предварительно рассчитанные Context Vectors и данные временных рядов.
• Обученная Linear Model.

Выходные данные:

• Ранжированный список связанных запросов (Q2s) с итоговыми Combined Correlation Scores.

На что влияет

• Специфические запросы: Особенно влияет на неоднозначные запросы, где механизм генерации Query Vector помогает в разрешении неоднозначности (disambiguation), и на трендовые запросы, где Temporal Correlation играет ключевую роль.
• Конкретные ниши: Сильно влияет на динамичные ниши (новости, технологии), где связь между запросами может быстро меняться со временем.

Когда применяется

• В реальном времени: При вводе запроса пользователем для генерации мгновенных подсказок (auto-complete) или при обработке запроса для его расширения.
• После выполнения поиска: Для генерации блоков "Связанные запросы" или "People Also Ask".
• Офлайн: Для предварительного расчета векторов, анализа временных рядов и обучения Linear Model.

Пошаговый алгоритм

Процесс А: Расчет Distributional Similarity

1. Сбор контекста: Для каждого термина в запросе (например, "bank") система анализирует большой корпус текстов и выбирает Context terms, которые появляются рядом (например, в окне из 3 слов: "money", "river", "account").
2. Генерация Context Vector: Для термина создается вектор, содержащий частоты его Context terms. V("bank") = [money: 100, river: 50, account: 80].
3. Генерация Query Vector: Система комбинирует Context Vectors всех терминов запроса (например, "bank account"). В патенте предлагается использовать геометрическое среднее (Geometric Mean).
4. Разрешение неоднозначности (Disambiguation): При комбинации V("bank") и V("account") элементы, присутствующие в обоих векторах (например, "money"), усиливаются (так как геометрическое среднее аппроксимирует операцию "И"), а уникальные (например, "river") ослабляются или обнуляются. Это формирует точный контекст запроса.
5. Сравнение векторов: Distributional Similarity Score рассчитывается путем сравнения Query Vectors двух запросов с использованием метрик (например, cosine similarity).

Процесс Б: Расчет Temporal Correlation

1. Построение временных рядов: Система анализирует корпуса с временными метками (Новости и Блоги).
2. Сравнение рядов: Сравнивается временной ряд активности терминов первого запроса в Новостях с временным рядом активности терминов второго запроса в Блогах за один и тот же период.
3. Вычисление оценки: Рассчитывается коэффициент корреляции между двумя временными рядами.

Процесс В: Комбинация и Ранжирование

1. Получение оценок: Система получает Distributional Similarity Score (из А) и Temporal Correlation Score (из Б) для пары запросов.
2. Применение модели: Обученная Linear Model принимает эти оценки на вход.
3. Вычисление итоговой оценки: Модель вычисляет Combined Correlation Score, используя веса, полученные в процессе обучения на данных асессоров.
4. Ранжирование: Кандидаты сортируются по итоговой оценке.

Какие данные и как использует

Данные на входе

• Контентные и Структурные факторы: Используются большие текстовые корпусы (corpus). Система анализирует текст и позиционную близость слов (distance metric, например, окно в 3 слова) для определения Context Terms.
• Временные факторы: Используются временные метки (timestamps) в специфических корпусах: новостные статьи (news articles) и записи в блогах (blog entries). Также могут использоваться логи запросов (search query log).
• Поведенческие факторы (косвенно): Для обучения Linear Model используются данные, аннотированные людьми (human annotated goldstandard), отражающие человеческое восприятие релевантности (например, по 5-балльной шкале Лайкерта).

Какие метрики используются и как они считаются

• Метрики схожести векторов: Для сравнения Query Vectors используются: cosine similarity, dot-product, mutual information, Jensen Shannon divergence, dice coefficient.
• Методы вычислений:
  • Geometric Mean (Геометрическое среднее): Используется для комбинирования Context Vectors в Query Vector. Формула: $qv_j = \left(\prod_{i=1}^{n} v_{ij}\right)^{\frac{1}{n}}$
• Статистические методы: Для определения условной независимости (conditional independence) терминов (например, для идентификации фраз типа "New York") используются: tf-idf, mutual information, $\chi^2$ (Chi-squared test), t-student test, Pointwise Mutual Information (PMI).
• Алгоритмы машинного обучения: Linear Model (logistic regression, log-linear model) используется для комбинации финальных оценок.

1. Комбинация сигналов эффективнее отдельных методов: Ключевой вывод — объединение разнородных сигналов (контекст + время) с помощью машинного обучения дает более точную оценку схожести запросов, чем использование любого из них по отдельности.
2. Критическая важность контекста (Distributional Similarity): Смысл запроса для Google определяется не самими ключевыми словами, а тем, в окружении каких слов эти термины используются в масштабах интернета (в корпусе). Это фундаментальный принцип семантического поиска.
3. Сложный механизм разрешения неоднозначности (Disambiguation): Использование геометрического среднего для объединения Context Vectors в единый Query Vector является мощным инструментом для разрешения неоднозначности. Система отдает приоритет тем контекстам, которые являются общими для всех терминов в запросе.
4. Роль временных данных (Temporal Correlation): Система учитывает тренды. Запросы могут считаться связанными, если они одновременно набирают популярность. Патент особо выделяет анализ корреляций между разными источниками (Новости и Блоги) как важный сигнал.
5. Зависимость от качества данных и обучения: Эффективность системы зависит от размера и качества анализируемых корпусов, а также от качества данных асессоров (human annotated goldstandard), на которых обучается Linear Model.

Best practices (это мы делаем)

• Анализ и оптимизация контекстуального окружения (Distributional Context): Анализируйте, в окружении каких терминов используются ваши ключевые слова в авторитетных источниках. Включайте эти сопутствующие термины (Context Terms) в ваш контент естественным образом. Это поможет Google сформировать точный Query Vector для вашей страницы.
• Создание семантически богатого контента: Фокусируйтесь на Topical Authority. Используйте синонимы, связанные сущности и слова, которые часто встречаются вместе с основными терминами (co-occurring terms). Это укрепляет Distributional Similarity между вашим контентом и целевыми запросами.
• Разрешение неоднозначности (Disambiguation): Если вы таргетируете многозначные термины, активно используйте уточняющий контекст. Это поможет системе правильно интерпретировать значение термина при генерации Query Vector (в соответствии с механизмом геометрического среднего).
• Учет трендов и Newsjacking (Temporal Correlation): Создавайте контент, соответствующий возникающим трендам. Активное присутствие в новостях и обсуждениях в блогах в период пикового интереса может усилить Temporal Correlation между вашим контентом и актуальными запросами.

Worst practices (это делать не надо)

• Keyword Stuffing и неестественный текст: Повторение ключевых слов в отрыве от естественного контекста не поможет сформировать релевантный Query Vector и нарушает принципы естественной совместной встречаемости слов.
• Фокус только на прямом вхождении запроса: Стратегии, основанные исключительно на точном совпадении ключевых слов (exact match), игнорируют принципы Distributional Similarity. Google оценивает схожесть на уровне векторов, а не совпадения строк.
• Игнорирование семантического окружения: Создание контента для ключевого слова в изоляции от связанных тем. Если ваш контент не соответствует общему контексту использования термина в вебе (Corpus), его релевантность будет низкой.

Стратегическое значение

Патент подтверждает стратегию Google по переходу от анализа ключевых слов к пониманию смысла через контекст (семантический поиск). Distributional Similarity является основой для многих современных NLP-моделей (включая векторные эмбеддинги). Для SEO это означает, что построение авторитета в теме и создание контента, который глубоко раскрывает её с использованием естественного языка и связанных понятий, является ключевой долгосрочной стратегией.

Практические примеры

Сценарий: Разрешение неоднозначности (Disambiguation) запроса

1. Запрос: Пользователь вводит "Java developer".
2. Анализ терминов: Система анализирует термины "Java" (многозначный: язык, остров, кофе) и "developer".
3. Context Vectors:
   • V("Java") содержит контекстные слова: [programming, code, island, indonesia, coffee, cup].
   • V("developer") содержит контекстные слова: [programming, code, software, job, building].
4. Генерация Query Vector (Geometric Mean): Система комбинирует векторы. Геометрическое среднее действует как фильтр: усиливаются только общие контекстные слова ([programming, code]). Слова [island, indonesia, coffee, cup, building] ослабляются или обнуляются.
5. Результат: Итоговый Query Vector четко указывает на контекст разработки ПО. Система предложит подсказки типа "Java developer salary", игнорируя подсказки про путешествия или кофе.