Как Google использует анализ совместной встречаемости слов для проверки синонимов и определения значимых контекстов запроса

Термины и определения

Co-occurrence Frequency (Частота совместной встречаемости)

Метрика, показывающая, как часто определенный термин появляется в поисковых запросах вместе с другим термином.

Context (Контекст запроса)

Условия, при которых применяется правило подстановки. Обычно это другие термины, которые должны присутствовать в запросе рядом с исходным термином (слева или справа).

Delta Vector (Дельта-вектор)

Вектор, представляющий разницу между двумя векторами совместной встречаемости. Используется для определения того, как меняется профиль термина при добавлении контекста.

IDF (Inverse Document Frequency, Обратная частота документа)

Мера того, насколько редким или распространенным является термин. Используется как один из способов оценки «важности» термина.

Importance Score (imp(x), Оценка важности)

Метрика для оценки значимости термина. Может рассчитываться на основе IDF или с помощью более сложной формулы, учитывающей частоту и документную частоту (DF) совместно встречающихся терминов.

Stop List (Стоп-лист контекстов)

Список контекстов, которые были идентифицированы как незначимые или вредные (bad contexts). Система переписывания запросов игнорирует правила подстановки, зависящие от этих контекстов.

Substitute Term (Заменяющий термин, Синоним)

Термин, который используется для замены исходного термина в запросе или добавляется к нему для расширения поиска.

Substitution Rule (Правило подстановки)

Правило, определяющее, какой термин может быть заменен другим, и при каких условиях (контексте). Например, dog → pet (:food).

Vector (Вектор совместной встречаемости)

Структура данных, где каждый элемент представляет собой частоту совместной встречаемости (Co-occurrence Frequency) определенного слова с базовым термином.

Ключевые утверждения (Анализ Claims)

Важно отметить, что все 36 пунктов формулы изобретения посвящены исключительно методу оценки контекстов, а не оценке синонимов (которая описана в патенте как фоновая технология).

Claim 1 (Независимый пункт): Описывает базовый метод оценки контекста.

1. Система выбирает первый термин (исходный термин правила) и второй термин (контекст правила).
2. Генерируется Первый Вектор: рассчитываются частоты совместной встречаемости (co-occurrence frequencies) для терминов, которые появляются в запросах с Первым Термином (в целом).
3. Генерируется Второй Вектор: рассчитываются частоты совместной встречаемости для терминов, которые появляются в запросах, где Первый Термин находится рядом (adjacent) со Вторым Термином (в контексте).
4. Векторы сравниваются.
5. На основе сравнения вычисляется оценка (score) для Второго Термина как контекста для правила подстановки, основанного на Первом Термине.

Claim 2 (Зависимый): Детализирует процесс сравнения и оценки.

1. Вычисляются изменения (дельты) в частотах совместной встречаемости между соответствующими элементами Первого и Второго Векторов (создается Delta Vector).
2. Термины упорядочиваются в соответствии с величиной этих изменений.
3. Вычисляется мера важности (measure of importance) для Топ-N терминов в этом порядке (т.е. терминов с наибольшими изменениями).

Claim 4 и 5 (Зависимые): Определяют формулу оценки контекста.

Оценка контекста вычисляется как взвешенная сумма изменений частот для Топ-N терминов. Весом для каждого изменения является мера важности соответствующего термина.

Формула оценки:

$score = \sum_{i=1}^{N} V_i \cdot imp(Term_i)$

Где $V_i$ — это изменение частоты (дельта), а $imp(Term_i)$ — важность термина.

Claim 6, 7, 8 (Зависимые): Определяют способы расчета меры важности (Importance Score).

• Claim 7: Важность термина равна его обратной частоте документа (IDF).
• Claim 6: Важность термина x рассчитывается на основе частот терминов, которые совместно встречаются с ним в запросах, по сложной формуле:

$imp(x) = 1 - \sum_{i=1}^{k} H_i \cdot DF(Term_i)$

Где $H_i$ — частота совместной встречаемости, а $DF(Term_i)$ — документная частота этого термина.

Claim 10, 11, 12 (Зависимые): Описывают применение результатов оценки.

Если вычисленная оценка удовлетворяет пороговому значению (т.е. оценка низкая), второй термин обозначается как «плохой контекст» (bad context). Этот контекст добавляется в Stop List. Этот стоп-лист предоставляется процессу переписывания запросов, который будет игнорировать правила подстановки, зависящие от этих плохих контекстов.

Где и как применяется

Изобретение применяется на этапе QUNDERSTANDING – Понимание Запросов.

Основная работа системы происходит офлайн, до получения запроса пользователем. Система (Substitute Term Engine и Vector Engine) анализирует логи запросов для генерации, валидации и очистки базы данных правил подстановки.

INDEXING – Индексирование и извлечение признаков
На этом этапе вычисляются метрики Document Frequency (DF) или Inverse Document Frequency (IDF) для терминов в индексе. Эти данные необходимы для расчета Importance Score.

QUNDERSTANDING – Понимание Запросов (Офлайн)

1. Генерация кандидатов: Система анализирует Query Logs для выявления потенциальных синонимов и контекстов.
2. Валидация синонимов: Используется метод сравнения векторов (Процесс А) для оценки качества кандидатов.
3. Оценка контекстов: Используется метод сравнения векторов и оценки важности (Процесс Б, ядро патента) для определения значимости контекстов.
4. Очистка: Незначимые контексты добавляются в Stop List.

QUNDERSTANDING – Понимание Запросов (Рантайм)
Во время обработки запроса пользователя Query Reviser Engine использует очищенную базу правил подстановки для генерации переписанных запросов. Stop List гарантирует, что неэффективные контекстные правила не будут применяться.

Входные данные:

• Логи поисковых запросов (Query Logs Database).
• Кандидатные правила подстановки и контексты.
• Данные о документной частоте (DF) или IDF терминов.

Выходные данные:

• Очищенная база правил подстановки (Substitution Rules Database).
• Стоп-лист плохих контекстов (Stop List).
• Оценки уверенности (Confidence scores) для правил подстановки.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные запросы или запросы с ошибками/опечатками, где контекст критичен для правильной интерпретации интента (например, разница между "sheer music" (опечатка "sheet music") и "sheer fabric").
• Точность переписывания запросов: Система повышает точность определения синонимов и гарантирует, что подстановки происходят только в релевантных контекстах.
• Эффективность системы: Удаление бесполезных контекстов уменьшает размер базы данных правил и ускоряет обработку запросов.

Когда применяется

• Оценка синонимов и контекстов: Происходит периодически в офлайн-режиме при обработке накопленных логов запросов и обновлении базы правил подстановки.
• Использование результатов: Очищенные правила и стоп-листы используются в рантайме при обработке каждого запроса пользователя, к которому применимы правила переписывания.

Пошаговый алгоритм

Патент описывает два основных процесса.

Процесс А: Оценка синонима (Валидация правила подстановки)

1. Выбор терминов: Выбирается исходный термин (Термин А) и кандидатный синоним (Термин Б).
2. Генерация Вектора А: Анализируются логи запросов. Рассчитываются частоты совместной встречаемости для всех слов, которые появляются вместе с Термином А.
3. Генерация Вектора Б: Рассчитываются частоты совместной встречаемости для всех слов, которые появляются вместе с Термином Б.
4. Сравнение векторов: Вычисляется мера схожести между Вектором А и Вектором Б (например, Cosine Similarity).
5. Оценка: Если схожесть превышает порог (например, 0.9), Термин Б считается хорошим синонимом для Термина А. Оценка уверенности правила повышается. (Пример: "frenchopen" и "french open").

Процесс Б: Оценка контекста (Ядро изобретения, Claims)

1. Выбор правила и контекста: Выбирается исходный термин (Термин А) и контекст (Термин С). Например, правило sheer → sheet в контексте (:music).
2. Генерация Вектора 1 (Общий): Рассчитываются частоты совместной встречаемости для слов, появляющихся с Термином А (sheer) в любых запросах.
3. Генерация Вектора 2 (Контекстный): Рассчитываются частоты совместной встречаемости для слов, появляющихся в запросах, где Термин А находится рядом с Термином С (sheer music).
4. Вычисление Дельта-вектора: Рассчитывается разница между Вектором 2 и Вектором 1.
5. Идентификация Топ-N изменений: Дельта-вектор сортируется. Определяются Топ-N терминов, частота которых изменилась сильнее всего при добавлении контекста.
6. Расчет Важности (Importance Score): Для каждого из Топ-N терминов рассчитывается его важность (например, с помощью IDF или формулы из Claim 6).
7. Расчет Взвешенной Оценки Контекста: Вычисляется взвешенная сумма: изменения частот (дельты) умножаются на важность соответствующих терминов.
8. Применение порога и Очистка: Если взвешенная оценка низкая (контекст не добавил значимых слов), Термин С признается плохим контекстом для Термина А и добавляется в Stop List.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Логи поисковых запросов (Query Logs). Это основной источник данных для вычисления частот совместной встречаемости (co-occurrence frequencies).
• Данные Индекса (Контентные/Технические): Документная частота (Document Frequency, DF) или Обратная документная частота (Inverse Document Frequency, IDF) терминов. Эти данные извлекаются из основного поискового индекса и используются для расчета Importance Score.

Какие метрики используются и как они считаются

• Co-occurrence Frequency: Подсчет количества появлений двух терминов в одном запросе, нормализованный на общее количество запросов или количество запросов с базовым термином.
• Cosine Similarity (Косинусная близость): Используется для оценки схожести синонимов. Измеряет косинус угла между двумя векторами совместной встречаемости.
• Delta (Изменение частоты): Разница между частотой совместной встречаемости термина в контексте и его частотой в целом.
• Importance Score (imp(x)): Оценка важности термина. Рассчитывается либо как IDF термина, либо по сложной формуле (Claim 6), которая оценивает специфичность контекстного окружения термина.
• Weighted Context Score: Финальная оценка значимости контекста. Рассчитывается как взвешенная сумма изменений частот (Delta), где весами выступают Importance Scores соответствующих терминов (Claim 4/5).

1. Дистрибутивная семантика для валидации синонимов: Google использует анализ совместной встречаемости слов в логах запросов для подтверждения семантической близости терминов. Если два слова постоянно появляются в окружении одних и тех же слов (имеют похожие векторы), система считает их синонимами.
2. Контекст имеет решающее значение и измеряется количественно: Система активно и количественно оценивает, насколько соседние слова меняют смысл основного термина. Хороший контекст должен существенно изменять семантическое окружение термина.
3. Оценка «Важности» слов (Importance Score): Google использует метрики (IDF или производные от DF), чтобы отличать специфичные/важные слова от общих/шумовых слов. Это является основой для оценки качества контекста.
4. Критерии хорошего контекста: Контекст считается значимым, если его присутствие значительно увеличивает частоту появления «важных» (специфичных) слов рядом с основным термином. Если контекст увеличивает частоту общих слов, он признается бесполезным.
5. Активная оптимизация системы понимания запросов: Google не просто накапливает правила переписывания, но и активно очищает их, удаляя неинформативные контексты (bad contexts) и создавая Stop Lists. Это повышает скорость и точность работы Query Reviser Engine.

Best practices (это мы делаем)

• Фокус на естественной совместной встречаемости (Semantic Co-occurrence): При создании контента используйте слова и фразы, которые естественно появляются вместе в рамках обсуждаемой темы. Это помогает Google распознать семантическую валидность и контекст вашего контента через векторный анализ, так как значение слова определяется его окружением.
• Обеспечение четкого контекста для неоднозначных терминов: Если вы используете термины с несколькими значениями (например, "Ягуар" как животное или как автомобиль), убедитесь, что окружающий текст (контекст) немедленно уточняет интент. Соседство с «важными» (специфичными для темы, с высоким Importance Score) словами помогает системе правильно интерпретировать смысл.
• Построение тематического авторитета (Topical Authority): Глубокое раскрытие темы и охват связанных подтем гарантирует присутствие в тексте разнообразных и «важных» совместно встречающихся терминов. Это укрепляет контекстуальный профиль страницы и всего сайта.
• Анализ семантического окружения: Изучайте, какие слова часто используются вместе с вашими целевыми запросами в авторитетных источниках и у конкурентов в ТОПе. Интеграция этих слов в ваш контент поможет синхронизировать его векторное представление с ожиданиями поисковой системы.

Worst practices (это делать не надо)

• Keyword Stuffing и неестественное использование ключей: Нарушает естественные паттерны совместной встречаемости. Векторное представление такого контента будет выглядеть аномальным, что затрудняет определение его контекста и релевантности.
• Неуместное использование синонимов: Попытки насильно включить синонимы в контент, где они не соответствуют контексту. Система анализа векторов (Процесс А) определит, что в данном окружении термин не является валидной заменой.
• Игнорирование контекста: Создание контента по широким запросам без учета специфического контекста, который ищут пользователи. Это приводит к размытому векторному профилю страницы.
• Фокус только на высокочастотных (общих) словах: Создание поверхностного контента, который не включает специфичные, низкочастотные термины, относящиеся к теме. Это снижает общую «важность» контекстного профиля.

Стратегическое значение

Патент подтверждает фундаментальную важность семантического поиска и анализа контекста. Он показывает, что Google не просто ищет совпадения ключевых слов, а строит и сравнивает сложные профили (векторы) того, как слова используются на практике (на основе Query Logs). Для SEO это означает, что стратегия должна быть направлена на создание контента, который демонстрирует естественное и глубокое владение темой, используя правильную терминологию в правильном контекстном окружении.

Практические примеры

Сценарий 1: Оптимизация для двусмысленного термина "Меркурий".

1. Цель 1: Ранжироваться по запросам о планете.
   • Действие: Убедиться, что термин "Меркурий" на странице часто встречается рядом с «важными» словами: "планета", "солнечная система", "орбита", "космос".
   • Результат: Контекстный вектор для использования термина на этой странице будет схож с вектором запросов пользователей, ищущих планету. Система правильно интерпретирует контекст.
2. Цель 2: Ранжироваться по запросам о химическом элементе (ртуть).
   • Действие: Использовать термин в окружении других «важных» слов: "ртуть", "металл", "жидкий", "токсичный", "химический элемент".
   • Результат: Система определит другой контекст. Правило подстановки Меркурий -> Ртуть будет активировано с большей вероятностью именно для этой страницы при соответствующих запросах.

Сценарий 2: Оценка контекста (Пример из патента FIG. 4)

1. Анализ: Google оценивает правило, исправляющее опечатку: sheer → sheet (:music).
2. Наблюдение: Система видит, что контекст (:music) сильно меняет окружение слова "sheer". Частота важных слов ("instrument", "piano", "lessons") резко возрастает (большой Delta Vector).
3. Результат: Контекст признается хорошим.
4. SEO-действие: При создании страницы о нотах («sheet music») необходимо убедиться, что в контенте естественно присутствуют эти важные термины, чтобы укрепить контекстуальную релевантность и помочь Google правильно интерпретировать тематику.