Как Google использует сущности (Concepts) для определения точного контекста и генерации синонимов запроса

Описание

Какую задачу решает

Патент решает проблему вычислительной сложности при определении контекста запроса для генерации замен (синонимов). Традиционно системы ограничиваются анализом одного или двух соседних слов (unigram, bigram), так как сложность растет экспоненциально с увеличением числа слов (N-gram). Это ограничивает точность, так как реальный контекст часто требует анализа более длинных фраз. Изобретение позволяет учитывать богатый контекст (триграммы и более) без критического увеличения вычислительной нагрузки.

Что запатентовано

Запатентована система генерации контекстно-зависимых правил замены терминов (Substitution Rules). Суть изобретения заключается в идентификации «Концептов» (Concepts) — последовательности слов, имеющих коллективное значение (например, «New York Times»). Система обрабатывает Концепт как единый элемент (one term) при определении контекста для соседних слов. Это позволяет эффективно анализировать логи запросов и выявлять точные замены, специфичные для данного Концепта.

Как это работает

Механизм работает в несколько этапов:

• Идентификация Концептов: Система анализирует входящий запрос (например, «New York Times Puzzle») и сверяет его с базой данных Collection of Concepts, идентифицируя известные фразы («New York Times»).
• Определение Контекста: Идентифицированный Концепт становится контекстом для остальных слов в запросе (контекст для «Puzzle» — это «New York Times»).
• Сбор данных (Офлайн): Система анализирует Query Log, отслеживая, как пользователи переформулируют запросы, содержащие этот Концепт. Например, часто ли за запросом «New York Times Puzzle» следует «New York Times Crossword».
• Генерация Правил: Если частота переформулировок превышает порог, система генерирует контекстно-зависимое правило замены: «Puzzle» -> «Crossword» (в контексте: «New York Times»).
• Применение (Онлайн): При получении нового запроса система использует эти правила для его расширения или переписывания.

Актуальность для SEO

Высокая. Понимание контекста и точная интерпретация запросов являются ядром современных поисковых систем. Использование сущностей (которые являются формой Concepts) для определения контекста — это фундаментальный принцип, который получил развитие в алгоритмах, основанных на трансформерах (BERT, MUM). Этот патент описывает эффективный механизм интеграции сущностей в процесс генерации синонимов.

Важность для SEO

Патент имеет высокое значение (85/100). Он объясняет, как Google генерирует высокоточные, контекстно-зависимые синонимы. Это напрямую влияет на то, как система интерпретирует запрос и какие документы считает релевантными. SEO-специалистам необходимо понимать, что значение ключевого слова может радикально меняться в зависимости от окружающих его Concepts. Стратегии, основанные на общих синонимах, будут неэффективны в нишах с четко определенными Концептами.

Детальный разбор

Термины и определения

Concept (Концепт)

Запросный термин или последовательность последовательных запросными терминов, представляющих специфическое значение при их комбинации. Это группа слов, имеющая коллективное значение (collective meaning), отличное от значения отдельных слов (например, «New York Times»). Система обрабатывает Концепт как единый элемент для определения контекста.

Context (Контекст)

Условия, при которых применяется правило замены. В данном патенте Контекст определяется наличием одного или нескольких Concepts в запросе, часто в определенной позиции относительно заменяемого термина.

Query Log (Лог запросов)

Репозиторий, хранящий данные об использовании поисковой системы, включая последовательности запросов пользователей. Используется для сбора данных о заменах (query term substitution data).

Substitution Rule (Правило замены)

Правило, указывающее, что один термин может быть заменен или дополнен другим термином. Правила могут быть общими или контекстно-зависимыми.

Query Reviser Engine (Механизм пересмотра запросов)

Компонент системы, который генерирует пересмотренные (revised) запросы на основе исходного запроса путем добавления, замены или удаления терминов, используя правила замены.

Substitution Engine (Механизм замен)

Компонент, который анализирует логи запросов, идентифицирует Концепты, генерирует и предоставляет правила замены для Query Reviser Engine.

Collection of Concepts (Коллекция Концептов)

База данных, хранящая предопределенные Concepts.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод сбора данных и принятия решения о замене на основе Концептов.

1. Система получает набор терминов (первый, второй, третий).
2. Определяется, что фраза, включающая эти термины, имеет коллективное значение (collective meaning), отличное от значений отдельных терминов. (Это определение Концепта).
3. В ответ на это определение система выполняет следующие действия:
   1. Идентифицирует в коллекции логов исходный запрос, который содержит (i) эту фразу (Концепт) и (ii) дополнительный исходный термин.
   2. Определяет количество раз (number of times), когда за этим исходным запросом следовал пересмотренный запрос, содержащий (i) ту же фразу (Концепт) и (ii) дополнительный пересмотренный термин (отличный от исходного).
   3. На основе этого количества раз (частоты) принимается решение, следует ли пересматривать последующие полученные запросы, содержащие Концепт и исходный термин, чтобы включить в них пересмотренный термин.

Ядром изобретения является использование факта наличия Концепта (фразы с коллективным значением) как триггера для анализа логов запросов и последующего принятия решения о генерации контекстно-зависимой замены на основе наблюдаемого поведения пользователей (частоты переформулировок).

Claim 2 (Зависимый от 1): Уточняет, что на основе частоты (number of times) и коллективного значения фразы (Концепта) принимается решение о генерации Substitution Rule, которое затем сохраняется.

Claim 3 (Зависимый от 2): Уточняет, что правило генерируется, если частота (number of times) удовлетворяет пороговому значению (frequency threshold).

Где и как применяется

Изобретение применяется в основном на этапе понимания запросов и влияет на этап ранжирования через механизм переписывания запросов.

QUNDERSTANDING – Понимание Запросов

Это основной этап применения патента. Он включает два процесса:

1. Офлайн-анализ и генерация правил:
   • Substitution Engine анализирует Query Logs для выявления паттернов переформулирования запросов.
   • Система взаимодействует с Collection of Concepts (аналог Knowledge Graph или базы сущностей) для идентификации Концептов в логах.
   • На основе частотного анализа генерируются и сохраняются контекстно-зависимые Substitution Rules.
2. Онлайн-обработка запроса:
   • При получении запроса система идентифицирует Концепты.
   • Query Reviser Engine проверяет наличие соответствующих Substitution Rules для данного контекста.
   • Генерируются пересмотренные запросы (Revised Queries).

RANKING – Ранжирование

Search Engine получает как исходный запрос, так и пересмотренные запросы и использует их для поиска и ранжирования результатов в Index Database. Наличие точных контекстных замен улучшает релевантность найденных документов.

Входные данные:

• Исходный запрос пользователя.
• Query Logs (для офлайн-анализа).
• Collection of Concepts (база знаний о Концептах).
• Collection of Substitution Rules (для онлайн-применения).

Выходные данные:

• Новые контекстно-зависимые Substitution Rules (офлайн).
• Пересмотренные запросы (Revised Queries) (онлайн).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, содержащие многословные сущности, бренды, названия продуктов, географические объекты или устоявшиеся фразы (т.е. Concepts).
• Точность интерпретации: Влияет на то, как Google интерпретирует слова рядом с сущностями. Например, слово «Rate» рядом с Концептом «Social Security Tax» интерпретируется как «Calculation», а не как «Benefit» или «Speed».
• Коммерческие и информационные запросы: Влияет на запросы, где точность контекста критична для удовлетворения интента пользователя.

Когда применяется

• Условия работы алгоритма: Алгоритм активируется, когда в запросе идентифицирован один или несколько Concepts.
• Триггеры активации (Офлайн): Идентификация Концепта в логах запросов запускает процесс сбора данных о заменах (substitution data collection) для соседних терминов.
• Пороговые значения (Офлайн): Генерация правила происходит, когда частота (frequency) переформулирования запроса (с Термина А на Термин Б в контексте Концепта) превышает определенный порог.
• Временные рамки: Генерация правил происходит офлайн путем анализа агрегированных данных за период. Применение правил происходит онлайн в реальном времени при обработке запроса.

Пошаговый алгоритм

Процесс разделен на две части: офлайн-генерация правил и онлайн-обработка запроса.

Процесс А: Офлайн-генерация правил замены

1. Получение запроса (из лога): Система анализирует запрос из Query Log.
2. Идентификация терминов: Исходный запрос разбивается на термины.
3. Идентификация Концептов: Система ищет последовательности терминов, которые соответствуют записям в Collection of Concepts. Проверяется, имеют ли эти последовательности коллективное значение (collective meaning).
4. Определение Контекста: Если Концепт(ы) найдены, они определяют контекст для остальных терминов запроса. Патент описывает разные варианты:
   • Один Концепт: Контекст для термина справа или слева.
   • Два раздельных Концепта: Контекст для термина между ними (например, «New York» [Yankees] «Stadium»).
   • Два смежных Концепта: Объединенный контекст для термина справа или слева (например, «Social Security Tax» [Rate]).
5. Сбор данных о заменах: Система начинает сбор query term substitution data для последующих запросов в логе, которые включают идентифицированный Концепт(ы). Отслеживается, как часто пользователи меняют исходный термин на другой (пересмотренный) термин в этом контексте.
6. Анализ частоты: Агрегированные данные анализируются. Определяется number of times (частота) замен.
7. Генерация и сохранение правила: Если частота превышает frequency threshold, система генерирует Substitution Rule (Термин А -> Термин Б в Контексте X) и сохраняет его в Collection of Substitution Rules.

Процесс Б: Онлайн-обработка запроса

1. Получение запроса: Пользователь вводит исходный запрос.
2. Передача в Query Reviser Engine: Запрос поступает в механизм пересмотра.
3. Идентификация Контекста: Substitution Engine идентифицирует Концепты в запросе.
4. Поиск правил замены: Система ищет применимые Substitution Rules в базе данных, соответствующие идентифицированному контексту.
5. Генерация пересмотренных запросов: Query Reviser Engine генерирует один или несколько Revised Queries, добавляя или заменяя термины согласно правилам.
6. Поиск: Исходный и пересмотренные запросы отправляются в Search Engine.
7. Агрегация и выдача: Результаты объединяются, ранжируются и предоставляются пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных о поведении пользователей и предопределенных знаний о языке.

• Поведенческие факторы (Ключевые данные):
  • Query Logs: Агрегированные данные о запросах пользователей.
  • Последовательности запросов (Sessions): Данные о том, как пользователи переформулируют запросы в рамках одной сессии (когда за исходным запросом следует пересмотренный запрос).
  • Взаимодействие с результатами: В патенте упоминается, что данные об использовании (usage data) могут включать взаимодействие с результатами, что может использоваться для определения оценки уверенности (confidence score) для правил замены.
• Структурированные данные / Базы знаний:
  • Collection of Concepts: Предопределенный набор фраз с коллективным значением. Эти данные могут быть собраны автоматически (например, парсинг словарей, индексов) или через анализ логов (например, термины, часто заключаемые в кавычки).

Какие метрики используются и как они считаются

• Collective Meaning (Коллективное значение): Метрика или статус, определяющий, является ли фраза Концептом. Основана на том, отличается ли значение фразы от значений отдельных слов.
• Number of Times / Frequency (Частота переформулировок): Ключевая метрика для генерации правил. Подсчитывается количество раз, когда запрос [Концепт + Термин А] был заменен пользователем на [Концепт + Термин Б] в логах запросов.
• Frequency Threshold (Порог частоты): Минимальное значение Frequency, необходимое для генерации Substitution Rule.
• Confidence Score (Оценка уверенности): В патенте упоминается возможность маркировки замен оценкой уверенности. Она может определяться на основе взаимодействия пользователей с результатами, полученными по пересмотренному запросу (например, клики на новые результаты, пропуск высокоранжированных результатов).

Выводы

1. Концепты (Сущности) как основа контекста: Патент подчеркивает переход от анализа соседних слов (N-грамм) к анализу соседних Концептов (сущностей или устоявшихся фраз) для понимания контекста запроса. Это позволяет Google интерпретировать запросы гораздо точнее.
2. Синонимы не универсальны: Значение слова и его синонимы строго зависят от контекста, определяемого Концептами. Общее правило замены может быть подавлено контекстно-зависимым правилом (например, «Puzzle» обычно синоним «Jigsaw», но в контексте «New York Times» это «Crossword»).
3. Эффективность вычислений: Обработка многословных Концептов как единых элементов является ключевым техническим решением для преодоления вычислительной сложности анализа длинных контекстов (N-грамм).
4. Генерация правил на основе поведения пользователей: Система генерации синонимов является динамической и основана на реальных данных из Query Logs. Google учится тому, как пользователи уточняют и переформулируют запросы в специфических контекстах.
5. Важность предопределенных знаний: Эффективность системы зависит от качества и полноты Collection of Concepts. Чем лучше Google распознает сущности и фразы, тем точнее будет контекст.

Практика

Best practices (это мы делаем)

• Идентификация ключевых Концептов в нише: Необходимо определить, какие сущности, бренды, технические термины и устоявшиеся фразы Google распознает как Concepts в вашей тематике. Это основа для понимания контекста, в котором ранжируется ваш контент.
• Анализ контекстуальных синонимов: Изучайте SERP и блоки «Related Searches», чтобы понять, как Google интерпретирует запросы, содержащие ваши ключевые Концепты. Не полагайтесь на общие словари синонимов. Важно понять, какие замены Google считает релевантными именно в этом специфическом контексте.
• Создание контента, соответствующего контекстуальному значению: Если пользователи ищут «Apple Security» (где Apple — Концепт/Бренд), контент должен быть о кибербезопасности продуктов Apple, а не о безопасности фруктов. Контент должен соответствовать тем заменам, которые Google генерирует на основе Концептов.
• Укрепление распознавания собственных сущностей (Бренда): Работайте над тем, чтобы ваш бренд и названия продуктов стали распознаваемыми Concepts. Это позволит Google точнее определять контекст запросов, связанных с вами, и генерировать релевантные замены.

Worst practices (это делать не надо)

• Использование общих синонимов без учета контекста: Попытки оптимизировать страницу под все возможные синонимы ключевого слова неэффективны. Если контекст страницы не соответствует специфическому значению, которое Google выводит на основе Concepts в запросе, страница не будет ранжироваться.
• Игнорирование сущностей в запросе: Рассмотрение запроса как набора ключевых слов без учета их коллективного значения (collective meaning). Необходимо анализировать запрос через призму Концептов.
• Создание размытого контента: Попытка охватить слишком много разных контекстов на одной странице. Если страница релевантна общему значению слова, но не его значению в специфическом контексте запроса, она может быть проигнорирована.

Стратегическое значение

Этот патент подтверждает стратегическую важность Entity-Oriented Search. Понимание запроса строится вокруг распознанных сущностей (Concepts). Для SEO это означает, что построение авторитетности в рамках определенного набора Концептов (Topical Authority) и четкое позиционирование контента относительно этих Концептов является ключом к релевантности. Система генерации синонимов Google — это не просто лингвистический инструмент, а механизм, управляемый данными о поведении пользователей и знаниями о мире (Collection of Concepts).

Практические примеры

Сценарий: Оптимизация страницы под запрос с изменяющимся контекстом

Рассмотрим термин «Rate».

1. Анализ Контекстов:
   • Запрос 1: «Interest Rate» (Концепт: Interest). Контекстуальное значение «Rate» связано с финансами (например, процентная ставка, ставка ЦБ).
   • Запрос 2: «Heart Rate» (Концепт: Heart). Контекстуальное значение «Rate» связано с медициной (например, пульс, ЧСС).
   • Запрос 3: «Social Security Tax Rate» (Концепты: Social Security, Tax). Как указано в патенте, Google на основе анализа логов мог определить, что в этом контексте пользователи часто заменяют «Rate» на «Calculation».
2. Действия SEO-специалиста: При оптимизации страницы под Запрос 3 недостаточно просто использовать термин «Rate». Необходимо убедиться, что контент соответствует контекстуальному значению «Calculation».
3. Реализация: Включить в текст фразы, связанные с расчетом налога, формулы, калькуляторы. Заголовки могут включать «How to calculate Social Security Tax».
4. Ожидаемый результат: Страница будет признана высокорелевантной не только по прямому вхождению «Rate», но и по соответствию контекстуальной замене «Calculation», которую Google может использовать при расширении запроса.

Вопросы и ответы