Как Google ограничивает использование синонимов, требуя сохранения исходного контекста фразы

Термины и определения

Classifier (Классификатор)

Компонент системы, который оценивает синонимы по различным критериям и определяет, следует ли классифицировать их как PRST.

Confidence Value (Уровень уверенности)

Метрика, связанная с правилом замены, указывающая на надежность синонима. Низкий уровень уверенности является сигналом для классификации синонима как PRST.

Non-PR Synonym (Надежный синоним)

Синоним, который считается надежной заменой исходного термина независимо от контекста (например, морфологические варианты, аббревиатуры). Не требует проверки смежности при отборе документов.

Phrase-Restricted Substitute Term (PRST) (Термин-заменитель с ограничением по фразе)

Синоним, который считается ненадежным или контекстно-зависимым. Для отбора документа, содержащего PRST (при отсутствии исходного термина), требуется, чтобы PRST находился рядом с соседними терминами запроса.

Query Reviser Engine (Механизм пересмотра запросов)

Система, которая генерирует пересмотренные запросы, добавляя или заменяя исходные термины синонимами.

Retrieval Criteria (Критерии отбора)

Правила, используемые поисковой системой для определения того, какие документы следует извлечь из индекса и передать на этап ранжирования. Для PRST применяются более строгие критерии.

Specific Context Substitution Rule (Правило замены для специфического контекста)

Правило, которое определяет синоним только при наличии в запросе других определенных терминов. Является сильным сигналом для классификации синонима как PRST.

Substitute Term / Synonym (Термин-заменитель / Синоним)

Термин, используемый для расширения или изменения исходного запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод отбора документов.

1. Система получает запрос, включающий первый термин (T1) и смежный с ним второй термин (T2), а также термин-заменитель (S1) для T1.
2. Определяется, что S1 включен в определенное подмножество (proper subset) синонимов T1 (т.е. классифицирован как PRST).
3. Определяется, что веб-страница не содержит исходный термин T1.
4. На основании пунктов 2 и 3, веб-страница выбирается для ранжирования (scored) ТОЛЬКО если S1 находится рядом (occurs adjacent) с T2 на этой веб-странице.

Claim 3, 4, 5, 6, 7 (Зависимые): Детализируют критерии, по которым синоним классифицируется как PRST (включен в «определенное подмножество»).

• Claim 3: Синоним является PRST, если он НЕ является морфологическим вариантом исходного термина.
• Claim 4: Синоним является PRST, если он НЕ является аббревиатурой или акронимом исходного термина.
• Claim 5: Синоним является PRST, если confidence value связанного правила замены НЕ удовлетворяет пороговому значению (т.е. уверенность низкая).
• Claim 6: Синоним является PRST, если он был идентифицирован с использованием specific-context substitution rule.
• Claim 7: Синоним является PRST, если количество терминов в запросе удовлетворяет порогу (т.е. запрос короткий).

Claim 19 (Независимый пункт): Альтернативное описание основного процесса с явным использованием термина PRST.

1. Получение запроса (T1 смежный с T2) и заменителя (S1).
2. Определение, что S1 обозначен как phrase-restricted substitute term для T1.
3. В ответ на это определение, проверка, что на веб-странице (отвечающей на запрос и не содержащей T1) S1 находится рядом с T2.
4. Выбор веб-страницы для ранжирования ТОЛЬКО после подтверждения смежности S1 и T2.

Где и как применяется

Изобретение применяется на двух ключевых этапах поиска: понимание запроса и ранжирование (на этапе отбора кандидатов).

QUNDERSTANDING – Понимание Запросов
На этом этапе происходит идентификация и классификация синонимов.

• Взаимодействие: Query Reviser Engine идентифицирует синонимы. Затем Classifier анализирует эти синонимы, используя данные о правилах замены.
• Входные данные: Исходный запрос, база данных правил замены (включая типы правил, контексты и Confidence Values).
• Выходные данные: Пересмотренный запрос, в котором синонимы помечены (тегированы) как PRST или Non-PR.

RANKING – Ранжирование (L1 Retrieval / Отбор кандидатов)
Это основной этап применения логики патента. Здесь происходит фильтрация документов перед ранжированием.

• Взаимодействие: Search Engine использует тегированные синонимы при извлечении документов из индекса. Применяются различные Retrieval Criteria в зависимости от тега.
• Входные данные: Пересмотренный запрос с тегами PRST/Non-PR, Индекс документов.
• Выходные данные: Набор документов-кандидатов, удовлетворяющих критериям отбора (включая требование смежности для PRST), который передается на этап ранжирования (Scoring Engine).

Ключевая техническая особенность: Фильтрация происходит на этапе отбора (Retrieval), а не на этапе ранжирования (Scoring). Если документ не удовлетворяет критерию смежности для PRST, он не попадает в ранжирование.

На что влияет

• Специфические запросы: Наибольшее влияние на запросы, где используются неоднозначные термины или термины с контекстно-зависимыми синонимами. Особенно влияет на короткие запросы (Short Query), которые чаще бывают неоднозначными и где синонимы с большей вероятностью классифицируются как PRST.
• Конкретные ниши: Влияет на тематики, где важны точные формулировки и словосочетания (например, технические, медицинские, коммерческие ниши), и где неправильное использование синонима может радикально изменить смысл (например, "day spa" как синоним "massage spa", но не в контексте "open all day").

Когда применяется

Алгоритм активируется при выполнении совокупности условий в реальном времени:

• Условие 1: Для термина в запросе идентифицирован хотя бы один синоним.
• Условие 2: Этот синоним классифицирован как Phrase-Restricted Substitute Term (PRST) на основе критериев надежности и контекста.
• Условие 3: Поисковая система оценивает документ, который содержит PRST, но НЕ содержит исходный термин запроса (и, как уточняется в Claim 2, не содержит других синонимов этого термина).

При выполнении этих условий активируется строгий критерий отбора, требующий проверки смежности PRST с соседними терминами запроса.

Пошаговый алгоритм

Процесс состоит из двух основных частей: классификация синонимов и отбор документов.

Часть А: Классификация синонимов (Этап QUNDERSTANDING)

1. Получение данных: Система получает термин запроса и его синоним (сгенерированный по правилу замены).
2. Оценка критериев (Сигналы): Система проверяет ряд условий для определения надежности синонима:
   • Является ли он морфологическим вариантом? (Если да -> Надежный)
   • Является ли он акронимом или аббревиатурой? (Если да -> Надежный)
   • Имеет ли правило замены высокий Confidence Value (выше порога)? (Если да -> Надежный)
   • Было ли правило замены контекстно-специфичным (Specific Context)? (Если да -> PRST)
   • Является ли исходный запрос коротким (Short Query)? (Если да -> PRST)
3. Агрегация сигналов: Система агрегирует результаты проверок.
4. Тегирование: Если сигналы указывают на ненадежность или контекстную зависимость, синоним помечается как PRST. Иначе он считается надежным (Non-PR).

Часть Б: Отбор документов (Этап RANKING/Retrieval)

1. Получение данных: Система получает пересмотренный запрос (с тегированными синонимами) и набор потенциально релевантных документов.
2. Проверка типа синонима: Для каждого документа и каждого синонима система проверяет, помечен ли синоним как PRST.
3. Применение критериев отбора:
   • Если синоним НЕ PRST (Надежный): Применяются стандартные критерии отбора (Second Retrieval Criteria). Смежность не требуется.
   • Если синоним PRST: Применяются строгие критерии отбора (First Retrieval Criteria).
4. Выполнение строгих критериев (для PRST): Система проверяет:
   • Отсутствует ли исходный термин в документе?
   • Отсутствуют ли другие (надежные) синонимы в документе?
   • Если оба условия выполнены, проверяется смежность: находится ли PRST в документе рядом (adjacent) с соседним термином из исходного запроса?
5. Фильтрация: Если требование смежности для PRST не выполнено, документ исключается из дальнейшей обработки.
6. Вывод результатов: Документы, прошедшие фильтрацию, передаются в Scoring Engine для ранжирования.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных о структуре запроса, правилах замены и структуре контента.

• Контентные и Структурные факторы: Критически важным является не только наличие терминов в документе, но и их взаимное расположение (смежность, adjacency). Это используется для проверки выполнения Retrieval Criteria.
• Системные данные (Query/Indexing Data):
  • Substitution Rules: База данных правил замены.
  • Query Logs: Упоминаются как источник для генерации и валидации правил замены.
  • Контекст правил: Информация о том, является ли правило общим или контекстно-специфичным (Specific Context).
  • Типы правил: Метаданные о природе замены (морфологический вариант, аббревиатура, акроним).

Какие метрики используются и как они считаются

• Confidence Value (Уровень уверенности): Метрика, связанная с каждым правилом замены. Используется для оценки надежности синонима. Сравнивается с пороговым значением (Threshold). Если ниже порога, это сигнал для классификации как PRST.
• Query Length (Длина запроса): Количество терминов в запросе. Сравнивается с порогом для определения "короткого запроса". Короткие запросы повышают вероятность классификации синонима как PRST.
• Сигналы классификации: Бинарные индикаторы (Да/Нет) для морфологических вариантов, аббревиатур, акронимов и контекстной специфичности правил. Они используются Classifier для принятия решения о тегировании PRST.
• Adjacency (Смежность): Булева проверка на этапе отбора. Проверяется, находится ли PRST непосредственно рядом с соседним термином запроса в тексте документа.

1. Синонимы не равнозначны: Google имеет систему для явной классификации синонимов на надежные (Non-PR) и ненадежные/контекстные (PRST). Эта классификация основана на типе замены (морфология, аббревиатура) и уровне уверенности (Confidence Value).
2. Контекст имеет решающее значение для ненадежных синонимов: Для PRST система принудительно требует сохранения исходного фразового контекста (смежности с соседними словами). Это механизм защиты от семантического дрейфа.
3. Жесткая фильтрация на этапе отбора: Ограничение PRST применяется не как фактор ранжирования, а как жесткий фильтр на этапе отбора кандидатов (Retrieval). Если условие смежности не выполнено, документ не будет ранжироваться вообще (selecting the resource to be scored only if...).
4. Приоритет точности над полнотой: Система предпочитает показать меньше результатов (жертвуя полнотой, Recall), чтобы гарантировать, что оставшиеся результаты семантически соответствуют запросу (повышая точность, Precision).
5. Важность словосочетаний (Collocations): Патент подтверждает, что Google анализирует не только отдельные ключевые слова, но и их взаимное расположение и устойчивые фразы как в запросе, так и в контенте.

Best practices (это мы делаем)

• Фокус на естественных словосочетаниях (Collocations): Убедитесь, что ключевые слова и их синонимы используются в контенте в естественных и грамматически правильных фразах. Сохранение сильных словосочетаний гарантирует выполнение требования смежности (adjacency), если Google решит применить логику PRST.
• Использование надежных синонимов: Можно свободно использовать морфологические варианты (разные времена, числа), аббревиатуры и общепринятые акронимы, так как они с высокой вероятностью будут классифицированы как надежные (Non-PR) и не потребуют строгой проверки контекста.
• Контекстуальная релевантность при оптимизации под синонимы: При таргетинге на связанные концепции или менее распространенные синонимы (которые могут быть PRST), убедитесь, что они используются в том же контексте, что и основной запрос. Соседние слова должны поддерживать интент.
• Анализ фраз, а не только ключей: При проведении исследования ключевых слов анализируйте не только отдельные термины, но и фразы, в которых они встречаются. Это помогает понять контекст, который Google может требовать сохранить.

Worst practices (это делать не надо)

• Keyword Stuffing синонимами без контекста: Беспорядочное добавление синонимов в текст в надежде повысить релевантность. Если эти синонимы будут классифицированы как PRST и не будут находиться в нужном фразовом контексте, они будут проигнорированы на этапе отбора.
• Нарушение естественных фраз: Искусственное разделение устойчивых словосочетаний. Например, если запрос "day spa", не следует разделять эти слова в тексте, так как "day" может быть PRST (например, для "massage") и требовать смежности со "spa".
• Игнорирование контекста коротких запросов: Оптимизация под короткие, неоднозначные запросы без создания четкого контекста на странице. Патент указывает, что синонимы в коротких запросах чаще классифицируются как PRST.

Стратегическое значение

Этот патент является важной частью эволюции Google от буквального сопоставления ключевых слов к семантическому пониманию. Он демонстрирует конкретный механизм, с помощью которого Google управляет рисками при расширении запросов. Стратегически это подтверждает необходимость создания контента, который фокусируется на темах и естественном языке, а не на манипулировании отдельными ключевыми словами. Словосочетания и фразовая структура контента имеют прямое влияние на то, будет ли страница вообще рассмотрена как кандидат для ранжирования.

Практические примеры

Сценарий 1: Контроль семантического дрейфа

1. Исходный запрос: "massage spa" (массажный спа).
2. Идентификация синонима: Google определяет "day" как синоним для "massage" (в контексте "day spa").
3. Классификация: Так как "day" имеет много других значений, он классифицируется как PRST с низким Confidence Value.
4. Оценка Документа А: Текст: "We offer a great day spa experience". Исходный термин "massage" отсутствует. PRST "day" находится рядом со "spa". Условие смежности выполнено. Документ А отбирается для ранжирования.
5. Оценка Документа Б: Текст: "Our spa is open all day long". Исходный термин "massage" отсутствует. PRST "day" присутствует, но НЕ рядом со "spa". Условие смежности нарушено. Документ Б НЕ отбирается для ранжирования.

Сценарий 2: Использование контекстно-специфичных правил

1. Исходный запрос: "car dealer" (автомобильный дилер).
2. Идентификация синонима: Google использует правило: "auto" является синонимом "car", только если рядом есть "dealer" (Specific Context Substitution Rule).
3. Классификация: Из-за использования контекстного правила, "auto" классифицируется как PRST.
4. Оценка Документа В: Текст: "Best auto dealer in town". "Car" отсутствует. PRST "auto" рядом с "dealer". Документ В отбирается.
5. Оценка Документа Г: Текст: "We fix auto electrical systems". "Car" отсутствует. PRST "auto" присутствует, но не рядом с "dealer". Документ Г НЕ отбирается по этому запросу.