Как Google определяет синонимы и варианты слов, анализируя категории выбранных пользователями результатов

Термины и определения

Category (Категория)

Тип сущности, связанной с результатом поиска. В патенте фокус на категориях бизнеса или организаций (Organization Entity), таких как «pizza restaurant» или «Outdoor Recreation Business».

Edit Distance (Редакционное расстояние)

Метрика лингвистического сходства. Количество добавлений, удалений и/или модификаций символов, необходимых для преобразования одного термина в другой. Например, расстояние между «camp» и «camping» равно 3.

Local Search Query (Локальный поисковый запрос)

Запрос, направленный на поиск местных сущностей. Система часто упоминается как Local Search Server System.

Query Broadening / Query Expansion (Расширение запроса)

Процесс добавления дополнительных терминов (вариантов основы или синонимов) к исходному запросу для повышения полноты поиска.

Stem Variant (Вариант основы)

Слово, имеющее общую основу или схожее семантическое значение с другим словом в определенном контексте.

Threshold Edit Distance (Пороговое редакционное расстояние)

Максимально допустимое Edit Distance для признания двух терминов лингвистически схожими (например, 4 или 5).

Threshold Number of User Selections (Пороговое количество выборов пользователя)

Минимальное количество кликов/выборов, необходимое для подтверждения статистической значимости связи между запросами.

Ключевые утверждения (Анализ Claims)

Патент содержит два ключевых независимых пункта (Claim 1 и Claim 11), которые описывают два разных подхода к идентификации вариантов основы. Это критически важно для понимания гибкости изобретения.

Claim 1 (Независимый пункт – Поведенческий метод): Описывает метод, основанный на объеме пользовательских выборов.

1. Система получает первый запрос (Q1) и выбор результата (R1), а также второй запрос (Q2) и выбор результата (R2).
2. Определяются категории для R1 и R2 (Cat1, Cat2) и проверяется их совпадение.
3. Ключевое условие: Проверяется, что совокупное количество пользовательских выборов для R1 и R2 превышает пороговое значение (threshold number of user selections).
4. Если условия выполнены, термины из Q1 и Q2 идентифицируются как Stem Variants на основе совпадения категорий И достижения порога выборов.

В этом методе Edit Distance НЕ является обязательным условием. Два совершенно разных по написанию слова (синонимы) могут быть признаны вариантами, если они часто приводят к выбору результатов одной категории и объем этих выборов статистически значим.

Claim 11 (Независимый пункт – Лингвистическо-поведенческий метод): Описывает метод, основанный на редакционном расстоянии.

1. Система получает Q1/R1 и Q2/R2.
2. Определяются и сравниваются Cat1 и Cat2.
3. Ключевое условие: Вычисляется Edit Distance между терминами из Q1 и Q2. Проверяется, находится ли оно в пределах порогового значения (Threshold Edit Distance).
4. Если категории совпадают И Edit Distance ниже порога, термины идентифицируются как Stem Variants.

В этом методе объем пользовательских выборов НЕ является обязательным условием, но требуется лингвистическое сходство. Это фокусируется на морфологических вариантах.

Claim 4, 5, 6 (Зависимые): Уточняют метрики лингвистического сходства, которые могут использоваться: Edit Distance (Claim 4), пороговое количество общих символов (Claim 5) или пороговое количество начальных общих символов (Claim 6).

Claim 14 (Зависимый): Уточняет обработку локальных запросов. При определении Edit Distance система может игнорировать термины, указывающие на местоположение (location terms). Например, в запросах «pizza nyc» и «pizzeria manhattan» термины «nyc» и «manhattan» будут проигнорированы при сравнении «pizza» и «pizzeria».

Где и как применяется

Изобретение в основном применяется на этапе понимания запросов, но требует данных, собранных на этапе индексирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна определить и сохранить категории (Categories) для сущностей (например, бизнесов), которые появляются в результатах поиска. Эти данные хранятся в Category Storage.

QUNDERSTANDING – Понимание Запросов (Офлайн-анализ)
Основная логика патента выполняется здесь, в офлайн-режиме (Stem Variant System).

1. Анализ логов: Система анализирует исторические данные поисковых запросов и соответствующих пользовательских выборов (кликов).
2. Идентификация вариантов: Применяются алгоритмы (описанные в Claim 1 и Claim 11) для сравнения запросов, категорий выбранных результатов, расчета Edit Distance и объемов выборов.
3. Хранение: Идентифицированные пары сохраняются в Stem Variant Storage.

QUNDERSTANDING – Понимание Запросов (Реальное время)
Во время обработки нового запроса система обращается к Stem Variant Storage. Если термин в запросе имеет идентифицированные варианты, система выполняет Query Expansion (расширение запроса), добавляя эти варианты (например, запрос «camp» расширяется до «camp OR camping»).

Входные данные:

• Журналы поисковых запросов.
• Данные о пользовательских выборах (кликах) на результатах поиска.
• База данных категорий сущностей (Category Storage).

Выходные данные:

• База данных вариантов основы (Stem Variant Storage).

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на локальный поиск (Local Search) и тематики, где результаты четко категоризированы (бизнесы, организации, места). Примеры в патенте строго сфокусированы на бизнесе.
• Специфические запросы: Влияет на информационные и коммерческие запросы, где пользователи ищут определенный тип результата (услугу или товар), используя разные формулировки.

Когда применяется

• Временные рамки: Идентификация вариантов происходит офлайн при анализе логов. Применение (расширение запросов) происходит в реальном времени.
• Триггеры активации (для идентификации): Алгоритм идентификации запускается, если для пары запросов Q1 и Q2 выполнено условие совпадения категорий выбранных результатов, И выполняется одно из следующих условий (в зависимости от реализации):
  • Edit Distance между терминами Q1 и Q2 ниже порога (Метод по Claim 11).
  • Совокупный объем пользовательских выборов превышает порог (Метод по Claim 1).

Пошаговый алгоритм

Процесс идентификации вариантов (Офлайн)

1. Сбор данных: Сбор исторических данных о поисковых запросах и соответствующих пользовательских выборах из логов.
2. Извлечение категорий: Для каждого выбранного результата определяется его категория.
3. Идентификация пар запросов: Поиск пар запросов (Q1, Q2), для которых выбранные результаты принадлежат к одной и той же категории (Same Category).
4. Фильтрация и Анализ (Параллельные ветки валидации): Для идентифицированных пар выполняются проверки:

   Ветка А (Лингвистическая, на основе Claim 11):

   • Нормализация: Удаление терминов местоположения (если применимо, Claim 14).
   • Расчет Edit Distance: Вычисление редакционного расстояния между терминами Q1 и Q2.
   • Проверка порога А: Сравнение Edit Distance с пороговым значением (например, <= 4).

   Ветка Б (Поведенческая, на основе Claim 1):

   • Расчет объема: Вычисление совокупного количества пользовательских выборов для результатов.
   • Проверка порога Б: Сравнение объема с threshold number of user selections.
5. Идентификация вариантов: Если пара запросов удовлетворяет условию совпадения категорий И условиям Ветки А ИЛИ Ветки Б, термины помечаются как Stem Variants.
6. Хранение: Сохранение идентифицированных пар в Stem Variant Storage.

Процесс применения (Реальное время)

1. Получение запроса: Пользователь вводит запрос.
2. Поиск вариантов: Система ищет термины запроса в Stem Variant Storage.
3. Расширение запроса (Query Expansion): Если варианты найдены, они добавляются к исходному запросу.
4. Выполнение поиска: Поиск выполняется по расширенному запросу.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные. Используются журналы поисковых запросов (Search Query) и данные о выборе пользователями результатов поиска (Result Selection / клики).
• Данные о сущностях (Entity Data): Категории (Categories), связанные с результатами поиска. В патенте это явно категории организационных сущностей (type of organization entity) или бизнеса.
• Географические факторы: Термины местоположения (location terms) в запросах. Они используются для определения локального контекста, но затем исключаются при расчете Edit Distance (Claim 14).

Какие метрики используются и как они считаются

• Edit Distance (Редакционное расстояние): Стандартный расчет (например, расстояние Левенштейна) между двумя строками.
• Category Match (Совпадение категорий): Бинарная проверка того, принадлежат ли два выбранных результата к одной и той же категории.
• Threshold Edit Distance: Предопределенное пороговое значение (в патенте приводятся примеры 3, 4 или 5).
• Threshold Number of User Selections: Пороговое значение совокупного объема кликов на результаты. Используется для подтверждения значимости связи между запросами (Claim 1).
• Threshold Frequency (Опционально): Может использоваться порог частоты, требующий, чтобы определенный процент (например, 50%) выборов по запросу относился к конкретной категории.
• Common Characters Threshold (Опционально): Пороговое количество совпадающих символов или совпадающих начальных символов (например, 4).

1. Поведение пользователя как сигнал семантической связи: Ключевая идея патента — использовать действия пользователей (выбор результатов) и данные о сущностях (категории) как индикатор семантического намерения. Если разные слова приводят пользователей к одному и тому же типу результата, Google считает эти слова семантически связанными.
2. Два различных механизма идентификации вариантов: Патент защищает два независимых метода, что обеспечивает гибкость системы:
   • Метод, требующий лингвистического сходства (низкий Edit Distance, Claim 11). Эффективен для морфологических вариантов (например, «camp» и «camping»).
   • Метод, НЕ требующий лингвистического сходства, но требующий высокого объема пользовательских выборов (Claim 1). Эффективен для идентификации синонимов с высоким Edit Distance (например, «Florist» и «Flower Shop»).
3. Data-Driven Stemming: Система не полагается исключительно на лингвистические правила. Она использует поведенческие сигналы для идентификации вариантов, упущенных традиционными алгоритмами.
4. Сильный фокус на локальном поиске и сущностях: Механизм опирается на четкую категоризацию результатов, что делает его особенно эффективным в локальном поиске (Local Search) и для запросов, связанных с бизнесом и организациями.
5. Нормализация локальных запросов: Система умеет отделять термины намерения от терминов местоположения и игнорировать последние при сравнении запросов (Claim 14), что позволяет обобщать паттерны поиска между разными географическими областями.

Best practices (это мы делаем)

• Точная категоризация в Google Business Profile (GBP): Для локального бизнеса критически важно правильно указывать основную и дополнительные категории в GBP. Эти данные, вероятно, используются в Category Storage. Точная категоризация помогает Google понять, для каких запросов (и всех их вариантов/синонимов) ваш бизнес релевантен.
• Оптимизация под намерение (Интент), связанное с категорией: Сосредоточьтесь на том, какую категорию результатов ищет пользователь. Убедитесь, что ваш контент полностью удовлетворяет это намерение. Если пользователи ищут «пиццерию», ваша страница должна соответствовать категории «Pizza Restaurant», независимо от того, используете ли вы слово «пицца» или «пиццерия».
• Использование естественных синонимов (особенно по Claim 1): Охватывайте различные способы, которыми пользователи могут называть вашу услугу или продукт, даже если они сильно отличаются по написанию. Поскольку система может связывать синонимы на основе поведения (Claim 1), использование этих терминов на сайте увеличивает вероятность охвата расширенных запросов (Query Expansion).

Worst practices (это делать не надо)

• Перенасыщение текста морфологическими вариантами (Keyword Stuffing): Если Google может надежно идентифицировать близкие варианты основы (особенно по Claim 11), нет необходимости искусственно вставлять все возможные словоформы в текст. Это ухудшает качество контента.
• Манипуляция категориями в GBP (Category Spam): Указание неверных категорий бизнеса в попытке привлечь трафик по нерелевантным запросам. Это может привести к плохому пользовательскому опыту, так как система будет некорректно ассоциировать запросы с вашим бизнесом.
• Создание отдельных страниц для близких вариантов (Keyword Cannibalization): Создание множества страниц для очень близких морфологических вариантов с одинаковым интентом может быть контрпродуктивным, так как Google рассматривает эти термины как взаимозаменяемые.

Стратегическое значение

Патент подтверждает стратегический сдвиг от буквального сопоставления ключевых слов к пониманию намерений пользователя на основе сущностей (Entity-Oriented Search). Он показывает, как поведение пользователей напрямую обучает алгоритмы Google пониманию языка и взаимосвязей между терминами. Стратегически важно не только привлечь клик, но и удовлетворить потребность пользователя, так как эта информация (клик + категория) используется для уточнения самого понимания запроса системой.

Практические примеры

Сценарий 1: Идентификация синонимов с высоким Edit Distance (по методу Claim 1)

1. Запрос 1 (Q1): «Florist near me» (Флорист)
2. Запрос 2 (Q2): «Flower Shop near me» (Цветочный магазин)
3. Анализ: Edit Distance между «Florist» и «Flower Shop» высокое. Лингвистическое сходство низкое.
4. Поведение пользователей: Пользователи по обоим запросам массово выбирают бизнесы с категорией «Florist». Категории совпадают.
5. Проверка порога: Совокупный объем выборов (кликов) по этой категории для обоих запросов превышает Threshold Number of User Selections.
6. Результат: Система идентифицирует «Florist» и «Flower Shop» как варианты (синонимы) и будет использовать их для расширения запросов.

Сценарий 2: Идентификация морфологических вариантов (по методу Claim 11)

1. Запрос 1 (Q1): «Camp gear»
2. Запрос 2 (Q2): «Camping gear»
3. Поведение пользователей: Пользователи выбирают результаты с категорией «Outdoor Recreation Business». Категории совпадают.
4. Анализ: Edit Distance между «Camp» и «Camping» равно 3.
5. Проверка порога: 3 ниже порогового значения Threshold Edit Distance (например, 4).
6. Результат: Система идентифицирует «Camp» и «Camping» как Stem Variants, даже если объем кликов пока невысок (порог объема кликов не обязателен для этого метода).