Как Google проверяет и отбирает редкие (long-tail) запросы для поисковых подсказок (Autocomplete)

Термины и определения

Canonical Representation (Каноническое представление)

Стандартизированная форма запроса, полученная после применения правил каноникализации. Используется для сравнения различных запросов на предмет семантической эквивалентности.

Canonicalization Rules (Правила каноникализации)

Набор правил для преобразования запроса в его каноническую форму. Может включать стемминг, удаление стоп-слов, сортировку терминов и т.д.

Infrequent Query (Редкий запрос)

Запрос из логов, который был отправлен менее, чем First threshold number раз.

Infrequent Query Selection Engine (Система выбора редких запросов)

Компонент, отвечающий за обработку логов и валидацию редких запросов.

Log Files (Лог-файлы)

Хранилище данных о прошлых поисковых сессиях пользователей.

Popular Query (Популярный запрос)

Запрос из логов, который был отправлен как минимум Second threshold number раз.

Stemming (Стемминг)

Процесс приведения слова к его основе или корню путем отсечения окончаний и суффиксов.

Stop Words (Стоп-слова)

Часто встречающиеся слова (артикли, предлоги, союзы), которые часто удаляются при обработке текста, так как не несут значительной смысловой нагрузки.

Suggestion Engine (Система подсказок)

Компонент, который в реальном времени предоставляет пользователю поисковые подсказки (например, Autocomplete).

Threshold Numbers (Пороговые значения)

Числовые значения (First, Second, Third), используемые для классификации запросов по частотности.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки лога прошлых запросов.

1. Идентификация Infrequent Queries (частотность ниже первого порога).
2. Реформулирование (каноникализация) этих редких запросов в Canonical Representations.
3. Идентификация редких запросов, чьи канонические представления совпадают с каноническим представлением хотя бы одного Popular Query (частотность выше второго порога). Сравнение происходит между каноническими формами.
4. Выбор этих совпадающих редких запросов.
5. Сохранение данных, идентифицирующих выбранные редкие запросы как разрешенные (permitted) для использования при определении поисковых подсказок.

Claim 3 (Зависимый): Уточняет процесс отклонения.

Редкие запросы, чьи канонические представления НЕ совпадают ни с одним популярным запросом, отклоняются и не используются для генерации подсказок в ответ на будущие запросы.

Claims 6 и 7 (Зависимые): Детализируют правила каноникализации.

• Canonicalization rules включают стемминг (stemming) терминов в запросах (Claim 6).
• Canonicalization rules включают упорядочивание канонических форм терминов на основе предопределенного порядка (например, алфавитного) (Claim 7).

Claim 8 (Зависимый от 1): Описывает альтернативный механизм валидации через агрегацию.

1. Идентификация набора (set) редких запросов, которые имеют одинаковое Canonical Representation.
2. Вычисление суммы вхождений всех этих редких запросов в логе.
3. Определение, что эта сумма превышает третье пороговое значение (third threshold number).
4. В ответ на это определение, все редкие запросы в этом наборе сохраняются как разрешенные для использования в подсказках.

Этот механизм позволяет валидировать концепцию, которая популярна в сумме, но выражена множеством разных редких формулировок, даже если нет ни одного доминирующего «популярного запроса».

Где и как применяется

Изобретение применяется на этапе понимания запросов и напрямую связано с работой системы поисковых подсказок.

QUNDERSTANDING – Понимание Запросов
Основное применение патента происходит на этом этапе в режиме офлайн-обработки данных. Infrequent Query Selection Engine анализирует Log Files для понимания взаимосвязей между запросами и валидации long-tail запросов.

1. Анализ логов и классификация: Система определяет частотность запросов и классифицирует их как редкие или популярные.
2. Каноникализация и сопоставление: Система генерирует канонические формы и ищет совпадения для валидации редких запросов.
3. Генерация списка разрешенных запросов: Создается база данных или список запросов, одобренных для подсказок.

Взаимодействие с компонентами (Real-Time):

Suggestion Engine (Система подсказок): В реальном времени, когда пользователь вводит запрос, Suggestion Engine обращается к списку разрешенных запросов (включая валидированные редкие запросы), чтобы сгенерировать подсказки (например, Autocomplete или Related Searches).

Входные данные:

• Log Files прошлых поисковых запросов.
• Canonicalization Rules (правила стемминга, список стоп-слов, правила сортировки).
• Пороговые значения (Threshold Numbers) для определения редкости и популярности.

Выходные данные:

• Данные, идентифицирующие выбранные редкие запросы как разрешенные (permitted) для использования в подсказках.
• (Опционально) Данные, связывающие выбранные редкие запросы с соответствующими популярными запросами (Claim 2).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на long-tail запросы, вопросительные формулировки, и запросы на естественном языке. Система позволяет этим запросам появляться в Autocomplete.
• Разнообразие подсказок: Увеличивает лингвистическое разнообразие предлагаемых подсказок для популярных концепций.
• Качество подсказок: Фильтрует спам, бессмысленные или слишком нишевые запросы из логов, не позволяя им попадать в Autocomplete, если они не связаны с популярной концепцией.

Когда применяется

• Условия работы алгоритма (Офлайн): Алгоритм валидации применяется периодически при обработке накопленных логов поисковых запросов.
• Условия работы алгоритма (Real-Time): Результаты работы алгоритма (список разрешенных запросов) используются каждый раз, когда пользователь взаимодействует с поисковой строкой и активируется Suggestion Engine.

Пошаговый алгоритм

Процесс А: Валидация редких запросов через популярные (Основной процесс)

1. Сбор и классификация данных: Анализ Log Files. Идентификация Infrequent Queries (ниже Порога 1) и Popular Queries (выше Порога 2).
2. Каноникализация: Применение Canonicalization Rules (стемминг, удаление стоп-слов, сортировка) ко всем редким и популярным запросам для создания Canonical Representations.
3. Сопоставление (Matching): Сравнение канонической формы каждого редкого запроса с каноническими формами всех популярных запросов (например, с помощью join-type operation).
4. Отбор (Selection): Выбор редких запросов, для которых найдено хотя бы одно совпадение с популярным запросом.
5. Фильтрация (Rejection): Отклонение редких запросов, для которых совпадений не найдено.
6. Сохранение результатов: Сохранение отобранных редких запросов в базе данных как разрешенных (permitted) для использования в подсказках.

Процесс Б: Валидация через агрегацию редких запросов (Альтернативный процесс)

1. Группировка: Идентификация наборов (sets) различных редких запросов, имеющих идентичное Canonical Representation.
2. Агрегация частотности: Суммирование количества вхождений всех запросов внутри каждого набора.
3. Проверка порога: Определение, превышает ли суммарная частотность набора Порог 3.
4. Отбор (Selection): Если порог превышен, все редкие запросы в этом наборе помечаются как разрешенные.
5. Сохранение результатов: Сохранение отобранных запросов в базе данных.

Процесс В: Использование в реальном времени (Suggestion Engine)

1. Получение ввода пользователя: Получение частичного или полного запроса от пользователя.
2. Выбор кандидатов: Suggestion Engine выбирает кандидатов для подсказок из списка разрешенных запросов (включая популярные и валидированные редкие), используя стандартные методы (например, prefix-based matching).
3. Предоставление подсказок: Отправка выбранных подсказок пользователю.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Основной источник данных — Log Files прошлых запросов. Учитывается частота отправки запросов. В некоторых реализациях может учитываться количество уникальных пользователей, отправивших запрос (на основе уникальных cookie идентификаторов).
• Контентные (Лингвистические) факторы: Используются лингвистические данные для каноникализации: словари для стемминга, списки стоп-слов.

Какие метрики используются и как они считаются

• First threshold number (Первый порог): Определяет максимальную частотность для классификации запроса как Infrequent Query.
• Second threshold number (Второй порог): Определяет минимальную частотность для классификации запроса как Popular Query. (Может быть равен первому порогу или выше).
• Third threshold number (Третий порог): Определяет минимальную суммарную частотность набора семантически эквивалентных редких запросов для их валидации (Процесс Б). (Часто равен второму порогу).
• Методы анализа текста (Каноникализация):
  • Стемминг: Приведение слов к основе.
  • Удаление стоп-слов: Исключение незначащих слов.
  • Сортировка: Упорядочивание оставшихся терминов (например, по алфавиту) для обеспечения независимости от порядка слов в исходном запросе.
  • Также упоминаются: удаление пунктуации, приведение к нижнему регистру, удаление диакритических знаков, нормализация URL.
• Методы сравнения: Используется точное совпадение (exact matching) канонических представлений. В патенте также упоминается возможность использования неточного совпадения (soft matching), например, на основе расстояния редактирования (edit distance).

1. Валидация Long-Tail через Head-запросы: Ключевой вывод — Google использует популярные запросы как эталон качества для валидации редких запросов. Редкий запрос считается полезным, если он является лингвистической вариацией популярного интента.
2. Каноникализация как мера семантической эквивалентности: Патент демонстрирует, как Google определяет семантическую эквивалентность запросов. Используются агрессивные методы нормализации: стемминг, игнорирование стоп-слов и игнорирование порядка слов. Это означает, что система фокусируется на ключевых концепциях внутри запроса.
3. Autocomplete — это не только популярность: Система подсказок стремится не просто показать самые частые запросы, но и охватить разнообразие формулировок для популярных концепций, при этом активно фильтруя низкокачественные или спамные запросы.
4. Агрегация интента (Механизм Б): Система может признать концепцию популярной, даже если нет единой доминирующей формулировки. Популярность может достигаться суммированием множества различных редких запросов, имеющих одинаковую каноническую форму.
5. Фильтрация шума в логах: Механизм служит важным фильтром, предотвращая попадание случайных, бессмысленных или спамных запросов из логов в системы, ориентированные на пользователя (Autocomplete).

Best practices (это мы делаем)

• Фокус на концепциях, а не на точных формулировках: При создании контента ориентируйтесь на охват интента (концепции), а не на конкретную высокочастотную ключевую фразу. Поскольку Google агрессивно каноникализирует запросы (игнорируя порядок слов, стоп-слова и окончания), разные формулировки будут приведены к единой форме.
• Использование естественного языка и разнообразных формулировок: Используйте синонимы, вопросительные формы и различные способы выражения одного и того же интента в тексте и заголовках. Это повышает вероятность соответствия валидированным редким запросам, которые Google активно продвигает в подсказках.
• Анализ Autocomplete для исследования Long-Tail: Активно используйте Google Autocomplete для поиска ключевых слов. Патент подтверждает, что подсказки, даже если они кажутся редкими, прошли валидацию (скорее всего, связаны с популярной концепцией) и являются качественными формулировками с точки зрения системы.
• Создание контента под агрегированный интент (Механизм Б): Если вы видите множество низкочастотных запросов в своей нише, которые семантически означают одно и то же, стоит создавать контент, охватывающий их все. Google может агрегировать этот спрос и валидировать эти запросы для подсказок.

Worst practices (это делать не надо)

• Оптимизация под бессмысленные или спамные запросы: Попытки манипулировать логами или оптимизировать контент под запросы, которые не связаны с реальными популярными интентами, не приведут к их появлению в Autocomplete. Они будут отфильтрованы, так как их каноническая форма не совпадет с популярными запросами.
• Чрезмерное внимание к порядку слов и стоп-словам (для семантического ядра): Не стоит тратить ресурсы на создание отдельных страниц для незначительно отличающихся формулировок (например, отличающихся только порядком слов или наличием предлогов), если их каноническая форма идентична. Google рассматривает их как один и тот же запрос на этапе анализа интента.
• Игнорирование Long-Tail вариаций: Стратегия, сфокусированная только на самых высокочастотных (Head) запросах, упускает возможность охватить пользователей, которые используют валидированные редкие формулировки.

Стратегическое значение

Патент подчеркивает важность семантического понимания запросов Google. Он показывает, как система связывает разнообразные пользовательские формулировки с основными интентами. Для SEO это означает, что стратегия должна быть направлена на построение Topical Authority и глубокое раскрытие тем, используя естественный язык. Понимание механизмов каноникализации помогает эффективнее кластеризовать семантическое ядро и понимать, какие запросы Google считает дубликатами, а какие — уникальными вариациями интента.

Практические примеры

Сценарий: Валидация Long-Tail запроса для Autocomplete

1. Анализ логов: Google анализирует логи и видит следующие запросы:
   • [planting ginger root] (Популярный запрос, 1000 раз)
   • [can ginger root be planted] (Редкий запрос, 2 раза)
   • [ginger root how to plant] (Редкий запрос, 3 раза)
   • [buy cheap ginger online fast] (Редкий запрос, 1 раз)
2. Каноникализация: Применяются правила (стемминг, удаление стоп-слов, алфавитная сортировка).
   • [planting ginger root] -> [ginger plant root]
   • [can ginger root be planted] -> [ginger plant root]
   • [ginger root how to plant] -> [ginger plant root]
   • [buy cheap ginger online fast] -> [buy cheap fast ginger online]
3. Сопоставление: Система сравнивает редкие запросы с популярным.
   • Первые два редких запроса совпадают с популярным.
   • Третий редкий запрос не совпадает.
4. Валидация: Запросы [can ginger root be planted] и [ginger root how to plant] помечаются как разрешенные (permitted). Запрос [buy cheap ginger online fast] отклоняется (если нет других популярных запросов, с которыми он совпадает).
5. Применение (Autocomplete): Когда пользователь начинает вводить "can ginger root...", система подсказок теперь может предложить валидированный запрос [can ginger root be planted], хотя он сам по себе встречается редко.