Как Google рассчитывает оценки для связанных запросов (Related Searches) на основе частоты терминов и популярности уточнений

Термины и определения

Candidate Query Refinements (Кандидаты в уточнения запроса)

Уникальный список запросов, которые были идентифицированы в логах как уточнения (последующие запросы) для данного исходного запроса.

Global Refinement Count (Глобальный счетчик уточнений)

Общее количество раз, когда конкретный запрос (Q2) выступал в качестве уточнения для любого исходного запроса в логе.

Log Files (Лог-файлы)

Хранилище данных о прошлых поисковых сессиях пользователей, включающее последовательности введенных запросов.

Query Refinement (Уточнение запроса)

Запрос, который пользователь вводит после исходного запроса в рамках одной сессии. Уточнение не обязательно должно содержать термины исходного запроса (например, "Лондон" → "Англия").

Query Refinement Popularity Score / Refinement Rate (Оценка популярности уточнения / Частота уточнения)

Метрика популярности перехода от Q1 к Q2. Рассчитывается как Specific Refinement Count, деленный на Global Refinement Count.

Query Refinement Score (QRS) (Оценка уточнения запроса)

Итоговая оценка, рассчитываемая для кандидата в уточнения, обычно основанная на Term Occurrence Scores его составных терминов.

Smoothing (Сглаживание)

Техника корректировки статистических данных (например, добавление константы к счетчикам) для уменьшения влияния шума и малых выборок.

Specific Refinement Count (Специфический счетчик уточнений)

Количество раз, когда пользователи перешли от конкретного исходного запроса (Q1) к конкретному уточнению (Q2).

Suggestion Engine (Механизм предложений)

Компонент системы, который использует рассчитанные оценки (QRS, Popularity Score) для выбора и отображения предложений пользователю.

Term Occurrence Score (TOS) (Оценка встречаемости термина)

Метрика, показывающая частоту встречаемости конкретного термина внутри всего списка Candidate Query Refinements для данного запроса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации и оценки уточнений запроса.

1. Идентификация кандидатов в уточнения запроса (candidate query refinements) для данного запроса на основе прошлых запросов пользователей.
2. Генерация Term Occurrence Scores (TOS) для терминов в этих кандидатах, отражающих частоту этих терминов.
3. Расчет Query Refinement Scores (QRS) для кандидатов с использованием TOS.
4. Расчет Query Refinement Popularity Score для конкретного кандидата. Это включает генерацию Первого счетчика уточнений (First refinement count, основанного на частоте этого кандидата в логе) и Второго счетчика уточнений (Second refinement count). (Примечание: В контексте патента это соответствует расчету Specific и Global Refinement Counts для определения Refinement Rate).
5. Хранение данных, связывающих QRS и Popularity Score с кандидатами для последующего выбора предложений.

Claim 2 и 3 (Зависимые): Детализируют расчет TOS.

1. Генерация счетчиков встречаемости (occurrence counts) для терминов путем подсчета их появления в кандидатах (Claim 2).
2. (Claim 3) Введение механизма сглаживания (Smoothing): генерация модифицированных счетчиков путем добавления константы к исходным счетчикам. Эти модифицированные счетчики затем используются для генерации TOS. Это стабилизирует результаты при малом количестве данных.

Claim 4 и 5 (Зависимые): Детализируют расчет QRS.

1. (Claim 4) Расчет QRS для кандидата использует сумму TOS отдельных терминов внутри этого кандидата И количество отдельных терминов в нем (нормализация по длине).
2. (Claim 5) Приводится конкретная формула расчета QRS: $QRS = \frac{\sum_{k=1}^{h} TOS(T_k)}{\sqrt{h}}$. Где $TOS(T_k)$ — это TOS для k-го термина, а h — общее количество терминов в кандидате. Система суммирует TOS всех терминов и делит на квадратный корень из длины запроса, штрафуя длинные запросы.

Где и как применяется

Изобретение применяется на этапах, связанных с пониманием запросов и формированием пользовательского интерфейса.

CRAWLING (Data Acquisition/Logging)
Система собирает и хранит Log Files, содержащие последовательности запросов пользователей в рамках сессий. Эти данные являются входными для всего процесса.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения. Refinement Engine анализирует собранные логи в офлайн-режиме для идентификации кандидатов и расчета всех метрик (TOS, QRS, Popularity Score). Это часть глобального моделирования прогрессии пользовательского интента.

METASEARCH / RERANKING (Формирование SERP)
На этапе формирования выдачи Suggestion Engine обращается к базе данных рассчитанных оценок. Он использует QRS и Popularity Score для выбора и ранжирования предложений, которые будут показаны в блоке «Related Searches» или в выпадающем списке автодополнения (Auto-Suggest).

Входные данные:

• Log Files (последовательности запросов пользователей) (офлайн).
• Исходный запрос пользователя (онлайн).

Выходные данные:

• База данных, связывающая исходные запросы с кандидатами в уточнения и их оценками (офлайн).
• Отсортированный список предложений для показа пользователю (онлайн).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на широкие, информационные или неоднозначные запросы, где пользователям часто требуется помощь в сужении темы (например, "London", "baseball glove").
• Конкретные типы контента: Патент упоминает возможность использования дополнительных сигналов, например, в поиске по картинкам. TOS может рассчитываться на основе меток (labels) наиболее высоко ранжированных изображений по исходному запросу.

Когда применяется

• Временные рамки: Основные вычисления происходят офлайн в пакетном режиме. Использование данных происходит онлайн в реальном времени при вводе запроса пользователем.
• Условия работы: Алгоритм применяется, когда в логах существует достаточно данных о том, как пользователи ранее уточняли данный запрос. Для новых или очень редких запросов данных может быть недостаточно.

Пошаговый алгоритм

Офлайн-процесс: Расчет оценок уточнений

1. Идентификация уточнений: Анализ Log Files для поиска последовательностей запросов (Q1 → Q2) в рамках пользовательских сессий.
2. Агрегация и фильтрация: Агрегация всех уточнений (Q2) для данного исходного запроса (Q1). Уточнения, встречающиеся реже порогового значения, могут быть отфильтрованы.
3. Генерация списка кандидатов: Создание уникального списка Candidate Query Refinements для Q1.
4. Расчет Оценок Популярности: Для каждого кандидата Q2 рассчитывается Refinement Rate = Specific Refinement Count (Q1→Q2) / Global Refinement Count (Any→Q2).
5. Моделирование и сегментация: Каждый кандидат рассматривается как неупорядоченный набор слов (bag-of-words). Кандидаты сегментируются на отдельные термины.
6. Расчет счетчиков встречаемости (Occurrence Counts): Подсчет, сколько раз каждый уникальный термин встречается во всем списке кандидатов.
7. Сглаживание (Smoothing): Применение сглаживания путем добавления константы (x) к счетчику каждого термина. Это уменьшает влияние шума при малых выборках.
8. Расчет TOS: Вычисление Term Occurrence Score для каждого термина. Например, путем деления (сглаженного) счетчика термина на сумму всех счетчиков.
9. Расчет QRS: Вычисление Query Refinement Score для каждого кандидата путем суммирования TOS всех терминов в кандидате и нормализации по длине запроса (делением на квадратный корень из количества терминов).
10. Финальная оценка (Опционально): QRS может быть скомбинирован с Refinement Rate с использованием весовых коэффициентов для получения финальной оценки.
11. Хранение данных: Сохранение связи между Q1 и его кандидатами Q2 вместе с их финальными оценками.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Это основной тип данных. Система полагается на Log Files, содержащие историю поисковых запросов и последовательности, в которых пользователи их вводили (данные сессий).
• Контентные факторы (Косвенно): В одном из вариантов реализации упоминается, что для расчета TOS могут использоваться данные из результатов поиска (например, метки топовых изображений в поиске по картинкам).

Какие метрики используются и как они считаются

Система вычисляет несколько ключевых метрик:

• Occurrence Count: Простой подсчет частоты термина в списке кандидатов.
• Term Occurrence Score (TOS): Нормализованная частота термина. Пример (Eq. 1 в патенте): $TOS(T_j) = \frac{Occurrence(T_j)}{\sum_{i=1}^{n} Occurrence(T_i)}$ (Счетчик термина, деленный на сумму всех счетчиков).
• Query Refinement Score (QRS): Агрегированная оценка для всего запроса-кандидата. Основная формула (Eq. 3): $QRS(Q_m) = \frac{\sum_{k=1}^{h} TOS(T_k)}{\sqrt{h}}$ (Сумма TOS терминов, деленная на квадратный корень из количества терминов).
• Refinement Rate: Метрика популярности перехода. Specific Refinement Count / Global Refinement Count.
• Методы анализа текста: Используется простая модель "мешок слов" (bag-of-words), где порядок слов не важен.

1. Двойная оценка релевантности подсказок: Google оценивает потенциальные подсказки по двум основным критериям: тематическая релевантность (QRS, основанный на частоте терминов TOS) и популярность пути (Refinement Rate, основанный на поведении пользователей).
2. Важность отдельных терминов (TOS): Ключевым фактором является то, насколько часто составные термины уточнения встречаются среди всех возможных уточнений. Термины, часто используемые для уточнения темы (высокий TOS), имеют больший вес.
3. Нормализация по длине (Предпочтение краткости): Формула QRS ($Sum(TOS)/\sqrt{h}$) явно включает нормализацию по длине запроса (h). Это означает, что система предпочитает более короткие и емкие уточнения, содержащие термины с высоким TOS, а не длинные многословные запросы.
4. Обработка разреженных данных (Smoothing): Механизм сглаживания позволяет стабилизировать оценки TOS, предотвращая переоценку или недооценку терминов на основе малых выборок (шума).
5. Зависимость от коллективного поведения: Система полагается на анализ логов сессий как на источник данных о том, как люди исследуют информацию. Это подчеркивает важность поведенческих факторов в понимании интента.

Best practices (это мы делаем)

• Анализ "Related Searches" и Autocomplete: Регулярно анализируйте блоки "Связанные запросы" и автодополнение для ваших целевых запросов. Это прямой индикатор того, какие Candidate Query Refinements получили высокий QRS и Refinement Rate.
• Идентификация ключевых терминов (TOS-драйверов): Определяйте термины, которые часто повторяются в предложенных уточнениях. Согласно патенту, эти термины имеют высокий Term Occurrence Score и являются семантически важными для темы в глазах Google.
• Построение Topical Authority вокруг TOS-драйверов: Убедитесь, что ваш контент всесторонне охватывает эти ключевые термины. Если по запросу "baseball glove" часто предлагаются уточнения со словом "leather" (высокий TOS для "leather"), ваш контент должен детально раскрывать тему кожаных перчаток.
• Оптимизация под предложенные пути (User Journey): Создавайте контент и структуру сайта, оптимизированные под запросы, которые Google активно предлагает в качестве уточнений. Это пути, по которым система направляет пользователей, и соответствие им увеличивает релевантность всего тематического кластера.
• Оптимизация внутренней перелинковки: Связывайте страницы, соответствующие последовательности запросов с высоким Refinement Rate. Если пользователи часто переходят от запроса А к запросу Б, на странице А должна быть явная ссылка на страницу Б.

Worst practices (это делать не надо)

• Игнорирование предложений Google: Рассматривать "Related Searches" как второстепенный элемент. Эти предложения являются важными индикаторами пользовательского интента и того, как Google структурирует информацию по теме на основе поведения пользователей.
• Фокус только на основном ВЧ-запросе: Оптимизация страницы только под один высокочастотный запрос без учета смежных терминов и уточнений, которые пользователи реально ищут дальше.
• Создание искусственных уточнений: Попытки манипулировать логами запросов для продвижения нужных уточнений. Система основана на анализе больших объемов данных и использует механизмы сглаживания для борьбы с шумом.

Стратегическое значение

Патент подчеркивает важность понимания пути пользователя за пределами начального запроса. Он демонстрирует, как Google использует данные о поведении масс для определения тематической релевантности и взаимосвязей между запросами. Для SEO-стратегии это означает, что построение комплексных тематических кластеров (Topic Clusters), которые отвечают не только на исходный запрос, но и на последующие высоко оцененные уточнения, является ключом к достижению Topical Authority и соответствию User Journey.

Практические примеры

Сценарий: Оптимизация категории E-commerce "Кроссовки"

1. Анализ исходного запроса: Вводим "Кроссовки".
2. Изучение уточнений (Related Searches/Auto-Suggest): Наблюдаем подсказки: "мужские кроссовки", "женские кроссовки", "кроссовки Nike", "кроссовки для бега", "белые кроссовки".
3. Интерпретация (на основе патента):
   • Термины "мужские", "женские", "Nike", "бег", "белые", вероятно, имеют высокий TOS в наборе уточнений для "Кроссовки".
   • Запросы типа "кроссовки Nike" имеют высокий QRS (популярные термины + короткая длина) и высокий Refinement Rate.
4. Действия SEO-специалиста:
   • Убедиться, что на главной странице категории "Кроссовки" присутствуют эти ключевые термины (High TOS).
   • Создать подкатегории или оптимизированные фильтры, точно соответствующие этим уточнениям ("Кроссовки для бега", "Белые кроссовки").
   • Организовать навигацию и перелинковку так, чтобы пользователи могли легко перейти от общего раздела к этим уточненным подразделам, повторяя популярный путь поиска.