Как Google использует контент топовых результатов для генерации разнообразных и контекстуально связанных поисковых подсказок

Термины и определения

Candidate Queries (Кандидаты в предлагаемые запросы)

Набор потенциальных запросов, сгенерированных системой на основе сходства контекста с исходным запросом. Они проходят фильтрацию перед показом пользователю.

Centroid (Центроид)

Векторное представление, которое описывает наиболее распространенные и значимые термины в наборе документов. Используется для представления контекста запроса (см. Query Vector).

Centroid Repository (Репозиторий Центроидов)

База данных, хранящая предварительно вычисленные центроиды для большого количества запросов (например, из логов поиска).

Disjunction (Дизъюнкция)

Логическое объединение терминов с помощью оператора OR. Используется для эффективного поиска совпадающих центроидов в репозитории (например, "car OR rental OR Denver").

Dot Product (Скалярное произведение)

Математическая операция, используемая для вычисления степени сходства между двумя векторами (например, между Query Vector и центроидом из репозитория).

Filtering Module (Модуль Фильтрации)

Компонент системы, отвечающий за применение фильтров разнообразия к Candidate Queries для выбора финального набора предложений.

Query Vector (Вектор Запроса)

Centroid, сгенерированный на лету для текущего запроса пользователя. Он создается путем объединения Term Vectors из Топ-N результатов поиска по этому запросу.

Term Vector (Вектор Терминов)

Векторное представление отдельного документа, содержащее 'm' наиболее взвешенных (значимых) терминов этого документа.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный процесс генерации контекстуальных и разнообразных подсказок.

1. Система получает исходный запрос.
2. Выбираются документы, релевантные запросу (Топ-N).
3. Для каждого документа генерируется Term Vector (наиболее взвешенные термины).
4. Из Term Vectors генерируется search query centroid (Query Vector), представляющий собой наиболее общие термины среди векторов.
5. Выполняется поиск в Centroid Repository для нахождения ранее сохраненных центроидов, совпадающих с текущим.
6. Вычисляется Dot Product для определения степени сходства.
7. Центроиды сортируются по сходству (Dot Product).
8. Наиболее похожие центроиды преобразуются в Candidate Queries.
9. Кандидаты проверяются в порядке ранжирования.
10. Кандидат добавляется в набор предложений, ЕСЛИ он содержит пороговое количество терминов, НЕ включенных в исходный запрос.
11. Набор предложений предоставляется пользователю.

Claim 2 (Зависимый от 1): Определяет точную формулу для фильтра разнообразия (шаг 10).

Кандидат (qj) добавляется в набор предложений (Z), только если выполняется условие: $(|q_j|-|q_j\cap z|>0.5|z|\mathrm{\forall }z\in (Z\cup \{u\}))$

Это означает, что кандидат должен отличаться более чем на половину своих терминов от исходного запроса И от любого другого запроса, уже добавленного в набор предложений Z. Это обеспечивает строгое лексическое разнообразие.

Claim 4 (Зависимый от 1): Уточняет метод поиска в репозитории (шаг 5).

Система генерирует Disjunction (объединение через OR) наиболее взвешенных терминов из текущего search query centroid. Этот дизъюнктивный запрос используется для эффективного поиска совпадающих центроидов в репозитории.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, связывая данные индексирования с процессом понимания запроса и финальным представлением результатов.

INDEXING – Индексирование и извлечение признаков
На этом этапе для документов вычисляются и сохраняются Term Vectors (наиболее взвешенные термины), которые позже используются для генерации центроидов.

QUNDERSTANDING – Понимание Запросов (Офлайн)
Система заранее анализирует логи запросов, выполняет их и генерирует Centroid Repository. Это офлайн-процесс создания базы данных контекстов запросов.

RANKING – Ранжирование
Система выполняет исходный запрос пользователя и генерирует первичный набор результатов (SERP). Топ-N результатов этого этапа используются для дальнейшего анализа.

QUNDERSTANDING – Понимание Запросов (Онлайн) / METASEARCH – Метапоиск
Основное применение патента происходит после генерации первичной выдачи:

1. Анализ SERP: Система анализирует Топ-N результатов этапа RANKING.
2. Генерация Контекста: На лету создается Query Vector (Centroid) для определения контекста запроса.
3. Генерация Подсказок: Query Vector сравнивается с Centroid Repository, генерируются и ранжируются Candidate Queries.
4. Фильтрация: Применяется формула разнообразия для выбора финального набора подсказок, которые будут показаны пользователю (например, в блоке Related Searches). Патент также упоминает использование этого метода для выбора целевой рекламы.

Входные данные:

• Исходный запрос пользователя.
• Топ-N результатов поиска по этому запросу.
• Term Vectors для этих результатов.
• Centroid Repository (предварительно вычисленный).

Выходные данные:

• Набор разнообразных, контекстуально релевантных поисковых подсказок.

На что влияет

• Типы контента и запросов: Влияет на все типы контента (текст, изображения, видео, как указано в патенте) и запросов. Особенно заметно влияние на информационные и исследовательские запросы, где требуется изучение темы с разных сторон.
• Поисковый путь пользователя: Напрямую влияет на то, как пользователи уточняют или расширяют свои поисковые сессии.

Когда применяется

• Условия применения: Алгоритм применяется в момент генерации поисковой выдачи для предоставления пользователю связанных запросов (Related Searches) или других форм поисковых подсказок.
• Триггеры активации: Активируется при обработке запроса, если система настроена на генерацию подсказок и может найти подходящих кандидатов в репозитории.

Пошаговый алгоритм

Процесс А: Обработка запроса и генерация подсказок в реальном времени

1. Получение запроса: Система получает исходный запрос (Uq).
2. Выполнение запроса: Запрос выполняется, определяются Топ-N (например, 50) результатов.
3. Генерация Вектора Запроса (Vuq):
   • Для каждого из Топ-N результатов извлекается или генерируется Term Vector (Топ-M наиболее взвешенных терминов).
   • Эти Term Vectors объединяются для создания Centroid (Vuq), представляющего контекст запроса.
4. Генерация Кандидатов:
   • Создается Disjunction из наиболее взвешенных терминов Vuq (например, Топ-3 термина через OR).
   • Выполняется поиск в Centroid Repository с использованием этой дизъюнкции.
   • Вычисляется сходство (Dot Product) между Vuq и найденными центроидами.
   • Центроиды ранжируются по сходству. Топ-K центроидов преобразуются обратно в текстовые запросы (Список кандидатов L).
5. Фильтрация и Диверсификация:
   • Инициализируется пустой набор предложений (Z). Устанавливается максимальный размер MAX (например, 5).
   • Система итерирует по ранжированному списку кандидатов L (запрос qj).
   • Проверка разнообразия: Проверяется, отличается ли qj более чем на 50% своих терминов от исходного запроса Uq И от всех запросов, уже добавленных в Z (согласно формуле).
   • Если ДА: qj добавляется в Z.
   • Процесс останавливается, когда Z достигает размера MAX или список L исчерпан.
6. Возврат результата: Набор предложений Z возвращается пользователю.

Процесс Б: Офлайн-генерация Репозитория Центроидов

1. Сбор данных: Система анализирует логи предыдущих запросов (real-world queries).
2. Генерация Центроидов: Для каждого значимого запроса выполняются шаги 2 и 3 Процесса А.
3. Сохранение: Сгенерированные центроиды и соответствующие им текстовые запросы сохраняются в Centroid Repository.

Какие данные и как использует

Данные на входе

• Контентные факторы: Критически важные данные. Используется фактический текст контента страниц, ранжирующихся в Топ-N. Система анализирует "highest-weighted terms" (наиболее взвешенные термины) в этих документах. Вес термина может определяться с помощью TF-IDF или аналогичных метрик значимости слова в контексте документа.
• Поведенческие факторы: Centroid Repository строится на основе анализа логов предыдущих пользовательских запросов.

Какие метрики используются и как они считаются

• Term Weights (Веса терминов): Используются для создания Term Vectors. Определяют значимость термина в документе.
• Dot Product (Скалярное произведение): Используется как мера сходства между Query Vector и центроидами в репозитории. Более высокое значение указывает на большее сходство контекста.
• Lexical Difference/Overlap (Лексическое различие/пересечение): Ключевая метрика для фильтрации. Рассчитывается по формуле: $(|q_j|-|q_j\cap z|>0.5|z|)$. Порог установлен на уровне 0.5 (50%).

1. Контекст определяется контентом, а не только ключевыми словами: Патент демонстрирует, что Google определяет контекст и интент запроса не просто анализируя текст запроса, а путем анализа контента, который фактически ранжируется по этому запросу (Топ-N результатов).
2. SERP как источник контекста: Состав и содержание топовой выдачи напрямую диктуют, какие связанные запросы будут предложены. Система генерирует Centroid (контекстный вектор) на основе Топ-N результатов.
3. Влияние высокоранжирующегося контента: Сайты, находящиеся в Топ-N (например, Топ-50), активно участвуют в формировании контекстуального понимания (Centroid) данного запроса. Если ваш контент ранжируется высоко, он влияет на то, как Google интерпретирует тему.
4. Разнообразие как обязательное условие: Система активно обеспечивает лексическое разнообразие в подсказках. Предложения, слишком похожие на исходный запрос, отфильтровываются с помощью строгой математической формулы (более 50% различий).
5. Промежуточное представление контекста: Google использует промежуточные векторные представления (Centroids или современные эмбеддинги) для сравнения контекстов различных запросов, даже если они не имеют общих ключевых слов.

Best practices (это мы делаем)

• Укрепление тематического авторитета (Topical Authority): Необходимо стремиться к стабильному ранжированию в Топ-N по всему кластеру связанных запросов. Это позволяет влиять на формирование контекстуального понимания (Centroids) всей темы, а не только отдельных запросов.
• Семантическая насыщенность контента: Используйте богатый и релевантный словарь, включающий синонимы, связанные сущности и терминологию, характерную для ниши. Это гарантирует, что ваш контент вносит значимый вклад в Centroid через "highest-weighted terms".
• Анализ связанных запросов (Related Searches): Регулярно анализируйте подсказки, которые Google предлагает для ваших целевых запросов. Эти подсказки являются прямым отражением вычисленного контекста (Centroid). Убедитесь, что ваш контент покрывает эти связанные области для укрепления релевантности.
• Оптимизация под контекст, а не под ключевое слово: Создавайте контент, который соответствует общему контексту (консенсусу), сформированному топовыми результатами. Если ваш контент сильно выбивается из общего тематического вектора SERP, его релевантность может быть поставлена под сомнение.

Worst practices (это делать не надо)

• Keyword Stuffing и фокус на точном вхождении: Фокусировка только на основном ключевом слове без использования связанной терминологии не поможет повлиять на более широкий контекст, фиксируемый Centroid.
• Создание поверхностного контента (Thin Content): Контент, лишенный семантической глубины, не будет содержать значимых "weighted terms" и, следовательно, не внесет существенного вклада в расчет Centroid, даже если попадет в Топ-N.
• Игнорирование интента, сформированного выдачей: Попытка ранжировать контент, который не соответствует доминирующему контексту Топ-N результатов, будет затруднена, так как этот контекст используется системой для валидации релевантности.

Стратегическое значение

Патент подтверждает стратегическую важность понимания контекста на уровне темы, а не отдельного запроса. Он показывает механизм, с помощью которого Google использует уже ранжирующийся контент для калибровки своего понимания запросов. Для SEO это означает, что стратегия должна быть направлена на доминирование в тематическом контексте. Влияние на подсказки — это не только источник дополнительного трафика, но и индикатор того, насколько сильно ваш сайт ассоциируется с темой в системах Google.

Практические примеры

Сценарий: Анализ и фильтрация подсказок (Пример из патента)

1. Исходный запрос (Uq): "mars exploration" (2 термина).
2. Кандидаты (L), ранжированные по контекстному сходству:
   1. "mars attacks"
   2. "rover mission"
   3. "mars rover 2003"
3. Фильтрация (Порог 50%):
   • Кандидат 1: "mars attacks" (2 термина). Пересечение с Uq: "mars" (1 термин). Различие: 2 - 1 = 1. Порог для Uq: 0.5 * 2 = 1. Условие (1 > 1) не выполняется. Кандидат отклонен (слишком похож).
   • Кандидат 2: "rover mission" (2 термина). Пересечение с Uq: 0. Различие: 2 - 0 = 2. Условие (2 > 1) выполняется. Кандидат принят в набор Z.
   • Кандидат 3: "mars rover 2003" (3 термина).
     Проверка с Uq: Пересечение 1 ("mars"). Различие 3-1=2. Условие (2 > 1) выполняется.
     Проверка с Z ("rover mission"): Пересечение 1 ("rover"). Различие 3-1=2. Порог для Z: 0.5 * 2 = 1. Условие (2 > 1) выполняется.
     Кандидат принят в набор Z.
4. Результат: Пользователю предлагаются подсказки "rover mission" и "mars rover 2003", которые контекстуально связаны (похожие центроиды), но лексически разнообразны.