Как Google улучшает результаты поиска, подбирая похожие "идеальные" запросы из логов и структурированных данных

Термины и определения

Augmentation Query (Аугментирующий запрос)

Запрос, который, как известно, хорошо работает для поиска желаемой информации. Может быть как реальным пользовательским запросом, так и синтетическим.

Augmentation Query Store (Хранилище аугментирующих запросов)

База данных, хранящая высокоэффективные аугментирующие запросы.

Augmentation Query Subsystem (Подсистема аугментации запросов)

Основной компонент системы, отвечающий за генерацию, хранение и выбор аугментирующих запросов.

Augmented Search Operation (Аугментированная поисковая операция)

Действие, выполняемое с использованием выбранного аугментирующего запроса для улучшения результатов поиска (например, смешивание результатов, корректировка ранжирования).

Click Logs (Логи кликов)

Данные о взаимодействии пользователей с результатами поиска.

Explicit Signals (Явные сигналы)

Прямая обратная связь от пользователей о качестве результатов (например, опросы, рейтинги).

Implicit Signals (Неявные сигналы)

Сигналы, основанные на действиях пользователя, позволяющие сделать вывод о качестве запроса. Включают CTR, Long Clicks и Short Clicks (Click-through reversions).

Long Click (Долгий клик)

Событие, когда пользователь переходит по результату и долго остается на целевой странице или переходит по ссылкам на ней. Индикатор удовлетворенности.

Performance Threshold (Порог производительности)

Минимальный уровень Quality Signal, необходимый для того, чтобы запрос был сохранен как аугментирующий.

Quality Signal (Сигнал качества)

Метрика, указывающая на эффективность запроса в поиске интересующей пользователей информации. Агрегирует явные и неявные сигналы.

Query Logs (Логи запросов)

Записи запросов, отправленных пользователями поисковой системе.

Short Click (Click-through reversion) (Короткий клик / Возврат к выдаче)

Событие, когда пользователь быстро возвращается на страницу результатов поиска после перехода по ссылке. Индикатор неудовлетворенности.

Structured Document Corpus (Корпус структурированных документов)

Набор документов с идентифицируемой структурой (например, бизнес-справочники, заголовки, анкорный текст), используемый для генерации синтетических запросов.

Synthetic Query (Синтетический запрос)

Машинно сгенерированный аугментирующий запрос, созданный на основе структурированных данных (например, из заголовков, частотного анкорного текста).

Transformation Cost (Стоимость трансформации)

Метрика, используемая для измерения степени сходства между исходным пользовательским запросом и кандидатом в аугментирующие запросы. Учитывает расстояние редактирования, замену синонимами, контекст и важность терминов.

Ключевые утверждения (Анализ Claims)

Примечание: В предоставленном PDF файле Claims (Формула изобретения) сосредоточены на механизме генерации синтетических запросов, хотя общее описание патента также охватывает идентификацию высокопроизводительных пользовательских запросов.

Claim 1 (Независимый пункт): Описывает метод генерации синтетических запросов на основе структурированных данных и анкорного текста.

1. Идентификация структурированных данных в документе, включая информацию о сущностях (entities) и их локаторах ресурсов (URL).
2. Определение терминов, связанных с конкретной сущностью. Ключевой механизм для этого:
   • Идентификация анкорного текста (anchor text).
   • Определение количества документов, содержащих этот анкорный текст.
   • Проверка, превышает ли это количество пороговое значение (threshold number).
3. Генерация одного или нескольких Synthetic Queries, включающих этот частотный анкорный текст.
4. Сохранение Synthetic Query в Augmentation Query Store.
5. Идентификация релевантных результатов поиска и ресурса для данной сущности.
6. Ассоциирование этих результатов и ресурса с Synthetic Query.
7. Кэширование этих результатов для использования в Augmented Search Operation в ответ на похожий пользовательский запрос.

Google может определить канонический способ описания ресурса на основе частотного внешнего анкорного текста и использовать это описание как "идеальный запрос" (Synthetic Query) для этого ресурса. Если достаточное количество внешних сайтов использует один и тот же текст для ссылки на страницу, Google принимает этот текст как надежное описание содержания страницы.

Claim 6 (Зависимый): Уточняет, что синтетический запрос классифицируется в хранилище, и его рейтинг производительности (performance ranking) может быть скорректирован относительно несинтетических запросов на основе этой классификации.

Claim 7 (Зависимый от 6): Детализирует корректировку рейтинга. Performance ranking синтетического запроса снижается для общих запросов и повышается для запросов, направленных на конкретный контент (например, конкретную сущность или местоположение).

Если система определяет, что пользователь ищет общую информацию (например, "обзоры пиццерий"), предпочтение отдается реальным пользовательским запросам. Если ищется конкретная сущность (например, название конкретной пиццерии), синтетические запросы (сгенерированные из справочников или анкорного текста) получают повышение.

Claim 8 (Зависимый): Описывает способ ассоциации результатов с синтетическим запросом путем идентификации совпадения доменного имени в URL с терминами в синтетическом запросе.

Claim 10 (Зависимый): Указывает, что ресурс сущности может быть ассоциирован с синтетическим запросом независимо от показателя релевантности (relevance measure) ресурса этому запросу.

Система может принудительно связать страницу (например, домашнюю страницу компании) с запросом (например, адресом компании), даже если стандартные алгоритмы поиска не считают страницу релевантной этому адресу.

Где и как применяется

Изобретение затрагивает несколько ключевых этапов поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит анализ структурированных данных и, что критически важно, анализ частотности анкорного текста, ссылающегося на конкретные ресурсы. Эти данные необходимы для генерации Synthetic Queries.

QUNDERSTANDING – Понимание Запросов (Офлайн-процессы)
Основная работа по созданию Augmentation Query Store происходит офлайн:

• Анализ Query Logs и Click Logs для идентификации высокопроизводительных пользовательских запросов на основе Quality Signals.
• Генерация Synthetic Queries на основе данных, извлеченных на этапе INDEXING (структурированные данные, частотность анкорного текста).
• Кэширование результатов для аугментирующих запросов.

QUNDERSTANDING – Понимание Запросов (Real-time)
При получении запроса система (Query Selector) пытается сопоставить его с записями в Augmentation Query Store. Происходит парсинг запроса, генерация кандидатов и расчет Transformation Cost для выбора наилучшего аугментирующего запроса.

RANKING / METASEARCH / RERANKING – Ранжирование, Метапоиск, Переранжирование
На финальных этапах происходит выполнение Augmented Search Operation. Система извлекает результаты для выбранного аугментирующего запроса (из кэша или выполняя новый поиск) и интегрирует их в выдачу (смешивание, корректировка рангов, продвижение общих результатов).

Входные данные:

• Исходный запрос пользователя.
• Augmentation Query Store (включая рейтинги производительности запросов).
• Cached Search Results (кэшированные результаты для аугментирующих запросов).

Выходные данные:

• Аугментированный (улучшенный) набор результатов поиска.
• Или предложение альтернативного (аугментирующего) запроса пользователю.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на плохо сформулированные, неоднозначные запросы и запросы "длинного хвоста" (tail queries), которые могут быть сопоставлены с более качественными "головными" запросами (head queries). Также сильно влияет на запросы, ищущие конкретные сущности (бренды, адреса), где сильны Synthetic Queries.
• Конкретные типы контента: Влияет на страницы, которые являются целью частотных внешних анкоров, и на контент, описанный в структурированных данных (например, бизнес-листинги).

Когда применяется

• Условия применения: Алгоритм применяется, когда в Augmentation Query Store существует подходящий аугментирующий запрос, стоимость трансформации (Transformation Cost) которого от исходного запроса достаточно низка (т.е. запросы достаточно похожи).
• Триггеры активации: Активируется для большинства запросов, чтобы проверить наличие подходящей аугментации.

Пошаговый алгоритм

Процесс А: Офлайн — Идентификация пользовательских запросов

1. Сбор данных: Анализ Query Logs и Click Logs.
2. Идентификация запроса: Выбор запроса из лога для анализа.
3. Оценка качества: Расчет Quality Signal для запроса на основе Implicit Signals (CTR, Long Clicks, частота) и Explicit Signals.
4. Фильтрация: Сравнение Quality Signal с Performance Threshold.
5. Сохранение: Если порог превышен, запрос сохраняется в Augmentation Query Store как высокопроизводительный.
6. Кэширование: Результаты поиска для этого запроса сохраняются в Cached Search Results.

Процесс Б: Офлайн — Генерация синтетических запросов

1. Идентификация структурированных данных: Анализ Structured Document Corpus (заголовки, листинги) или данных индекса (анкорный текст).
2. Анализ частотности (для анкорного текста): Определение, превышает ли частота использования конкретного анкорного текста для ссылки на ресурс пороговое значение.
3. Генерация запроса: Создание Synthetic Query из структурированных данных или частотного анкорного текста с использованием правил (Structure Rule Set).
4. Оценка (Scoring): Присвоение запросу оценки (например, на основе надежности источника данных).
5. Сохранение: Запрос сохраняется в Augmentation Query Store и помечается как синтетический.
6. Ассоциация и Кэширование: Ассоциация целевых ресурсов с запросом (возможно, принудительно, независимо от релевантности) и сохранение в Cached Search Results.

Процесс В: Real-time — Выбор и Аугментация

1. Получение запроса: Система получает запрос от пользователя.
2. Генерация кандидатов: Candidate List Generator ищет похожие запросы в Augmentation Query Store. Поиск может включать трансформации (синонимы, стемминг) или поиск по подмножеству терминов.
3. Расчет стоимости трансформации: Candidate Selector вычисляет Transformation Cost для каждого кандидата, учитывая расстояние редактирования, синонимичность, контекст и важность терминов.
4. Ранжирование и Выбор: Кандидаты ранжируются по Transformation Cost. Также может учитываться их performance ranking (с поправкой для синтетических запросов в зависимости от типа исходного запроса — общий или специфический). Выбирается лучший кандидат(ы).
5. Выполнение аугментации: Система выполняет Augmented Search Operation. Результаты аугментирующего запроса извлекаются (часто из кэша) и используются для улучшения финальной выдачи (смешивание, переранжирование).

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые): Query Logs (частота запросов), Click Logs (CTR, данные для расчета Long Clicks и Short Clicks). Это основа для идентификации высокопроизводительных пользовательских запросов.
• Ссылочные факторы (Ключевые): Анкорный текст (Anchor text) внешних ссылок и частота его использования для ссылки на конкретный URL. Это основа для генерации многих Synthetic Queries.
• Структурные и Контентные факторы: Данные из Structured Document Corpus: заголовки документов (Titles), данные бизнес-листингов (названия, адреса, категории). Используются для генерации Synthetic Queries.
• Пользовательские факторы: Явные сигналы (Explicit Signals) — результаты опросов или рейтинги, предоставленные пользователями.

Какие метрики используются и как они считаются

• Quality Signal: Агрегированная метрика производительности запроса. Рассчитывается на основе комбинации Implicit и Explicit Signals. Например, высокий CTR + много Long Clicks + мало Short Clicks = высокий Quality Signal.
• Performance Threshold: Пороговое значение для Quality Signal.
• Anchor Text Frequency Threshold: Пороговое количество документов, использующих определенный анкорный текст, необходимое для генерации Synthetic Query (упомянуто в Claim 1).
• Transformation Cost: Метрика сходства между запросами. Рассчитывается как функция от расстояния редактирования, оценок синонимичности (synonym scores), весов терминов (например, существительные важнее прилагательных) и контекста. Цель — минимизировать эту стоимость при сохранении смысла.
• Performance Ranking: Рейтинг аугментирующего запроса в хранилище, основанный на его Quality Signal или оценке при генерации (для синтетических). Может корректироваться в реальном времени в зависимости от типа запроса (общий vs специфический).

1. Google хранит базу "идеальных" запросов: Система активно поддерживает и обновляет Augmentation Query Store — базу данных запросов, которые доказали свою эффективность (через поведение пользователей) или были сгенерированы из надежных источников (структурированные данные, анкорный текст).
2. Поведение пользователей определяет качество запроса: Long Clicks, CTR и отсутствие Short Clicks являются прямыми входными данными (Quality Signals) для определения того, какие запросы считать "идеальными". Удовлетворение интента пользователя критически важно.
3. Частотный анкорный текст как основа для запроса: Патент явно описывает механизм (Claim 1), где внешний анкорный текст, если он используется достаточно часто (превышает порог), становится Synthetic Query для целевой страницы. Это подтверждает роль консистентного анкорного текста как прямого сигнала о содержании страницы.
4. Трансформация запросов в реальном времени: Google не ограничивается исходным запросом пользователя. Если существует похожий "идеальный" запрос с приемлемой Transformation Cost, система будет использовать его для улучшения результатов.
5. Принудительная ассоциация для синтетических запросов: Система может ассоциировать URL с Synthetic Query независимо от стандартных оценок релевантности (Claim 10). Например, домашняя страница может быть связана с адресом, даже если адреса нет на самой странице, если эта связь найдена в структурированных данных.
6. Динамическая оценка синтетических запросов: Synthetic Queries оцениваются динамически (Claim 7). Они получают приоритет при поиске конкретных сущностей и понижаются при общих информационных запросах.

Best practices (это мы делаем)

• Максимизация удовлетворенности пользователя (User Satisfaction): Фокусируйтесь на создании контента, который полностью отвечает на запрос и стимулирует Long Clicks, минимизируя Short Clicks. Это повышает вероятность того, что запросы, ведущие на ваш сайт, будут классифицированы как высокопроизводительные (Augmentation Queries).
• Построение консистентного и дескриптивного внешнего анкорного текста: Работайте над тем, чтобы внешние ссылки на ваши ключевые страницы имели последовательный, описательный анкорный текст. Согласно Claim 1, если частота такого текста превысит порог, он может стать Synthetic Query, напрямую ассоциированным с вашим URL.
• Оптимизация под сущности и использование структурированных данных: Обеспечьте точность информации о вашей сущности (компании, продукте) в структурированных данных и справочниках. Это является источником для Synthetic Queries, которые получают приоритет при поиске конкретных сущностей (Claim 7).
• Фокус на интенте, а не только на ключевых словах: Понимайте, что Google может трансформировать исходный запрос в аугментирующий запрос, который лучше отражает интент. Оптимизируйте контент под намерение пользователя, а не только под конкретную формулировку запроса.

Worst practices (это делать не надо)

• Манипуляция CTR без удовлетворения интента: Использование кликбейтных заголовков для повышения CTR приведет к увеличению Short Clicks. Это снизит Quality Signal запроса и уменьшит вероятность его использования в качестве аугментирующего.
• Использование разнообразного, но нерелевантного анкорного текста: Чрезмерное разнообразие или использование нерелевантных/общих анкоров (типа "тут", "ссылка") не позволит достичь порога частотности, необходимого для генерации Synthetic Query на основе анкорного текста.
• Игнорирование точности данных в справочниках: Неточные данные в бизнес-листингах могут привести к генерации неверных Synthetic Queries или потере трафика по запросам, связанным с сущностью.

Стратегическое значение

Этот патент подтверждает стратегический сдвиг Google от точного совпадения ключевых слов к сопоставлению намерений (Intent Matching). Он показывает, как Google строит модель "идеальных" запросов, используя два мощных источника данных: коллективное поведение пользователей и структурированную информацию (включая анкорный текст). Для SEO это означает, что долгосрочная стратегия должна быть направлена на то, чтобы стать лучшим ответом на эти "идеальные" запросы, что требует глубокого анализа как поведенческих факторов, так и ссылочного профиля (особенно анкоров).

Практические примеры

Сценарий 1: Использование частотного анкорного текста (Synthetic Query)

1. Ситуация: Страница продукта интернет-магазина получает тысячи естественных ссылок с блогов и форумов. Большинство из них используют анкорный текст "лучший бюджетный 4k монитор".
2. Действие системы (Офлайн): Google фиксирует, что частота этого анкора превысила порог (Claim 1). Система генерирует Synthetic Query "лучший бюджетный 4k монитор" и ассоциирует его со страницей продукта.
3. Действие системы (Real-time): Пользователь вводит плохо сформулированный запрос: "дешевый 4k экран хорошее качество".
4. Аугментация: Система определяет низкую Transformation Cost между запросом пользователя и Synthetic Query. Выполняется Augmented Search Operation.
5. Результат: Страница продукта получает значительное повышение в выдаче по запросу пользователя, так как она напрямую ассоциирована с соответствующим аугментирующим запросом.

Сценарий 2: Использование высокопроизводительного пользовательского запроса

1. Ситуация: Пользователи часто ищут "как исправить ошибку 123 windows". Анализ Click Logs показывает, что этот запрос имеет высокий CTR и стабильно приводит к Long Clicks на конкретном посте форума.
2. Действие системы (Офлайн): Quality Signal запроса превышает Performance Threshold. Запрос сохраняется в Augmentation Query Store.
3. Действие системы (Real-time): Пользователь вводит сокращенный запрос: "ошибка 123 помощь".
4. Аугментация: Система сопоставляет этот запрос с сохраненным аугментирующим запросом "как исправить ошибку 123 windows".
5. Результат: Результаты для аугментирующего запроса (включая популярный пост форума) подмешиваются в выдачу, гарантируя, что пользователь увидит полезный контент, несмотря на неточный исходный запрос.