Как Google решает, какие вертикальные индексы (Новости, Карты, Медиа) активировать для новых и редких запросов

Описание

Какую задачу решает

Патент решает проблему эффективности инфраструктуры и снижения задержек (latency) при обработке новых или редких запросов (New Query), которые отсутствуют в кэше (Query Cache). Цель — избежать ресурсоемкого поиска во всех специализированных коллекциях ресурсов (Вертикалях, например, Новости, Карты, Медиа), если вероятность найти там релевантные результаты низкая. Это позволяет экономить вычислительные мощности.

Что запатентовано

Запатентована система для прогнозирования того, какие коллекции ресурсов (collection of resources) следует использовать для поиска по новому запросу. Когда поступает запрос, отсутствующий в кэше, система находит похожий кэшированный запрос (Cached Query). Затем она использует комбинацию исторических данных о кэшированном запросе и характеристик нового запроса (является ли он сущностью, насколько он специфичен), чтобы принять решение о запуске поиска в конкретной вертикали.

Как это работает

Механизм активируется для запросов, отсутствующих в кэше:

• Поиск варианта: Система находит наиболее похожий Cached Query (вариант).
• Анализ P1 (Релевантность коллекции): Из кэша извлекается вероятность (P1) того, что конкретная вертикаль релевантна для Cached Query.
• Анализ P2 (Сущность/Фраза): Вычисляется вероятность (P2) того, что New Query именует сущность или является устойчивой фразой.
• Анализ P3 (Специфичность): Вычисляется вероятность (P3) того, что Cached Query является специфичным (ссылается на конкретный концепт).
• Принятие решения: На основе P1, P2 и P3 рассчитывается Trigger Value. Если это значение удовлетворяет порогу для вертикали, поиск в ней запускается; если нет – вертикаль игнорируется для экономии ресурсов.

Актуальность для SEO

Средняя. Базовая задача эффективного распределения ресурсов и запуска вертикального поиска (Triggering) остается критически важной для инфраструктуры Google. Однако конкретные методы расчета P2 и P3, описанные в патенте (например, HMM, CRF, TF-IDF кластеризация), вероятно, были дополнены или заменены более современными NLP-технологиями (нейросетевыми моделями и векторными представлениями).

Важность для SEO

(3/10). Патент в первую очередь описывает инфраструктурную оптимизацию, а не ранжирование. Прямых рекомендаций для повышения позиций он не содержит. Однако он важен для понимания этапа Query Understanding и механизма Triggering. Если система решит не активировать поиск в определенной коллекции (например, в Новостях) для редкого запроса, релевантный контент из этой вертикали не появится в выдаче.

Детальный разбор

Термины и определения

Cached Query (Кэшированный запрос)

Запрос (обычно популярный), хранящийся в Query Cache, для которого известны характеристики и вероятности связи с коллекциями ресурсов.

Collection of Resources (Коллекция ресурсов)

Специализированный индекс или Вертикаль поиска. Примеры: News Index, Media Index, Map Index.

Entity (Сущность)

Человек, место, вещь или концепция, упоминаемые в запросе.

Mutually dependent query terms (Взаимозависимые термины запроса)

Термины, которые часто встречаются вместе (иногда в определенном порядке) в индексе. Используются для определения фраз и сущностей (P2).

New Query (Новый запрос)

Запрос, полученный системой, который отсутствует в Query Cache (редкий или long-tail запрос).

Probability 1 (P1)

Вероятность того, что конкретная коллекция содержит ресурсы, удовлетворяющие Cached Query. Извлекается из кэша.

Probability 2 (P2)

Вероятность того, что New Query называет сущность или является фразой. Рассчитывается на основе взаимозависимости терминов.

Probability 3 (P3)

Вероятность того, что Cached Query является специфичным запросом (Specific Query).

Query Cache (Кэш запросов)

Хранилище данных о популярных запросах и их характеристиках (включая P1).

Query Similarity Engine (Движок схожести запросов)

Компонент, определяющий сходство между запросами и вычисляющий вероятности P2 и P3.

Specific Query (Специфичный запрос)

Запрос, который ссылается на конкретную концепцию или сущность. Определяется, например, через кластеризацию результатов.

Trigger Value (Триггерное значение)

Итоговая оценка, рассчитанная на основе P1, P2 и P3, которая используется для принятия решения о поиске в коллекции.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод выбора коллекции для поиска по новому запросу.

1. Система получает New Query, которого нет в Query Cache.
2. Определяется, что New Query является вариантом (похож на) существующего Cached Query.
3. Получается Первая вероятность (P1): вероятность того, что конкретная коллекция содержит результаты для кэшированного запроса.
4. Рассчитывается Вторая вероятность (P2): вероятность того, что термины нового запроса называют сущность или являются фразой.
5. Рассчитывается Третья вероятность (P3): вероятность того, что кэшированный запрос является специфичным.
6. На основе P1, P2 и P3 принимается решение, искать ли в этой коллекции результаты для нового запроса.

Claim 3 (Зависимый от 1): Детализирует первый метод расчета P3 (Специфичность).

P3 рассчитывается как доля ресурсов в коллекции, которые включают термины кэшированного запроса, от общего количества ресурсов в коллекции. Этот метод оценивает распространенность или редкость терминов в индексе.

Claim 4 (Зависимый от 1): Детализирует второй метод расчета P3 (Специфичность) с использованием кластеризации текста (text clustering).

1. Ресурсы из коллекции, удовлетворяющие кэшированному запросу, кластеризуются.
2. Определяется размер самого большого кластера.
3. P3 рассчитывается как доля размера самого большого кластера от общего количества ресурсов.

Если результаты формируют один большой и плотный кластер, это означает, что они тематически схожи, и запрос является высокоспецифичным.

Claim 5 (Зависимый от 1): Детализирует процесс принятия решения.

1. Рассчитывается Trigger Value на основе P1, P2, P3.
2. Определяется, удовлетворяет ли Trigger Value пороговому значению (threshold value) для данной коллекции.
3. Если удовлетворяет, система запускает поиск в этой коллекции.

Где и как применяется

Изобретение функционирует как механизм оптимизации на ранних этапах обработки запроса, определяя необходимость активации поиска в специализированных индексах.

QUNDERSTANDING – Понимание Запросов
На этом этапе происходит анализ New Query. Query Similarity Engine ищет варианты в Query Cache и вычисляет P2 (Entity/Phrase). Также существуют офлайн-процессы, которые генерируют Query Cache, рассчитывая P1 и P3 для популярных запросов (включая кластеризацию для P3).

RANKING – Ранжирование (Стадия Triggering) / METASEARCH – Метапоиск
Это основное применение патента. Система находится на этапе принятия решения (Triggering) о том, какие вертикальные поисковые движки (Новости, Картинки, Карты) следует активировать. Механизм позволяет избежать запуска поиска в вертикали, если вероятность найти там релевантные результаты низка.

Входные данные:

• Новый запрос (New Query).
• Query Cache (содержащий Cached Queries и вероятности P1).
• Статистические данные или модели для расчета P2 (например, HMM/CRF или данные о совместной встречаемости терминов).
• Данные для расчета P3 (например, результаты кластеризации для Cached Query).

Выходные данные:

• Бинарное решение (Да/Нет) о запуске поиска для нового запроса в конкретной коллекции ресурсов.

На что влияет

• Специфические запросы: Основное влияние оказывается на обработку новых, редких и long-tail запросов, для которых нет данных в кэше.
• Конкретные типы контента и Вертикали: Влияет на видимость контента в вертикальных индексах (Новости, Карты, Медиа). Если система решит не запрашивать индекс, контент из него не будет показан.
• Сущностные запросы: Запросы, четко идентифицированные как сущности или фразы (высокий P2), могут иметь больше шансов активировать специализированные вертикали.

Когда применяется

• Условие активации: Алгоритм применяется только тогда, когда полученный запрос отсутствует в Query Cache, но при этом он идентифицирован как вариант существующего Cached Query.
• Пороговые значения: Для каждой вертикали существует свой настраиваемый порог (threshold value). Поиск запускается, если Trigger Value удовлетворяет этому порогу. Пороги настраиваются для баланса между экономией ресурсов и полнотой выдачи (приемлемым уровнем ошибок – failure rate).

Пошаговый алгоритм

1. Получение и проверка запроса: Система получает New Query и определяет, что он отсутствует в Query Cache.
2. Поиск варианта: Query Similarity Engine ищет наиболее похожий Cached Query в кэше, используя метрики схожести строк (например, edit distance, Jaccard index).
3. Получение P1 (Связь с Коллекцией): Из кэша извлекается вероятность P1, указывающая на вероятность того, что конкретная коллекция (например, Карты) содержит ресурсы, удовлетворяющие Cached Query.
4. Расчет P2 (Entity/Phrase): Query Similarity Engine вычисляет вероятность P2, что New Query является сущностью или фразой. Это делается путем анализа взаимозависимости терминов (mutually dependent query terms) в индексе или с использованием статистических моделей (HMM/CRF).
5. Расчет P3 (Specificity): Query Similarity Engine вычисляет вероятность P3, что Cached Query является специфичным. Используются методы:
   • Анализ доли ресурсов в коллекции, содержащих термины запроса.
   • Анализ кластеризации результатов (text clustering): если результаты формируют большой плотный кластер, P3 высокая.
6. Расчет Trigger Value: Вычисление итоговой оценки. В патенте приводится пример функции: t = (1-x)(1-y)(1-z), где x=P1, y=P2, z=P3. Эта формула вычисляет вероятность того, что коллекция НЕ релевантна ИЛИ запрос НЕ сущность/фраза ИЛИ запрос НЕ специфичен.
7. Принятие решения: Сравнение Trigger Value (t) с пороговым значением (Threshold Value) для данной коллекции. Если условие выполнено (например, t ниже порога, если используется формула выше и порог настроен соответствующим образом), система инициирует поиск в этой коллекции.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании статистики по запросам и индексам.

• Контентные/Индексные данные:
  • Статистика совместной встречаемости терминов (mutually dependent terms) в корпусе документов используется для расчета P2.
  • Анализ контента ресурсов (например, TF-IDF векторы) используется для Text Clustering при расчете P3.
  • Статистика по количеству документов в индексах, содержащих определенные термины (для расчета P3).
• Поведенческие/Логовые данные (Косвенно):
  • Query Cache формируется на основе логов популярных запросов.
  • Исторические данные о том, какие коллекции возвращали полезные результаты (useful search results), используются для расчета P1 и настройки порогов.

Какие метрики используются и как они считаются

Система использует три ключевые вероятности:

1. P1 (Вероятность релевантности коллекции): Предварительно рассчитанная метрика, хранящаяся в Query Cache.
2. P2 (Вероятность Сущности/Фразы): Рассчитывается для New Query. Методы:
   • Статистический анализ: Анализ взаимной зависимости терминов (например, Mutual Information) или частоты их совместного появления в индексе.
   • Статистические модели: Использование обученных моделей (HMM или CRF) для распознавания структур, именующих сущности.
3. P3 (Вероятность Специфичности): Рассчитывается для Cached Query. Методы:
   • Частотный анализ: Доля ресурсов в коллекции, содержащих термины запроса.
   • Кластеризация текста (Text Clustering): Ресурсы, удовлетворяющие запросу, кластеризуются (например, k-means на основе TF-IDF). P3 рассчитывается как размер самого большого кластера, деленный на общее количество кластеризованных ресурсов.

Trigger Value (t): Агрегированная метрика для принятия решения. Пример формулы: t = (1-P1)(1-P2)(1-P3).

Threshold Value (Порог): Значение, с которым сравнивается Trigger Value. Настраивается индивидуально для каждой коллекции.

Выводы

Патент описывает инфраструктурный механизм оптимизации ресурсов, но дает важное понимание процессов Query Understanding и Triggering вертикального поиска.

1. Инфраструктура, а не ранжирование: Механизм определяет, где искать (в каких индексах), а не как ранжировать результаты. Его цель – экономия ресурсов и снижение задержек.
2. Обработка Long-Tail через экстраполяцию: Google активно использует данные о популярных (кэшированных) запросах для прогнозирования поведения системы при обработке редких (некэшированных) запросов.
3. Критерии активации вертикалей: Для активации вертикального поиска для нового запроса система оценивает три фактора: релевантность вертикали похожему запросу (P1), является ли новый запрос сущностью/фразой (P2) и специфичность похожего запроса (P3).
4. Определение Специфичности (P3) через кластеризацию: Ключевой инсайт патента — использование кластеризации результатов для оценки специфичности запроса. Если результаты тематически близки и формируют большой плотный кластер, запрос считается специфичным. Это важный сигнал для понимания интента.
5. Важность распознавания сущностей (P2): Система определяет, является ли запрос устойчивой фразой или сущностью, анализируя взаимозависимость терминов в индексе. Это подтверждает важность семантического понимания запроса на ранних этапах.

Практика

Best practices (это мы делаем)

Хотя патент инфраструктурный, понимание механизмов P2 и P3 дает стратегические инсайты для SEO.

• Фокус на Сущностях и Устойчивых Фразах (P2): Используйте в контенте естественный язык, устойчивые выражения и четко называйте сущности (продукты, места, организации). Система анализирует взаимозависимость терминов (mutually dependent terms). Чем четче ваш контент соответствует устоявшимся фразам и именованию сущностей, тем выше вероятность P2 для связанных запросов.
• Развитие Topical Authority и Специфичности (P3): Работайте над созданием тематически сфокусированного контента. Если Google видит, что результаты по запросу (включая ваш сайт) формируют плотный тематический кластер, он классифицирует запрос как специфичный (P3 высока). Это увеличивает шансы на активацию релевантных вертикальных блоков для long-tail запросов.
• Оптимизация под «Head» запросы для влияния на «Tail»: Поскольку обработка новых (Tail) запросов зависит от данных по кэшированным (Head) запросам, хорошая видимость по основным запросам в вертикалях может косвенно влиять на активацию этих вертикалей для связанных редких запросов (влияние на P1).

Worst practices (это делать не надо)

• Размытие тематики (против P3): Создание поверхностного контента, который пытается охватить слишком много тем, затрудняет формирование плотных кластеров. Это может привести к интерпретации связанных запросов как общих (низкий P3), снижая вероятность запуска вертикального поиска.
• Использование несвязанных ключевых слов (против P2): Оптимизация контента (например, alt-текстов изображений или метаданных видео) под набор разрозненных ключевых слов снижает вероятность P2. Термины не будут признаны взаимозависимыми, что может помешать активации поиска в соответствующем индексе (например, Media Index).

Стратегическое значение

Патент подтверждает, что Google анализирует структурные (фраза) и семантические свойства (сущность, специфичность) запроса на самых ранних этапах обработки. Это является частью Query Understanding и напрямую влияет на формирование Универсальной выдачи (Triggering). Стратегия SEO должна учитывать, что для попадания в специализированные блоки выдачи контент должен помогать системе классифицировать релевантные запросы как специфичные и связанные с сущностями.

Практические примеры

Сценарий: Оптимизация изображения для Google Images (Media Index)

Задача: Увеличить вероятность того, что система активирует поиск в Media Index (P2).

1. Анализ: Система оценивает P2 (является ли запрос фразой/сущностью) на основе взаимозависимости терминов.
2. Плохая практика (Низкий P2): Оптимизировать alt-текст под разрозненные слова: alt=»фото, собака, парк, игра, лето». Термины слабо взаимозависимы.
3. Хорошая практика (Высокий P2): Оптимизировать alt-текст под четкую фразу, называющую сущности и действия: alt=»Фотография джек-рассел-терьера, играющего с фрисби в Гайд-парке». Термины сильно взаимозависимы.
4. Ожидаемый результат: При поступлении запроса, связанного с этой четкой фразой (например, «джек рассел фрисби гайд парк»), система с большей вероятностью рассчитает высокий P2 и инициирует поиск в Media Index, что является необходимым условием для ранжирования изображения.

Вопросы и ответы