Как Google определяет интент и позицию вертикальных результатов (например, картинок) для длиннохвостых (long-tail) запросов

Термины и определения

Confidence Score (Оценка уверенности)

Метрика, определяющая, достаточно ли исторических данных по запросу для точного расчета его Search Property Ratio. Низкая оценка характерна для long-tail запросов.

Corpus (Корпус)

Коллекция ресурсов определенного типа, например, веб-корпус (Web Corpus) или корпус изображений (Image Corpus).

Inferred Search Property Ratio (ISPR) (Предполагаемый коэффициент интента)

Оценка интента, используемая для long-tail запросов, когда актуальный SPR недоступен или ненадежен. Включает Resource SPR и Website SPR.

Insertion Score (Оценка вставки)

Метрика, определяющая ординальную позицию, на которой результаты из вторичного корпуса (например, блок картинок) будут вставлены в ранжирование основного корпуса (веб-результаты).

Long Tail Query (Длиннохвостый запрос)

Запрос, который встречается редко или впервые, и по которому отсутствует достаточная история поиска.

Proper Subset (Надлежащее подмножество / Часть индекса)

Часть индекса вторичного корпуса (например, 1-25% шард), используемая для эффективного "прощупывания" (probing) релевантности long-tail запроса без проведения полного поиска.

Resource Search Property Ratio (Resource SPR)

Предполагаемый интент на уровне отдельного ресурса (страницы). Рассчитывается на основе среднего значения актуальных SPR всех запросов, по которым пользователи исторически кликали на этот ресурс.

Search Property Ratio (SPR) (Коэффициент интента / Актуальный SPR)

Историческая метрика для конкретного запроса. Отношение количества поисков этого запроса во вторичном корпусе (например, Google Images) к количеству поисков в основном корпусе (Google Web Search).

Second Resource Score (Оценка вторичного ресурса)

Метрика, оценивающая связанность long-tail запроса со вторичным типом ресурсов (например, Image Score). Рассчитывается на основе результатов поиска по Proper Subset индекса и используется как триггер для полного поиска.

Website Search Property Ratio (Website SPR)

Предполагаемый интент на уровне сайта. Рассчитывается на основе Resource SPR страниц этого сайта. Используется для новых страниц или страниц с недостаточной историей.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной механизм обработки long-tail запросов для принятия решения о поиске во вторичном корпусе.

1. Система получает запросы для поиска в первом корпусе (например, Web).
2. Выбирается подмножество запросов, для которых оценка уверенности (Confidence Score) в их Search Property Ratio ниже порога (т.е. long-tail запросы).
3. Для этих запросов вычисляется Second Resource Score (например, Image Score). Эта оценка вычисляется независимо от собственного SPR запроса.
4. Second Resource Score сравнивается с порогом.
5. Только если порог превышен:
   • Инициируется поиск во втором корпусе (например, Images).
   • Определяется Insertion Score для позиционирования результатов.
   • Генерируется объединенная страница результатов.

Claim 2 (Зависимый от 1): Уточняет метод вычисления Second Resource Score.

Вычисление включает инициацию поиска только по Proper Subset (части) второго корпуса и получение оценок релевантности из этой части. Это механизм экономии ресурсов.

Claim 3 и 4 (Зависимые от 2): Детализируют расчет Second Resource Score как отношение.

Оценка рассчитывается как отношение (A/B), где A — количество веб-страниц, содержащих хотя бы один вторичный ресурс (картинку) из пробного поиска с оценкой выше порога (высококачественная картинка); B — общее количество веб-страниц, содержащих любой вторичный ресурс из пробного поиска (Claim 3) ИЛИ общее количество релевантных веб-страниц (Claim 4).

Claim 7 (Независимый): Описывает механизм определения Insertion Score на основе предполагаемого интента ресурсов.

Определение Insertion Score для long-tail запросов основывается на Resource Search Property Ratio (Resource SPR) топовых результатов из первого корпуса. Система анализирует предполагаемый интент найденных веб-страниц, чтобы определить позицию вставки блока картинок.

Claim 8 (Независимый) и 9 (Зависимый): Описывают механизм взвешивания (blending) для расчета Insertion Score.

Insertion Score определяется на основе взвешенной комбинации двух оценок:

• Первая оценка основана на актуальном SPR запроса (взвешивается пропорционально частоте запроса – т.е. Confidence Score).
• Вторая оценка основана на предполагаемых SPR (Resource SPR) топовых результатов.

Это позволяет плавно переходить от предполагаемого интента к актуальному по мере накопления истории запроса.

Claim 11 (Независимый): Описывает офлайн-процесс расчета предполагаемых SPR.

1. Для каждого ресурса в индексе из логов выбираются запросы, по которым были клики на этот ресурс.
2. Извлекаются актуальные SPR этих запросов.
3. Вычисляется Resource SPR для ресурса на основе этих актуальных SPR (например, усреднением).
4. Для каждого сайта вычисляется Website SPR на основе Resource SPR его страниц.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, обеспечивая работу Универсального Поиска (Universal Search) для запросов с недостаточной историей.

INDEXING – Индексирование и извлечение признаков
На этом этапе (в офлайн-режиме) происходит анализ исторических логов (Historical Search Data) для расчета и сохранения в индексе предполагаемых коэффициентов интента: Resource SPR и Website SPR. Эти данные аннотируют документы в индексе.

RANKING – Ранжирование
Генерируется первичный набор результатов для основного корпуса (Web). Параллельно может запускаться «пробный» поиск (probing) по части вторичного индекса (Proper Subset), если запрос идентифицирован как long-tail.

METASEARCH – Метапоиск и Смешивание
Основное место применения патента. Система (например, Image Search Results Insertion System) работает здесь:

1. Принятие решения о поиске (Triggering): Система решает, нужно ли проводить полный поиск во вторичном корпусе. Это решение базируется либо на актуальном SPR (для частых запросов), либо на Second Resource Score (для long-tail запросов), рассчитанном на этапе RANKING/Probing.
2. Расчет позиции вставки (Blending): Система вычисляет Insertion Score. Для long-tail запросов это делается путем анализа Resource SPR и Website SPR топовых веб-результатов.
3. Смешивание: Результаты основного и вторичного корпусов объединяются, при этом блок вторичных результатов позиционируется согласно Insertion Score.

Входные данные:

• Запрос пользователя (Q).
• Confidence Score запроса.
• Результаты поиска по основному корпусу.
• Resource SPR и Website SPR для этих результатов (из индекса).
• (Опционально) Результаты пробного поиска по части вторичного индекса.

Выходные данные:

• Решение о запуске полного поиска во вторичном корпусе.
• Insertion Score.
• Объединенная страница результатов поиска (SERP).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на длиннохвостые (long-tail) запросы, где интент неясен из-за отсутствия истории.
• Типы контента и форматы: Влияет на видимость вертикальных результатов (картинки, видео и т.д.) внутри основной веб-выдачи. Определяет, получат ли страницы с выраженным вертикальным интентом (например, галереи изображений) соответствующий блок в SERP.
• Конкретные ниши: Влияет на ниши с высокой долей визуального контента (E-commerce, Дизайн, Рецепты), где сайты часто имеют высокий Website SPR для изображений.

Когда применяется

• Триггеры активации: Алгоритм активируется при получении запроса к основному корпусу.
• Условия для Long-Tail логики: Применяется, когда Confidence Score для актуального Search Property Ratio (SPR) запроса не достигает порогового значения. Это указывает на то, что запрос новый или редкий.
• Условия для стандартной логики: Если Confidence Score высок, система использует стандартный подход, базирующийся на актуальном SPR запроса.

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени (Online)

1. Получение запроса и Оценка уверенности: Система получает запрос и определяет Confidence Score для его актуального SPR.
2. Ветвление логики:
   • Если Confidence Score высокий (Частый запрос): Используется актуальный SPR для принятия решения о поиске во вторичном корпусе и расчета Insertion Score.
   • Если Confidence Score низкий (Long-tail запрос): Переход к шагу 3.
3. Инициация пробного поиска (Probing): Запускается поиск по Proper Subset (части) вторичного индекса (например, 1-25%).
4. Расчет Second Resource Score: На основе результатов пробного поиска вычисляется оценка связанности. Например, как отношение веб-страниц с высококачественными картинками к общему числу релевантных веб-страниц.
5. Принятие решения о полном поиске: Second Resource Score сравнивается с порогом.
   • Если ниже порога: Полный поиск не проводится.
   • Если выше порога: Инициируется полный поиск во вторичном корпусе (по оставшейся части индекса).
6. Расчет Insertion Score (для Long-tail): Извлекаются топовые результаты основного корпуса. Анализируются их Resource SPR и Website SPR. На основе этих предполагаемых интентов вычисляется Insertion Score.
7. Взвешивание и финализация Insertion Score: Финальный Insertion Score рассчитывается как взвешенная сумма оценки на основе актуального SPR (если есть) и оценки на основе предполагаемых SPR. Веса зависят от Confidence Score.
8. Генерация SERP: Результаты объединяются, блок вторичных результатов вставляется на определенную позицию.

Процесс Б: Расчет предполагаемых интентов (Offline)

1. Анализ логов: Система анализирует логи запросов и данные о кликах (Historical Search Data).
2. Расчет Resource SPR: Для каждого ресурса (страницы) идентифицируются все запросы, которые приводили к клику на него. Извлекаются актуальные SPR этих запросов. Resource SPR вычисляется как центральная тенденция (например, среднее или медиана) этих значений.
3. Расчет Website SPR: Для каждого сайта анализируются Resource SPR его страниц. Website SPR вычисляется как центральная тенденция этих значений.
4. Сохранение в индексе: Resource SPR и Website SPR сохраняются в индексе как аннотации к соответствующим ресурсам и сайтам.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные. Используются логи запросов (Query Log) и данные о кликах (Selection data) из Historical Search Data. Эти данные необходимы для офлайн-расчета актуальных SPR частых запросов, а также для расчета Resource SPR и Website SPR путем анализа того, какие запросы приводили к кликам на ресурсы.
• Структурные факторы: Связь между ресурсами разных корпусов (например, какие изображения размещены на каких веб-страницах). Используется при расчете Second Resource Score.
• Контентные/Мультимедиа факторы: Признаки и метки изображений используются для оценки их релевантности и качества во время пробного и полного поиска.

Какие метрики используются и как они считаются

• Search Property Ratio (SPR): $SPR(Q) = \frac{\text{Поиски Q во вторичном корпусе}}{\text{Поиски Q в основном корпусе}}$.
• Confidence Score: Оценка точности SPR, основанная на объеме исторических данных.
• Resource SPR / Website SPR: Вычисляются как центральная тенденция (среднее, медиана) актуальных SPR запросов, исторически связанных с ресурсом или сайтом.
• Second Resource Score: Рассчитывается на основе пробного поиска. Один из вариантов: Отношение количества веб-страниц, содержащих высококачественное изображение из пробного поиска, к общему количеству релевантных веб-страниц.
• Insertion Score: Определяет позицию вставки. Патент описывает разные функции:
  • Для частых запросов (Уравнение 1): $Insertion\_Score(Q) = f(SPR(Q), IR(\{I\}))$ (Функция от актуального SPR и качества найденных изображений IR({I})).
  • Для Long Tail запросов (Уравнение 2): $Insertion\_Score(Q) = f(ISPRs[R, W])$ (Функция от предполагаемых SPR топовых ресурсов [R] и сайтов [W]).
• Взвешивание Insertion Score: Комбинация оценок из Ур. 1 и Ур. 2 с весами, зависящими от Confidence Score запроса.

1. Определение интента для Long-Tail: Google активно решает проблему неопределенности интента для редких запросов. Вместо того чтобы полагаться на отсутствующую историю запроса, система анализирует характеристики (предполагаемый интент) контента, который ранжируется по этому запросу.
2. «Наследование Интента» (Intent Inheritance): Ресурсы и сайты накапливают профиль интента (Resource SPR и Website SPR) на основе того, какие типы запросов исторически приводят к ним трафик. Сайт, на который часто приходят по запросам с высоким «image intent», сам приобретает высокий Website SPR.
3. Эффективность превыше всего (Probing): Патент подчеркивает важность экономии ресурсов. Google не будет проводить полный поиск по вертикальным индексам для всех long-tail запросов. Используется механизм «прощупывания» малой части индекса (Proper Subset) для принятия решения о целесообразности полного поиска.
4. Качество медиа как триггер: Second Resource Score зависит от качества и релевантности медиа-контента (например, изображений), найденного во время пробного поиска. Наличие высококачественного контента является триггером для показа вертикального блока.
5. Динамическое взвешивание интента: Система использует гибкую модель взвешивания. Для новых запросов приоритет отдается предполагаемому интенту (ISPR). По мере накопления статистики приоритет смещается к актуальному интенту (Actual SPR).

Best practices (это мы делаем)

• Создавайте контент с четким фокусом на типе интента: Если вы хотите, чтобы ваша страница способствовала показу блока картинок (и потенциально ранжировалась в нем), она должна явно удовлетворять визуальный интент. Это повысит ее Resource SPR. Если страница привлекает трафик преимущественно по запросам с высоким визуальным интентом, ее Resource SPR будет высоким.
• Поддерживайте консистентность интента на уровне сайта: Сайты с четкой форматной направленностью будут иметь более выраженный Website SPR. Если сайт посвящен фотографии (высокий визуальный Website SPR), новые страницы этого сайта быстрее наследуют этот показатель, что способствует показу блоков картинок даже по новым запросам.
• Оптимизируйте качество и релевантность медиа: Убедитесь, что изображения на странице релевантны ее содержанию и хорошо оптимизированы. При расчете Second Resource Score система анализирует качество изображений, найденных на релевантных веб-страницах. Высокое качество повышает вероятность того, что пробный поиск даст положительный результат и блок картинок будет показан.
• Фокус на Long-Tail в визуальных нишах: Если ваш сайт работает в нише с высоким Website SPR, вы имеете преимущество при ранжировании по Long Tail запросам, так как блок изображений, скорее всего, будет показан выше (высокий Insertion Score).

Worst practices (это делать не надо)

• Смешивание разнородных интентов: Страницы или сайты, пытающиеся охватить слишком много разных типов интента без четкой структуры, могут получить нейтральный или низкий Resource/Website SPR для конкретной вертикали, что затруднит прогнозирование интента.
• Игнорирование медиа-контента в визуальных нишах: Создание чисто текстового контента для тем, где пользователи ожидают визуальной информации. Такие страницы будут иметь низкий Resource SPR, и Google с меньшей вероятностью покажет блок картинок в выдаче.
• Использование нерелевантных изображений: Добавление стоковых или нерелевантных изображений может снизить Second Resource Score. Если изображение не релевантно запросу, оно ухудшает соотношение качественных результатов к общему числу, тем самым уменьшая вероятность показа блока картинок.

Стратегическое значение

Патент раскрывает инфраструктуру и логику работы Универсального Поиска для огромного пласта long-tail запросов. Он подтверждает, что Google анализирует и профилирует не только запросы, но и отдельные страницы и целые домены на предмет их исторической связи с различными типами контента. Стратегически это означает, что формат контента и его соответствие определенному типу интента являются факторами, влияющими на структуру всей поисковой выдачи (SERP Features), а не только на ранжирование отдельной страницы.

Практические примеры

Сценарий 1: Активация блока изображений (Triggering)

1. Запрос (Long Tail): Появляется новый мем, например, "Кот в костюме акулы на скейтборде". Истории нет (Confidence Score низкий).
2. Зондирование (Probing): Система проверяет 15% индекса изображений.
3. Расчет Second Resource Score: Находится много релевантных изображений с высокими оценками качества на страницах, посвященных мемам. Second Resource Score высокий.
4. Результат: Система запускает полный поиск по корпусу изображений и решает показать блок изображений в выдаче.

Сценарий 2: Определение позиции вставки (Insertion)

1. Запрос (Long Tail): "Редкий сорт фиалки АВ-Лягушонок купить". Истории нет. (Предположим, Triggering пройден).
2. Веб-ранжирование: В топе ранжируются страницы с форумов коллекционеров фиалок и специализированных магазинов.
3. Анализ ISPR: Эти сайты исторически имеют очень высокий Website SPR и Resource SPR, так как пользователи всегда ищут фото сортов (высокий визуальный интент).
4. Расчет Insertion Score: Поскольку топовые веб-результаты имеют высокий Inferred SPR, система рассчитывает высокий Insertion Score.
5. Результат: Блок изображений будет показан на высокой позиции (например, позиция 1 или 2), так как система уверена в визуальном интенте, основываясь на характеристиках ранжирующихся сайтов.