Как Google объединяет и нормализует результаты из разных индексов (веб и мобильного) для пользователей мобильных устройств

Термины и определения

Commensurable Scores (Соизмеримые оценки)

Оценки ранжирования из разных источников, приведенные к единой шкале для возможности сравнения и общего ранжирования.

Downloadable Content (Загружаемый контент)

Контент, предназначенный для загрузки на мобильное устройство (например, рингтоны, приложения). Наличие ссылок на такой контент может повышать оценку мобильного результата.

Evaluation Ratings (Оценки асессоров)

Рейтинги, присваиваемые людьми образцам результатов поиска по шкале (например, "exact match", "useful", "not relevant"). Используются для калибровки и нормализации оценок ранжирования.

Generic Resources/Search Results (Общие ресурсы/результаты)

Ресурсы из общего веб-корпуса, обычно не оптимизированные специально для мобильных устройств.

Mobile Query (Мобильный запрос)

Запрос, который классификатор определяет как имеющий интент поиска мобильных ресурсов (например, запрос "ringtones").

Mobile Resources/Search Results (Мобильные ресурсы/результаты)

Ресурсы из корпуса, адаптированного для мобильных устройств (например, страницы WML, xHTML, cHTML).

Results Mixer (Смеситель результатов)

Компонент поисковой системы, отвечающий за получение результатов из разных поисковых движков, модификацию их оценок, объединение и финальное ранжирование.

Search Result Quality Score (Оценка качества результата поиска)

Числовое значение, определяющее релевантность и качество результата. Оценки от разных движков изначально не соизмеримы.

Threshold Scores (Пороговые оценки)

Значения, используемые для разделения оценок ранжирования на диапазоны качества. Определяются на основе корреляции между Search Result Quality Scores и Evaluation Ratings.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод модификации оценок мобильных результатов на основе свойств контента, когда запрос поступает от мобильного пользователя.

1. Система получает запрос, общие результаты (GR) и мобильные результаты (MR) с их оценками.
2. Определяется, что запрос пришел от мобильного пользователя (mobile user).
3. Для MR оцениваются свойства идентифицируемых ими мобильных ресурсов.
4. Оценка качества MR модифицируется на основе этих свойств.
5. Ключевое условие (Бустинг): Если MR ссылается на мобильный ресурс, который, в свою очередь, ссылается на загружаемый контент (downloadable content) для мобильного устройства, оценка качества этого MR увеличивается.

Claim 2 (Зависимый от 1): Добавляет язык как свойство для модификации оценки.

1. Определяется язык запроса (L1) и язык мобильного ресурса (L2).
2. Ключевое условие (Пессимизация): Оценка качества MR уменьшается, если L1 отличается от L2.

Claims 3, 4, 5 (Зависимые от 1): Описывают процесс ранжирования и удаления дубликатов с предпочтением мобильной версии.

1. MR и GR ранжируются в едином порядке на основе их (модифицированных) оценок.
2. Дубликаты удаляются.
3. Механизм дедупликации: Система идентифицирует MR (URL1) и GR (URL2). Дубликат определяется либо как совпадение URL (Claim 4), либо как разные URL, но являющиеся разными версиями одной и той же страницы (Claim 5).
4. GR удаляется из порядка (предпочтение отдается MR).
5. Наследование ранга: Если удаленный GR имел более высокий ранг, чем MR, то MR перемещается на позицию, которую занимал GR.

Claim 6 (Независимый пункт): Описывает метод нормализации оценок с использованием порогов, основанных на человеческих оценках.

1. Система получает запрос от мобильного пользователя, GR и MR.
2. Идентифицируются пороговые оценки (Threshold Scores). Они основаны на корреляции между Evaluation Ratings и сырыми оценками ранжирования для выборки мобильных результатов.
3. Оценки MR модифицируются в зависимости от того, превышают ли они один или несколько порогов.
4. Нелинейная трансформация: Если оценка превышает только один порог, она умножается на первое значение (V1). Если оценка превышает два порога, она умножается на второе значение (V2). V1 и V2 различны. Это позволяет сделать оценки соизмеримыми с оценками GR, основываясь на реальном восприятии качества.

Claim 7 (Зависимый от 6): Уточняет, что пороги могут зависеть от длины запроса. Пороговые оценки ниже для более длинных запросов.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, интегрируя данные индексирования и понимания запросов для финального смешивания результатов.

INDEXING – Индексирование и извлечение признаков
На этом этапе ресурсы классифицируются как Generic или Mobile. Извлекаются свойства ресурсов: язык, наличие ссылок на Downloadable Content. Также происходит идентификация разных версий одной страницы (десктопной и мобильной).

QUNDERSTANDING – Понимание Запросов
Система определяет контекст: идентифицирует пользователя как mobile user (детектирование устройства), определяет язык и длину запроса. Применяется классификатор для определения, является ли запрос Mobile Query (мобильный интент).

RANKING – Ранжирование
Generic search engine и Mobile search engine независимо ранжируют свои корпуса, используя различные формулы и генерируя несоизмеримые Search Result Quality Scores.

METASEARCH – Метапоиск и Смешивание (Основное применение)
Компонент Results Mixer получает результаты от обоих движков. Он применяет логику модификации оценок (на основе интента, свойств контента) и нормализации оценок (на основе порогов) для создания соизмеримых оценок. Затем происходит объединение и ранжирование смешанного набора.

RERANKING – Переранжирование
На этом этапе применяется логика удаления дубликатов с предпочтением мобильных версий и наследованием ранга.

Входные данные:

• Запрос пользователя и контекст (устройство, язык, длина запроса).
• Результаты от Generic и Mobile движков с сырыми оценками.
• Свойства ресурсов (язык, загружаемый контент, URL).
• Предварительно рассчитанные Threshold Scores и данные классификатора запросов.

Выходные данные:

• Единый смешанный список результатов с модифицированными и соизмеримыми оценками, отсортированный и очищенный от дубликатов.

На что влияет

• Специфические запросы: Наибольшее влияние на запросы с мобильным интентом (поиск приложений, рингтонов) и навигационные запросы, где важно показать пользователю адаптированную версию сайта.
• Конкретные типы контента: Влияет на контент, имеющий как десктопную, так и мобильную версию. Особенно влияет на контент, содержащий Downloadable Content.
• Языковые ограничения: Система учитывает язык запроса и ресурса, понижая результаты с несовпадающими языками.

Когда применяется

• Триггер активации: Поисковая служба определяет, что запрос пришел от mobile user, и решает использовать как общий, так и мобильный поисковый движок.
• Условия модификации: Специфические модификации активируются при выполнении условий: классификация запроса как Mobile Query, наличие Downloadable Content, несовпадение языка.
• Пороговые значения (Опционально): Система может решить не смешивать мобильные результаты, если их общее количество не превышает определенного порога (т.е. если их слишком мало).

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени

1. Получение запроса и контекста: Система получает запрос и определяет, что он поступил от мобильного пользователя. Определяется язык и длина запроса.
2. Параллельный поиск: Запрос направляется в Generic search engine и Mobile search engine.
3. Получение результатов и оценок: Оба движка возвращают результаты со своими Search Result Quality Scores.
4. Предварительная оценка (Опционально): Results Mixer проверяет, превышает ли количество мобильных результатов минимальный порог. Если нет, смешивание может не производиться.
5. Классификация запроса: Система определяет, является ли запрос Mobile Query. Если да, все оценки мобильных результатов могут быть увеличены.
6. Модификация на основе свойств контента: Для каждого мобильного результата:
   • Если ресурс содержит Downloadable Content, его оценка увеличивается.
   • Если язык ресурса отличается от языка запроса, его оценка уменьшается.
7. Нормализация оценок (Score Normalization): Система использует Threshold Scores (которые могут зависеть от длины запроса) для нормализации мобильных оценок. Применяются нелинейные множители (V1, V2) в зависимости от того, какие пороги превышены.
8. Смешивание и Ранжирование: Общие и мобильные результаты объединяются и сортируются на основе финальных (модифицированных и нормализованных) оценок.
9. Удаление дубликатов (Deduplication): Система сканирует список на наличие дубликатов (одинаковые URL или разные версии одной страницы). Общий результат (десктопная версия) удаляется. Мобильный результат сохраняется и, если десктопная версия ранжировалась выше, перемещается на ее позицию.
10. Представление результатов: Финальный список предоставляется пользователю.

Процесс Б: Офлайн-калибровка (Подготовка данных)

1. Сбор данных и Человеческая оценка: Собираются образцы запросов и результатов. Асессоры присваивают Evaluation Ratings (например, "useful", "exact match").
2. Анализ корреляции и Определение порогов: Анализируется корреляция между сырыми оценками и Evaluation Ratings. Определяются Threshold Scores, разделяющие диапазоны качества.
3. Определение множителей: Определяются множители (V1, V2) для каждого диапазона, чтобы сопоставить мобильные оценки с общими оценками, имеющими аналогичные Evaluation Ratings.
4. Обучение классификатора: Анализируются логи поиска для обучения классификатора, определяющего Mobile Queries.

Какие данные и как использует

Данные на входе

• Пользовательские факторы: Тип устройства (используется для идентификации mobile user).
• Факторы запроса: Текст запроса (для классификации интента как Mobile Query). Язык запроса. Длина запроса (количество терминов).
• Контентные и Технические факторы:
  • Свойства мобильного ресурса: Наличие ссылок на Downloadable Content.
  • Язык ресурса.
  • URL ресурсов (для обнаружения дубликатов).
  • Домен ресурса (в одном из вариантов реализации используется для обнаружения сходства между мобильным и общим ресурсом).
• Системные данные:
  • Сырые Search Result Quality Scores от обоих движков.
  • Логи поиска (используются офлайн для обучения классификатора).
  • Evaluation Ratings (человеческие оценки, используются офлайн для калибровки порогов).

Какие метрики используются и как они считаются

• Mobile Query Classification: Вероятность того, что запрос имеет мобильный интент. Может использоваться наивный байесовский классификатор, обученный на логах поиска.
• Threshold Scores (Пороговые оценки): Значения (T1, T2...), определяемые офлайн. Они устанавливаются там, где наблюдается корреляция между сырыми оценками и изменением Evaluation Ratings. Пороги могут быть ниже для длинных запросов.
• Multipliers (Множители): Значения (V1, V2...), используемые для нормализации оценок. Если сырая оценка находится в диапазоне между T1 и T2, она умножается на V1. Это нелинейная трансформация.
• Boost/Demotion Factors: Множители, применяемые на основе свойств контента (повышение за Downloadable Content, понижение за несовпадение языка) или классификации запроса.

1. Контекст устройства критичен для ранжирования: Google активно идентифицирует мобильных пользователей и применяет специфическую логику смешивания результатов. Ранжирование адаптируется под устройство.
2. Абсолютное предпочтение мобильных версий: При смешивании результатов для мобильных пользователей система явно предпочитает мобильную версию страницы перед десктопной во время удаления дубликатов. Более того, мобильная версия наследует более высокую позицию десктопной версии, если та ранжировалась лучше (консолидация ранга).
3. Нормализация оценок через человеческие рейтинги: Для решения проблемы несоизмеримых оценок из разных движков Google использует нелинейные методы нормализации, основанные на человеческих оценках (Evaluation Ratings). Это позволяет сопоставить диапазоны качества, а не просто линейно масштабировать оценки.
4. Специфические мобильные сигналы ранжирования: Патент выделяет конкретные свойства контента, которые служат факторами повышения в мобильном контексте, в частности, наличие Downloadable Content (приложения, медиа).
5. Учет интента и свойств запроса: Система классифицирует интент запроса (Mobile Query) и учитывает свойства запроса (длину, язык) для корректировки логики смешивания и модификации оценок.

Best practices (это мы делаем)

• Обеспечение идеальной мобильной версии сайта: Это фундаментальное требование. Система явно отдает предпочтение мобильным результатам для мобильных пользователей. Сайт должен быть полностью адаптирован (mobile-friendly).
• Корректная настройка конфигурации мобильных URL (если применимо): Если используются раздельные URL (m-dot) или динамический показ, необходимо обеспечить идеальную техническую реализацию (rel="alternate" и rel="canonical"). Патент показывает, что Google активно ищет связь между версиями и гарантирует показ мобильной версии с наследованием лучшего ранга.
• Оптимизация под мобильный интент: Анализируйте, какие запросы могут быть классифицированы как Mobile Query в вашей нише. Убедитесь, что контент, отвечающий на эти запросы, максимально удобен для потребления на мобильных устройствах.
• Акцент на загружаемом контенте (если релевантно): Если ваш бизнес предлагает приложения или медиа для загрузки, сделайте этот контент заметным и легко доступным на мобильных страницах. Патент указывает, что Downloadable Content может служить сигналом для повышения ранжирования в мобильном поиске (Claim 1).
• Соблюдение языкового таргетинга: Убедитесь, что пользователи получают контент на том же языке, на котором они ввели запрос. Несовпадение языка является фактором понижения (Claim 2).

Worst practices (это делать не надо)

• Некорректные мобильные редиректы: Перенаправление всех мобильных пользователей на главную страницу мобильной версии вместо соответствующей внутренней страницы. Это мешает системе найти правильную пару мобильной и десктопной версий и корректно консолидировать ранг.
• Блокировка ресурсов мобильной версии: Блокировка CSS, JS или контента, необходимого для оценки мобильной дружественности страницы.
• Игнорирование специфики мобильного потребления контента: Предоставление контента, который технически является мобильным, но не отвечает мобильному интенту или неудобен для использования.

Стратегическое значение

Патент подтверждает стратегическую важность адаптации поиска под контекст пользователя и устройства. Он раскрывает сложность архитектуры метапоиска (Universal Search) и методы, используемые для объединения разнородных данных. Для SEO-стратегии это подчеркивает, что релевантность зависит от контекста. Хотя конкретные технические реализации, описанные в патенте (отдельные индексы), эволюционировали с внедрением Mobile-First Indexing, заложенная логика контекстно-зависимого смешивания, нормализации оценок и предпочтения мобильного контента остается ядром поиска.

Практические примеры

Сценарий 1: Обработка навигационного запроса и Дедупликация

1. Запрос: Пользователь вводит "BBC News" на смартфоне.
2. Параллельный поиск:
   • Generic engine находит http://www.bbc.co.uk (десктопная версия) с высокой оценкой 5000 (Ранг 1).
   • Mobile engine находит http://www.bbc.co.uk/mobile (мобильная версия) с оценкой 80 (в другой шкале).
3. Нормализация: Results Mixer определяет, что оценка 80 соответствует "Exact Match". Он применяет множитель, чтобы привести эту оценку к сопоставимому значению, например, 4900 (Ранг 5).
4. Ранжирование и Дедупликация: Система идентифицирует, что эти два URL являются разными версиями одной страницы (Claim 5). Десктопная версия удаляется.
5. Наследование ранга: Мобильная версия перемещается с Ранга 5 на Ранг 1, который занимала десктопная версия.
6. Результат: Пользователь видит мобильную версию сайта на первой позиции.

Сценарий 2: Повышение контента с приложением

1. Запрос: "Скачать игру головоломку" на смартфоне. Система классифицирует это как Mobile Query.
2. Поиск: Один из мобильных результатов ведет на страницу обзора игры с прямой ссылкой на скачивание приложения (Downloadable Content).
3. Модификация оценки: Results Mixer обнаруживает Downloadable Content и применяет дополнительное повышение (boost) к оценке этого результата (Claim 1).
4. Результат: Страница со ссылкой на скачивание ранжируется выше других обзоров или форумов.