Как Google решает проблему «холодного старта» при запуске специализированного поиска (например, Google Shopping) на новых рынках

Термины и определения

CTR Model (Модель Коэффициента Кликабельности)

Модель, предсказывающая вероятность клика по блоку специализированных результатов, когда он показан в выдаче веб-поиска по данному запросу.

Feature (Признак)

Извлеченные из запроса данные, используемые моделями для предсказаний. В патенте упоминаются отдельные термины (unigrams), биграммы (bigrams) и триграммы (trigrams).

SCTR Model (Specialized Search Click-Through Ratio Model)

Модель, предсказывающая вероятность клика по результатам, когда запрос введен непосредственно в специализированную поисковую систему.

Specialized Search Engine (Специализированная поисковая система)

Система, ориентированная на конкретный тип информации (например, товары, изображения, новости). Использует специализированный индекс (Specialized Index).

SPR Model (Search Probability Ratio Model)

Модель, оценивающая соотношение вероятности того, что запрос будет отправлен в специализированный поиск, к вероятности того, что он будет отправлен в веб-поиск. Высокий SPR указывает на сильный специализированный интент.

Training Data (Обучающие данные)

Набор данных, используемый для создания или обновления моделей. Включает запросы и соответствующие им известные значения (например, SPR, CTR).

Strings (Строки)

Последовательности символов (униграммы, биграммы, триграммы), извлеченные из индексов. Используются в методе создания списка триггеров.

Ключевые утверждения (Анализ Claims)

Патент описывает два независимых метода для решения проблемы «холодного старта».

Метод 1: Создание модели через перенос обучения (Claim 1, Независимый пункт)

Описывает процесс создания новой модели (second model) для нового рынка (Язык 1) с использованием существующей модели (first model) из зрелого рынка (Язык 2).

1. Получение набора запросов из первого веб-поиска (Язык 1).
2. Перевод этих запросов с Языка 1 на Язык 2, связанный с первой специализированной поисковой системой.
3. Использование первой модели (связанной с Языком 2) для определения значений (values) для переведенных запросов. Значение отражает вероятность того, что запрос относится к специализированному типу.
4. Создание обучающих данных путем сопоставления исходных запросов (Язык 1) и полученных значений.
5. Создание правил для второй модели на основе этих обучающих данных.
6. Использование второй модели для предсказания того, является ли новый запрос (на Языке 1) специализированным, и предоставление соответствующих результатов из второй специализированной поисковой системы.

Метод 2: Создание списка через сравнение индексов (Claim 10, Независимый пункт)

Описывает процесс создания списка специализированных запросов путем анализа частотности терминов в индексах.

1. Получение первых строк (first strings) из первого индекса (специализированный поиск).
2. Сортировка первых строк по частоте встречаемости (frequencies) в первом индексе и создание первого списка.
3. Получение вторых строк из второго индекса (веб-поиск).
4. Сортировка вторых строк по частоте встречаемости во втором индексе и создание второго списка.
5. Идентификация строк, которые присутствуют в первом списке И отсутствуют во втором списке.
6. Создание специализированного списка строк на основе идентифицированных строк.
7. Использование этого списка для определения того, является ли новый запрос специализированным (если он содержит строки из списка).

Где и как применяется

Изобретение применяется на этапе понимания запроса для классификации интента и принятия решения о запуске специализированного поиска (Triggering).

QUNDERSTANDING – Понимание Запросов
Это основная область применения патента. Система должна классифицировать интент запроса (например, является ли он коммерческим) в условиях отсутствия исторических данных для данного региона/языка. Описанные методы (создание моделей и списков) используются для выполнения этой классификации.

INDEXING – Индексирование и извлечение признаков
Метод 2 напрямую зависит от данных, собранных на этом этапе, анализируя частотность строк в Specialized Index и Web Search Index.

METASEARCH – Метапоиск и Смешивание
Результаты работы системы (предсказание специализированного интента) используются на этапе Метапоиска для того, чтобы запросить результаты у соответствующей специализированной вертикали и интегрировать их в основную выдачу (Blending).

Входные данные (для генерации):

• Для Метода 1: Логи запросов из веб-поиска на новом рынке; Существующие модели (SPR, CTR, SCTR) из зрелого рынка; Система машинного перевода (Language Translation System).
• Для Метода 2: Индекс специализированного поиска и Индекс веб-поиска (строки и их частоты).

Выходные данные (результат генерации):

• Для Метода 1: Новые модели (SPR, CTR, SCTR), обученные для языка нового рынка.
• Для Метода 2: Список строк (whitelist), указывающих на специализированный интент.

На что влияет

• Конкретные типы контента и Вертикали: Влияет на видимость контента в специализированных вертикалях поиска (Products/Shopping, Images, News и т.д.) при их запуске на новых рынках.
• Специфические запросы: Влияет на классификацию запросов с выраженным специализированным интентом (например, коммерческие запросы в случае Product Search).
• Языковые и географические ограничения: Механизм напрямую предназначен для преодоления этих ограничений путем переноса знаний между разными языками и регионами.

Когда применяется

• Триггеры активации: Алгоритмы активируются при запуске новой специализированной поисковой системы в новом регионе или на новом языке, где отсутствует достаточный объем исторических данных (cold start).
• Временные рамки: Методы используются как временное решение (bootstrapping). Метод 2 (списки) может использоваться до сбора статистики или создания моделей. Метод 1 создает первоначальные модели, которые затем обновляются по мере накопления реальных локальных данных.

Пошаговый алгоритм

Алгоритм А: Создание Модели через Перевод (Бутстрэппинг)

1. Сбор данных: Получение большого количества частотных запросов из веб-поисковой системы нового рынка (например, Google.ru).
2. Перевод: Перевод этих запросов на язык зрелого рынка, где уже существует специализированный поиск (например, на английский).
3. Оценка (Scoring): Использование существующих моделей (SPR, CTR, SCTR) зрелого рынка для определения значений (оценок) для переведенных запросов. Каждое значение отражает вероятность того, что запрос является специализированным.
4. Создание обучающих данных: Сопоставление исходных запросов (на русском) с полученными значениями из зрелой модели.
5. Обучение новой модели: Использование созданных обучающих данных для генерации новой модели (например, SPR Model для русского языка). Это включает извлечение признаков (Features) из запросов и создание взвешенных правил (weighted rules) с помощью алгоритмов машинного обучения (например, логистической регрессии).
6. Повторение: Процесс повторяется для создания разных типов моделей (SPR, CTR, SCTR).

Алгоритм Б: Создание Списка через Сравнение Индексов

1. Извлечение данных из Спец. Индекса: Получение строк (терминов, биграмм) из индекса специализированной поисковой системы.
2. Сортировка Спец. Индекса: Сортировка строк по частоте встречаемости. Удаление стоп-слов (нормализация). Создание Первого списка частотных строк.
3. Извлечение данных из Веб-Индекса: Получение строк из индекса веб-поисковой системы.
4. Сортировка Веб-Индекса: Сортировка строк по частоте встречаемости. Нормализация. Создание Второго списка частотных строк.
5. Сравнение и Фильтрация: Идентификация строк, которые присутствуют в Первом списке, но отсутствуют во Втором списке.
6. Создание Списка Интента: Формирование итогового списка строк, которые с высокой вероятностью указывают на специализированный интент.

Какие данные и как использует

Данные на входе

Патент фокусируется на данных, необходимых для классификации интента в условиях «холодного старта».

• Поведенческие факторы: Используются логи запросов (queries received by a web search engine) для выбора кандидатов для обучения (Метод 1). Также используются данные из зрелых рынков, инкапсулированные в моделях SPR, CTR, SCTR (которые сами основаны на логах запросов и кликах).
• Контентные/Индексные факторы: В Методе 2 используются строки (strings) и их частоты (frequencies) из специализированного индекса и индекса веб-поиска.
• Лингвистические данные: Данные, используемые Language Translation System для переноса запросов между языками (Метод 1).

Какие метрики используются и как они считаются

Система использует три ключевые метрики для оценки интента запроса:

• SPR (Search Probability Ratio): Отношение вероятности того, что запрос будет задан специализированной поисковой системе, к вероятности того, что он будет задан веб-поисковой системе. Показывает, насколько запрос специфичен для данной вертикали.

  $SPR = \frac{P(Query|Specialized)}{P(Query|Web)}$

• CTR (Click-Through Ratio): Отношение количества кликов по специализированному блоку результатов к общему количеству показов этого блока в веб-поиске по данному запросу. Показывает релевантность блока для пользователя.
• SCTR (Specialized Search Click-Through Ratio): Отношение количества кликов по результатам к общему количеству запросов, заданных непосредственно в специализированной поисковой системе. Показывает полезность результатов внутри вертикали.

Методы вычислений и анализа:

• Машинное обучение: Для создания моделей используются алгоритмы машинного обучения. В патенте упоминается логистическая регрессия с градиентным подъемом (logistic regression algorithm with a gradient ascent approach) для создания взвешенных правил на основе признаков (Features).
• Статистические методы: В Методе 2 используется анализ частотности (frequencies) и сравнение множеств.

Этот патент носит преимущественно инфраструктурный характер и описывает внутренние инженерные решения Google для масштабирования специализированных поисковых сервисов. Он не дает прямых рекомендаций для SEO-оптимизации.

1. Решение проблемы «холодного старта»: Основная ценность изобретения — возможность быстро запустить специализированный поиск (например, Shopping) в новой стране без исторических данных, используя знания, накопленные в других регионах.
2. Кросс-лингвальный перенос обучения: Патент демонстрирует применение машинного перевода как моста для переноса Training Data между языками. Это позволяет использовать оценки из зрелых моделей для бутстрэппинга новых.
3. Важность моделей интента (Triggering): Подчеркивается роль специализированных моделей (SPR, CTR, SCTR) в определении того, когда следует активировать ту или иную поисковую вертикаль. Интент определяется через строго моделируемые метрики.
4. Альтернативный метод через индексы: Использование разницы в частотности терминов между специализированным и веб-индексами является эффективным методом для выявления терминов, специфичных для вертикали (например, брендов, артикулов), когда поведенческих данных нет.
5. Минимальное влияние на SEO-стратегию: Патент не описывает факторы ранжирования. Он описывает, как Google определяет, *показывать ли* специализированные результаты, а не *как их ранжировать*.

Патент описывает внутренние процессы Google без прямых рекомендаций для SEO. Практическое применение для SEO-специалистов ограничено улучшением понимания механизмов классификации интента.

Best practices (это мы делаем)

• Понимание классификации интента: Необходимо понимать, что классификация интента (например, определение того, является ли запрос продуктовым) основана на сложных моделях (SPR, CTR, SCTR), а не только на совпадении ключевых слов.
• Оптимизация данных в специализированных индексах (Критично для Метода 2): Для E-commerce и контентных проектов, работающих с вертикалями (например, Новости, Товары), крайне важно предоставлять полные и точные данные в соответствующие индексы (например, через Merchant Center). Метод 2 предполагает, что термины из этого индекса (бренды, названия товаров, сущности) могут использоваться для идентификации специализированного интента, особенно на ранних стадиях запуска сервиса в регионе.
• Использование специализированной лексики: Использование точных названий товаров, брендов и специфических характеристик помогает системе классифицировать контент как специализированный, так как эти термины чаще встречаются в Specialized Index, чем в общем вебе.

Worst practices (это делать не надо)

Патент не делает какие-либо существующие SEO-тактики неэффективными или опасными, так как не описывает механизмы борьбы с манипуляциями.

Стратегическое значение

Стратегическое значение патента заключается в демонстрации того, как Google технологически подходит к масштабированию своих продуктов на международном уровне. Это подтверждает, что Google стремится к автоматизированной, основанной на данных классификации интента во всех регионах. Для SEO это означает, что паттерны классификации интента, наблюдаемые на зрелых рынках (например, в США), вероятно, будут быстро воспроизведены и на новых рынках благодаря механизмам переноса обучения.

Практические примеры

Сценарий: Запуск Google Shopping в России (Иллюстрация Метода 1)

1. Ситуация: Google запускает Google Shopping в России. У них нет исторических данных о том, какие русскоязычные запросы являются продуктовыми.
2. Сбор запросов: Система берет миллион популярных запросов из Google.ru, например, «купить кроссовки найк».
3. Перевод: Запрос переводится на английский: «buy nike sneakers».
4. Оценка в США: Английский запрос оценивается с помощью существующей американской модели SPR. Модель возвращает высокое значение, так как это явный продуктовый запрос в США.
5. Создание обучающих данных: Система создает пару: (Исходный запрос: «купить кроссовки найк», Целевое значение SPR: Высокое).
6. Обучение модели для России: Накопив миллионы таких пар, Google обучает новую модель SPR для русского языка, которая учится ассоциировать русские термины («купить», «кроссовки») с высоким SPR.
7. Результат: Google Shopping быстро начинает корректно отображаться по продуктовым запросам в России без необходимости ждать месяцы для сбора локальной статистики.