Как Google переносит данные о поведении пользователей из основного веб-поиска для улучшения ранжирования в вертикальных поисках (Книги, Товары)

Термины и определения

Corpus of documents (Корпус документов)

Коллекция документов, индексируемая поисковой системой. В патенте различаются первый и второй корпусы (например, корпус Книг и корпус Веб-страниц).

General Content Search Engine (Поисковая система по общему контенту)

Поисковая система, которая ищет контент всех категорий (например, основной поиск Google).

Physical Object (Физический объект)

Реальный объект, описываемый в документах, который имеет уникальный идентификационный номер. Примеры: книга (с ISBN) или товар (с product identification number).

Relevance Data (Данные о релевантности)

Данные, указывающие на популярность (popularity) документа среди пользователей в ответ на запрос. Включают поведенческие сигналы: количество кликов (selections), соотношение показов к кликам (CTR) и совокупное время просмотра документа (aggregate amount of time или dwell time).

Specific Content Search Engine (Поисковая система по специфическому контенту)

Вертикальная поисковая система, которая ищет контент определенной категории (например, Google Books, Google Shopping).

Weighting (Взвешивание)

Процесс определения степени влияния собственных (первых) и заимствованных (вторых) данных о релевантности на итоговый рейтинг. Вес динамически меняется.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод совместного использования данных о релевантности с механизмом динамического взвешивания.

1. Система предоставляет первый запрос (Query 1) первой поисковой системе (SE 1) для поиска в первом корпусе (Corpus 1).
2. Получается набор первых результатов (включая Документ 1) с их рейтингами.
3. Для Документа 1 система идентифицирует «вторые данные о релевантности» (second relevance data). Эти данные показывают популярность второго результата (Документ 2) в ответ на второй запрос (Query 2, идентичный или похожий на Query 1). Идентификация основана на том, что Документ 1 и Документ 2 описывают один и тот же physical object.
4. Система определяет новый рейтинг для Документа 1, основываясь на его исходном рейтинге и second relevance data.
5. Критическое уточнение (включено в Claim 1): Новый рейтинг также основывается на «первых данных о релевантности» (first relevance data) – собственной популярности Документа 1.
6. Критическое уточнение (включено в Claim 1): Определение нового рейтинга включает взвешивание (weighting) first и second relevance data.
7. Критическое уточнение (включено в Claim 1): Взвешивание отдает предпочтение (favors) first relevance data по мере увеличения количества выборов (кликов) Документа 1.

Ядро изобретения — это не просто заимствование данных, а специфический механизм взвешивания, который гарантирует, что заимствованные данные используются как временная мера для решения проблемы «холодного старта», и их влияние снижается по мере накопления собственных данных.

Claim 3 и 4 (Зависимые от 1): Уточняют примеры объектов и идентификаторов: книга (ISBN) или товар (product identification number).

Claim 8 (Зависимый от 1): Уточняет сценарий применения: SE 1 — это specific content search engine, а SE 2 (откуда берутся данные) — это general content search engine.

Claim 9 (Зависимый от 1): Уточняет, что relevance data могут быть основаны на совокупном времени просмотра документа (aggregate amount of time).

Где и как применяется

Изобретение предполагает взаимодействие между двумя различными поисковыми системами и затрагивает несколько этапов в архитектуре поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна обработать документы в обоих корпусах для идентификации физических объектов. Это включает извлечение уникальных идентификаторов (ISBN, Product ID). Также система должна определить основное содержание (primary content) документа, чтобы убедиться, что документ действительно посвящен этому объекту (например, проверяя наличие единственного ISBN или используя анализ цитирования, описанный в патенте).

RANKING – Ранжирование / RERANKING – Переранжирование
Основное применение патента. Происходит в специализированной (или новой) поисковой системе.

1. Начальное ранжирование: Ranking Engine генерирует исходный рейтинг результатов.
2. Активация модификатора: Rank Modifier Engine анализирует результаты. Если для результата недостаточно собственных поведенческих данных (first relevance data), активируется механизм заимствования.
3. Запрос данных: Система идентифицирует связанный документ во втором корпусе и получает его second relevance data для похожего запроса.
4. Взвешивание и Переранжирование: Rank Modifier Engine применяет взвешивание и корректирует финальный рейтинг.

Входные данные:

• Первый запрос (Query 1).
• Начальный рейтинг результатов из Корпуса 1.
• First relevance data (поведенческие данные из Корпуса 1).
• Идентификаторы объектов (ISBN/Product ID) для документов Корпуса 1 и 2.
• Second relevance data (поведенческие данные из Корпуса 2).

Выходные данные:

• Скорректированный (новый) рейтинг результатов для Query 1.

На что влияет

• Конкретные типы контента и Ниши: Наибольшее влияние оказывается на контент, связанный с четко идентифицируемыми объектами. Это критично для E-commerce (товары), издательского дела (книги), а также может применяться к медиа, если они имеют стандартные идентификаторы.
• Специфические запросы: Влияет на запросы в вертикальных поисковых системах (Specific content search engine), где трафик ниже, чем в основном поиске.

Когда применяется

Алгоритм применяется при выполнении следующих условий:

• Условие 1 (Недостаток данных): Когда у первой поисковой системы недостаточно собственных first relevance data для документа. Патент описывает пороговые значения (low threshold, high threshold) количества взаимодействий (кликов/просмотров). Если активность ниже low threshold, система полагается на заимствованные данные.
• Условие 2 (Наличие связи): Когда возможно идентифицировать один и тот же физический объект в документах первого и второго корпусов.
• Условие 3 (Наличие данных во втором корпусе): Когда во второй поисковой системе существуют достаточные second relevance data для связанного документа по похожему запросу.

Пошаговый алгоритм

Процесс обработки запроса в первой (специализированной) поисковой системе:

1. Предоставление запроса: Запрос предоставляется поисковой системе.
2. Получение результатов: Поисковая система извлекает набор релевантных документов из своего корпуса.
3. Начальное ранжирование: Результатам присваивается начальный рейтинг.
4. Обработка результата (Итерация): Система берет результат поиска (Документ 1).
5. Идентификация контента: Система идентифицирует физический объект (например, книгу по ISBN), описанный в Документе 1.
6. Поиск связанного документа: Система идентифицирует второй документ (Документ 2) в другом корпусе, который описывает тот же физический объект.
7. Определение нового рейтинга (Ключевой этап):
   1. Система получает first relevance data (популярность Документа 1) и second relevance data (популярность Документа 2 для схожего запроса).
   2. Система анализирует объем first relevance data.
   3. Взвешивание:
      – Если объем first relevance data мал (ниже порога): Вес смещается в пользу second relevance data.
      – Если объем first relevance data велик (выше порога): Вес смещается в пользу first relevance data (заимствование минимально).
      – Если объем средний: Данные комбинируются (например, усредняются).
   4. Рассчитывается новый рейтинг для Документа 1 с учетом взвешенных данных.
8. Проверка наличия других результатов: Если есть еще результаты, процесс повторяется. Иначе завершить.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании поведенческих данных и данных для идентификации объектов.

• Структурные/Технические факторы (Идентификаторы объектов): Данные, используемые для связи документов между корпусами.
  • ISBN (International Standard Book Number).
  • Product identification number (например, GTIN).
• Поведенческие факторы (Relevance Data): Это ключевые данные, используемые для корректировки рейтинга. Они собираются отдельно для каждого корпуса (first и second relevance data) и привязаны к конкретным запросам. Включают:
  • Клики (user selections).
  • Время просмотра документа (time on the document, dwell time). Упоминается, что более длительное время указывает на большую релевантность.
  • Соотношение просмотров к кликам (view to click ratio).
  • Пользовательские повышения или понижения результатов.
• Контентные факторы: Используются в офлайн-процессе для определения основного содержания документа (primary content), если уникальный идентификатор не очевиден (например, через расчет Citation Score).

Какие метрики используются и как они считаются

• Пороги объема данных (Low/High Thresholds): Пороговые значения количества взаимодействий (кликов/просмотров) в Корпусе 1. Определяют режим взвешивания (использовать данные Корпуса 2, смешивать или использовать только данные Корпуса 1).
• Весовые коэффициенты (Weighting): Динамические коэффициенты, применяемые к first и second relevance data на основе порогов объема данных. Формула не приводится, но описан принцип: предпочтение отдается собственным данным по мере их накопления.
• Citation Score (Оценка цитирования): Метрика, используемая для определения основного содержания документа. Рассчитывается как мера релевантности метаданных объекта (например, название, автор) к содержанию документа.

1. Перенос поведенческих сигналов между корпусами: Google может использовать популярность и вовлеченность пользователей в одном индексе (например, Веб-поиск) для прямого влияния на ранжирование в другом (например, Товары или Книги). Это позволяет улучшать качество поиска там, где собственных данных недостаточно.
2. Решение проблемы "холодного старта": Основная цель механизма — обеспечить качественное ранжирование для новых документов или низкочастотных вертикалей, пока не накоплено достаточно собственных данных о поведении пользователей.
3. Критичность уникальных идентификаторов: Для работы системы необходима точная идентификация одного и того же объекта в разных корпусах. Использование стандартизированных идентификаторов (ISBN, GTIN/Product ID) является ключом к связыванию данных.
4. Заимствование данных временно (Динамическое взвешивание): Механизм weighting спроектирован так, чтобы снижать влияние заимствованных данных по мере накопления собственных (first relevance data). Долгосрочное ранжирование зависит от поведения пользователей именно в целевой вертикали.
5. Важность Dwell Time: Патент явно указывает на использование агрегированного времени просмотра документа (aggregate amount of time) как важного сигнала релевантности.

Best practices (это мы делаем)

• Использование стандартизированных уникальных идентификаторов: Критически важно для E-commerce и издателей. Убедитесь, что все товары и книги имеют корректные идентификаторы (GTIN, ISBN) как на веб-страницах (для основного поиска), так и в фидах данных (для вертикального поиска, например, Google Shopping). Это позволяет Google связать документы и применить механизм заимствования relevance data.
• Внедрение микроразметки: Используйте Schema.org (Product, Book) для четкой передачи идентификаторов. Это облегчает Google идентификацию объектов и их связывание между корпусами.
• Оптимизация под поведенческие факторы в основном поиске: Обеспечивайте высокую вовлеченность пользователей на веб-страницах, описывающих ключевые продукты. Хороший CTR и длительное время взаимодействия (Dwell Time) в основном поиске могут дать буст в вертикальном поиске, так как эти положительные сигналы могут быть перенесены.
• Обеспечение консистентности данных: Убедитесь, что метаданные (название, характеристики) консистентны между веб-страницей и фидом данных. Это помогает системе корректно идентифицировать объект.

Worst practices (это делать не надо)

• Игнорирование или неправильное использование уникальных идентификаторов: Отсутствие GTIN/ISBN или использование некорректных идентификаторов не позволит Google связать ваши документы между корпусами, лишая вас потенциального преимущества от переноса релевантности.
• Фокус только на вертикальном поиске: Нельзя игнорировать оптимизацию страниц продукта для основного веб-поиска, полагаясь только на фиды для Google Shopping. Популярность в основном поиске является источником данных для ранжирования в вертикальном.
• Манипуляции с поведенческими факторами: Попытки искусственно накрутить клики или время просмотра. Патент упоминает, что система использует широкий спектр данных из логов для настройки сигнала, что подразумевает наличие механизмов фильтрации некачественного трафика.

Стратегическое значение

Патент подчеркивает стратегию Google по унификации данных и синергии между своими сервисами. Для SEO это означает, что оптимизация должна быть комплексной. Нельзя рассматривать поисковые вертикали изолированно. Поведенческие сигналы и популярность контента в основном веб-поиске являются фундаментом для ранжирования в специализированных сервисах. Это подтверждает важность работы над качеством пользовательского опыта (UX) и вовлеченностью как над ключевыми факторами ранжирования во всей экосистеме Google.

Практические примеры

Сценарий: Запуск нового товара в Google Shopping

1. Задача: Быстро получить высокие позиции в Google Shopping (Корпус 1) для нового товара, по которому еще нет истории кликов (first relevance data отсутствуют).
2. Действия:
   1. Убедиться, что для товара указан корректный GTIN (product identification number) в фиде для Google Shopping.
   2. Создать качественную страницу товара на сайте (Корпус 2) с тем же GTIN в микроразметке.
   3. Запустить кампанию для привлечения трафика на страницу товара на сайте и добиться высокой вовлеченности пользователей в основном поиске (second relevance data высоки).
3. Механизм работы (по патенту):
   1. Google связывает товар в Shopping (Документ 1) и страницу на сайте (Документ 2) по GTIN.
   2. Система видит недостаток first relevance data и заимствует положительные second relevance data из веб-поиска.
   3. Система повышает рейтинг товара в Shopping, используя заимствованные данные.
4. Ожидаемый результат: Товар ранжируется выше в Google Shopping на старте, чем он ранжировался бы без учета данных из веб-поиска.