Как Google использует популярность сущностей в Веб-поиске для ранжирования результатов в Вертикальном поиске (Музыка, Книги, Товары)

Термины и определения

First Information Corpus / Non-Web Based Corpus / Sparse Corpus (Первый / Не-веб / Разреженный корпус)

Специализированная база данных (например, музыки, книг, товаров), отделенная от основного веб-индекса. Определяется как корпус, чьи документы недоступны в World Wide Web. Характеризуется недостатком данных для ранжирования.

Second Information Corpus / WWW-Based Corpus (Второй / WWW-корпус)

Основной индекс Веб-поиска, включающий все документы, доступные в Интернете.

Non-overlapping (Непересекающиеся)

Условие, при котором документы из одного корпуса не могут быть найдены в другом.

Query-Dependent Score (Зависимая от запроса оценка)

Оценка релевантности элемента запросу пользователя внутри специализированного корпуса.

Query-Independent Score (Независимая от запроса оценка)

Оценка популярности или важности элемента, не зависящая от текущего запроса. Формируется на основе внешних сигналов (из WWW) и внутренних сигналов (например, продажи).

Ranking Signal (Сигнал ранжирования)

В контексте патента — это Query-Independent Score, полученный из WWW-Based Corpus. Включает First Score Signal и Second Score Signal.

First Score Signal (Первый сигнал оценки)

Часть Ranking Signal, основанная на объеме (Query Volume) и/или частоте (Query Frequency) запросов элемента в Веб-поиске.

Second Score Signal (Второй сигнал оценки)

Часть Ranking Signal, основанная на метриках популярности (Popularity Metric) веб-страниц, найденных в результате поиска элемента в Веб-поиске.

Popularity Metric (Метрика популярности)

Поведенческие данные для веб-страниц: Query-to-Click ratio (отношение запросов к кликам) и Clickthrough ratio (CTR).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод кросс-корпусного ранжирования.

1. Система получает запрос в первом корпусе (First Information Corpus), который определен как не-веб корпус, документы которого недоступны в WWW.
2. Для каждого результата генерируется оценка, основанная на двух компонентах:
   1. Query-Dependent Score (релевантность внутри первого корпуса).
   2. Query-Independent Score. Эта оценка включает:
      • Ranking Signal, полученный путем поиска названия элемента во втором корпусе (Second Information Corpus), который определен как WWW-корпус. Первый и второй корпусы не пересекаются.
      • Ranking Signal включает First Score Signal, основанный на частоте запросов этого элемента в WWW-корпусе (Query Frequency).
      • Дополнительная оценка (Additional Score) из второго не-веб корпуса, включающая географическое положение источника запроса.
3. Результаты ранжируются на основе сгенерированной (комбинированной) оценки.

Claim 3 (Зависимый от 1): Уточняет, что First Score Signal также основан на общем количестве выполненных поисков (Query Volume).

Claim 4 (Зависимый от 3): Уточняет, что Ranking Signal дополнительно включает Second Score Signal. Этот сигнал основан на метриках популярности (Popularity Metric) веб-страниц, найденных в результате поиска в WWW-корпусе.

Claim 5 (Зависимый от 4): Определяет Popularity Metric как Query-to-Click ratio и/или CTR для этих веб-страниц.

Claim 6 (Зависимый от 4): Описывает механизм контекстуального взвешивания. Second Score Signal повышается (взвешивается), если найденная веб-страница тематически релевантна вертикали (например, содержит связанные с музыкой термины или является музыкальной веб-страницей). Это гарантирует использование сигналов с релевантных по тематике веб-ресурсов.

Где и как применяется

Изобретение применяется в специализированных (вертикальных) поисковых системах Google, которые используют собственные базы данных, отличные от основного веб-индекса (например, Google Music, Books, Movies, Shopping/Products).

INDEXING – Индексирование и извлечение признаков
Основная часть работы происходит на этом этапе в офлайн-режиме. Система рассчитывает и сохраняет Query-Independent Scores для элементов в разреженном корпусе.

1. Идентификация сущностей (Книга, Фильм, Товар) в Sparse Corpus.
2. Использование названия сущности как запроса к WWW Corpus.
3. Извлечение и анализ данных из WWW Corpus (логи запросов для Query Volume/Frequency и поведенческие данные для CTR).
4. Расчет Ranking Signal и сохранение его в индексе Sparse Corpus, ассоциируя с соответствующей сущностью.

RANKING – Ранжирование (внутри Вертикального поиска)
Во время выполнения запроса пользователя в вертикальном поиске система применяет рассчитанные сигналы:

1. Рассчитывается Query-Dependent Score (релевантность внутри вертикали).
2. Извлекаются предварительно рассчитанные Query-Independent Scores (включая Ranking Signal из WWW и локальные сигналы).
3. Оценки комбинируются для получения финального ранжирующего балла.

Входные данные (Офлайн): Элементы из Sparse Corpus; Данные WWW Corpus (логи, индекс, клики); Данные из не-веб источников (продажи).

Выходные данные (Офлайн): Query-Independent Scores для каждого элемента.

Входные данные (Рантайм): Запрос пользователя; Геолокация пользователя; Предварительно рассчитанные Query-Independent Scores.

Выходные данные (Рантайм): Отранжированный список результатов вертикального поиска.

На что влияет

• Конкретные типы контента и ниши: Влияет на ранжирование сущностей в специализированных базах данных Google. Это напрямую затрагивает музыку, книги, фильмы, и товары (Products/Shopping).
• Специфические запросы: Влияние наиболее заметно, когда несколько результатов имеют схожие оценки релевантности внутри разреженного корпуса. Внешние сигналы популярности из веба становятся решающими для дифференциации результатов.

Когда применяется

• Временные рамки и частота применения: Расчет Ranking Signal на основе WWW данных происходит периодически (офлайн), так как популярность сущностей меняется. Применение этих сигналов происходит при каждом запросе в вертикальной поисковой системе.
• Условия применения: Применяется в поисковых системах, работающих с sparse corpora, где стандартных сигналов недостаточно для качественной дифференциации результатов.

Пошаговый алгоритм

Процесс разделен на две основные фазы: офлайн-расчет сигналов и рантайм-ранжирование.

Фаза А: Офлайн-расчет Query-Independent Scores

1. Идентификация элементов: Система обходит Sparse Corpus и идентифицирует элементы (например, товары).
2. Кросс-корпусный запрос: Название каждого элемента используется как поисковый запрос к WWW Corpus (Веб-поиску).
3. Расчет First Score Signal (Популярность запроса): Анализируются логи Веб-поиска для определения Query Volume и Query Frequency для названия элемента.
4. Расчет Second Score Signal (Популярность результатов):
   1. Получаются результаты веб-поиска для названия элемента.
   2. Анализируются Popularity Metrics (CTR, Query-to-Click ratio) для этих веб-страниц.
   3. Применяется взвешивание: Если веб-страница тематически релевантна вертикали (например, обзор товара на технологическом сайте), ее сигналы получают больший вес.
5. Генерация Ranking Signal: First Score Signal и Second Score Signal комбинируются.
6. Интеграция локальных сигналов: Ranking Signal комбинируется с другими не-веб сигналами (например, Sell Count).
7. Сохранение: Итоговый Query-Independent Score сохраняется в индексе Sparse Corpus.

Фаза Б: Рантайм-ранжирование в Вертикальном поиске

1. Получение запроса: Пользователь вводит запрос в вертикальный поисковый движок. Определяется геолокация пользователя.
2. Идентификация кандидатов и Расчет Query-Dependent Score: Оценивается релевантность кандидатов запросу пользователя.
3. Получение Query-Independent Score: Извлекаются предварительно рассчитанные оценки популярности.
4. Корректировка по геолокации: Оценка может быть скорректирована на основе геолокации пользователя (Additional Score).
5. Комбинирование оценок: Query-Dependent Score и скорректированный Query-Independent Score объединяются для получения финального балла.
6. Ранжирование и выдача: Элементы сортируются и предоставляются пользователю.

Какие данные и как использует

Данные на входе

Система использует комбинацию данных из веб-корпуса и не-веб корпуса.

Данные из Веб-корпуса (WWW-based Corpus):

• Поведенческие факторы:
  • Query Volume: Общее количество поисковых запросов в веб-поиске, соответствующих элементу.
  • Query Frequency: Частота выполнения поисковых запросов в веб-поиске за период.
  • Query-to-click ratio: Отношение запросов к кликам для результирующих веб-страниц.
  • Clickthrough ratio (CTR): Показатель кликабельности для результирующих веб-страниц.
• Контентные факторы:
  • Содержание веб-страниц используется для определения их тематической релевантности (например, наличие музыкальных терминов) для взвешивания поведенческих сигналов.

Данные из Не-веб корпуса (Non-Web based Corpus) и Пользовательские данные:

• Коммерческие/Популярные факторы:
  • Sell Count: Количество продаж элемента.
  • Play Count: Количество воспроизведений (для медиа).
• Временные факторы:
  • Release Date: Дата выпуска элемента.
• Географические факторы:
  • User Query Location: Местоположение пользователя (используется для корректировки ранжирования).

Какие метрики используются и как они считаются

• First Score Signal: Агрегация Query Volume и Query Frequency.
• Second Score Signal: Агрегация CTR и Query-to-Click ratio результатов веб-поиска.
• Контекстуальное Взвешивание (Weighting): Механизм повышения Second Score Signal, если результаты веб-поиска тематически связаны с вертикалью. Это критически важно для обеспечения релевантности импортируемых сигналов.
• Ranking Signal: Комбинация (например, среднее значение, Claim 7) First Score Signal и Second Score Signal.
• Итоговая оценка: Комбинация Query-Dependent Score и Query-Independent Score.

1. Прямое влияние Веб-популярности на Вертикальный поиск: Патент демонстрирует конкретный механизм, как популярность сущности (бренда, продукта, артиста) в основном Веб-поиске является прямым фактором ранжирования в специализированных поисковых системах Google (Music, Books, Shopping).
2. Использование поведенческих факторов из Веба: Google явно использует Query Volume, Query Frequency и CTR из Веб-поиска как измеримые сигналы популярности и качества для ранжирования в других продуктах.
3. Кросс-корпусная синергия: Несмотря на то, что базы данных разделены (non-overlapping), сигналы активно переносятся из богатого данными Веб-поиска для улучшения качества в разреженных корпусах (Sparse Corpora).
4. Критичность контекстуальной релевантности (Взвешивание): Система не просто использует общую популярность. Она применяет взвешивание (Claim 6), предпочитая сигналы (например, CTR) со страниц, тематически связанных с вертикалью. Это обеспечивает релевантность импортируемых сигналов.
5. Многофакторная оценка: Финальное ранжирование учитывает как веб-сигналы, так и внутренние сигналы вертикального поиска (продажи, прослушивания), а также контекст пользователя (геолокация).

Best practices (это мы делаем)

• Построение популярности бренда/сущности в Веб-поиске (Entity Popularity): Необходимо стимулировать поисковый интерес к вашим продуктам, книгам или брендам в основном Веб-поиске. Высокие Query Volume и Query Frequency напрямую улучшат ранжирование этих сущностей в соответствующем вертикальном поиске.
• Оптимизация веб-присутствия для высокого CTR: Работайте над оптимизацией сниппетов официальных сайтов, авторитетных обзоров и Knowledge Panels, связанных с вашей сущностью. Высокий CTR на этих страницах в Веб-поиске используется как Second Score Signal для повышения рейтинга в вертикалях.
• Стимулирование создания тематического контента: Поощряйте создание обзоров и статей о вашей сущности на релевантных тематических площадках. Согласно механизму взвешивания (Claim 6), сигналы с тематических страниц (например, технологических сайтов для гаджета) получают больший вес.
• Холистический подход к SEO: Рассматривайте Web SEO и Vertical SEO как взаимосвязанные дисциплины. Усилия по продвижению в основном поиске напрямую конвертируются в лучшие позиции в Google Shopping, Books, Local и т.д.

Worst practices (это делать не надо)

• Изолированная оптимизация вертикального поиска: Фокусироваться только на оптимизации внутри вертикали (например, оптимизация фида для Google Shopping), игнорируя представленность и популярность бренда/продукта в Веб-поиске.
• Манипуляция поведенческими факторами низкого качества: Попытки накрутки Query Volume или CTR. Это может быть неэффективно, так как система применяет взвешивание на основе тематической релевантности (контекста) веб-страниц, с которых получены сигналы.
• Игнорирование официального сайта и внешних упоминаний: Отсутствие сильного официального сайта или упоминаний на авторитетных тематических ресурсах лишает систему возможности собрать качественные Second Score Signals (CTR).

Стратегическое значение

Патент подтверждает стратегию Google по оценке сущностей (Entities). Популярность в вебе становится универсальным фактором ранжирования во всей экосистеме Google. Для SEO-специалистов это означает, что долгосрочная стратегия должна быть направлена на развитие и продвижение сущностей (Entity Management) и генерацию устойчивого поискового интереса, а не только на техническую оптимизацию под конкретные платформы.

Практические примеры

Сценарий: Ранжирование товара в Google Shopping

Два магазина продают одинаковую модель кроссовок. Оба оптимизировали фид для Google Shopping (Sparse Corpus), и их Query-Dependent Score близок.

1. Анализ Магазина А (Малоизвестный бренд):
   • Веб-поиск: Низкий Query Volume для бренда магазина. Низкий CTR на официальном сайте.
   • Результат: Низкий Query-Independent Score.
2. Анализ Магазина Б (Известный ритейлер):
   • Веб-поиск: Высокий Query Volume для бренда магазина. Высокий CTR на официальном сайте и в обзорах на тематических площадках.
   • Результат: Высокий Query-Independent Score за счет сильных веб-сигналов.
3. Итог: Предложение Магазина Б будет ранжироваться выше в Google Shopping благодаря импортированным сигналам популярности и авторитетности бренда из Веб-поиска.