Как Google использует иерархическую популярность связанных сущностей и данные веб-поиска для ранжирования в вертикальном поиске

Термины и определения

Combined media popularity score (Комбинированная оценка популярности медиа)

Агрегированная оценка популярности для родительской сущности (например, исполнителя), основанная на оценках популярности ее дочерних элементов (например, альбомов).

Hierarchical Scoring (Иерархический скоринг)

Метод оценки, при котором оценка элемента на одном уровне иерархии зависит от оценок элементов на смежных уровнях (например, Трек -> Альбом -> Исполнитель).

Non-WWW corpus (Корпус, не относящийся к WWW)

Специализированная база данных или индекс, документы в котором не являются стандартными веб-страницами (например, база данных Google Shopping, Google Books).

Popularity Score (Оценка популярности)

Метрика, отражающая популярность сущности. На базовом уровне (например, трек) рассчитывается на основе объема поисковых запросов и CTR.

Query Independent Scores (Оценки, не зависящие от запроса)

Факторы ранжирования, не зависящие от текста текущего запроса. В патенте упоминаются геолокация, язык, дата выпуска (Release Date), количество продаж (Sell Count) и количество прослушиваний (Play Count).

Sparse information retrieval systems (Разреженные системы поиска информации)

Поисковые системы, где доступно ограниченное количество данных по каждому документу или сущности, что затрудняет их различение.

Weighted Average (Взвешенное среднее)

Метод агрегации оценок, используемый для расчета популярности на более высоких уровнях иерархии.

WWW corpus (WWW-корпус)

Основной индекс веб-поиска.

Ключевые утверждения (Анализ Claims)

Claims 1 и 2 (Независимые пункты): Описывают основной механизм ранжирования в non-WWW corpus.

1. Система получает запрос о медиа авторе/исполнителе в non-WWW corpus.
2. Генерируется оценка для каждого автора, основанная на ДВУХ компонентах: (i) Combined media/album popularity score (иерархическая оценка) и (ii) Дополнительная оценка, не зависящая от запроса (Query Independent Score).
3. Эта дополнительная оценка (ii) явно основана на geographic location (геолокации) получения запроса и language (языке), используемом в этой локации.
4. Механизм устранения неоднозначности: Если идентифицированы два элемента (например, альбома) с идентичным названием (identical title), то элемент, который более тесно связан с геолокацией и языком пользователя, получает более высокую оценку.
5. Результаты ранжируются на основе итоговой оценки.

Claims 5 и 6 (Зависимые): Определяют расчет базовой популярности (например, трека).

1. Popularity score основывается на: (i) Общем количестве поисковых запросов об этом элементе и/или (ii) Clickthrough ratios (CTRs) веб-результатов по этим запросам.
2. Критически важно (Claim 6): По крайней мере часть этих поисковых запросов выполняется в WWW-based search corpus (основном веб-поиске). Это связывает поведение пользователей в веб-поиске с ранжированием в вертикальном поиске.

Claims 7 и 8 (Зависимые): Определяют механизм иерархической агрегации.

1. Популярность альбома рассчитывается как weighted average (взвешенное среднее) оценок популярности треков внутри этого альбома (Claim 7).
2. Комбинированная оценка популярности (для исполнителя) рассчитывается как weighted average оценок популярности его альбомов (Claim 8).

Claim 18 (Независимый): Применяет ту же логику к поиску альбома.

1. Оценка альбома основывается на (i) Популярности его треков И/ИЛИ (ii) Популярности связанного с ним исполнителя.
2. Также применяется фактор устранения неоднозначности на основе геолокации и языка.

Где и как применяется

Изобретение применяется в специализированных вертикальных поисковых системах (non-WWW corpus) и затрагивает этапы индексирования и ранжирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительный расчет иерархических оценок популярности. Система анализирует логи поисковых запросов и CTR из WWW corpus для определения популярности базовых сущностей (треков, товаров). Затем эти оценки агрегируются по иерархии (альбомы, исполнители) и сохраняются как признаки (features) этих сущностей в индексе вертикального поиска.

RANKING – Ранжирование / RERANKING – Переранжирование
Во время обработки запроса в вертикальном поиске система извлекает предварительно рассчитанные Popularity Scores. Эти оценки комбинируются с другими Query Independent Scores (например, данные о продажах). На финальном этапе применяется корректировка на основе контекста пользователя (геолокация и язык) для устранения неоднозначности.

Входные данные:

• Запрос пользователя в вертикальном поиске (non-WWW corpus).
• Контекст пользователя (геолокация, язык).
• Предварительно рассчитанные иерархические Popularity Scores.
• Данные Query Independent Scores (Sell Count, Play Count, Release Date).
• (Офлайн) Логи запросов и CTR из WWW corpus.

Выходные данные:

• Отранжированный список сущностей в вертикальном поиске.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние на вертикали с четкими иерархическими связями: Музыка (Трек/Альбом/Исполнитель), Книги (Книга/Автор), E-commerce (Товар/Бренд), Кино/ТВ.
• Сущности (Entities): Влияет на ранжирование и видимость Авторов, Исполнителей, Брендов, а также их продуктов.
• Языковые и географические ограничения: Патент явно описывает механизм использования геолокации и языка для предпочтения региональных версий контента при наличии неоднозначности.

Когда применяется

• Условия работы алгоритма: Применяется при поиске в специализированных, «разреженных» корпусах (non-WWW corpus).
• Триггеры активации: Активируется, когда необходимо ранжировать сущности, особенно при наличии неоднозначности. Механизм гео-дисамбигуации активируется, когда обнаруживаются два элемента с идентичным названием (identical title).

Пошаговый алгоритм

Алгоритм состоит из офлайн-процесса расчета оценок и онлайн-процесса ранжирования.

Процесс А: Офлайн-расчет иерархических оценок (Индексирование)

1. Сбор данных из WWW: Анализ логов основного веб-поиска (WWW corpus) для сбора данных об объеме запросов и CTR для базовых сущностей (например, треков).
2. Расчет базовой популярности: Вычисление Popularity Score для каждого трека на основе собранных поведенческих данных.
3. Иерархическая агрегация (Уровень 1): Расчет Popularity Score для каждого альбома как weighted average оценок популярности входящих в него треков.
4. Иерархическая агрегация (Уровень 2): Расчет Combined Popularity Score для каждого исполнителя как weighted average оценок популярности его альбомов.
5. Сохранение оценок: Сохранение рассчитанных оценок в индексе вертикального поиска как признаков соответствующих сущностей.

Процесс Б: Онлайн-обработка запроса (Ранжирование)

1. Получение запроса и контекста: Система получает запрос (например, имя исполнителя) в вертикальном поиске, а также геолокацию и язык пользователя.
2. Идентификация кандидатов: Определение списка релевантных исполнителей.
3. Получение оценок: Извлечение предварительно рассчитанных Combined Popularity Score и других Query Independent Scores (например, Sell Count).
4. Расчет предварительной оценки: Комбинирование иерархической оценки популярности и других независимых оценок.
5. Устранение неоднозначности (Disambiguation): Проверка наличия сущностей с идентичными названиями. Применение корректировки на основе геолокации и языка: повышение оценки для сущности, более релевантной контексту пользователя.
6. Финальное ранжирование: Сортировка кандидатов на основе итоговой оценки и отображение результатов.

Какие данные и как использует

Данные на входе

Патент явно указывает на использование следующих типов данных:

• Поведенческие факторы: Являются основой для расчета популярности. Используются Total number of search queries (общее количество поисковых запросов) и Clickthrough ratios (CTRs) (показатели кликабельности) веб-результатов. Эти данные собираются из WWW corpus.
• Географические факторы: Geographic location (геолокация), откуда получен запрос. Используется для устранения неоднозначности.
• Пользовательские факторы: Язык (language), используемый в географической локации пользователя.
• Временные факторы: Дата выпуска (Release Date) упоминается как один из Query Independent Scores.
• Внешние/Коммерческие данные: Количество продаж (Sell Count) и количество прослушиваний/воспроизведений (Play Count) используются как Query Independent Scores.

Какие метрики используются и как они считаются

Система использует иерархическую модель расчета метрик:

1. Popularity Score (Базовый уровень, например, Трек): Рассчитывается на основе объема запросов и CTR из WWW corpus.
2. Popularity Score (Иерархический уровень, например, Альбом): Рассчитывается как weighted average (взвешенное среднее) оценок популярности подчиненных элементов (треков).
3. Combined Popularity Score (Верхний уровень, например, Исполнитель): Рассчитывается как weighted average оценок популярности подчиненных элементов (альбомов).
4. Geo/Language Disambiguation Score: Оценка, повышающая результат, если он соответствует геолокации и языку пользователя, особенно при наличии одинаковых названий.

1. Иерархическая природа авторитетности сущностей: Патент демонстрирует, что авторитет или популярность "родительской" сущности (Бренд, Исполнитель) напрямую зависит от агрегированной популярности ее "дочерних" сущностей (Товары, Треки). Это подтверждает концепцию Topical Authority в SEO, где авторитет домена в теме зависит от качества и популярности отдельных кластеров контента.
2. Кросс-корпусные сигналы ранжирования (WWW влияет на Вертикали): Критически важный вывод — Google использует данные из основного веб-поиска (WWW corpus) для ранжирования результатов в специализированных вертикальных поисках (non-WWW corpus). Популярность сущности в вебе напрямую влияет на ее видимость в вертикалях.
3. Популярность = Спрос + Вовлеченность: Система четко определяет популярность через измеримые поведенческие сигналы: объем поискового спроса (количество запросов) и вовлеченность (CTR).
4. Геолокация и язык как факторы ранжирования (Disambiguation): Патент явно подтверждает использование контекста пользователя (геолокация и язык) в качестве решающих факторов при наличии неоднозначных результатов с идентичными названиями.
5. Интеграция внешних сигналов популярности: Реальные показатели, такие как продажи (Sell Count) и прослушивания (Play Count), интегрируются в систему ранжирования как Query Independent Scores.

Best practices (это мы делаем)

• Комплексная оптимизация сущностей (Entity SEO) и иерархии: Работайте над тем, чтобы Google четко понимал иерархию ваших сущностей. Используйте структурированные данные (Schema.org) для связи родительских сущностей (Бренд, Автор) с дочерними (Товар, Книга). Авторитет должен "течь" снизу вверх.
• Стимулирование поискового спроса и улучшение CTR в Веб-поиске: Поскольку популярность (спрос и CTR) в WWW corpus используется как сигнал ранжирования в вертикалях (например, Google Shopping), необходимо активно работать над повышением этих показателей для ваших продуктов в основном поиске Google. Высокая вовлеченность с дочерними сущностями улучшит ранжирование родительской сущности.
• Точный международный таргетинг (Glocalization): Патент явно указывает, что геолокация и язык используются для устранения неоднозначности. Критически важно реализовать точный геотаргетинг (например, через Hreflang или локализованные фиды), чтобы система могла выбрать правильную версию продукта для пользователя и применить механизм Disambiguation в вашу пользу.
• Оптимизация всех компонентов сущности: Убедитесь, что все компоненты сущности (например, все продукты линейки) хорошо оптимизированы и популярны. Популярность одного элемента может поддержать видимость связанных элементов (как вверх, так и вниз по иерархии).

Worst practices (это делать не надо)

• Изолированная оптимизация вертикального поиска: Рассматривать оптимизацию под Google Shopping исключительно как задачу по настройке фида, игнорируя популярность бренда и товаров в основном веб-поиске.
• Игнорирование CTR и поведенческих факторов: Фокусироваться только на позициях без анализа реального спроса и кликабельности (CTR) для конкретных продуктов. Низкий CTR в веб-поиске может снизить Popularity Score сущности.
• Неоднозначное международное позиционирование: Запуск продуктов с одинаковыми названиями для разных рынков без четкого технического разделения (например, без hreflang). Это затруднит работу механизма Disambiguation и может привести к показу нерелевантного контента.

Стратегическое значение

Патент подтверждает стратегический сдвиг в сторону поиска, ориентированного на сущности (Entity-Oriented Search). Он демонстрирует, что популярность и авторитет являются передаваемыми и иерархическими свойствами. SEO-стратегии должны быть направлены на создание реального спроса и вовлеченности в основном поиске, так как эти поведенческие сигналы квантифицируются и используются для ранжирования на различных поверхностях Google.

Практические примеры

Сценарий: Ранжирование Бренда в E-commerce (Google Shopping)

1. Задача: Улучшить видимость Бренда А в результатах Google Shopping (non-WWW corpus) по категории «Кроссовки».
2. Механизм патента: Google рассчитывает иерархическую Popularity Score для Бренда А.
3. Анализ данных: Система анализирует объем поисковых запросов и CTR в основном веб-поиске (WWW corpus) для отдельных моделей кроссовок Бренда А (дочерние сущности).
4. Агрегация: Если Модель X и Модель Y Бренда А имеют высокий спрос и CTR в веб-поиске, их оценки популярности агрегируются (weighted average) и повышают общую оценку Бренда А.
5. Результат: Благодаря высокой иерархической популярности, Бренд А получает преимущество в ранжировании в Google Shopping по сравнению с Брендом Б, чьи модели менее популярны в веб-поиске.
6. Дисамбигуация: Если Бренд А имеет разные линейки для США и Европы с одинаковыми названиями моделей, система использует геолокацию пользователя, чтобы показать ему релевантную версию.