Как Google использует краудсорсинг для выбора и улучшения группировки результатов поиска (например, в магазинах приложений и маркетплейсах)

Термины и определения

Cluster Set (Набор кластеров)

Полный набор кластеров, сгенерированный одним конкретным алгоритмом кластеризации для результатов определенного запроса.

Cluster Set Definition (Определение набора кластеров)

Сохраненная структура, определяющая, как результаты должны быть сгруппированы для конкретного запроса. Может включать список сущностей для каждого кластера.

Cluster Rating (Рейтинг кластера)

Оценка качества отдельного кластера, предоставляемая работником (например, бинарная: Хороший/Плохой).

Cluster Set Score (Оценка набора кластеров)

Итоговая вычисленная оценка качества набора кластеров, основанная на агрегации и взвешивании рейтингов от множества работников.

Crowdsource Workers (Краудсорсинговые работники)

Люди, выполняющие задачи по оценке и уточнению кластеров (асессоры).

Embedding (Эмбеддинг / Векторное представление)

Представление поискового элемента или сущности в виде точки в многомерном пространстве. Используется для расчета схожести (Embedding Similarity).

Entity (Сущность)

Человек, место, предмет, идея или концепция (например, из Knowledge Base), с которой ассоциируется поисковый элемент.

Entity Ontology (Онтология сущностей)

Набор отношений между сущностями, таких как синонимы или родитель-потомок (parent-child/hypernyms). Используется в некоторых алгоритмах кластеризации.

Refinement (Уточнение)

Процесс модификации лучшего набора кластеров на основе предложений работников (слияние, удаление, перемещение).

Search Items (Поисковые элементы)

Объекты в коллекции, которые ищет пользователь. В контексте патента это преимущественно приложения в веб-магазине или товары.

Agreement Threshold (Порог согласия)

Минимальный консенсус среди работников, необходимый для автоматического применения уточнения.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод использования краудсорсинговой оценки для выбора лучшего способа кластеризации.

1. Система повторяет для каждого из множества краудсорсинговых работников:
   1. Отображение первого набора кластеров (Cluster Set).
   2. Ключевое условие: Первый набор выбирается СЛУЧАЙНО из множества наборов (каждый сгенерирован разным алгоритмом для одного запроса).
   3. Получение рейтингов для отдельных кластеров (Cluster Ratings) от работника.
   4. Повторение шагов a-c для оставшихся наборов, выбирая следующий набор также СЛУЧАЙНО.
2. Вычисление Cluster Set Score для каждого набора на основе полученных рейтингов.
3. Сохранение определения (Cluster Set Definition) для набора с наивысшей оценкой и ассоциация его с запросом.
4. Использование этого сохраненного определения при последующих запросах.

Ядром изобретения является процесс выбора наилучшего алгоритма кластеризации для конкретного запроса путем краудсорсинговой оценки результатов работы разных алгоритмов. Случайный порядок представления критичен для минимизации предвзятости оценки.

Claim 2 (Зависимый от 1): Уточняет, что система отслеживает время, затраченное работником на оценку, и Cluster Set Score взвешивается на основе этого времени. Это механизм контроля качества краудсорсинга.

Claim 18 (Независимый пункт): Описывает полный процесс, включающий генерацию, оценку и уточнение.

1. Генерация множества Cluster Sets разными методами.
2. Предоставление наборов первой группе работников для оценки. Оценка включает рейтинги кластеров, рейтинг набора, затраченное время и оценку экспертизы работника.
3. Определение взвешенной оценки (weighted cluster set score) для каждого набора, используя вес на основе экспертизы.
4. Определение набора с наивысшей оценкой.
5. Предоставление лучшего набора второй группе работников для уточнения (Refinement).
6. Сохранение определения лучшего набора после уточнения.

Где и как применяется

Изобретение описывает офлайн-процесс оптимизации представления поисковой выдачи для конкретных запросов в специализированных поисковых системах (магазины приложений, маркетплейсы).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка данных. Search Items (приложения/товары) ассоциируются с Entities из Knowledge Base. Также устанавливается Entity Ontology и генерируются Embeddings.

RANKING / METASEARCH (Офлайн-оптимизация)
Основное применение патента происходит здесь, как процесс подготовки данных, а не в реальном времени.

1. Генерация кандидатов: Clustering Engine применяет несколько разных алгоритмов для генерации множества Cluster Sets для выбранного запроса.
2. Оценка и Уточнение: Crowdsource Engine координирует задачи по оценке и уточнению сгенерированных наборов с помощью работников.
3. Выбор и Сохранение: Выбирается лучший Cluster Set Definition и сохраняется.

METASEARCH – Метапоиск и Смешивание (Онлайн)
Когда пользователь вводит запрос, Result Engine использует сохраненный Cluster Set Definition для организации и отображения результатов поиска в виде кластеров.

Входные данные (для офлайн-процесса):

• Запрос (Query).
• Список релевантных Search Items.
• Ассоциации между Search Items и Entities.
• Entity Ontology и Embeddings.

Выходные данные (для офлайн-процесса):

• Сохраненный Cluster Set Definition для данного запроса.
• Отчеты для экспертов о потенциальных проблемах (например, некорректные ассоциации элементов с сущностями).

На что влияет

• Конкретные типы контента: В первую очередь влияет на приложения (App Store) и товары (Marketplace/Shopping), как показано в примерах патента. Влияние на стандартные веб-документы маловероятно.
• Специфические запросы: Наибольшее влияние на широкие или неоднозначные запросы, которые возвращают большое количество разнообразных элементов и требуют структурирования (например, "guitar" или "stickman" в магазине приложений).

Когда применяется

• Условия применения: Процесс применяется для запросов, где стандартная выдача слишком велика или разнообразна, и требуется кластеризация для улучшения пользовательского опыта.
• Временные рамки: Генерация, оценка и уточнение происходят офлайн. Это не процесс ранжирования в реальном времени, а процесс подготовки структуры выдачи.

Пошаговый алгоритм

Этап 1: Генерация наборов кластеров (Офлайн)

1. Получение элементов: Система извлекает Search Items, релевантные запросу.
2. Генерация базовых кластеров: Элементы группируются в базовые кластеры на основе ассоциации с сущностями.
3. Параллельная кластеризация: Система применяет несколько алгоритмов для создания разных Cluster Sets. Примеры алгоритмов из патента:
   • Метод 1: Слияние на основе онтологии (наиболее похожие первыми) + иерархическая кластеризация.
   • Метод 2: Слияние на основе онтологии (наименьшие первыми) + иерархическая кластеризация.
   • Метод 3: Иерархическая кластеризация с корректировкой схожести на основе онтологии.
   • Метод 4: Иерархическая кластеризация только на основе схожести эмбеддингов.

Этап 2: Краудсорсинговая оценка (Офлайн)

1. Инициализация задач: Множество Cluster Sets передается пулу работников.
2. Случайный выбор и таймер: Работнику показывается случайно выбранный Cluster Set. Запускается таймер.
3. Сбор данных: Работник оценивает каждый кластер (Cluster Rating) и набор в целом (Cluster Set Rating), предоставляет текстовое обоснование. Система отслеживает взаимодействие с элементами (просмотр деталей) и фиксирует время.
4. Повторение: Шаги 2-3 повторяются для всех Cluster Sets в случайном порядке.
5. Оценка экспертизы: Работник оценивает свою осведомленность о теме запроса.
6. Расчет оценок: Система рассчитывает Cluster Set Score для каждого набора путем агрегации рейтингов. Рейтинги взвешиваются на основе затраченного времени, качества обоснования и экспертизы работника.
7. Выбор лучшего набора: Выбирается Cluster Set с наивысшей средней взвешенной оценкой.

Этап 3: Краудсорсинговое уточнение (Офлайн)

1. Инициализация задач уточнения: Лучший Cluster Set передается пулу работников.
2. Сбор предложений: Работникам предлагается выполнить задачи по улучшению: Слияние (Merge), Удаление (Delete) кластеров/сущностей/элементов, Перемещение (Move) сущностей/элементов, Уточнение заголовка (Title Refinement).
3. Анализ согласия: Система определяет, достигнут ли порог согласия (Agreement Threshold) для каждого предложения (например, 20% работников предложили слияние).
4. Выполнение уточнения: Если порог достигнут, система автоматически обновляет Cluster Set Definition И/ИЛИ генерирует отчет для экспертного анализа (например, если предложено удаление элемента, это может сигнализировать о неверной ассоциации с сущностью).

Какие данные и как использует

Данные на входе

• Контентные/Атрибутивные факторы: Описания Search Items, метаданные. Ассоциации элементов с Entities (критичны для генерации кластеров).
• Структурные данные (Системные): Entity Ontology (связи синонимии и иерархии между сущностями). Embeddings (векторные представления элементов и сущностей).
• Пользовательские факторы (Краудсорсинг): Cluster Ratings, Cluster Set Ratings, текстовые обоснования оценок, время, затраченное на задачу, самооценка экспертизы/осведомленности работника о запросе.

Какие метрики используются и как они считаются

• Embedding Similarity (Схожесть эмбеддингов): Метрика для определения близости между элементами или сущностями. Рассчитывается как расстояние (например, косинусное сходство) в векторном пространстве. Используется при генерации кластеров.
• Cluster Set Score (Оценка набора кластеров): Агрегированная оценка качества набора. Рассчитывается как среднее взвешенное рейтингов от множества работников.
• Весовые коэффициенты (Weights): Используются для корректировки влияния отдельных работников на Cluster Set Score. Вес увеличивается при высокой экспертизе и достаточном времени. Вес уменьшается (или оценка игнорируется) при недостаточном времени, отсутствии взаимодействия с деталями элементов или низком качестве обоснования.
• Agreement Threshold (Порог согласия): Минимальный процент работников, которые должны предложить одинаковое уточнение, чтобы оно было принято автоматически или отправлено эксперту. Пороги могут отличаться для разных типов задач.

1. Ограниченная область применения (Не для традиционного SEO): Патент описывает механизм для улучшения представления результатов в магазинах приложений или маркетплейсах. Он не описывает факторы ранжирования веб-поиска и имеет минимальное прямое отношение к традиционному SEO.
2. Кластеризация основана на сущностях: Способ группировки элементов (приложений/товаров) в значительной степени зависит от того, с какими Entities они ассоциированы и как эти сущности связаны в онтологии (Entity Ontology).
3. Человеческая оценка для выбора алгоритма: Google не полагается на один алгоритм кластеризации. Система тестирует несколько подходов и использует краудсорсинг для определения того, какой алгоритм дает наилучший результат для конкретного запроса.
4. Масштабируемое курирование выдачи: Система позволяет масштабировать процесс ручного курирования структуры выдачи. Краудсорсинговые работники могут вносить конкретные изменения (слияние, удаление), если достигается консенсус (Agreement Threshold).
5. Строгий контроль качества краудсорсинга: Патент подчеркивает важность контроля качества данных от работников. Используется рандомизация порядка показа для борьбы с предвзятостью, а также взвешивание оценок на основе времени, экспертизы и взаимодействия.
6. Выявление проблем в данных: Процесс уточнения (Refinement) также служит механизмом обратной связи. Если работники предлагают удалить элемент из кластера, это может сигнализировать экспертам о неправильной ассоциации элемента с сущностью в базе данных.

Best practices (это мы делаем)

Рекомендации применимы в первую очередь для App Store Optimization (ASO) и оптимизации товаров в маркетплейсах (например, Google Shopping).

• Обеспечение точных ассоциаций с сущностями: Критически важно, чтобы приложение или товар были правильно и полно ассоциированы с релевантными Entities (темами, категориями, брендами). Поскольку кластеризация строится на этих ассоциациях, ошибки приведут к попаданию в нерелевантные группы.
• Оптимизация метаданных и описаний: Убедитесь, что описания и метаданные четко отражают суть продукта/приложения. Эти данные не только помогают системе установить ассоциации с сущностями, но и используются краудсорсинговыми работниками при оценке качества кластеров (они видят их при наведении курсора).
• Анализ структуры выдачи конкурентов: Изучайте, как система кластеризует результаты по вашим ключевым запросам. Понимание структуры кластеров и сущностей, которые их формируют, поможет оптимизировать ваш продукт для попадания в наиболее релевантные группы.

Worst practices (это делать не надо)

• Манипуляция ассоциациями с сущностями (Entity Stuffing): Попытки ассоциировать продукт с популярными, но нерелевантными сущностями для попадания в большее количество кластеров могут быть неэффективны. Механизм уточнения (Refinement) позволяет работникам предлагать удаление нерелевантных элементов из кластера, что может привести к ручной проверке экспертами и исправлению некорректных ассоциаций.
• Игнорирование онтологических связей: Непонимание того, как сущности связаны между собой (синонимы, иерархия), может привести к неоптимальному таргетингу. Система может объединять кластеры на основе этих связей (Entity Ontology).

Стратегическое значение

Патент подтверждает стратегию Google по использованию комбинации машинного обучения (генерация кластеров, эмбеддинги) и человеческой оценки (краудсорсинг) для улучшения качества поиска в специализированных вертикалях. Для ASO и Product Search это означает, что структура выдачи не является чисто алгоритмической, а проходит этап валидации и курирования людьми. Стратегия оптимизации должна фокусироваться на четком представлении продукта и его связи с релевантными сущностями.

Практические примеры

Сценарий: Оптимизация приложения для изучения гитары (ASO)

1. Анализ запроса: По запросу "Guitar" в магазине приложений система генерирует кластеры (как в примерах патента): "Classical Guitar/Bass Guitar", "Chord/Scale (music)", "Music video game/Song", "Learning/Education/Lesson".
2. Цель: Необходимо, чтобы наше приложение попало в кластер "Learning/Education/Lesson".
3. Действия (Основанные на патенте):
   • Убедиться, что метаданные приложения четко ассоциируют его с сущностями "Learning", "Education", "Guitar Lesson".
   • Проверить описание на ясность, чтобы краудсорсинговый работник при оценке сразу понял, что приложение обучающее.
4. Риск (Основанный на патенте): Если мы добавим в метаданные "Guitar Game", чтобы попасть в кластер "Music video game", но приложение не является игрой, работники на этапе уточнения могут предложить удалить наше приложение из этого кластера (Search Item Delete Refinement). Это может привести к проверке экспертом.
5. Ожидаемый результат: Приложение корректно отображается в целевом кластере благодаря точным ассоциациям с сущностями и проходит человеческую валидацию.