Как Google кластеризует и фильтрует похожие товары одного продавца в Google Shopping для повышения разнообразия выдачи

Термины и определения

Attributes (Атрибуты)

Характеристики товара. Явно упоминаются: name (название), model (модель), description (описание), thumbnail key (ключ-отпечаток миниатюры) и category (категория).

Cluster Identifier (cluster_id)

Уникальный идентификатор, присваиваемый группе почти дублирующихся товаров. Может определяться по атрибуту товара с наивысшим Q-score в кластере.

Distance (D(P, Q)) (Расстояние)

Метрика, измеряющая степень различия между двумя товарами (P и Q). Рассчитывается как взвешенная сумма редакционных расстояний атрибутов. Нормализуется в диапазоне [0, 1].

Edit Distance (ED) (Редакционное расстояние)

Метрика схожести строк. В патенте упоминаются расстояния Хэмминга (Hamming), Левенштейна (Levenshtein), Дамерау-Левенштейна и Джаро-Винклера.

Entry (Запись)

Представление продукта в базе данных системы онлайн-покупок.

MapReduce

Фреймворк параллельной обработки данных, упоминаемый для офлайн-вычисления расстояний и кластеризации.

Min_score (Минимальное расстояние)

Наименьшее расстояние между данным товаром и любым другим товаром в том же кластере. Используется для фильтрации выдачи по порогу схожести.

NDCL / NDTH

Параметры поискового запроса (search restrict). NDCL используется для фильтрации по cluster_id. NDTH используется для фильтрации по min_score.

ProductNeardupInfo

Набор данных, которым аннотируется товар после кластеризации. Включает cluster_id, min_score и num_products (количество товаров в кластере).

Q-score (Оценка важности)

Статическая, не зависящая от запроса оценка важности (importance score) товара. Используется для выбора идентификатора кластера.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод сокращения почти дубликатов от одного и того же продавца (same merchant) в результатах поиска.

1. Для каждой пары записей в наборе записей от одного и того же продавца.
2. Вычисление расстояния (distance) между записями в векторном пространстве количественных атрибутов.
3. Определение кластеров записей как функции вычисленного расстояния.
4. Получение запроса и возврат упорядоченного списка результатов, отфильтрованного для сокращения числа почти дубликатов от одного продавца.
5. Фильтрация включает как минимум одно из:
   • Ограничение количества записей из данного кластера пороговым значением.
   • После включения первой записи из кластера, исключение других записей, находящихся в пределах порогового расстояния от первой записи.

Ядром изобретения является процесс кластеризации товаров на основе метрики схожести и последующее использование этой кластеризации для принудительного повышения разнообразия выдачи путем ограничения показа похожих товаров от одного источника.

Claim 2 (Зависимый от 1): Уточняет метод расчета расстояния.

Расстояние определяется как взвешенная сумма (weighted sum) редакционного расстояния (edit distance) между количественными атрибутами пары записей.

Claim 4 (Зависимый от 1): Уточняет метод определения кластеров.

Кластеры определяются как группы записей, связанных с другой записью расстоянием, меньшим предопределенного порогового расстояния.

Claim 6 (Зависимый от 1): Описывает функциональность пользовательского интерфейса.

Для результата в списке возвращается ссылка (например, «Похожие товары»), при выборе которой система возвращает список товаров из того же кластера.

Где и как применяется

Изобретение применяется в контексте Online Shopping System (например, Google Shopping) и затрагивает этапы индексирования и переранжирования.

INDEXING – Индексирование и извлечение признаков
Основная часть алгоритма выполняется на этом этапе в офлайн-режиме с использованием параллельной обработки (MapReduce).

• Система группирует товары по продавцам (same merchant).
• Вычисляет попарные расстояния (Distance) между товарами одного продавца.
• Выполняет кластеризацию и присваивает Cluster Identifier.
• Извлекает и индексирует признаки: cluster_id, min_score, num_products.
• Слияние категорий (Category Merging): Патент упоминает важный механизм: объединение (union) категорий всех продуктов в кластере и присвоение этого объединенного набора категорий каждому продукту в кластере для предотвращения потери поискового покрытия.

RERANKING – Переранжирование
На этом этапе применяется логика фильтрации для повышения разнообразия (Diversity).

• Применяется разрежение (crowding) по cluster_id, чтобы ограничить максимальное количество товаров на кластер.
• Применяется фильтрация товаров, чье min_score ниже определенного порога (параметр NDTH).

Входные данные:

• Набор записей о товарах (Entries) с атрибутами (Название, Модель, Описание, Изображение, Категория).
• Идентификаторы продавцов.
• Оценки важности товаров (Q-score).

Выходные данные:

• Офлайн: Проиндексированные товары с полями ProductNeardupInfo и объединенными категориями.
• Онлайн: Отфильтрованный список результатов поиска с повышенным разнообразием.

На что влияет

• Конкретные типы контента: Влияет исключительно на структурированные данные о товарах в системах онлайн-покупок (Google Shopping). Не влияет на стандартный веб-поиск.
• Конкретные ниши или тематики: Влияет на все E-commerce ниши, особенно на те, где распространены вариации товаров (одежда, электроника, автозапчасти).

Когда применяется

• Триггеры активации (Офлайн): Активируется для продавцов, у которых есть более одного товара. Пересчет запускается, если данные о товарах продавца изменились с момента последнего расчета (проверка по fingerprint).
• Триггеры активации (Онлайн): Логика фильтрации активируется при формировании SERP, если в результатах присутствуют товары, принадлежащие к одному кластеру.
• Пороговые значения: Ключевой порог — расстояние для определения кластера (T). В примере указан T=0.05 (т.е. товары схожи на 95%). Также используется порог для фильтрации в SERP (например, не более N товаров из одного кластера или порог NDTH).

Пошаговый алгоритм

Процесс А: Офлайн-обработка (Индексирование и Кластеризация)

1. Сбор и группировка данных: Товары группируются по идентификатору продавца и сортируются по Q-score.
2. Вычисление попарных расстояний: Для каждой пары товаров (P, Q) одного продавца вычисляется расстояние D(P, Q). Это взвешенная сумма редакционных расстояний их атрибутов.

   Формула: $D(P, Q) = \sum (K_{attr} * ED(P_{attr}, Q_{attr}))$

3. Построение и фильтрация графа: Формируется граф, где товары — узлы, а расстояния — веса ребер. Ребра с весом, превышающим пороговое значение T (например, 0.05), удаляются.
4. Кластеризация: В оставшемся графе определяются связанные компоненты (кластеры). Может использоваться алгоритм Union-Find.
5. Присвоение идентификаторов и метрик: Каждому кластеру присваивается cluster_id (на основе товара с наивысшим Q-score). Для каждого товара вычисляются min_score и num_products.
6. Объединение атрибутов (Category Merging): Категории всех товаров в кластере объединяются, и этот объединенный набор присваивается каждому товару в кластере.
7. Индексирование: Обновленные данные о товарах (ProductNeardupInfo) сохраняются в индексе.

Процесс Б: Онлайн-обработка (Поиск и Фильтрация)

1. Получение запроса и ранжирование: Система генерирует исходный упорядоченный список релевантных товаров.
2. Применение фильтров кластеризации (Reranking/Diversity): Система применяет логику разрежения (crowding) на основе cluster_id и min_score.
   • Вариант 1 (Crowding): Ограничивается количество товаров из одного кластера (например, только 1 товар на кластер).
   • Вариант 2 (NDTH): Фильтрация по min_score (исключить товары, слишком похожие на другие).
3. Формирование SERP: В выдаче для отфильтрованных результатов может отображаться ссылка "Посмотреть похожие товары", которая использует параметр NDCL для показа всех товаров этого кластера.

Какие данные и как использует

Данные на входе

Система использует структурированные данные о товарах для вычисления расстояний и кластеризации:

• Контентные факторы (Атрибуты товара):
  • Name (Название товара).
  • Model (Модель товара).
  • Description (Описание товара).
  • Category (Категория товара).
• Мультимедиа факторы:
  • Thumbnail key (Ключ или отпечаток миниатюры изображения товара).
• Системные данные:
  • Company identifier (Идентификатор продавца).
  • Q-score (Статическая оценка важности продукта).

Какие метрики используются и как они считаются

• Нормализованное редакционное расстояние (ED): Метрика схожести атрибутов. В описании приводится пример нормализованного расстояния Левенштейна:

  $ED(A, B) = \text{Levenshtein\_Distance}(A, B) / \max(\text{length}(A), \text{length}(B))$

  Значение в диапазоне [0, 1].
• Взвешенное расстояние (D(P, Q)): Агрегированная метрика схожести товара. Рассчитывается как сумма ED атрибутов, умноженных на их весовые коэффициенты (K). Сумма весов равна 1. Значение D(P, Q) в диапазоне [0, 1].
• Порог кластеризации (T): Максимальное расстояние, при котором товары считаются почти дубликатами. Упоминается примерное значение 0.05 (т.е. 95% схожести).
• Min_score: Минимальное расстояние D(P, Q) для товара P до любого другого товара Q в том же кластере.

1. Фокус на внутри-вендорной дедупликации: Алгоритм специально разработан для идентификации и фильтрации похожих товаров, предлагаемых одним и тем же продавцом (same merchant). Цель — повысить разнообразие как продуктов, так и продавцов в выдаче, а не скрывать идентичные товары от разных поставщиков.
2. Схожесть основана на атрибутах: Система определяет дубликаты путем расчета взвешенной суммы редакционных расстояний ключевых атрибутов (название, модель, описание, миниатюра). Это подчеркивает критичность качества и уникальности структурированных данных в фиде.
3. Кластеризация и выбор представителя: Похожие товары объединяются в кластеры. Система стремится показать ограниченное число представителей от каждого кластера. Товар с наивысшим Q-score (статической важностью) имеет приоритет при выборе представителя в выдаче.
4. Офлайн-обработка для скорости: Вычисление расстояний и кластеризация выполняются заранее (во время индексирования) с использованием параллельных вычислений (MapReduce), что позволяет быстро применять фильтры в реальном времени.
5. Сохранение охвата через слияние категорий (Category Merging): Важный механизм оптимизации: чтобы не потерять релевантность, если варианты товара находятся в разных категориях, система объединяет (union) все категории кластера и применяет их ко всем товарам кластера. Это консолидирует сигналы релевантности.

Best practices (это мы делаем)

Рекомендации применимы для оптимизации товарных фидов для Google Shopping и аналогичных систем.

• Обеспечение значимой дифференциации: Если необходимо, чтобы варианты товара отображались в поиске независимо, они должны иметь существенные различия в Title, Description и Image. Различия должны превысить порог кластеризации (предположительно >5% различий).
• Оптимизация представителя кластера: Так как система использует Q-score для определения лидера кластера, необходимо сосредоточить усилия на оптимизации и продвижении основного (наиболее важного или популярного) варианта товара. Этот вариант, скорее всего, станет представителем кластера в выдаче.
• Точная и полная категоризация: Поскольку система может использовать слияние категорий (Category Merging) внутри кластера, важно убедиться, что каждый вариант товара имеет максимально точную категорию. Это гарантирует, что представитель кластера унаследует все релевантные категории.
• Использование уникальных идентификаторов и изображений: Убедитесь, что каждый SKU имеет уникальный идентификатор (например, GTIN, MPN/Model) и уникальное основное изображение (thumbnail key). Это увеличивает общее расстояние между записями.

Worst practices (это делать не надо)

• Создание множества SKU с минимальными отличиями: Загрузка одного и того же товара несколько раз с минимальными изменениями в названии или описании (например, для таргетинга на разные ключевые слова) неэффективна. Эти записи будут кластеризованы, и показана будет только одна.
• Использование идентичных описаний и изображений: Если варианты товара (например, разные цвета) используют полностью идентичные описания и очень похожие изображения, вероятность их кластеризации максимальна. Схожесть изображений (thumbnail key) является фактором расчета расстояния.
• Игнорирование атрибута Model/MPN: Атрибут модели имеет вес в расчете расстояния. Его отсутствие или неточное заполнение может увеличить вероятность нежелательной кластеризации.

Стратегическое значение

Патент подчеркивает стремление Google обеспечить разнообразие в коммерческой выдаче и бороться с захламлением SERP похожими предложениями. Для E-commerce SEO это означает, что стратегия должна быть направлена не на максимизацию количества записей в индексе, а на качество, уникальность и четкую дифференциацию каждого предложения. Успех зависит от способности представить ассортимент таким образом, чтобы минимизировать нежелательную кластеризацию.

Практические примеры

Сценарий 1: Оптимизация фида для магазина одежды (Рубашки разных цветов)

1. Ситуация: Продавец продает модель «Basic Tee» в 5 цветах. Названия отличаются только цветом («Basic Tee Red», «Basic Tee Blue»), описания идентичны.
2. Проблема: Расстояние Левенштейна очень низкое. Google кластеризует все 5 рубашек. В выдаче показывается только одна.
3. Решение (Дифференциация): Увеличить расстояние. Изменить названия, добавив особенности: «Basic Tee - Ярко-красная, Приталенный крой», «Basic Tee - Океанский синий, Свободный крой». Добавить уникальные элементы в описание (например, советы по стилю для цвета). Использовать разные основные фото.
4. Ожидаемый результат: Метрика расстояния увеличивается, товары с меньшей вероятностью будут кластеризованы, увеличивая видимость ассортимента.

Сценарий 2: Использование слияния категорий (Гибридный ноутбук)

1. Ситуация: Продавец продает гибридный ноутбук/планшет. Он релевантен категориям «Ноутбуки» и «Планшеты».
2. Действие: Продавец отправляет две почти идентичные записи (одна в категории «Ноутбуки», другая в «Планшеты»).
3. Механизм патента: Google идентифицирует их как дубликаты от одного продавца и кластеризует. Затем он выполняет Category Merging.
4. Результат: Репрезентативный товар (с наивысшим Q-score) теперь принадлежит к обеим категориям. Он будет показываться при поиске в любой из них, но займет только одну позицию в SERP, сохраняя разнообразие.