Как Google использует GTIN, MPN и машинное обучение для определения синонимов брендов в каталоге товаров

Термины и определения

Brand Name Pair (Пара названий брендов)

Два названия бренда, извлеченные из пары товарных предложений, которые имеют схожий идентификатор продукта.

Brand Pair Group (Группа пары брендов)

Набор всех пар товарных предложений (Product Offer Pairs), которые имеют одну и ту же пару названий брендов.

Brand Parameters (Параметры бренда)

Метрики, вычисляемые на уровне Brand Pair Group. Включают сходство названий брендов (Brand Name Similarity) и метрики перекрытия (Overlap Parameters).

GTIN (Global Trade Item Number)

Глобальный номер товарной продукции (включая ISBN, UPC, EAN). Используется как Product Identifier.

Identifier Complexity (Сложность идентификатора)

Метрика, оценивающая длину или сложность идентификатора продукта (MPN или GTIN), по которому были связаны два товарных предложения. Более длинные совпадения считаются более надежными.

Machine Learned Classifier Model (Обученная модель классификатора)

Статистическая модель (например, логистическая регрессия, SVM), обученная на размеченных данных для классификации пар брендов как синонимичных или нет.

MPN (Manufacturer Part Number)

Артикул производителя. Используется как Product Identifier.

Overlap Parameters (Параметры перекрытия)

Метрики (Brand Overlap, GTIN Overlap, MPN Overlap), оценивающие степень совпадения данных между двумя брендами в каталоге. Рассчитываются с использованием геометрического среднего для нормализации.

Product Identifier (Идентификатор продукта)

Атрибут для идентификации продукта (например, GTIN, MPN, SKU).

Product Offer Pair (Пара товарных предложений)

Два товарных предложения, связанные вместе на основании схожести их идентификаторов продуктов.

Product Parameters (Параметры продукта)

Метрики, вычисляемые на уровне отдельной Product Offer Pair. Включают сходство заголовков (Title Similarity), сходство GTIN, сходство цен (Price Similarity) и сложность идентификатора.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации связанных названий брендов.

1. Система получает множество товарных предложений (каждое с Брендом и Идентификатором).
2. Идентифицируются предложения с похожими (similar) идентификаторами продукта.
3. На основе этого создаются пары товарных предложений (Product Offer Pairs).
4. Извлекаются названия брендов из пар предложений для создания пар названий брендов (Brand Name Pairs).
5. Пары предложений группируются по их паре названий брендов (Brand Pair Groups).
6. Для каждой пары предложений вычисляется по крайней мере один параметр продукта (Product Parameter), основанный на атрибутах предложений в паре.
7. Для каждой группы пары брендов вычисляется по крайней мере один параметр бренда (Brand Parameter).
8. Применяется обученная модель классификатора (machine learned classifier model) к вычисленным параметрам.
9. На основе вывода модели определяется, связаны ли два названия бренда (являются ли они синонимами).

Claims 2-5 (Зависимые): Уточняют, что может входить в Product Parameters.

• Claim 2: Сходство заголовков (Title Similarity).
• Claim 3: Сходство GTIN.
• Claim 4: Сходство цен (Price Similarity).
• Claim 5: Сложность идентификатора (Identifier Complexity).

Claims 6-9 (Зависимые): Уточняют, что может входить в Brand Parameters.

• Claim 6: Сходство между двумя названиями брендов (Brand Name Similarity).
• Claim 7 (Brand Overlap): Общее количество пар предложений в группе, деленное на геометрическое среднее (geometric mean) общего количества предложений для каждого из двух брендов в каталоге.
• Claim 8 (GTIN Overlap): Количество уникальных GTIN в группе, деленное на геометрическое среднее количества уникальных GTIN для каждого из двух брендов в каталоге.
• Claim 9 (MPN Overlap): Аналогичный расчет для MPN.

Claim 10 (Зависимый): Указывает, что параметры модели классификатора могут быть определены с использованием логистической регрессии (logistic regression).

Где и как применяется

Изобретение применяется в системах управления каталогами продуктов (например, Google Shopping) для нормализации и структурирования данных.

CRAWLING – Сканирование и Сбор данных
Система собирает товарные предложения от множества продавцов через фиды данных (Merchant Feeds), сканирование веб-сайтов или API. Это «сырье» для анализа.

INDEXING – Индексирование и извлечение признаков
Основной этап применения патента. Полученные данные обрабатываются и структурируются. Процесс идентификации синонимии брендов является частью этапа извлечения признаков и реконсиляции сущностей (Entity Reconciliation).

1. Нормализация данных: Приведение данных от разных продавцов к единому формату.
2. Идентификация сущностей: Определение того, что разные строки текста относятся к одному и тому же бренду с помощью описанного механизма.
3. Кластеризация продуктов: Группировка предложений, относящихся к одному каноническому продукту, используя результаты анализа синонимии.

RANKING / METASEARCH – Ранжирование и Метапоиск
Результаты работы алгоритма напрямую влияют на отображение продуктов в Google Shopping и Product Knowledge Panels. Корректная группировка предложений позволяет пользователю увидеть полный набор вариантов покупки для искомого продукта.

Входные данные:

• Каталог товарных предложений (Product Catalog).
• Атрибуты предложений: Название бренда, Идентификатор продукта (GTIN, MPN), Заголовок, Цена.

Выходные данные:

• Классификация пар брендов (синонимичные/несинонимичные).
• Обогащенный каталог продуктов с нормализованными данными о брендах и сгруппированными товарными предложениями.

На что влияет

• Конкретные типы контента: В первую очередь влияет на товарные предложения (E-commerce), Google Shopping, Product Knowledge Panels.
• Специфические запросы: Коммерческие и продуктовые запросы.
• Конкретные ниши или тематики: Особенно сильно влияет на ниши со сложной структурой брендов, суббрендов, ребрендинга или OEM-продуктов (например, электроника, автозапчасти, фармацевтика).

Когда применяется

• При каких условиях работает алгоритм: Алгоритм работает при наличии достаточного объема данных в каталоге продуктов для выявления статистически значимых пересечений по идентификаторам продуктов.
• Триггеры активации: Наличие предложений с совпадающими идентификаторами, но разными названиями брендов.
• Временные рамки и частота применения: Процесс, вероятно, выполняется периодически в пакетном (офлайн) режиме для обновления данных о синонимии по мере обновления каталога.

Пошаговый алгоритм

Процесс А: Идентификация синонимов брендов

1. Создание пар предложений: Группировка товарных предложений в пары (Product Offer Pairs) на основе совпадения или схожести идентификаторов продуктов (например, MPN или GTIN).
2. Создание групп пар брендов: Идентификация уникальных пар брендов (Brand Name Pairs) и создание соответствующих групп (Brand Pair Groups). Назначение пар предложений в эти группы.
3. Вычисление параметров продукта (Product Parameters): Для каждой пары товарных предложений вычисляются метрики:
   • Сходство заголовков (Title Similarity): например, косинусное сходство токенов в заголовках.
   • Сходство GTIN: например, отношение длины самого длинного общего префикса к длине самого длинного GTIN.
   • Сходство цен (Price Similarity): например, отношение меньшей цены к большей.
   • Сложность идентификатора (Identifier Complexity): например, длина совпадающего идентификатора.
4. Агрегация параметров продукта: Для каждой группы пары брендов вычисляется агрегированный параметр на основе параметров продукта всех пар в этой группе (например, среднее арифметическое).
5. Вычисление параметров бренда (Brand Parameters): Для каждой пары брендов вычисляются метрики:
   • Сходство названий брендов (Brand Name Similarity): например, на основе расстояния редактирования или косинусного сходства токенов.
   • Перекрытие брендов (Brand Overlap): Общее количество пар в группе, нормализованное (через геометрическое среднее) на общее количество предложений для каждого бренда в каталоге.
   • Перекрытие GTIN (GTIN Overlap): Количество уникальных GTIN в группе, нормализованное на количество уникальных GTIN для каждого бренда.
   • Перекрытие MPN (MPN Overlap): Аналогичный расчет для MPN.
6. Классификация: Все вычисленные параметры подаются на вход обученной статистической модели (например, логистической регрессии).
7. Применение порога уверенности: Использование порога уверенности (confidence threshold) для разделения классификаций на приемлемые (синонимичные) и неприемлемые пары брендов.

Процесс Б: Использование синонимов для кластеризации продуктов

1. Оценка пар предложений: Использование классификации пар брендов и других атрибутов для идентификации пар предложений, относящихся к одному и тому же продукту.
2. Классификация релевантности: Присвоение классификации парам товарных предложений (связаны или не связаны).
3. Сохранение и использование: Сохранение классификации в каталоге продуктов для последующего использования.

Какие данные и как использует

Данные на входе

Система использует данные, извлеченные из товарных предложений в каталоге (Merchant Feeds).

• Контентные факторы:
  • Заголовки (Titles): Используются для вычисления Title Similarity. Текст токенизируется, может нормализоваться.
  • Названия брендов (Brand Names): Являются объектом анализа синонимии и используются для вычисления Brand Name Similarity.
• Технические/Структурные факторы (Идентификаторы):
  • GTIN (UPC, EAN, ISBN): Ключевые данные для создания пар предложений и вычисления GTIN Similarity и GTIN Overlap.
  • MPN (Артикулы производителя): Используются для создания пар предложений и вычисления Identifier Complexity и MPN Overlap.
  • SKU: Могут использоваться как идентификаторы.
• Коммерческие факторы:
  • Цены (Prices): Используются для вычисления Price Similarity.

Какие метрики используются и как они считаются

Патент детально описывает вычисление метрик для модели машинного обучения.

• Методы анализа текста (NLP):
  • Косинусное сходство (Cosine Similarity): Используется для Title Similarity и Brand Name Similarity (на основе токенов).
  • Расстояние редактирования (Edit Distance): Используется для Brand Name Similarity (на основе строк).
• Статистические методы и расчеты:
  • Title Similarity: Косинусное сходство токенов заголовков (после возможного удаления идентификаторов из текста).
  • GTIN Similarity: Отношение длины самого длинного общего префикса GTIN к длине самого длинного GTIN (возможно, игнорируя ведущие нули).
  • Price Similarity: Отношение меньшей цены к большей.
  • Identifier Complexity: Длина совпадающего идентификатора (с возможной нормализацией повторяющихся символов, например, нулей).
  • Overlap Parameters (Brand, GTIN, MPN): Рассчитываются как отношение количества пересечений к геометрическому среднему (geometric mean) общего количества элементов для каждого бренда. Это обеспечивает нормализацию, учитывающую размер бренда.
• Алгоритмы машинного обучения:
  • Логистическая регрессия (Logistic Regression): Явно упоминается как метод для обучения модели классификатора. Также упоминаются альтернативы: SVM, деревья решений, нейронные сети.
• Пороговые значения: Используется порог уверенности (confidence threshold) для финальной классификации на основе вывода модели ML.

1. Уникальные идентификаторы (GTIN/MPN) — анкорь для реконсиляции: Патент демонстрирует, что Google полагается на GTIN и MPN как на основной сигнал для связи товарных предложений. Именно совпадение этих идентификаторов запускает процесс анализа синонимии брендов.
2. Синонимия вычисляется статистически, а не только лингвистически: Система использует косвенные сигналы (совпадение идентификаторов, сходство цен и заголовков), чтобы определить связь между брендами, даже если строковое сходство низкое (например, суббренд и материнская компания).
3. Использование ML для взвешивания факторов: Модель машинного обучения (например, логистическая регрессия) используется для определения весов различных параметров (Title Similarity, Price Similarity, Overlap Parameters) и принятия финального решения о синонимии.
4. Важность нормализации данных: При расчете Overlap Parameters используется геометрическое среднее. Это критично для нормализации, чтобы избежать перекоса в сторону крупных брендов с большим количеством предложений.
5. Качество данных мерчанта критично: Механизм зависит от наличия и точности данных в фидах. Ошибки в GTIN/MPN не позволят системе корректно идентифицировать пары предложений и, следовательно, точно определить бренд и сгруппировать товар.

Best practices (это мы делаем)

• Обеспечение 100% точности и полноты GTIN и MPN: Это критически важно. Необходимо внедрить процессы валидации идентификаторов в товарных фидах (Google Merchant Center) и в микроразметке Schema.org/Product. Эти идентификаторы являются основными ключами для анализа брендов.
• Четкие и информативные заголовки (Titles): Создавайте описательные заголовки, содержащие ключевые токены продукта. Поскольку Title Similarity (рассчитывается через косинусное сходство) является признаком в модели классификатора, это помогает системе подтвердить связь между предложениями.
• Консистентность данных: Старайтесь использовать каноническое название бренда в атрибуте brand. Данные в фидах должны совпадать с данными в микроразметке на сайте.
• Мониторинг Merchant Center и Product Knowledge Panels: Регулярно проверяйте отчеты об ошибках идентификаторов в Merchant Center и отслеживайте, как Google группирует ваши товары в выдаче. Некорректная группировка указывает на проблемы с данными.
• Использование Schema.org для связывания сущностей: Если продукт продается под суббрендом, можно явно указать связь с материнской компанией в разметке (например, через parentOrganization), чтобы помочь системе идентифицировать связь.

Worst practices (это делать не надо)

• Игнорирование или подделка GTIN/MPN: Пропуск идентификаторов или использование некорректных данных (например, внутренних SKU вместо GTIN) лишает систему возможности связать ваши предложения с другими и корректно проанализировать бренд.
• Использование названия магазина вместо бренда производителя: Указание названия вашего магазина в поле brand, если вы не производитель. Это создает шум в данных и затрудняет идентификацию реального бренда.
• Манипуляции с заголовками (Keyword Stuffing): Перенасыщение заголовков может снизить Title Similarity с другими предложениями того же продукта, ухудшая сигналы для классификатора.
• Значительное отклонение цен: Поскольку Price Similarity является фактором, аномальные цены могут снизить уверенность системы в том, что предложения относятся к одному и тому же продукту.

Стратегическое значение

Этот патент подчеркивает стратегическую важность качества данных (Data Quality) и управления данными о продуктах (PIM) в E-commerce SEO. Google активно строит структурированный Product Knowledge Graph, и точность данных напрямую влияет на то, как система понимает ассортимент ритейлера. Техническая оптимизация товарных фидов и микроразметки является необходимым условием для обеспечения максимальной видимости в Google Shopping и товарных блоках выдачи.

Практические примеры

Сценарий: Обеспечение корректной идентификации суббренда

Задача: Интернет-магазин продает ноутбуки линейки «Omen», которая является суббрендом «HP». Необходимо убедиться, что Google корректно связывает эти сущности, даже если другие продавцы указывают бренд по-разному.

Действия:

1. Проверка идентификаторов: Убедиться, что для каждого ноутбука Omen указан корректный GTIN (UPC/EAN) и MPN, предоставленные HP. Это самый важный шаг.
2. Заполнение атрибута Brand: В товарном фиде и микроразметке указать Brand консистентно (например, «HP Omen» или «HP»).
3. Оптимизация заголовков: Включить в заголовок ключевые характеристики: «HP Omen 15 Gaming Laptop RTX 3060».

Ожидаемый результат (Работа системы Google):

Google находит совпадения по GTIN/MPN с фидами других ритейлеров, которые могут указывать бренд как «HP» или «Omen». Система создает Brand Pair Groups. Рассчитываются высокие значения Title Similarity, Price Similarity и Overlap Parameters. Модель классификатора определяет, что эти пары являются синонимами в контексте этих товаров. Товар корректно группируется в выдаче.