Как Google использует ансамблевое машинное обучение и SVM для точного сопоставления товарных предложений (Entity Resolution)

Описание

Какую задачу решает

Патент решает задачу высокоточного сопоставления объектов (Object Matching или Entity Resolution). В контексте документа это фокусируется на связывании индивидуальных товарных предложений (product offers), поступающих от разных продавцов, с каноническими записями в централизованной базе данных продуктов. Это необходимо для агрегации предложений одного и того же товара (например, в Google Shopping). Проблема усложняется тем, что продавцы описывают товары по-разному, предоставляют неполные данные или создают описания аксессуаров, очень похожие на родительские продукты.

Что запатентовано

Запатентована система для идентификации объектов, использующая двухуровневый подход машинного обучения. На первом уровне используется ансамбль предикторов (Ensemble of Predictors), состоящий из моделей логистической регрессии, обученных по-разному для обеспечения разнообразия. На втором уровне мета-классификатор, Support Vector Machine (SVM), анализирует совокупность прогнозов (оценки и ранги) от ансамбля для принятия окончательного, высокоточного решения о совпадении.

Как это работает

Система работает по следующему алгоритму:

• Генерация кандидатов: Для входящего предложения из базы данных быстро отбирается подмножество потенциальных совпадений (Candidates).
• Извлечение признаков: Атрибуты предложения детально сравниваются с атрибутами каждого кандидата с помощью набора тестов (Predicates), формируя признаки (Feature Value Pairs).
• Ансамблевое прогнозирование: Набор специализированных предикторов анализирует признаки и ранжирует кандидатов по вероятности совпадения.
• Выбор потенциального совпадения: Система проводит голосование среди лучших результатов предикторов для выбора наиболее вероятного кандидата.
• Мета-классификация (SVM): Создается вектор (Tuple Vector), суммирующий оценки и ранги, присвоенные выбранному кандидату всеми предикторами. SVM анализирует этот вектор и вычисляет итоговую оценку (Class Probability Score).
• Принятие решения: Если итоговая оценка превышает порог, совпадение подтверждается.

Актуальность для SEO

Высокая. Entity Resolution является фундаментальной задачей для Google Shopping, Knowledge Graph и любых систем, агрегирующих данные из разных источников. Точная идентификация товаров в условиях зашумленных и несогласованных данных критически важна. Описанные методы (ансамблевое обучение, SVM) остаются актуальными и эффективными подходами для задач классификации высокой точности.

Важность для SEO

Влияние на SEO значительно, но специфично для E-commerce (7/10). Патент не описывает ранжирование веб-страниц. Он описывает механизм, который Google использует для нормализации и сопоставления данных о товарах в своем каталоге. Корректное сопоставление товарного предложения (например, из Merchant Center) с каталогом напрямую влияет на видимость товара в Google Shopping и блоках сравнения цен. Это подчеркивает критическую важность качества и точности продуктовых данных.

Детальный разбор

Термины и определения

Object / Offer (Объект / Предложение)

Входящая единица данных (например, товар от продавца), которую необходимо сопоставить с базой данных. Имеет набор атрибутов (Title, Brand, UPC и т.д.).

Candidate (Кандидат)

Объект из базы данных, отобранный как потенциально соответствующий входящему объекту.

Ensemble of Predictors (Ансамбль предикторов)

Набор из нескольких моделей машинного обучения (в патенте — Logistic Regression Models). Каждый предиктор обучен по-разному.

Feature Value Pairs (Пары значений признаков)

Признаки, генерируемые путем сравнения атрибутов объекта и кандидата с применением Predicates. Являются входными данными для предикторов.

Predicates (Предикаты)

Набор тестов для сравнения пары атрибутов. Примеры: One Token Match (совпадение одного токена), One Bigram Match (совпадение одной биграммы), Normalized Identifier.

K (Параметр обучения)

Ключевой параметр, используемый при обучении ансамбля. Определяет количество топовых негативных тренировочных примеров, используемых для настройки конкретной модели. Значение K различается для каждой модели (например, 2, 5, 10, 20, 40), что обеспечивает разнообразие ансамбля.

Support Vector Machine (SVM, Машина опорных векторов)

Мета-классификатор. Анализирует выводы ансамбля предикторов (Tuple Vector) и принимает финальное решение.

Tuple Vector (Вектор кортежей)

Вектор признаков для SVM. Содержит кортежи для каждого предиктора, включающие оценку вероятности (likelihood) и ранг (ranking), присвоенные потенциальному кандидату.

Class Probability Score (Оценка вероятности класса)

Итоговая оценка, вычисляемая SVM. Определяет уверенность системы в совпадении. Сравнивается с порогом.

Ключевые утверждения (Анализ Claims)

Патент содержит два основных независимых пункта: Claim 1 (процесс работы) и Claim 15 (процесс обучения).

Claim 1 (Независимый пункт): Описывает основной процесс сопоставления во время выполнения (runtime).

1. Система определяет потенциального кандидата на совпадение (potential match candidate) из числа кандидатов, ранжированных ансамблем предикторов. Важно: каждый предиктор отличается от другого.
2. Для каждого предиктора система идентифицирует: (i) Первое значение (first value) — вероятность совпадения, предсказанную этим предиктором; (ii) Второе значение (second value) — пропорциональное рангу кандидата, предсказанному этим предиктором.
3. Система вычисляет Class Probability Score, используя первые и вторые значения от всех предикторов.
4. Если Class Probability Score удовлетворяет пороговому значению, система подтверждает совпадение.

Claim 2 (Зависимый от 1): Детализирует вычисление итоговой оценки.

Генерируется Tuple Vector, включающий кортежи (первое и второе значения) от всех предикторов. Этот вектор предоставляется Support Vector Machine (SVM), которая и определяет Class Probability Score.

Claim 3 (Зависимый от 1): Детализирует выбор потенциального кандидата.

Система определяет наиболее вероятного кандидата (топ-1) для каждого предиктора и подсчитывает количество голосов. Выбирается кандидат с наибольшим количеством голосов.

Claim 15 (Независимый пункт): Описывает процесс обучения (training) ансамбля предикторов.

1. Идентифицируется тестовый объект и обучающие кандидаты.
2. Генерируются пары признаков (feature value pairs).
3. Пары признаков предоставляются множеству моделей (предикторов).
4. Каждая модель обучается путем: (i) Идентификации K обучающих кандидатов; (ii) Настройки коэффициентов модели на основе этих K кандидатов.
5. Ключевое утверждение: Значение K различно для каждой модели.

Claim 18 (Зависимый от 17 и 15): Уточняет, что K обучающих кандидатов, используемых для настройки модели, являются negative candidates (заведомо не соответствуют тестовому объекту).

Где и как применяется

Этот патент описывает инфраструктурный механизм обработки данных и разрешения сущностей (Entity Resolution), который не участвует в ранжировании поисковой выдачи в реальном времени.

INDEXING – Индексирование (Обработка данных и Нормализация)

Основное применение патента. Когда система (например, Google Shopping) получает новые данные (например, через фид Merchant Center), ей необходимо определить, является ли входящий Object (товар) новым или он соответствует уже существующему объекту в базе данных.

1. Сбор данных: Получение Offer с атрибутами.
2. Генерация кандидатов: Быстрый поиск похожих объектов в индексе.
3. Разрешение сущностей: Детальное сравнение атрибутов и использование описанного ансамбля ML (Predictors + SVM) для высокоточного сопоставления.

Входные данные:

• Входящее товарное предложение (Offer) и его атрибуты (Название, Бренд, GTIN/UPC, MPN и т.д.).
• База данных существующих объектов.
• Предварительно обученные модели (Предикторы и SVM).

Выходные данные:

• Подтвержденное соответствие между входящим Offer и объектом в базе данных, ИЛИ определение того, что совпадений не найдено.

На что влияет

• Конкретные типы контента: Влияет исключительно на структурированные данные, в первую очередь товарные предложения (E-commerce).
• Конкретные ниши или тематики: Наибольшее влияние в сложных товарных категориях (электроника, автозапчасти), где данные от продавцов часто неоднозначны, неполны или существует множество похожих товаров (вариантов, аксессуаров).

Когда применяется

• Триггеры активации: Процесс активируется при обработке входящих данных о товарах — например, при загрузке или обновлении фида в Google Merchant Center.
• Цель применения: Достижение высокой точности (high-precision) при сопоставлении для поддержания чистоты каталога.

Пошаговый алгоритм

Процесс А: Обработка входящего предложения (Runtime)

1. Получение предложения и Генерация кандидатов: Система получает Offer (Объект O). Candidate Generator отбирает набор M потенциальных кандидатов (CE) из базы данных.
2. Извлечение признаков: Feature Extractor сравнивает атрибуты O с атрибутами каждого CE. Вычисляется кросс-произведение атрибутов и применяется набор Predicates для генерации Feature Value Pairs.
3. Ансамблевое прогнозирование: Пары признаков подаются на вход K различным предикторам (Logistic Regression Models). Каждый предиктор выдает свой ранжированный список кандидатов.
4. Выбор потенциального совпадения: Potential Match Candidate Selector проводит голосование. Кандидат, занявший первое место у наибольшего числа предикторов, выбирается как Потенциальный Кандидат (CEt).
5. Генерация вектора кортежей: Tuple Vector Generator создает вектор для CEt, содержащий пары (Оценка, Ранг) от каждого из K предикторов.
6. Мета-классификация: Tuple Vector подается на вход SVM. SVM вычисляет итоговую Class Probability Score (S_SVM).
7. Принятие решения: Система сравнивает S_SVM с порогом C.
   • Если S_SVM > C: Система определяет, что O соответствует CEt.
   • Если S_SVM <= C: Совпадений не найдено.

Процесс Б: Обучение системы (Offline)

1. Сбор обучающих данных: Идентифицируются тестовые объекты с уникальными идентификаторами (например, UPC), для которых точно известно совпадение (Strongly Matched Offers). Генерируются наборы кандидатов (положительные и отрицательные примеры).
2. Специализированное обучение предикторов (Variable K): Каждый предиктор обучается на сбалансированных данных. Ключевая особенность: для обучения каждого предиктора используется разное количество (K) топовых отрицательных примеров (например, K=2, 5, 10, 20, 40). Это создает специализацию моделей.
3. Обучение SVM: На валидационных данных (Held-out Validation Data) генерируются Tuple Vectors на основе выходов обученных предикторов. SVM обучается на этих векторах распознавать паттерны успешного сопоставления.

Какие данные и как использует

Данные на входе

Система фокусируется на анализе атрибутов объектов.

• Контентные и Структурные факторы (Атрибуты товара): Система использует все доступные атрибуты. Примеры, упомянутые в патенте:
  • Title (Название)
  • Description (Описание)
  • Header/Brand (Бренд)
  • Model (Модель)
  • Part Number (Артикул/MPN)
  • Universal Product Identifier / UPC (Универсальный код продукта/GTIN).

Какие метрики используются и как они считаются

• Likelihood Scores (Оценки вероятности): Вычисляются каждым предиктором (логистической регрессией). Диапазон [0, 1].
• Ranks (Ранги): Позиция кандидата в отсортированном списке предиктора.
• Class Probability Score: Итоговая оценка SVM. Описано преобразование расстояния от гиперплоскости SVM в вероятность с помощью сигмоидной функции: 1 / (1 + exp(distance from hyperplane)).
• Threshold C (Порог C): Предварительно определенное значение (например, 0.5) для принятия финального решения.

Методы анализа и ML:

• Feature Engineering: Используется метод кросс-произведения (cross-product) атрибутов объекта, атрибутов кандидата и набора предикатов (Predicates).
• Predicates: Специфические тесты сравнения: Assertion Test, One Token Match, One Bigram Match, Normalized Identifier.
• Ensemble Learning: Использование ансамбля моделей.
• Logistic Regression: Базовые предикторы.
• Support Vector Machine (SVM): Мета-классификатор. Упоминается использование ядер RBF (RBF Kernel).

Выводы

1. Сложная архитектура для Entity Resolution: Google использует не простое сравнение атрибутов, а сложную двухуровневую ML-архитектуру (Ансамбль + SVM) для сопоставления товаров. Это указывает на сложность задачи и важность точности для Google.
2. Специализация через разнообразное обучение (Variable K): Ключевая инновация — обучение предикторов в ансамбле на разном количестве (K) сложных негативных примеров. Это создает специализированные модели, позволяя ансамблю эффективно обрабатывать разные уровни неоднозначности данных.
3. Мета-анализ решений: SVM не просто усредняет результаты. Она анализирует паттерн согласия/несогласия между предикторами, закодированный в Tuple Vector (включая как оценки, так и ранги). Это позволяет системе доверять результату, только если специализированные модели пришли к консенсусу определенным образом.
4. Детальное сравнение атрибутов: Механизм извлечения признаков через кросс-произведение и использование Predicates (например, совпадение биграмм) показывает, что система детально анализирует, какие именно атрибуты и каким образом совпадают, а не полагается на общее сходство.
5. Приоритет точности (Precision): Архитектура системы и использование порога принятия решения направлены на минимизацию ложноположительных срабатываний (ошибочных склеек товаров), что критически важно для качества каталога.

Практика

Best practices (это мы делаем)

Рекомендации применимы для специалистов по E-commerce SEO и оптимизации товарных фидов (Google Merchant Center).

• Обеспечение точности уникальных идентификаторов: Критически важно предоставлять корректные и валидные уникальные идентификаторы (GTIN/UPC/EAN, Бренд, MPN). В патенте UPC используются для создания эталонных обучающих данных (Strongly Matched Offers), что подчеркивает их значимость для системы.
• Максимальная полнота и структурированность данных: Заполняйте как можно больше релевантных атрибутов в товарном фиде. Система анализирует кросс-произведение всех атрибутов. Чем больше данных предоставлено, тем больше информации доступно для Feature Extractor.
• Консистентность и чистота наименований: Используйте четкие и консистентные Titles и Descriptions. Система применяет предикаты, такие как One Token Match и One Bigram Match, для сравнения текстовых полей. Четкие формулировки без «мусора» помогают системе находить точные совпадения.
• Четкое разграничение товаров и аксессуаров: Патент упоминает проблему схожести описаний аксессуаров и основных продуктов. Необходимо четко разграничивать их в фиде, используя уникальные идентификаторы и названия, чтобы помочь системе их различить.

Worst practices (это делать не надо)

• Предоставление неполных или «шумных» данных: Отсутствие ключевых атрибутов (Бренд, Модель) или использование нерелевантной информации в полях заставляет систему полагаться на менее надежные признаки, увеличивая риск ошибки сопоставления или отказа.
• Использование некорректных или чужих GTIN/MPN: Предоставление ложных идентификаторов может привести к неправильному сопоставлению товара (ложноположительное срабатывание) или его отклонению, так как система не сможет верифицировать данные.
• Неоднозначные названия товаров (Keyword Stuffing): Включение в Title информации, не относящейся к идентификации товара (например, условий доставки или спама), усложняет работу Predicates и снижает точность сопоставления.

Стратегическое значение

Патент подтверждает, что для успеха в E-commerce на платформе Google фундаментальное значение имеет качество и структурированность продуктовых данных. Это не алгоритм ранжирования, который можно оптимизировать ссылками; это система валидации и нормализации данных. Если данные не проходят этот этап высокоточного сопоставления, товар не получит должной видимости. Стратегия должна фокусироваться на управлении данными о продуктах (Product Information Management, PIM) как на ключевом элементе SEO для E-commerce.

Практические примеры

Сценарий: Сопоставление сложного электронного устройства в Merchant Center

1. Входящее предложение (Offer): Продавец загружает фид с товаром: Title: «Ноутбук Dell XPS 15 9500 Core i7 16GB RAM 1TB SSD Серебристый», Brand: «Dell», GTIN: указан корректно, MPN: не указан.
2. Генерация кандидатов: Система находит в каталоге несколько похожих моделей Dell XPS 15.
3. Извлечение признаков: Система применяет Predicates. One Token Match находит совпадения «Dell», «XPS», «15», «9500». GTIN также сравнивается (например, через Normalized Identifier).
4. Ансамблевое прогнозирование: Предикторы анализируют признаки. Модели с низким K (например, K=2) могут быть очень уверены в совпадении благодаря GTIN и совпадению ключевых токенов. Модели с высоким K (K=40) также дают высокую оценку, так как отличающихся признаков мало.
5. SVM Классификация: Tuple Vector показывает высокий консенсус среди всех предикторов (высокие оценки, ранг 1). SVM выдает высокую Class Probability Score (например, 0.95).
6. Результат: Несмотря на отсутствие MPN, система точно сопоставляет предложение с нужной моделью в каталоге благодаря комбинации других сильных признаков и консенсусу ансамбля.

Вопросы и ответы