Как Google автоматически определяет и проверяет атрибуты, бренды и категории товаров, анализируя веб-контент и поведение пользователей

Термины и определения

Components (Компоненты)

Слова или фразы, полученные путем разбиения (granulizing) текстового контента или поисковых запросов.

Structural Parameters (Структурные параметры)

Информация о классификации продукта. Примеры: тип продукта, бренд, производитель, атрибут продукта (например, цвет, материал), продавец (ритейлер), линейка продуктов (product line), скидка.

Contextual Similarity (Контекстуальное сходство)

Мера близости между двумя классифицированными группами семантически или несемантически схожих компонентов в векторном пространстве. Используется для определения того, подходит ли компонент под определенный Structural Parameter. Измеряется методами вроде Евклидова расстояния или косинусного угла.

Click Distribution (Распределение кликов)

Анализ того, как часто пользователи кликают на результаты по запросам, содержащим определенные комбинации компонентов (например, Бренд-Атрибут-Категория). Используется для валидации атрибутов и линеек продуктов на основе смещения (skewness) кликов.

Component Tags (Теги компонентов)

Механизм маппинга, связывающий ключевые слова в базе данных с их Structural Parameters, а также с другой информацией о продукте (URL, изображения, описания).

Key Words (Ключевые слова)

Валидированные Components, хранящиеся в Product Database.

Targeted Web-Crawling (Целевой веб-краулинг)

Специализированный краулинг, направленный на поиск конкретной информации для валидации. Например, поиск фраз, содержащих паттерн «is a» или «is an».

Smart Learning Software (ПО для умного обучения)

Автоматическое ПО, используемое для обнаружения новых Structural Parameters, если компонент не соответствует существующим, но постоянно появляется в определенном контексте.

Ключевые утверждения (Анализ Claims)

Claim 20 (Независимый пункт): Описывает процесс майнинга (индексирования) классификационных структур из текстового контента.

1. Система получает текстовый контент.
2. Идентифицируется совпадение между частью контента и существующим ключевым словом, у которого есть ассоциированный Structural Parameter.
3. Система проверяет Contextual Similarity между совпадением и структурным параметром. Ключевой механизм: Эта проверка включает парсинг веб-контента с использованием контекстуальной фразы (contextual phrase), которая содержит этот структурный параметр.
4. Если проверка пройдена, система классифицирует полученный текстовый контент этим структурным параметром.
5. Контент и его параметр сохраняются в Product Database.

Ядро изобретения в процессе индексации — это активная валидация. Система не просто принимает классификацию от источника, а проверяет ее, анализируя, как этот термин используется в вебе в связке со структурным параметром. Например, чтобы проверить, является ли «Nikon» производителем, система ищет в вебе фразы, содержащие и «Nikon», и контекст «производителя».

Claim 1 (Независимый пункт): Описывает процесс обработки поискового запроса.

1. Система поддерживает Product Database.
2. Получается поисковый запрос.
3. Идентифицируется совпадение между частью запроса и ключевым словом в базе.
4. Structural Parameter ключевого слова ассоциируется с частью запроса.
5. Система проверяет Contextual Similarity между частью запроса и структурным параметром (используя тот же механизм парсинга веб-контента с предопределенной контекстуальной фразой).
6. Если сходство подтверждено, извлекаются данные о продуктах (названия, URL).
7. Отображается результат поиска, организованный по идентифицированным Structural Parameters.

Claim 5 (Независимый пункт): Аналогичен Claim 1, но фокусируется на генерации поисковых подсказок/связанных запросов.

Процесс идентичен Claim 1, включая проверку Contextual Similarity. Результатом является генерация страницы результатов, содержащей поисковые подсказки (search suggestions), сгруппированные по этим Structural Parameters. (Это описывает блок «Related searches», сгруппированный по Брендам, Типам и т.д.).

Где и как применяется

Изобретение охватывает несколько этапов поисковой архитектуры, связанных с вертикалью поиска товаров (Product Search/Google Shopping).

CRAWLING – Сканирование и Сбор данных
Система использует как общий, так и целевой (targeted) краулинг. Общий краулинг собирает данные о продуктах. Целевой краулинг используется для валидации: система специально ищет контекстуальные фразы (например, «[X] это [Y]»), чтобы подтвердить классификацию.

INDEXING – Индексирование и извлечение признаков
Основной этап майнинга структур. Здесь происходит:

• Анализ собранного контента, структуры URL и логов запросов.
• Идентификация потенциальных Structural Parameters.
• Валидация параметров с использованием Contextual Similarity, анализа кликов (Click Distribution) и целевого краулинга.
• Построение Product Database.

QUNDERSTANDING – Понимание Запросов
Запрос разбивается на компоненты, которые сопоставляются с Product Database для понимания его структуры (например, Бренд + Атрибут + Тип продукта).

RANKING / METASEARCH (В рамках вертикали товаров)
Система использует извлеченные структурированные данные для формирования выдачи. Результаты (списки товаров) и поисковые подсказки (фасеты/связанные запросы) организуются и группируются на основе идентифицированных Structural Parameters.

На что влияет

• Конкретные типы контента: В первую очередь влияет на E-commerce контент: страницы товаров (PDP), листинги (PLP), обзоры продуктов, блоги о товарах.
• Специфические запросы: Коммерческие и информационные запросы, связанные с товарами, особенно те, которые содержат атрибуты (например, «флисовая куртка north face», «ботинки со стальным носком»).
• Конкретные ниши или тематики: Все ниши E-commerce.

Когда применяется

Алгоритмы майнинга работают постоянно в офлайн-режиме для обновления Product Database. Алгоритмы обработки запросов применяются в реальном времени при получении продуктового запроса.

Триггеры активации (Валидация):

• Обнаружение нового текстового контента краулером.
• Получение поискового запроса, компоненты которого не имеют подтвержденной классификации (активирует целевой краулинг).
• Изменение распределения кликов по существующим запросам.

Пошаговый алгоритм

Процесс А: Майнинг и Индексирование структур (Офлайн/Периодический)

1. Сбор данных: Запуск веб-краулеров (общих или целевых) или получение данных из логов/фидов.
2. Идентификация и Гранулизация: Обнаружение нового контента и его разбиение на компоненты.
3. Сопоставление с существующими структурами: Попытка валидировать новые компоненты на соответствие существующим Structural Parameters.
4. Проверка контекстуального сходства и Валидация: Определение, соответствует ли новый контент контексту параметров. Это включает:
   • Анализ структуры URL (например, /category/attribute.html).
   • Анализ распределения кликов (проверка критериев для Атрибутов и Линеек продуктов).
   • Целевой краулинг для поиска подтверждающих контекстуальных фраз (например, «is a»).
   • Консенсус между различными источниками.
5. Обновление базы данных (Если соответствует): Если контент соответствует существующей структуре, Product Database обновляется.
6. Генерация новой структуры (Если не соответствует): Если контент не соответствует, но демонстрирует устойчивые связи (Smart Learning), инициируется создание нового Structural Parameter.
7. Валидация новой структуры: Проверка нового параметра (как в шаге 4).
8. Обновление базы данных (Новая структура): Если структура валидирована, она добавляется в Product Database.

Процесс Б: Обработка поискового запроса (Реальное время)

1. Получение и Гранулизация запроса: Система получает запрос и разбивает его на компоненты.
2. Валидация компонентов: Компоненты сопоставляются с Key Words в Product Database.
3. Проверка контекстуального сходства: Определяется, соответствуют ли компоненты запроса контексту ключевых слов.
4. Извлечение параметров (Если соответствует): Извлекаются Structural Parameters и данные о продуктах (URL, изображения).
5. Генерация SERP: Создается страница результатов. Продукты и/или поисковые подсказки организуются в соответствии с извлеченными Structural Parameters.
6. Инициация майнинга (Если не соответствует): Если компоненты запроса не соответствуют базе, они могут быть переданы в Процесс А для целевого краулинга и анализа. Может быть выдан альтернативный результат или ошибка.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текстовый контент веб-страниц (описания, обзоры, блоги, новости). Система ищет специфические фразы (например, «is a», «is an») для валидации.
• Технические факторы: URL-структура (используется для извлечения классификации из иерархии папок). Мета-теги.
• Поведенческие факторы: Логи поисковых запросов (product logs), данные о кликах (web clicks), распределение кликов (click distribution), впечатления (impressions).
• Структурные факторы: Сайтмапы, продуктовые фиды (product search feeds).

Какие метрики используются и как они считаются

• Contextual Similarity (Контекстуальное сходство): Измеряется как расстояние или угол между компонентами в многомерном векторном пространстве. Упоминаются методы: Euclidean distance, vector modeling, cosine angle distance. Также упоминаются методы подгонки (fitting methods) вроде Least Square Fitting (LSF) для определения значимости связи.
• Валидация Атрибута (Attribute Validation): Метрика основана на двух условиях:
  1. Количество брендов, связанных с парой Атрибут-Категория (должно быть много).
  2. Распределение кликов для запросов Бренд-Атрибут-Категория не должно быть перекошено (not skewed) в сторону одного бренда.
• Валидация Линейки Продуктов (Product Line Validation): Метрика основана на условии:
  1. Распределение кликов для запросов Фраза-Линейка-Категория должно быть сильно перекошено (skewed) в сторону одного слова/фразы (которое является Брендом).
• Валидация на основе трафика: Измерение интернет-трафика (впечатлений и кликов). Высокий уровень кликов подтверждает валидность классификации.
• Консенсус (Consensus): Если определенный процент продавцов/источников классифицирует продукт схожим образом, классификация считается валидной.

1. Автоматизация структурирования E-commerce данных: Google активно строит независимый, структурированный индекс товаров, автоматически извлекая и валидируя Structural Parameters (бренды, атрибуты, линейки) из неструктурированного контента и поведения пользователей.
2. Валидация через контекст и поведение критична: Система не доверяет одному источнику. Валидация основана на Contextual Similarity, которая проверяется несколькими методами: консенсус источников, целевой краулинг и анализ поведения пользователей.
3. Целевой краулинг для подтверждения классификации: Система активно ищет в интернете подтверждающие фразы (например, паттерн «is a»), чтобы валидировать связь между термином и его классификацией.
4. Конкретные правила на основе кликов (Click Distribution): Патент предлагает четкие правила для различения общих атрибутов и специфичных линеек продуктов, основанные на анализе того, как распределяются клики пользователей между брендами.
5. Использование URL как источника структуры: Структура URL (иерархия категорий) явно используется как источник информации для классификации продуктов.
6. Самообучение (Smart Learning): Система способна идентифицировать и валидировать новые типы классификации или атрибуты, если они постоянно встречаются в определенном контексте.

Best practices (это мы делаем)

• Использование явного языка для классификации (Поддержка целевого краулинга): Активно используйте в контенте (PDP, блоги, обзоры) фразы, которые явно определяют отношения между терминами. Ориентируйтесь на паттерн «is a»/«является». Пример: «[Бренд X] является производителем...», «[Название линейки] — это новая линейка продуктов от [Бренд X]». Это дает системе явные сигналы для валидации.
• Обеспечение консистентности информации (On-Site и Off-Site): Убедитесь, что информация о продукте (атрибуты, бренды, линейки) последовательна на вашем сайте и соответствует данным на авторитетных внешних ресурсах (обзоры, блоги, сайты производителей). Google использует консенсус для валидации.
• Логичная и описательная структура URL: Используйте четкую иерархию в URL, отражающую классификацию продукта (например, /category/subcategory/attribute.html). Патент подтверждает, что Google извлекает информацию о классификации из структуры URL.
• Четкое разграничение атрибутов и линеек продуктов: Понимайте разницу в валидации. Для линеек продуктов убедитесь, что они четко ассоциируются с вашим брендом в контенте и внешних упоминаниях, чтобы соответствовать критерию смещения кликов (skewed click distribution).
• Оптимизация под поведенческие сигналы: Создавайте релевантный контент и привлекательные сниппеты. Высокие показатели кликов (CTR) по вашим результатам помогают валидировать правильность классификации ваших товаров в Product Database Google.

Worst practices (это делать не надо)

• Непоследовательная или нестандартная классификация: Использование уникальных систем категоризации или названий атрибутов, которые не используются другими участниками рынка. Это затруднит валидацию через консенсус и Contextual Similarity.
• Игнорирование структуры URL: Использование неинформативных URL (например, /product?id=123) лишает Google важного источника данных для понимания структуры продукта.
• Манипулирование атрибутами: Попытки представить общие атрибуты как уникальные линейки продуктов или наоборот. Анализ Click Distribution по всему интернету может выявить такие несоответствия, что приведет к неудачной валидации.
• Использование терминов без контекста: Размещение ключевых слов (атрибутов, брендов) без достаточного контекстного окружения усложняет расчет Contextual Similarity и валидацию.

Стратегическое значение

Патент подтверждает стратегию Google по созданию стандартизированного индекса товаров. Для E-commerce проектов это означает, что контроль над интерпретацией их товаров смещается от данных продавца к общему консенсусу в интернете и поведению пользователей. Долгосрочная стратегия должна включать построение сильного бренда и обеспечение широкого, последовательного и авторитетного освещения продуктов во всей экосистеме (PR, обзоры, контент-маркетинг), а не только оптимизацию собственного сайта.

Практические примеры

Сценарий 1: Валидация новой линейки продуктов (использование Click Distribution и Контента)

Компания «BrandA» запускает новую линейку курток «AquaBlock».

1. Действие (Контент/PR): Создать лендинг и разослать пресс-релизы, акцентируя внимание на связи: «AquaBlock — это новая линейка водонепроницаемых курток от BrandA». Цель – добиться появления в авторитетных источниках фраз, подтверждающих эту связь (для целевого краулинга).
2. Действие (Маркетинг): Сфокусировать маркетинговые усилия на связке «AquaBlock» и «BrandA».
3. Механизм Google (Патент):
   • Система анализирует Click Distribution. Если пользователи, ищущие «AquaBlock куртки», преимущественно кликают на результаты, связанные с «BrandA» (перекос распределения).
   • Система проводит целевой краулинг и находит подтверждающие фразы.
4. Результат: «AquaBlock» валидируется как Structural Parameter: Product Line для бренда «BrandA», улучшая релевантность выдачи по запросам линейки.

Сценарий 2: Валидация нового Атрибута

Появился новый материал «DynaWeave» для ботинок.

1. Действие (Контент): На странице продукта и в обзорах использовать контекстные фразы: «Ботинки изготовлены из материала DynaWeave»; «DynaWeave является новым типом ткани...» (паттерн «is a»).
2. Механизм Google (Патент): Система проведет целевой краулинг и найдет эти упоминания. Если другие производители также начнут использовать этот материал, и клики будут распределены между ними (без перекоса), Google валидирует его как Structural Parameter: Attribute.
3. Результат: В выдаче может появиться фильтр или подсказка по материалу «DynaWeave».