Как Google извлекает цены и изображения товаров с веб-страниц для Google Shopping

Термины и определения

Attribute Processor (Обработчик атрибутов)

Компонент поисковой системы, отвечающий за идентификацию и извлечение определенных атрибутов товара (цена, изображение, SKU и т.д.) из документа.

Shopping Document / Shopping Article (Торговый документ)

Документ (например, веб-страница), который представляет товары для продажи и позволяет их приобрести посредством взаимодействия с этим документом или связанными с ним.

Price Signal (Сигнал цены)

Характеристика потенциальной цены в документе, используемая для оценки вероятности того, что это действительная цена товара. Включает форматирование, размер шрифта, начертание, окружающие слова и метрики близости.

Image Signal (Сигнал изображения)

Характеристика потенциального изображения в документе. Включает тип файла, размер, соотношение сторон (aspect ratio), частоту использования (occurrence value) и метрики близости.

Proximity Metric (Метрика близости)

Способ измерения расстояния между элементами (например, термином запроса, ценой, изображением) в документе. Может включать количество слов между элементами (Distance Metrics) или структурное расстояние в дереве документа (Structure Metrics).

Tree Structure (Древовидная структура)

Иерархическая структура документа, например HTML DOM-дерево.

Closest Common Ancestor (Ближайший общий предок)

В древовидной структуре это ближайший узел, который является предком для двух рассматриваемых элементов (например, цены и изображения). Используется для оценки их структурной близости.

Price Representation Score (Оценка представления цены)

Метрика, оценивающая, насколько хорошо текстовый фрагмент выглядит как цена (например, наличие символа валюты, числа, десятичного разделителя и двух цифр после него).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод автоматического извлечения и отображения информации о товаре.

1. Система получает поисковый запрос о товаре и ищет в индексе статей, описывающих товары для продажи.
2. Идентифицируется набор релевантных статей.
3. Из каждой статьи извлекается цена и изображение товара:
4. Извлечение цены:
   • Идентифицируется потенциальная цена в первой статье.
   • Идентифицируется связанный с ней price signal.
   • На основе proximity metric определяется, указывает ли price signal на то, что это действительная цена товара.
   • При положительном решении цена извлекается.
5. Извлечение изображения:
   • Изображение автоматически выбирается и извлекается из первой статьи на основе извлеченной цены (т.е. используется локация цены для поиска изображения).
6. Процесс повторяется для других статей.
7. Отображается объединенный набор результатов с извлеченными ценами и изображениями.

Claim 10 (Зависимый): Детализирует процесс извлечения изображения.

Потенциальное изображение идентифицируется на основе извлеченной цены. Затем идентифицируется image signal, связанный с этим изображением. Система определяет, указывает ли image signal на то, что это действительное изображение товара, и если да, извлекает его.

Claims 14, 15, 16 (Зависимые): Уточняют использование древовидной структуры HTML для анализа близости.

Метрики (image signals или price signals) могут включать: расстояние до closest common ancestor между ценой/изображением и термином запроса; количество узлов в наименьшем поддереве (smallest tree), содержащем цену, изображение и термин запроса; глубину этого наименьшего поддерева.

Claim 20 (Зависимый): Описывает процесс ранжирования потенциальных атрибутов.

Выбирается несколько потенциальных цен и изображений. Выбор основывается на терминах запроса и расстоянии между локациями цен и изображений внутри статьи. Создается ранжированный список потенциальных цен и изображений, причем те пары, которые расположены ближе друг к другу в статье, ранжируются выше.

Где и как применяется

Изобретение в первую очередь применяется на этапе индексирования для извлечения структурированных данных из контента.

CRAWLING – Сканирование и Сбор данных
На этом этапе система собирает необработанные HTML-документы. Патент упоминает, что идентификация shopping documents может происходить во время или после сканирования.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Attribute Processor анализирует собранные документы для выполнения двух ключевых задач:

1. Классификация документов: Определение, является ли страница shopping document, путем поиска механических признаков (строки в формах/ссылках) и представлений цен.
2. Извлечение информации (Information Extraction): Анализ структуры HTML (DOM-дерева), форматирования и контента для извлечения структурированных атрибутов товара (цена, изображение). Это включает расчет метрик близости и оценок сигналов.

METASEARCH – Метапоиск и Смешивание
Извлеченные структурированные данные используются для формирования специализированной выдачи по товарам (например, Google Shopping) или обогащенных сниппетов в основной выдаче.

Входные данные:

• Необработанный HTML-документ.
• Термины запроса (используются как контекст для определения релевантности и как опорные точки для измерения близости).

Выходные данные:

• Классификация документа (shopping document или нет).
• Структурированные данные о товаре: цена, изображение, возможно, другие атрибуты (SKU, версия).

На что влияет

• Конкретные типы контента: Влияет исключительно на страницы электронной коммерции, в частности, на страницы с описанием товаров (PDP) и, возможно, страницы категорий (PLP), если они содержат цены и изображения конкретных товаров.
• Специфические запросы: Влияет на обработку коммерческих запросов, направленных на покупку конкретного товара.
• Конкретные ниши или тематики: Наибольшее влияние в E-commerce и ритейле.

Когда применяется

• Условия применения: Алгоритм применяется к документам, которые предварительно классифицированы как shopping documents.
• Триггеры активации: Активация процесса извлечения происходит при обработке торгового документа, который признан релевантным определенному товару (либо в ответ на запрос пользователя, либо во время упреждающего индексирования).

Пошаговый алгоритм

Этап 1: Идентификация торгового документа

1. Анализ механических признаков: Поиск специфических строк ("add to cart", "checkout") в URL, параметрах или значениях элементов HTML-форм (<FORM>, <INPUT>, <IMAGE>) или тегов <A>.
2. Анализ представления цен: Поиск текстовых фрагментов, соответствующих формату цены (например, $15.89).
3. Классификация: Если признаки обнаружены, документ помечается как shopping document.

Этап 2: Извлечение атрибутов (для релевантного товара)

1. Определение опорных точек: Идентификация расположения названия товара (часто соответствующего терминам запроса) в документе.
2. Идентификация потенциальных цен:
   • Поиск кандидатов на роль цены в документе.
   • Расчет Price Signals для каждого кандидата: Price Representation Score, размер и начертание шрифта, предшествующие/последующие слова.
   • Расчет метрик близости к опорным точкам (названию товара).
3. Идентификация потенциальных изображений:
   • Поиск кандидатов на роль изображения товара.
   • Расчет Image Signals: размер, соотношение сторон, частота использования (для исключения логотипов).
   • Расчет метрик близости к опорным точкам (названию товара) И к потенциальным ценам.
4. Выбор и ранжирование атрибутов:
   • Система составляет список потенциальных цен и изображений.
   • Ранжирование пар (цена + изображение) осуществляется с предпочтением тех пар, которые расположены ближе друг к другу в структуре документа (например, имеют более близкого общего предка или находятся в меньшем общем поддереве).
5. Извлечение: Выбираются и извлекаются наиболее высоко ранжированные цена и изображение.

Какие данные и как использует

Данные на входе

• Контентные факторы:
  • Слова, непосредственно предшествующие цене (положительные: "our price", "sale price"; отрицательные: "starting at", "save", "rebate", "shipping").
  • Слова, следующие за ценой (например, аббревиатуры стран "US").
• Технические факторы:
  • URL-адреса ссылок и форм анализируются на наличие строк, указывающих на покупку.
• Структурные факторы:
  • HTML структура (DOM-дерево) используется для расчета метрик близости.
  • Элементы форм (<FORM>, <INPUT>) и ссылок (<A>).
  • Форматирование текста: размер шрифта (большой размер предпочтителен для цены), начертание шрифта (например, зачеркнутый шрифт strikethrough может указывать на неактуальную цену).
• Мультимедиа факторы:
  • Тип файла изображения (.gif, .jpeg, .jpg).
  • Размер изображения (слишком большие или слишком маленькие могут быть исключены).
  • Соотношение сторон (aspect ratio) изображения (необычные соотношения могут указывать на логотипы или баннеры).
  • Частота использования изображения (frequency of occurrence) в документе или сети (частое использование может указывать на логотип).

Какие метрики используются и как они считаются

• Price Representation Score: Оценка того, насколько текстовый фрагмент соответствует ожидаемому формату цены.
• Метрики близости (Proximity Metrics) (рассчитываются между терминами запроса, потенциальными ценами и потенциальными изображениями):
  • Количество слов между элементами (Distance Metric).
  • Расстояние от элемента до closest common ancestor в дереве документа (Structure Metric).
  • Глубина наименьшего дерева (smallest tree), содержащего оба элемента (Structure Metric).
  • Количество узлов в наименьшем дереве, содержащем оба элемента (Structure Metric).
• Occurrence Value (Значение частоты использования): Метрика для изображений, основанная на частоте их появления в документе и в сети (Global Information).

1. Google может извлекать структурированные данные без разметки: Патент демонстрирует сложный механизм для понимания страниц E-commerce и извлечения атрибутов товаров (цены, изображения) непосредственно из неструктурированного HTML, не полагаясь исключительно на фиды данных или микроразметку.
2. Структура HTML и близость элементов критичны: Ключевым фактором для корректного извлечения является физическая и структурная близость названия товара, цены и изображения в коде страницы. Google анализирует DOM-дерево (Tree Structure) и использует метрики, такие как Closest Common Ancestor, чтобы определить, какие элементы связаны между собой.
3. Форматирование имеет значение: Визуальное представление атрибутов используется как сигнал. Например, большой размер шрифта цены является положительным сигналом (Price Signal), а зачеркнутый шрифт — отрицательным.
4. Взаимозависимость атрибутов при извлечении: Система использует один атрибут для подтверждения другого. Например, нахождение достоверной цены помогает определить правильное изображение товара, и наоборот. Предпочтение отдается парам атрибутов, расположенным близко друг к другу.
5. Идентификация намерений страницы: Google активно пытается отличить страницы продажи от информационных страниц (обзоров), анализируя "механические" элементы (формы, ссылки с "add to cart"), а не только контент.
6. Отличие товара от шума: Система использует глобальную информацию (например, соотношение сторон и частоту использования изображения) для отличия реальных фотографий товара от логотипов, баннеров или иконок.

Best practices (это мы делаем)

• Обеспечьте тесную структурную связь между ключевыми элементами товара: Название товара (H1), основное изображение и цена должны быть расположены максимально близко друг к другу в HTML-коде. В идеале они должны находиться в одном родительском контейнере с минимальным количеством промежуточных узлов (иметь близкого Closest Common Ancestor).
• Используйте чистое и очевидное форматирование цен: Цена должна быть представлена текстом (не изображением) и соответствовать стандартному формату (например, $19.99). Используйте заметный размер шрифта для основной цены.
• Разделяйте основную и старую цену: Если товар на скидке, убедитесь, что система может отличить текущую цену от старой (зачеркнутой). Текущая цена должна быть более заметной и не иметь отрицательных Price Signals (таких как слова "Save" или "Rebate" в непосредственной близости).
• Оптимизируйте главные изображения товаров: Используйте изображения с адекватным размером и стандартным соотношением сторон. Главное изображение товара не должно использоваться повторно на той же странице в качестве декоративного элемента или иконки, чтобы не снижать его уникальность (Occurrence Value).
• Используйте явные сигналы покупки в коде: Убедитесь, что функциональные элементы, такие как кнопка "Добавить в корзину", содержат соответствующие текстовые строки ("add to cart", "checkout") в коде (в тексте, URL или параметрах формы), чтобы помочь системе классифицировать страницу как Shopping Document.

Worst practices (это делать не надо)

• Сложные макеты, разделяющие атрибуты товара: Использование JavaScript или сложных CSS-макетов (например, Flexbox/Grid с измененным порядком отображения), которые приводят к тому, что цена и изображение визуально находятся рядом, но в DOM-дереве разделены множеством узлов (например, сайдбарами, блоками рекомендаций).
• Использование изображений вместо текста для цен: Это делает невозможным извлечение цены с помощью описанного механизма.
• Неоднозначное представление цены: Акцентирование внимания на размере скидки или экономии больше, чем на фактической цене продажи. Использование формулировок типа "От $X.XX" для основного товара (если это не вариант товара).
• Использование нестандартных изображений товара: Использование изображений с очень странным соотношением сторон или изображений, которые выглядят как баннеры или логотипы, в качестве главного фото товара.

Стратегическое значение

Патент подчеркивает важность технического SEO и чистой структуры кода для E-commerce. Хотя использование структурированных данных (Schema.org/Product) является современной рекомендуемой практикой для передачи атрибутов товара Google, этот патент показывает, что у Google есть мощные механизмы для извлечения этой информации самостоятельно. Стратегия SEO должна включать оптимизацию структуры шаблонов страниц товаров (PDP) для обеспечения надежного резервного механизма извлечения данных, гарантируя корректное представление товаров в Google Shopping и других сервисах.

Практические примеры

Сценарий: Оптимизация шаблона страницы товара (PDP)

Проблема: Товар не появляется в Google Shopping, или отображается неверная цена/изображение. Анализ показывает, что в текущем HTML-шаблоне между H1 товара и ценой вставлен большой блок "Похожие товары".

Применение патента:

1. Анализ структуры: Понимая, что Google использует Proximity Metrics и Closest Common Ancestor, мы видим, что блок "Похожие товары" увеличивает структурное расстояние между названием и ценой.
2. Действие: Изменить порядок блоков в HTML-коде. Переместить блок "Похожие товары" ниже блока с ценой и кнопкой "Добавить в корзину".
3. Результат: Название, изображение и цена теперь структурно связаны (находятся в меньшем общем поддереве). Это увеличивает вероятность того, что Attribute Processor корректно идентифицирует и извлечет правильные атрибуты, так как Price Signals и Image Signals стали сильнее за счет улучшенных метрик близости.