Как Google использует атрибуты и метки от владельцев контента для структурирования данных и динамической фильтрации результатов поиска (Google Base)

Термины и определения

Attribute (Атрибут)

Пара имя/значение, описывающая характеристику элемента данных. Например, "Price": "150". Атрибуты могут иметь типы: STRING, INT, DATE, LOCATION, URL и т.д.

Attribute Promotion (Продвижение атрибутов)

Автоматический процесс, при котором система идентифицирует популярные пользовательские атрибуты и добавляет их в набор Core Attributes.

Bulk Upload (Массовая загрузка)

Механизм загрузки большого количества элементов данных и их атрибутов, например, через TSV-файлы, RSS-фиды или FTP.

Core Attributes (Основные атрибуты)

Набор атрибутов, которые автоматически предлагаются поставщику при добавлении нового элемента определенного Information Type. Этот набор может эволюционировать автоматически.

Information Type (Тип информации)

Категория элемента данных (например, "Products", "Events", "Housing"). Определяет набор Core Attributes.

Item Rank (Ранг элемента)

Независимая от запроса оценка (Query Independent Rank) элемента. Рассчитывается на основе сигналов поставщика (рейтинг) и сигналов элемента (полнота описания, количество атрибутов, меток, изображений, свежесть).

Label (Метка)

Тег без значения (valueless tag), используемый для классификации элемента. Например, "Medical".

Normalization (Нормализация)

Процесс приведения имен и значений атрибутов к стандартному виду (стемминг, обработка аббревиатур, эквивалентность единиц измерения, исправление ошибок) для улучшения фильтрации.

Popularity Rank (PR) (Ранг популярности атрибута)

Метрика для выбора атрибутов, отображаемых в качестве фильтров. Определяется как: Популярность в результатах запроса * CTR для этого конкретного запроса.

Provider (Поставщик контента)

Сущность (человек или система), загружающая данные и определяющая их атрибуты и метки.

Ключевые утверждения (Анализ Claims)

ВАЖНО: В предоставленном тексте патента (US20130339338A1), который является патентом-продолжением, Claim 1 отменен (canceled). Claims 2-21 фокусируются исключительно на механизме автоматического продвижения атрибутов в статус основных (Core Attributes).

Claim 2 (Независимый пункт): Описывает основной процесс эволюции схемы данных.

1. Система определяет, удовлетворяет ли конкретный атрибут критериям для добавления в набор Core Attributes для элементов определенного Information Type.
2. (Определение Core Attribute: атрибут, который идентифицируется поставщику при добавлении нового элемента этого типа, и для которого запрашивается значение).
3. Если атрибут удовлетворяет критериям, он добавляется в набор Core Attributes.

Это описывает автоматизированный процесс обновления схемы данных (предлагаемых атрибутов) на основе анализа паттернов использования кастомных атрибутов. Если многие поставщики начинают использовать новый атрибут, система автоматически делает его стандартом для этой ниши (краудсорсинг схемы).

Claim 3 (Зависимый от 2): Описывает применение обновленного набора Core Attributes.

Как только атрибут продвигается, он становится частью стандартной формы ввода. Система отправляет ответ поставщику (например, форму), который запрашивает значение для этого нового основного атрибута.

Claims 4, 5, 6 (Зависимые от 2): Определяют критерии (метрики популярности) для продвижения атрибута.

• Claim 4: Критерий основан на том, что атрибут является наиболее часто выбираемым пользователями (для фильтрации) за определенный период времени.
• Claim 5: Критерий основан на том, что атрибут принадлежит элементам, которые наиболее часто появляются в результатах поиска за определенный период времени.
• Claim 6: Критерий основан на том, что атрибут используется в наибольшем количестве вновь добавленных элементов данного типа (принят многими поставщиками).

Google определяет "популярность" для эволюции схемы, используя комбинацию метрик: взаимодействие пользователей, видимость в SERP и скорость принятия индустрией.

Где и как применяется

Изобретение охватывает инфраструктуру для работы со структурированными данными (Google Base и его наследники, например, Merchant Center).

CRAWLING – Сканирование и Сбор данных (Data Acquisition)
Система принимает данные через прямую загрузку от поставщиков (UI, Bulk Upload, FTP, RSS), что является альтернативой традиционному краулингу веб-страниц.

INDEXING – Индексирование и извлечение признаков

• Извлечение признаков: Во время индексации Attributes и Labels извлекаются, нормализуются (Normalization) и сохраняются.
• Расчет оценок: Вычисляется Item Rank (независимая от запроса оценка) на основе полноты предоставленных данных (количество атрибутов, изображений, длина описания и т.д.).
• Офлайн-процессы: Механизм Attribute Promotion работает в офлайн-режиме, анализируя статистику использования атрибутов для эволюции схемы данных (обновления Core Attributes).

RANKING – Ранжирование
Search and Query Engine извлекает элементы, соответствующие запросу. Ранжирование использует как зависимую от запроса оценку (IR score), так и независимую (Item Rank). Формула ранжирования (упомянутая в Description): $Final Score = Query Dependent Rank * Item Rank$.

RERANKING – Переранжирование (Динамическая фильтрация)
Основное применение во время поисковой сессии. Система анализирует атрибуты в наборе результатов ранжирования для определения наиболее популярных (используя Popularity Rank) и представляет их как динамические фильтры (Twiddlers для уточнения). Когда пользователь применяет фильтр, результаты переранжируются (фильтруются).

На что влияет

• Конкретные типы контента и ниши: Влияет в первую очередь на вертикали, основанные на структурированных данных и фидах: E-commerce (Products), Вакансии (Jobs), События (Events), Недвижимость (Housing), Транспорт (Vehicles). Это основа Google Shopping, Google Jobs и т.д.
• Специфические запросы: Влияет на коммерческие и информационные запросы, связанные с поиском конкретных сущностей или объектов, где важны характеристики (например, "красные кроссовки 42 размера", "квартира 2 комнаты у метро").

Когда применяется

• Динамическая фильтрация: Активируется, когда набор результатов поиска содержит достаточное количество элементов со структурированными атрибутами, и когда определенные атрибуты достаточно популярны (по частоте и CTR), чтобы быть полезными для уточнения запроса.
• Продвижение в Core Attributes: Происходит периодически в офлайн-режиме, когда пользовательский (custom) атрибут достигает определенного порога популярности среди поставщиков или пользователей (Claims 4-6).

Пошаговый алгоритм

Процесс А: Обработка запроса и динамическая фильтрация (На основе Description)

1. Получение запроса и ранжирование: Система получает запрос и определяет набор релевантных результатов, используя Item Rank и IR score.
2. Определение релевантных результатов (Порог q): Выбираются 'q' наиболее релевантных результатов.
3. Определение популярных атрибутов (Порог n): Для 'q' результатов определяются 'n' наиболее популярных атрибутов. Популярность (Popularity Rank) учитывает частоту в результатах и историю кликов пользователей (CTR) по этим атрибутам в качестве фильтров.
4. Расчет гистограмм (Порог m): Для 'n' атрибутов определяются гистограммы топ 'm' пар атрибут/значение.
5. Нормализация: Имена атрибутов опционально нормализуются (например, стемминг, синонимы: "brand" и "make" могут быть объединены в зависимости от контекста запроса).
6. Отображение фильтров: Наиболее популярные атрибуты и метки отображаются пользователю вместе с количеством совпадающих элементов (Offer Counts).
7. Уточнение запроса: Пользователь выбирает атрибуты/метки для фильтрации.
8. Переранжирование: Система повторно определяет и отображает результаты в соответствии с выбранными фильтрами.

Процесс Б: Эволюция схемы данных (Promoting Attributes to Core) (На основе Claims)

1. Анализ использования атрибутов: Система анализирует (офлайн), какие новые (пользовательские) атрибуты используются поставщиками для каждого Information Type.
2. Оценка популярности: Определяется популярность этих атрибутов на основе метрик: частота выбора пользователями (Claim 4), частота появления в результатах поиска (Claim 5), частота использования поставщиками (Claim 6).
3. Проверка порога: Определяется, превышает ли популярность атрибута установленный порог.
4. Продвижение в Core: Если порог превышен, атрибут добавляется в набор Core Attributes для данного Information Type.
5. Обновление интерфейса ввода: При следующей загрузке данных этого типа поставщикам будет предложено заполнить этот новый основной атрибут.

Какие данные и как использует

Данные на входе

Система использует данные, предоставленные поставщиками, а также данные о поведении пользователей.

• Структурные факторы (Ключевые): Attributes (пары имя/значение), Labels (метки), Information Type (тип информации). Указаны типы данных атрибутов: BOOLEAN, INT, FLOAT, URL, STRING, LOCATION, DATE, DATE RANGE.
• Контентные факторы: Title (Название), Description (Описание). Явно указано, что поиск ведется по этим полям.
• Мультимедиа факторы: Pictures/Image URLs. Упоминаются как поля ввода и как фактор, влияющий на Item Rank.
• Технические факторы: URL (Link) элемента.
• Поведенческие факторы: Clicks (клики), Impressions (показы), CTR. Используются для определения популярности атрибутов (Popularity Rank) при выборе фильтров для отображения.
• Временные факторы: Recency (свежесть) элемента упоминается как фактор ранжирования.
• Факторы поставщика (Provider Factors): Рейтинг поставщика (Rating of the provider) используется при расчете Item Rank. Также упоминается возможность использования PageRank веб-сайта поставщика.

Какие метрики используются и как они считаются

• Item Rank (Query Independent Rank): Независимая от запроса оценка элемента. Рассчитывается на основе агрегации:
  • Сигналы поставщика (например, рейтинг, PageRank сайта).
  • Сигналы элемента: длина описания (Length of Desc), длина заголовка (Length of Title), количество меток (Number of Labels), количество атрибутов (Number of Attributes), наличие изображений (Pictures), свежесть предложения (Recency), количество жалоб на спам.
• Query Dependent Rank: Стандартная оценка релевантности (IR score).
• Final Score (Итоговая оценка ранжирования): $Query Dependent Rank * Query Independent Rank$ (включая Item Rank).
• Веса при ранжировании: Метки (Labels) имеют больший вес, чем заголовки (Titles), которые имеют больший вес, чем описания (Descriptions). Значения атрибутов (Attribute values) имеют тот же вес, что и метки.
• Popularity Rank (PR) (для атрибутов): Используется для выбора фильтров. $PR = Популярность в результатах запроса * CTR для этого запроса$.

1. Приоритет структурированных данных в вертикальном поиске: Патент демонстрирует инфраструктуру Google для работы с сущностями (товары, вакансии, события) через фиды данных. Это основа современных вертикалей поиска Google (Shopping, Jobs и т.д.).
2. Полнота данных напрямую влияет на ранжирование (Item Rank): В отличие от традиционного SEO, здесь критична структурированная полнота. Элементы с большим количеством атрибутов, меток, изображений и длинным описанием получают более высокий Item Rank, что повышает итоговый Final Score.
3. Вес структурированных данных в ранжировании: Значения атрибутов и метки имеют больший вес при ранжировании, чем заголовки и описания. Это подчеркивает важность точной атрибуции.
4. Динамическая и адаптивная фильтрация: Фильтры в поиске не фиксированы, а генерируются на лету в зависимости от запроса и атрибутов, присутствующих в результатах. Выбор фильтров основан на популярности атрибутов, включая поведенческие факторы (CTR фильтров).
5. Автоматическая эволюция схемы данных (Краудсорсинг): Google автоматически изучает важные атрибуты для каждой ниши, анализируя, какие кастомные атрибуты используют поставщики и пользователи. Популярные атрибуты становятся стандартом (Core Attributes).

Best practices (это мы делаем)

Рекомендации критически важны для E-commerce (Google Shopping) и других вертикалей, использующих фиды данных.

• Максимальная оптимизация фидов данных: Необходимо traktovat фиды (например, Google Merchant Center, фиды вакансий) как основной канал продвижения. Заполняйте все релевантные Core Attributes, предоставляемые Google для вашего Information Type.
• Использование кастомных атрибутов: Активно используйте пользовательские атрибуты (custom attributes), если стандартные не покрывают все важные характеристики вашего продукта/услуги. Это повышает Item Rank за счет полноты данных и увеличивает шансы на попадание под специфические фильтры пользователей.
• Оптимизация контентных полей в фидах: Оптимизируйте Title и Description в фидах. Они используются для расчета Query Dependent Rank (IR score), но помните, что значения атрибутов и метки имеют больший вес.
• Обеспечение полноты данных для повышения Item Rank: Предоставляйте высококачественные изображения (Image URL), полные описания и максимально возможное количество меток (Labels). Все это учитывается в расчете Item Rank.
• Поддержание свежести данных: Регулярно обновляйте фиды. Свежесть (Recency) является фактором в расчете Item Rank. Патент указывает на необходимость обновления фида как минимум раз в 30 дней.
• Соблюдение правил форматирования и нормализации: Строго следуйте требованиям к типам данных (например, не указывайте единицы измерения в числовых полях цены или веса). Неправильный формат может привести к игнорированию атрибута.

Worst practices (это делать не надо)

• Предоставление минимальных данных: Загрузка только обязательных атрибутов снижает Item Rank и ограничивает видимость элемента при использовании фильтров.
• Спам атрибутами и метками (Attribute/Label Stuffing): Добавление нерелевантных атрибутов или меток для манипуляции выдачей. Патент упоминает использование количества жалоб на спам при расчете Item Rank.
• Использование HTML в полях фида: Патент указывает, что HTML не следует включать в поля массовой загрузки для лучшего отображения.
• Нестабильные идентификаторы (ID): Изменение уникального идентификатора элемента при последующих загрузках. Патент требует сохранения одного и того же ID для каждого элемента.

Стратегическое значение

Патент подтверждает стратегический переход Google к поиску на основе сущностей (entity-based search) и критическую роль фидов данных. Успех в таких вертикалях, как Google Shopping, полностью зависит от освоения этой системы, основанной на атрибутах. Он объясняет, как Google структурирует информацию за пределами традиционных веб-страниц и как адаптирует свое понимание различных рынков на основе данных, предоставляемых самими участниками рынка (эволюция Core Attributes).

Практические примеры

Сценарий: Оптимизация товарного фида для интернет-магазина электроники

1. Задача: Повысить видимость и ранжирование ноутбука в Google Shopping.
2. Анализ Core Attributes: Убедиться, что все основные атрибуты для типа "Products" заполнены: Brand, UPC (GTIN), Manufacturer ID (MPN), Price, Condition, Image URL, Title, Description.
3. Повышение Item Rank:
   • Добавить максимальное количество релевантных атрибутов: Memory, Memory Unit, Processor, Processor Unit, Size, Weight.
   • Добавить несколько высококачественных изображений (до 10).
   • Написать детальное описание (Description).
   • Добавить релевантные метки (Labels/Custom Labels): "Laptop", "Gaming", "Ultrabook".
4. Использование Custom Attributes: Если ноутбук имеет специфические характеристики (например, "Touch Bar", "Refresh Rate 144Hz"), добавить их как кастомные атрибуты (например, через product_detail в GMC). Это улучшит полноту данных и позволит фильтровать по ним.
5. Ожидаемый результат: Ноутбук получает более высокий Item Rank, что улучшает его общие позиции в выдаче. Он также становится видимым, когда пользователи применяют динамические фильтры по специфическим характеристикам (RAM, Processor, Refresh Rate).