Как Google контекстуально выбирает изображения и отзывы для локаций на основе атрибутов запроса пользователя

Термины и определения

Displayable Content (Отображаемый контент)

Элементы данных, связанные с местом, которые могут быть показаны пользователю. Включают адреса веб-страниц, контактную информацию, часы работы, отзывы, рейтинги, изображения, аккаунты в социальных сетях.

Impact Implementation (Реализация воздействия)

Один из методов расчета Relevance Score. Для визуального контента это произведение уровня уверенности атрибута на его весовой коэффициент. Для текстового контента — произведение количества упоминаний атрибута на его весовой коэффициент.

Level of Confidence (Уровень уверенности)

Метрика, определяющая степень уверенности системы в том, что данный элемент контента действительно отражает определенный атрибут.

Machine Learning Classifier (Классификатор машинного обучения)

Модель, обученная распознавать признаки в контенте (например, объекты на фото, темы в тексте) и ассоциировать их с Place Attributes.

Normalization (Нормализация)

Процесс корректировки Relevance Score для предотвращения искажений в пользу контента с большим количеством признаков (например, более длинных отзывов или изображений с большим количеством тегов).

Particular Attributes (Конкретные атрибуты)

Атрибуты, извлеченные из запроса пользователя. Например, из запроса "kid-friendly restaurant" извлекается атрибут "kid-friendly".

Place Attributes (Атрибуты места)

Характеристики, связанные с местом (например, "столики на улице", "подходит для детей", "романтичная атмосфера"). Эти атрибуты также ассоциируются с Displayable Content.

Relevance Score (Оценка релевантности)

Числовое значение, используемое для ранжирования как самих мест в ответ на запрос, так и для ранжирования Displayable Content, связанного с этим местом.

Reference Taxonomy (Справочная таксономия)

Упоминается как структурированный набор предопределенных атрибутов, который может использоваться для обучения моделей машинного обучения и классификации контента.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс контекстуального ранжирования контента для места.

1. Система получает запрос о месте интереса.
2. Идентифицируется место и набор связанного с ним Displayable Content.
3. Определяется подмножество этого контента для показа путем ранжирования всего набора в соответствии с запросом.
4. Процесс ранжирования включает в себя:
   • Идентификацию Particular Attributes в запросе.
   • Определение Place Attributes для каждого элемента контента с использованием Machine Learning Classifier.
   • Присвоение Relevance Score каждому элементу контента на основе соответствия его Place Attributes и Particular Attributes запроса.
   • Выбор элементов с наивысшими Relevance Scores в качестве подмножества.
5. Подмножество контента и информация о месте предоставляются пользователю.

Ядро изобретения заключается в использовании ML-классификатора для определения атрибутов контента (офлайн) и последующем динамическом ранжировании этого контента (онлайн) на основе соответствия атрибутам, извлеченным из конкретного запроса пользователя.

Claim 2 (Зависимый от 1): Детализирует процесс идентификации самого места.

Процесс идентификации места также включает анализ Particular Attributes в запросе, определение Place Attributes для каждого места-кандидата и присвоение Relevance Score местам. Место с наивысшей оценкой выбирается. Это подтверждает, что логика сопоставления атрибутов применяется как для выбора сущности (места), так и для выбора контента об этой сущности.

Claim 4 (Зависимый от 1): Уточняет механизм ранжирования контента.

Ранжирование каждого элемента Displayable Content взвешивается в соответствии с ассоциированными Place Attributes. Это означает, что разные атрибуты могут иметь разную значимость (весовые коэффициенты) при расчете итоговой оценки.

Где и как применяется

Изобретение применяется в системах, отвечающих за локальный поиск и представление информации о сущностях (например, Google Maps, Google Travel, Knowledge Panels).

INDEXING – Индексирование и извлечение признаков

На этом этапе происходит основная предварительная обработка данных. Machine Learning Classifiers анализируют Displayable Content (изображения, отзывы, веб-страницы). Система распознает признаки в контенте (например, с помощью технологий маркировки изображений – image label technology) и ассоциирует их с Place Attributes. Эти ассоциации сохраняются в базе данных.

QUNDERSTANDING – Понимание Запросов

В реальном времени система анализирует входящий запрос для извлечения Particular Attributes. Например, запрос "outdoor seating restaurants in Mountain View" парсится в атрибуты "restaurant", "has outdoor seating", "in Mountain View".

RANKING – Ранжирование / METASEARCH – Метапоиск и Смешивание

Эти этапы отвечают за выбор места и его контента.

1. Выбор места: Система ранжирует места, вычисляя Relevance Score на основе соответствия между Place Attributes места и Particular Attributes запроса.
2. Ранжирование контента: Для выбранного места система извлекает связанный Displayable Content. Затем она вычисляет Relevance Score для каждого элемента контента, используя Level of Confidence и весовые коэффициенты атрибутов.
3. Выбор подмножества: Выбирается контент с наивысшими оценками для отображения в результатах поиска (например, какие фотографии показать в карусели GBP или какие отзывы выделить).

Входные данные:

• Запрос пользователя.
• База данных мест и их Place Attributes.
• База данных Displayable Content с ассоциированными атрибутами и Level of Confidence.
• Предопределенные весовые коэффициенты (predetermined weighting factor) для атрибутов.

Выходные данные:

• Информация о месте.
• Отранжированное подмножество Displayable Content (изображения, отзывы), контекстуально релевантное запросу.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на изображения, отзывы (UGC) и потенциально на ранжированные списки ("Top 10..."), связанные с местом.
• Специфические запросы: Влияет на локальные запросы (информационные и коммерческие), которые содержат уточняющие атрибуты (например, "романтичный отель", "ресторан с живой музыкой").
• Конкретные ниши или тематики: Критически важно для ниш с высокой визуальной составляющей и зависимостью от атмосферы/удобств: рестораны, отели, туризм, услуги красоты, развлечения.

Когда применяется

• Условия работы алгоритма: Применяется, когда система обрабатывает запрос, касающийся "места интереса" (place of interest).
• Триггеры активации: Активируется, когда из запроса можно извлечь Particular Attributes, которые затем используются для фильтрации и ранжирования контента, связанного с этим местом.

Пошаговый алгоритм

Процесс А: Офлайн-обработка (Индексирование и Обучение)

1. Обучение классификаторов: Machine Learning Classifiers обучаются ассоциировать атрибуты с местами и контентом. Используются аннотации из изображений, веб-страниц, отзывов и метаданных.
2. Анализ контента: Система анализирует Displayable Content, связанный с местом. Например, в изображениях идентифицируются признаки (патио, детское кресло) с помощью image label technology.
3. Ассоциация атрибутов: Признаки в контенте связываются с Place Attributes (например, фото с детским креслом ассоциируется с атрибутом "kid-friendly"). Для каждой ассоциации вычисляется Level of Confidence.
4. Сохранение данных: Ассоциации и уровни уверенности сохраняются в базе данных.

Процесс Б: Обработка запроса в реальном времени

1. Получение и парсинг запроса: Система получает запрос и извлекает из него Particular Attributes.
2. Идентификация места: Система определяет релевантные места путем сопоставления Particular Attributes запроса с Place Attributes мест. Выбирается место с наивысшим Relevance Score.
3. Извлечение контента: Для выбранного места извлекается набор Displayable Content.
4. Расчет Relevance Score для контента: Для каждого элемента контента вычисляется Relevance Score. Расчет учитывает Level of Confidence ассоциации атрибутов контента и Particular Attributes запроса, а также весовые коэффициенты. (Используются методы: Impact Implementation, Dot Product, Normalization).
5. Ранжирование и выбор: Элементы контента ранжируются по Relevance Score. Выбирается подмножество с наивысшими оценками.
6. Предоставление результатов: Выбранное место и контекстуально релевантное подмножество контента предоставляются пользователю.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст отзывов, метаданные, текст веб-страниц, связанный с местом.
• Мультимедиа факторы: Изображения и их признаки, извлеченные с помощью технологий анализа изображений (image label technology).
• Пользовательские данные (UGC): Отзывы, рейтинги, изображения, загруженные пользователями, данные из социальных сетей.
• Системные данные: Предопределенные весовые коэффициенты (predetermined weighting factors) для атрибутов.

Какие метрики используются и как они считаются

Система использует несколько ключевых метрик для ранжирования:

• Level of Confidence: Оценка уверенности ML-классификатора в наличии атрибута в контенте.
• Predetermined Weighting Factor: Заранее заданный вес, определяющий важность конкретного атрибута.
• Relevance Score: Итоговая оценка релевантности контента запросу. В патенте описано несколько методов расчета:

1. Impact Implementation:

• Для визуального контента (изображения):