Как Google использует визуальный контекст и значимость сущностей для рекомендации контента без явного запроса пользователя

Термины и определения

Active Resource (Активный ресурс)

Контент, который в данный момент отображается на устройстве пользователя (например, веб-страница, электронное письмо, интерфейс приложения).

Contextual Card (Контекстная карточка)

Элемент пользовательского интерфейса, предоставляемый системой, который содержит контекстную информацию и ссылки на рекомендованные тематические ресурсы.

Contextual Information Server (Сервер контекстной информации)

Серверная система, обрабатывающая запросы на контекстную информацию. Включает компоненты для идентификации и оценки сущностей, генерации запросов и выбора ресурсов.

Entity Identification Engine (Система идентификации сущностей)

Компонент, который анализирует контент активного ресурса (текст, DOM, скриншот) и идентифицирует сущности, часто с использованием Entity Knowledge Graph.

Entity Knowledge Graph (Граф знаний о сущностях)

База данных (граф), содержащая узлы для сущностей и ребра, указывающие на отношения между ними. Используется для распознавания сущностей в тексте.

Entity Scoring Engine (Система оценки сущностей)

Компонент, который определяет Importance Score для каждой идентифицированной сущности.

Importance Score (Оценка важности)

Метрика, присваиваемая сущности. Отражает уверенность системы в том, что данная сущность важна для удовлетворения потенциальной информационной потребности пользователя. Рассчитывается на основе заметности (prominence) контента, из которого извлечена сущность.

Query Generator (Генератор запросов)

Компонент, который автоматически генерирует запросы путем комбинирования (конкатенации) идентифицированных сущностей.

Query-independent request (Запрос, не зависящий от ввода)

Запрос на контекстную информацию, инициированный пользователем без ручного ввода поисковых терминов (текстом или голосом). Например, долгое нажатие кнопки или определенный жест.

Resource Selection Engine (Система выбора ресурсов)

Компонент, который идентифицирует Topical Resources, отвечающие сгенерированным запросам, и выбирает лучшие из них, основываясь на Topicality Score.

Topical Resource (Тематический ресурс)

Ресурс, содержащий актуальную информацию, относящуюся к текущим событиям (например, новостные статьи, обзоры).

Topicality Score (Оценка тематичности)

Метрика, присваиваемая сгенерированному запросу. Отражает уверенность системы в том, что ресурсы, отвечающие этому запросу, удовлетворят информационную потребность пользователя. Рассчитывается путем агрегации Importance Scores сущностей, входящих в запрос.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод предоставления контекстной информации.

1. Система получает query-independent request относительно active resource.
2. Идентифицируются сущности и термины, их представляющие, из контента активного ресурса.
3. Определяется Importance Score для каждой сущности.
4. Генерируются запросы на тематическую информацию. Процесс генерации конкретного запроса включает:
   • Выбор одной или нескольких идентифицированных сущностей.
   • Агрегацию терминов, представляющих выбранные сущности, для формирования запроса.
   • Присвоение запросу Topicality Score путем агрегации Importance Scores выбранных сущностей.
5. Для каждого запроса идентифицируются Topical Resources, отвечающие ему.
6. Выбирается подмножество (proper subset) этих ресурсов на основе Topicality Scores соответствующих запросов.
7. Пользователю предоставляется UI элемент (Contextual Card) с информацией о выбранном подмножестве ресурсов.

Ядро изобретения заключается в методе генерации и оценки запросов: система не просто ищет по всем сущностям сразу, а создает различные комбинации и оценивает потенциальную полезность каждой комбинации (Topicality Score) на основе важности её составляющих (Importance Score).

Claim 3 (Зависимый от 1) и Claim 7 (Аналогичный для системы): Детализируют расчет Importance Score.

Определение Importance Score для конкретной сущности основывается на *внешнем виде* (appearance) контента в ресурсе, из которого эта сущность была идентифицирована.

Это критически важный аспект: система использует визуальные или структурные признаки (например, размер шрифта, позицию, форматирование, описанные в Detailed Description) для определения того, насколько сущность является центральной для содержания ресурса.

Claim 4 (Зависимый от 1) и Claim 8 (Аналогичный для системы): Детализируют процесс выбора ресурсов.

Предоставляется контекстная информация для предопределенного количества Topical Resources, которые были идентифицированы в ответ на запросы с Topicality Scores, отражающими более высокую степень тематичности.

Система ранжирует сгенерированные запросы по их Topicality Score и выбирает лучшие ресурсы из ответов на эти топовые запросы.

Где и как применяется

Изобретение описывает систему контекстного поиска, которая работает параллельно или вместо традиционного поиска по введенному запросу. Она затрагивает несколько этапов архитектуры поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит обработка контента для распознавания сущностей и их связи с Knowledge Graph. Также индексируются Topical Resources (например, новости), чтобы они были доступны для быстрого поиска.

QUNDERSTANDING – Понимание Запросов
Это ключевой этап применения патента, но в нетрадиционном смысле. Вместо понимания запроса, введенного пользователем, система выполняет "понимание контекста" (Context Understanding). Она анализирует Active Resource, определяет важность сущностей (Importance Score) и генерирует невидимые для пользователя запросы с Topicality Score. Это форма автоматического преобразования контекста в набор взвешенных запросов.

RANKING – Ранжирование
Сгенерированные запросы отправляются в систему ранжирования (вероятно, ориентированную на свежий/новостной контент) для поиска Topical Resources. Система ранжирования возвращает результаты, которые затем оцениваются Resource Selection Engine с учетом Topicality Score исходного запроса.

METASEARCH – Метапоиск и Смешивание
Финальный результат предоставляется в виде отдельного элемента интерфейса (Contextual Card), который может быть смешан с другим контентом или наложен поверх Active Resource.

Входные данные:

• Query-independent request.
• Данные об Active Resource: может включать скриншот, Document Object Model (DOM), извлеченный текст, URL ресурса.
• Дополнительные данные: местоположение устройства, идентификатор пользователя, метаданные ресурса.
• Entity Knowledge Graph (используется на сервере).

Выходные данные:

• Contextual Card, содержащая навигационные ссылки на выбранные Topical Resources.

На что влияет

• Конкретные типы контента: Влияет на любой контент, который может быть отображен на экране и проанализирован системой (веб-страницы, письма, сообщения, приложения). Особенно сильно влияет на контент, богатый сущностями (статьи, обзоры продуктов, локальные страницы).
• Специфические запросы: Система не обрабатывает традиционные запросы, а генерирует их сама. Она ориентирована на информационные и исследовательские интенты, возникающие в контексте просмотра контента.
• Определенные форматы контента: Влияет на форматы с четкой визуальной иерархией. Системе легче определить Importance Score в структурированном документе (заголовки, выделения), чем в сплошном тексте.

Когда применяется

• Триггеры активации: Применяется только тогда, когда пользователь явно инициирует query-independent request с помощью предопределенного действия (например, долгое нажатие кнопки, жест, нажатие специальной кнопки типа Google Lens или Circle to Search).
• Условия работы: Система должна быть способна получить доступ к содержимому экрана (или данным активного приложения) и успешно идентифицировать значимые сущности в этом контенте.

Пошаговый алгоритм

Этап 1: Инициация и сбор контекста

1. Обнаружение триггера: Клиентский модуль (Client Contextual Module) на устройстве обнаруживает действие пользователя, указывающее на желание получить контекстную информацию (например, долгое нажатие).
2. Сбор данных об активном ресурсе: Модуль собирает информацию об отображаемом контенте. Это может быть скриншот, DOM-дерево, видимый текст или URL. Также могут собираться данные о местоположении и пользователе.
3. Отправка запроса: Модуль отправляет query-independent request, содержащий собранные данные, на Contextual Information Server.

Этап 2: Анализ контекста и оценка сущностей

1. Извлечение контента: Entity Identification Engine обрабатывает полученные данные (например, выполняет OCR на скриншоте или парсит DOM).
2. Идентификация сущностей: Извлеченный текст анализируется для распознавания сущностей с использованием Entity Knowledge Graph.
3. Расчет Importance Score: Entity Scoring Engine анализирует каждую сущность в контексте её представления в ресурсе. Оцениваются факторы заметности (prominence): частота упоминания, размер шрифта, цвет, позиция на экране, форматирование (жирный, курсив, подчеркивание), расположение (заголовок, центр). Каждой сущности присваивается Importance Score.

Этап 3: Генерация и оценка запросов

1. Генерация комбинаций: Query Generator создает различные комбинации идентифицированных сущностей.
2. Формирование запросов: Термины, представляющие сущности в каждой комбинации, агрегируются (конкатенируются) для формирования потенциальных запросов (например, "Сущность А Сущность Б").
3. Расчет Topicality Score: Для каждого сгенерированного запроса рассчитывается Topicality Score путем агрегации (например, суммирования) Importance Scores сущностей, входящих в этот запрос.

Этап 4: Выбор ресурсов и доставка

1. Поиск ресурсов: Resource Selection Engine выполняет поиск Topical Resources (например, новостей), отвечающих сгенерированным запросам.
2. Ранжирование и выбор: Система выбирает подмножество ресурсов. Приоритет отдается ресурсам, которые отвечают запросам с наиболее высокими Topicality Score. Также могут учитываться релевантность ресурса запросу и показатели вовлеченности пользователей (user engagement).
3. Формирование ответа: Contextual Card Provider генерирует UI элемент (Contextual Card) с навигационными ссылками на выбранные ресурсы.
4. Доставка: Карточка отправляется на устройство пользователя для отображения.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные для понимания контекста и оценки важности элементов.

• Контентные факторы: Текст, извлеченный из активного ресурса. Используется для идентификации сущностей.
• Структурные и Визуальные факторы (Structural/Visual Factors): Это ключевые данные для расчета Importance Score. Система анализирует внешний вид (appearance) контента:
  • Частота (Frequency): Как часто термин, представляющий сущность, появляется на экране.
  • Позиция (Position): Расположение текста на экране (например, в центре, вверху).
  • Форматирование (Formatting): Использование жирного шрифта, курсива, подчеркивания.
  • Размер и Цвет (Size/Color): Размер шрифта и цвет текста по сравнению с остальным текстом.
• Технические факторы: Document Object Model (DOM) активного ресурса, который предоставляет структурные данные о контенте и его стилях. Также может использоваться URL ресурса.
• Мультимедиа факторы: Изображения на экране (если запрос включает скриншот). Могут использоваться для извлечения текста через OCR.
• Географические факторы: Местоположение устройства (например, GPS данные) может использоваться для повышения Importance Score локальных сущностей.
• Пользовательские факторы: История взаимодействия пользователя с сущностями может использоваться для корректировки Importance Score (повышение для сущностей, которыми пользователь недавно интересовался).
• Поведенческие факторы: Search query logs могут использоваться для определения актуальности сущностей (повышение Importance Score для сущностей, которые часто ищут в последнее время). Также логи вовлеченности (user engagement) могут использоваться на этапе выбора ресурсов.

Какие метрики используются и как они считаются

Система использует две ключевые метрики:

1. Importance Score (Оценка важности):
   • Объект оценки: Отдельная сущность.
   • Метод расчета: Основан на анализе заметности (prominence) сущности в Active Resource. Система анализирует структурные и визуальные факторы (шрифт, позиция, частота и т.д.). Конкретная формула агрегации этих факторов в патенте не приводится, но указывается, что оценка отражает уверенность системы в важности сущности.
2. Topicality Score (Оценка тематичности):
   • Объект оценки: Сгенерированный запрос (комбинация сущностей).
   • Метод расчета: Агрегация Importance Scores сущностей, входящих в запрос. В патенте упоминается агрегация, например, суммирование.