Как Google использует контент на экране пользователя для понимания и переписывания неоднозначных запросов

Термины и определения

Graphical Interface Representation (Представление графического интерфейса)

Данные, отображающие то, что пользователь видит на экране устройства (например, снимок экрана).

Image Recognition Engine (Система распознавания изображений)

Компонент, анализирующий изображения для идентификации сущностей, объектов, локаций и генерации First Labels.

Text Recognition Engine (Система распознавания текста)

Компонент, выполняющий анализ текста на экране (например, OCR) для извлечения текстовой информации и генерации Second Labels.

First Labels (Первые метки)

Метки, сгенерированные на основе image recognition выбранного изображения. Указывают на визуальный контекст.

Second Labels (Вторые метки)

Метки, сгенерированные на основе text recognition на части экрана, не включающей выбранное изображение. Указывают на текстовый контекст.

Image Confidence Score (Оценка уверенности изображения)

Метрика, отражающая вероятность того, что конкретное изображение на экране является основным объектом интереса пользователя (primary interest). Рассчитывается на основе количества сущностей (number of entities) в изображении и его размера.

Label Confidence Score (Оценка уверенности метки)

Метрика, отражающая вероятность того, что метка соответствует интересу пользователя. Рассчитывается на основе сравнения с прошлыми запросами пользователя (past queries).

Query Confidence Score (Оценка уверенности запроса)

Метрика, указывающая на вероятность того, что сгенерированный кандидат в поисковые запросы является точным переписыванием исходной транскрипции.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный процесс контекстуальной дисамбигуации запроса с акцентом на методы выбора основного изображения и персонализированной оценки меток.

1. Система получает представление графического интерфейса и транскрипцию запроса.
2. Идентифицируются два или более изображений в интерфейсе.
3. Выбор изображения (Ключевой механизм 1): Для каждого изображения определяется количество содержащихся в нем сущностей (number of entities). На основе этого количества вычисляется image confidence score. Выбирается изображение на основе этих оценок.
4. Определяются First Labels путем распознавания выбранного изображения.
5. Определяются Second Labels путем распознавания текста в области интерфейса, не включающей выбранное изображение.
6. Оценка меток и Персонализация (Ключевой механизм 2): First Labels и Second Labels сравниваются с прошлыми запросами пользователя (past queries received from the user). На основе этого сравнения вычисляется label confidence score для каждой метки.
7. Выбирается подмножество меток на основе их label confidence scores.
8. Генерируется поисковый запрос на основе транскрипции и выбранного подмножества меток.
9. Поисковый запрос предоставляется для вывода.

Claim 2 (Зависимый от 1): Уточняет метод генерации запроса. Генерация включает замену терминов исходной транскрипции (например, «это») на одну или несколько выбранных меток.

Claim 3 (Зависимый от 1): Описывает альтернативный метод выбора финального запроса. Система сравнивает сгенерированных кандидатов с историческими данными запросов (historical query data) других пользователей и выбирает лучший вариант (например, наиболее популярный).

Claim 10 (Зависимый от 1): Дополняет механизм выбора изображения. Помимо количества сущностей, учитывается размер изображения (size of the image) для корректировки Image confidence score.

Claim 7 и 8 (Зависимые от 1): Описывают возможность генерации и выполнения команды (command), а не только поискового запроса (например, сохранить изображение, импортировать в приложение).

Где и как применяется

Изобретение применяется на этапе понимания запроса, используя визуальные данные, доступные в момент запроса (например, в Google Assistant, Google Lens, Circle to Search).

QUNDERSTANDING – Понимание Запросов
Это основная область применения патента. Система работает для интерпретации намерения пользователя, когда сам запрос неоднозначен.

1. Контекстуализация: Система использует визуальный контекст (снимок экрана) для обогащения семантического представления запроса.
2. Распознавание Сущностей (NER): Система извлекает сущности из визуальных данных на экране (используя Image Recognition и Text Recognition).
3. Переписывание Запроса (Query Rewriting): Исходный неоднозначный запрос переписывается в конкретный поисковый запрос.
4. Персонализация: Процесс переписывания персонализируется с использованием истории запросов пользователя для выбора наиболее релевантных меток.

Входные данные:

• Транскрипция неоднозначного запроса пользователя.
• Представление графического интерфейса (снимок экрана) в момент запроса.
• Исторические данные запросов пользователя (past queries).
• Исторические данные запросов других пользователей (historical query data).

Выходные данные:

• Конкретный, дисамбигуированный поисковый запрос, готовый для передачи в систему ранжирования.
• Или команда (command) для выполнения действия.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, богатый изображениями — социальные сети, новостные статьи, страницы товаров в e-commerce, галереи.
• Специфические запросы: Влияет на обработку неоднозначных информационных запросов, где пользователь ссылается на визуальный элемент на экране (дейктические запросы).
• Пользовательские факторы: Патент явно указывает на использование истории запросов пользователя для определения того, какие метки наиболее релевантны для него в данный момент.

Когда применяется

• Триггеры активации: Обнаружение неоднозначного запроса (часто содержащего местоимения вроде «этот», «тот») или предопределенного ключевого слова/фразы (predefined hotword, Claim 6), указывающего на необходимость анализа экрана.
• Условия работы: Наличие на экране визуального контента (изображений и текста), из которого можно извлечь контекстуальные метки.

Пошаговый алгоритм

Процесс А: Идентификация основного изображения

1. Получение данных: Система получает транскрипцию запроса и представление графического интерфейса.
2. Идентификация изображений: В интерфейсе обнаруживаются все присутствующие изображения.
3. Анализ сущностей: Для каждого изображения определяется количество содержащихся в нем сущностей (например, достопримечательностей, людей, животных).
4. Расчет Image Confidence Score: Для каждого изображения вычисляется оценка уверенности на основе количества обнаруженных сущностей и размера изображения.
5. Выбор основного изображения: Выбирается изображение с наивысшим Image Confidence Score.

Процесс Б: Извлечение и оценка контекста

1. Распознавание изображения: Выбранное изображение анализируется Image Recognition Engine для генерации First Labels. Могут использоваться метаданные изображения (Claim 9).
2. Распознавание текста: Области интерфейса за пределами выбранного изображения анализируются Text Recognition Engine для генерации Second Labels.
3. Сравнение с историей пользователя: Все сгенерированные метки сравниваются с прошлыми запросами пользователя.
4. Расчет Label Confidence Score: На основе результатов сравнения для каждой метки вычисляется оценка уверенности. Метки, связанные с интересами пользователя, получают более высокий балл.
5. Выбор меток: Выбирается подмножество меток с наивысшими Label Confidence Scores.

Процесс В: Генерация поискового запроса

1. Формирование кандидатов: Система генерирует кандидатов в поисковые запросы, заменяя термины в транскрипции на выбранные метки.
2. Оценка кандидатов: Кандидаты могут сравниваться с historical query data (популярностью запросов у других пользователей) или для них может рассчитываться Query Confidence Score.
3. Выбор финального запроса/команды: Выбирается лучший кандидат.
4. Вывод: Финальный поисковый запрос или команда предоставляется для выполнения.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании визуальных и исторических данных для понимания запроса.

• Контентные/Мультимедиа факторы (Визуальный контекст):
  • Изображения на экране: Анализируются для идентификации сущностей (entities), таких как достопримечательности, люди, животные (Claim 11).
  • Текст на экране: Текст, окружающий изображения (заголовки, комментарии), анализируется (часто через OCR) для извлечения дополнительного контекста.
  • Метаданные изображения: Упоминается возможность использования метаданных, связанных с изображением (Claim 9).
• Структурные факторы (Макет экрана):
  • Размер изображения (Size): Используется для расчета Image Confidence Score (Claim 10).
• Пользовательские факторы (Персонализация):
  • Прошлые запросы пользователя (Past queries): Критически важные данные. Используются для расчета Label Confidence Score (Claim 1).
• Поведенческие факторы (Общие):
  • Исторические данные запросов (Historical query data): Данные о запросах других пользователей используются для валидации переписанного запроса (Claim 3).

Какие метрики используются и как они считаются

• Number of Entities (Количество сущностей): Подсчет распознанных объектов внутри изображения. Является основным фактором для расчета Image Confidence Score.
• Image Confidence Score: Рассчитывается на основе Number of Entities и размера изображения. Используется для выбора основного изображения на экране.
• Label Confidence Score: Рассчитывается путем сравнения извлеченных меток с past queries пользователя. Отражает вероятность того, что метка релевантна текущему интересу пользователя.
• Query Confidence Score: Оценка вероятности того, что сгенерированный запрос является точным переписыванием исходного намерения. Используется для выбора лучшего кандидата.

1. Визуальный контекст как ключ к пониманию запроса: Google может использовать все, что видит пользователь на экране (изображения и текст), для интерпретации неоднозначных запросов. Это фундаментальный механизм для мультимодального поиска.
2. Идентификация основного объекта интереса: Система определяет основной объект интереса, отдавая приоритет изображениям с большим количеством распознаваемых сущностей (Number of Entities) и большим размером.
3. Синергия изображения и текста: Для определения контекста используются как само изображение (Image Recognition), так и окружающий его текст (Text Recognition). Они дополняют друг друга (например, изображение показывает собаку, а текст уточняет породу).
4. Персонализация в дисамбигуации (Критический фактор): Система активно использует историю поиска пользователя (past queries) для определения того, какие из распознанных сущностей наиболее релевантны для него сейчас (расчет Label Confidence Score).
5. Валидация через исторические данные: Сгенерированные запросы могут валидироваться на основе общей популярности схожих запросов у других пользователей (historical query data), чтобы выбрать наиболее естественную формулировку.

Best practices (это мы делаем)

Хотя патент не описывает алгоритмы ранжирования, он критически важен для оптимизации под распознавание контента системами Google (Optimization for Recognition).

• Оптимизация изображений для распознавания сущностей: Используйте четкие, высококачественные изображения, на которых ключевые сущности (продукты, локации, люди) легко идентифицируются. Изображения с четкими сущностями будут иметь более высокий Image Confidence Score, так как Number of Entities является ключевым фактором выбора.
• Использование крупных основных изображений: Поскольку размер изображения влияет на Image Confidence Score (Claim 10), убедитесь, что ключевые изображения достаточно велики, особенно на мобильных устройствах.
• Контекстуальное окружение изображений: Обеспечьте, чтобы текст, окружающий изображение (заголовки, подписи, основной текст), был семантически связан с сущностями на изображении. Этот текст используется для генерации Second Labels и помогает системе точно определить контекст.
• Использование метаданных изображений: Поскольку патент упоминает использование метаданных (Claim 9), продолжайте заполнять релевантные метаданные и структурированные данные (Schema.org/ImageObject).
• Обеспечение читаемости текста (для OCR): Текст на странице должен быть легко читаем (шрифт, контраст), чтобы обеспечить корректное извлечение Second Labels при анализе экрана пользователя.

Worst practices (это делать не надо)

• Использование абстрактных или нечетких изображений: Изображения, на которых сложно распознать конкретные сущности, будут иметь низкий Number of Entities и, соответственно, низкий Image Confidence Score.
• Разрыв между изображением и текстом: Размещение изображений в нерелевантном текстовом окружении. Если First Labels (из изображения) и Second Labels (из текста) противоречат друг другу, система может ошибочно интерпретировать контекст.
• Игнорирование визуального поиска: Отношение к изображениям только как к декоративным элементам, без учета их роли в мультимодальном поиске и понимании контекста.

Стратегическое значение

Этот патент подтверждает стратегический курс Google на мультимодальность и глубокое понимание контекста. Для SEO это означает, что визуальные активы и их контекстуальное окружение становятся полноценными источниками данных для поисковой системы на этапе Query Understanding. Стратегии должны учитывать, как пользователи взаимодействуют с контентом через интерфейсы типа Lens или Assistant, и обеспечивать максимальную ясность сигналов как в изображениях, так и в тексте.

Практические примеры

Сценарий: Оптимизация карточки товара для мультимодального поиска

Задача: Убедиться, что если пользователь смотрит на карточку товара (например, кроссовки Nike Air Max) и спрашивает «Сколько они стоят?», система правильно поймет, о чем речь.

1. Изображение (для Image Confidence Score и First Labels): Использовать большое (учет размера), четкое изображение кроссовок с видимыми деталями (логотип). Система распознает сущности: «Кроссовки», «Nike» (увеличивает Number of Entities).
2. Текстовое окружение (для Second Labels): Заголовок страницы должен четко указывать модель: «Nike Air Max 270». Система извлекает метки: «Nike Air Max 270».
3. Генерация запроса: Пользователь спрашивает «Сколько они стоят?». Система комбинирует транскрипцию и извлеченные метки с высоким Label Confidence Score («Nike Air Max 270»).
4. Результат: Исходный запрос переписывается в «Сколько стоят Nike Air Max 270?».