Как Google Assistant использует контекст пользователя и активные документы для выбора источника ответа

Термины и определения

Active Document (Активный документ)

Документ (веб-страница, PDF, видео и т.д.), с которым пользователь взаимодействует в данный момент или недавно. Включает: документы, отображаемые на экране; документы, из которых Ассистент зачитывал информацию в текущем диалоге; документы, просмотренные в текущей сессии; документы, загруженные в память устройства.

Automated Assistant (Автоматизированный ассистент)

Программное обеспечение для ведения диалога человек-компьютер (например, Google Assistant). Состоит из клиентской и облачной частей.

Context-Specific Corpus (Контекстно-зависимый корпус)

Набор документов, отобранных на основе текущего контекста пользователя (местоположение, недавняя поисковая активность, тема диалога). Документы не обязательно должны быть «активными».

Corpora Selection Engine (Механизм выбора корпусов)

Компонент системы, отвечающий за генерацию и поддержание альтернативных корпусов (User-Specific и Context-Specific).

Free Form Input (Свободный ввод)

Ввод пользователя на естественном языке (голосовой или текстовый), не ограниченный предопределенными опциями.

General Purpose Corpus (Общий корпус)

Стандартный индекс онлайн-документов (например, основной веб-индекс Google).

User-Specific Corpus (Пользовательский корпус)

Набор документов, состоящий из Active Documents, релевантных для конкретного пользователя в данный момент.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы автоматизированного ассистента в рамках голосового диалога (spoken human-to-computer dialog session).

1. Ассистент получает свободный голосовой ввод (free form speech input).
2. Определяется текущий контекст пользователя на основе сигналов с устройства.
3. Выполняется поиск в General Purpose Corpus (Набор 1).
4. Выполняется поиск в User-Specific Corpus (Набор 2). Уточняется, что этот корпус включает документы, из которых Ассистент ранее зачитывал информацию в ответ на предыдущий запрос.
5. Выполняется поиск в Context-Specific Corpus (Набор 3).
6. Наборы 1, 2 и 3 сравниваются.
7. Выбирается один ответ из любого набора.
8. Ассистент предоставляет ответ в виде голосового вывода (audible natural language output).

Claim 5 и 9 (Зависимые от 1): Ключевые пункты о ранжировании. Утверждается, что Набор 2 (из User-Specific Corpus) и Набор 3 (из Context-Specific Corpus) повышаются (promoted over) по сравнению с Набором 1 (из General Purpose Corpus).

Система запрограммирована отдавать предпочтение информации, которая наиболее релевантна текущей ситуации пользователя (topical), даже если она исходит из менее авторитетного источника в общем индексе.

Claim 6 (Зависимый от 1): Описывает сценарий разрешения неоднозначности. Если запрос пользователя признан неоднозначным (ambiguous), система выполняет поиск в User-Specific Corpus, чтобы попытаться найти ответ в активных документах.

Claim 7 и 8 (Зависимые от 1): Уточняют, что контекст может определяться на основе координат местоположения (position coordinate), и Context-Specific Corpus может включать документы, идентифицированные исключительно на основе локации.

Где и как применяется

Патент описывает архитектуру Автоматизированных Ассистентов (Google Assistant) и затрагивает несколько этапов поиска.

QUNDERSTANDING – Понимание Запросов
Система анализирует free form input и определяет его потенциальную неоднозначность. Критически важным является определение текущего контекста пользователя (местоположение, история диалога, активные документы). Этот контекст используется для интерпретации запроса и для определения того, какие корпуса следует задействовать.

RANKING – Ранжирование (Retrieval)
Система инициирует поиск кандидатов параллельно в нескольких корпусах (General, User-Specific, Context-Specific). Corpora Selection Engine отвечает за формирование и доступ к этим специализированным корпусам.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Ключевой этап. Система сравнивает кандидатов из разных корпусов. Применяются механизмы повышения (promotion) (Claims 5 и 9), которые приоритизируют контекстуальную релевантность над общей. Происходит выбор наилучшего ответа.

Входные данные:

• Свободный ввод пользователя (текст/аудио).
• Сигналы контекста (Position Coordinates, Search History).
• Данные об Active Documents (URL или контент) на устройстве или в экосистеме устройств пользователя.

Выходные данные:

• Выбранный ответ (given response), часто в аудиоформате.

На что влияет

• Специфические запросы: Наибольшее влияние на неоднозначные запросы (например, с местоимениями «он», «это») и уточняющие вопросы в рамках диалога.
• Типы контента: Влияет на контент, который часто потребляется с последующими вопросами: страницы товаров (E-commerce), рецепты, технические спецификации, локальная информация.
• Мультидевайсное взаимодействие: Патент описывает применение в экосистеме устройств (coordinated ecosystem of computing devices). Активность на одном устройстве влияет на ответы на другом (FIG. 6).

Когда применяется

• Триггеры активации: Получение запроса автоматизированным ассистентом.
• Условие неоднозначности: Поиск в User-Specific Corpus может быть специально инициирован, если система определяет, что запрос является неоднозначным (Claim 6).
• Приоритезация: Механизм повышения (promotion) применяется для обеспечения более высокой релевантности ответа текущей ситуации пользователя, когда доступны релевантные ответы из специализированных корпусов.

Пошаговый алгоритм

Процесс обработки запроса автоматизированным ассистентом:

1. Получение ввода: Ассистент получает свободный ввод (например, голосовой запрос) от пользователя.
2. Определение контекста: Система анализирует сигналы с устройства (местоположение, историю поиска, данные приложений) для определения текущего контекста.
3. Формирование корпусов: Corpora Selection Engine обеспечивает доступ к:
   • User-Specific Corpus: Идентифицируются активные документы (открытые на экране, упомянутые ранее в диалоге, открытые на других устройствах).
   • Context-Specific Corpus: Идентифицируются документы, релевантные контексту (например, сайт магазина, в котором находится пользователь).
4. Анализ неоднозначности (Опционально): Если запрос неоднозначен, это служит триггером для поиска в специализированных корпусах.
5. Множественный поиск: Выполняется поиск:
   • В General Purpose Corpus (Набор 1).
   • В User-Specific Corpus (Набор 2).
   • В Context-Specific Corpus (Набор 3).
6. Сравнение и Ранжирование: Система сравнивает Наборы 1, 2 и 3.
7. Применение Повышения (Promotion): Ответы из Наборов 2 и 3 могут быть повышены по сравнению с Набором 1, так как они считаются более актуальными (topical).
8. Выбор ответа: Выбирается ответ с наивысшим итоговым рейтингом.
9. Предоставление ответа: Ассистент предоставляет ответ пользователю (часто в аудиоформате).

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании контекстных и пользовательских данных для выбора источника информации.

• Пользовательские и Контекстные факторы:
  • Местоположение: Position Coordinates (GPS) используются для определения физического контекста и формирования Context-Specific Corpus.
  • История поиска и диалога: Search History и история текущей сессии используются для определения актуальных тем и идентификации документов, упомянутых ранее.
  • Экосистема устройств: Данные об активности на всех устройствах пользователя (coordinated ecosystem).
• Технические факторы (Состояние устройства):
  • Активные документы: Идентификаторы (URL) или содержимое документов, которые открыты, отображаются или загружены в память.
• Контентные факторы: Содержимое документов во всех трех корпусах. Патент упоминает возможность анализа скрытого текста (например, разделов, скрытых JavaScript, но присутствующих в HTML/XML).

Какие метрики используются и как они считаются

• Оценка релевантности: Используются стандартные оценки релевантности или ранжирования (relevance scores or rankings) для сравнения кандидатов из всех корпусов.
• Promotion (Повышение): Ключевой механизм. Ответы из User-Specific Corpus и Context-Specific Corpus получают повышение по сравнению с General Purpose Corpus (Claims 5 и 9) для приоритизации контекстуальной релевантности.
• Ambiguity Detection (Определение неоднозначности): Метрика для оценки того, является ли запрос неоднозначным без дополнительного контекста. Служит триггером для поиска в специализированных корпусах (Claim 6).
• Topic Classification (Классификация тем): Упоминается использование классификаторов тем (включая машинное обучение) для определения актуальных тем на основе диалога или активности, что используется для формирования Context-Specific Corpus.

1. Контекст как ключевой фактор выбора источника ответа: Google Assistant активно анализирует непосредственное окружение пользователя (состояние устройства, местоположение, активные документы), чтобы разрешить неоднозначность и найти наиболее актуальный ответ, не полагаясь только на общий веб-индекс.
2. Приоритет контекстуальных корпусов над общим индексом: Патент явно указывает (Claims 5 и 9), что информация из User-Specific и Context-Specific корпусов может повышаться (promoted). Контекстуальная релевантность может перевесить статические сигналы ранжирования в сценариях Ассистента.
3. «Активный документ» как приоритетный источник: Документ, который пользователь просматривает или который был источником ответа ранее в диалоге, становится приоритетным источником для последующих уточняющих запросов.
4. Поиск за пределами видимого текста: Система может искать ответы в скрытом тексте активных документов (например, в свернутых разделах, если они присутствуют в HTML/XML), чтобы найти ответы (FIG. 2, 3).
5. Мультидевайсный поиск: Система учитывает активность в экосистеме устройств. Документ, открытый на одном устройстве, может влиять на ответы, предоставляемые другим устройством (например, умной колонкой).

Best practices (это мы делаем)

Этот патент критически важен для оптимизации под системы ответов (AEO) и взаимодействия с Google Assistant.

• Оптимизация контента для извлечения (Extraction): Структурируйте контент так, чтобы из него можно было легко извлечь факты, спецификации и инструкции. Используйте четкую семантическую верстку (списки, таблицы) и микроразметку. Это поможет Ассистенту найти ответ на вашей странице, когда она является Active Document.
• Улучшение технической доступности скрытого контента: Убедитесь, что контент, скрытый за вкладками или аккордеонами (например, с помощью JavaScript), присутствует в исходном HTML-коде. Ассистент может искать ответы в этом скрытом контенте.
• Создание контента, поддерживающего диалог: Разрабатывайте контент (например, рецепты), который предвосхищает последующие вопросы. Если Ассистент зачитывает ваш контент, он должен легко находить детали (ингредиенты, время) при уточняющих вопросах пользователя.
• Оптимизация под локальный контекст: Поддерживайте актуальность локальной информации (часы работы, наличие). Если пользователь находится рядом (Context-Specific), Ассистент может использовать ваш сайт или отзывы для ответа, сверяя данные из разных источников (FIG. 4).

Worst practices (это делать не надо)

• Скрытие ключевой информации в изображениях или сложных для парсинга структурах: Ассистент не сможет легко извлечь этот контент, чтобы использовать его в качестве источника Active Document для последующих вопросов.
• Полная загрузка контента только после взаимодействия (Lazy Loading без фолбэка): Если важный контент загружается динамически только после клика и не присутствует в исходном DOM, система может не увидеть его при анализе Active Document.
• Предоставление устаревшей информации: Система может кросс-валидировать информацию из разных корпусов. Устаревшая информация на вашем сайте может проиграть актуальным данным из других источников (например, свежим отзывам).

Стратегическое значение

Патент подтверждает стратегический сдвиг в сторону контекстуального и диалогового поиска в экосистеме Ассистента. Он демонстрирует, как Google стирает границы между поиском в интернете и поиском в непосредственном окружении пользователя. Способность Google приоритизировать информацию из Active Documents снижает зависимость от традиционных факторов ранжирования в этих сценариях. Долгосрочная SEO-стратегия должна фокусироваться на обеспечении максимальной структурированности данных для машинного извлечения (AEO).

Практические примеры

Сценарий 1: Оптимизация страницы товара E-commerce (User-Specific Corpus)

1. Ситуация: Пользователь открывает страницу товара (камеры). Эта страница становится Active Document. Пользователь спрашивает Google Assistant: «Какое время зарядки?».
2. Действие SEO: Убедиться, что технические характеристики присутствуют на странице в HTML (даже если скрыты во вкладке) и удобны для извлечения (например, в таблице).
3. Результат: Ассистент ищет ответ в User-Specific Corpus (на открытой странице), находит информацию и отвечает: «Время зарядки составляет два часа» (FIG. 3), минуя неоднозначный общий поиск.

Сценарий 2: Поддержка контента в диалоге (Рецепты)

1. Ситуация: Пользователь попросил Ассистента найти рецепт. Ассистент нашел рецепт на вашем сайте и начал его зачитывать. Ваш сайт теперь в User-Specific Corpus. Пользователь переспрашивает: «Подожди, сколько яиц?».
2. Действие SEO: Структурировать рецепты с четким списком ингредиентов (например, с помощью микроразметки Recipe).
3. Результат: Ассистент быстро сканирует Active Document (ваш рецепт) и отвечает: «Вам нужно три яйца» (FIG. 5), удерживая пользователя на вашем контенте.