Как Google анализирует контент на экране пользователя для проактивного предоставления информационных карточек (Google Assistant/Now)

Описание

Какую задачу решает

Патент решает задачу проактивного (без явного запроса) предоставления пользователю релевантной информации на основе контента, который он потребляет на своем устройстве. Система стремится улучшить пользовательский опыт, автоматически предоставляя своевременные напоминания о предстоящих событиях (Events) или контекстную информацию о прошлых интересах (Entities), устраняя необходимость ручного создания напоминаний.

Что запатентовано

Запатентована система (Content Management System), которая захватывает и анализирует «снимки» (Snapshots) контента, отображаемого на устройстве пользователя. Суть изобретения заключается в извлечении Entities и Events из этих снимков, сохранении их с временными метками и определении оптимального будущего времени (Target Presentation Time) для показа пользователю проактивных информационных карточек (Information Cards).

Как это работает

Система функционирует следующим образом:

• Сбор данных: Система получает Snapshots (визуальные снимки экрана, текст или аудио) контента, который просматривает пользователь на своем устройстве.
• Анализ: Snapshot Evaluation Engine анализирует снимки (используя NLP, OCR и другие методы), чтобы идентифицировать сущности (люди, места, телефоны) и события (встречи, бронирования).
• Хранение: Идентифицированные данные сохраняются вместе с временной меткой (Timestamp) и контекстом.
• Планирование показа: Information Card Engine определяет будущее время для показа карточки. Например, за час до идентифицированного события.
• Доставка: В назначенное время система генерирует и показывает Information Card, включающую контекст и призыв к действию (например, кнопку «Маршрут» или «Позвонить»).

Актуальность для SEO

Высокая. Поданный в 2014 году (эпоха Google Now и Now on Tap), патент описывает фундаментальные механизмы проактивной помощи, которые лежат в основе современных функций Google Assistant и операционной системы Android. Анализ контекста экрана для предоставления релевантной информации остается ключевым направлением развития Google.

Важность для SEO

Патент имеет минимальное прямое влияние (4/10) на ранжирование в основном веб-поиске. Он не описывает алгоритмы ранжирования сайтов, а фокусируется на системе проактивной помощи пользователю. Однако он имеет важное стратегическое значение, демонстрируя продвинутые возможности Google по извлечению сущностей и событий из любого контента (структурированного и неструктурированного). Это подчеркивает критическую важность Entity SEO и микроразметки для обеспечения того, чтобы контент мог быть корректно извлечен и переиспользован вне традиционной выдачи (например, в Assistant или Discover).

Детальный разбор

Термины и определения

Call-to-Action (Призыв к действию)

Элемент управления в информационной карточке, позволяющий пользователю выполнить действие, связанное с сущностью (например, набрать номер, получить маршрут).

Content Management System (Система управления контентом)

Серверная система, отвечающая за получение, анализ снимков и предоставление информационных карточек.

Context / Contextual Information (Контекст / Контекстная информация)

Информация, представленная в карточке, которая помогает пользователю понять причину ее показа. Часто это фрагмент исходного контента из снимка (например, текст электронного письма).

Entity (Сущность)

Идентифицируемый объект в снимке: человек, место (адрес, город, здание), вещь (номер телефона, email), тема, организация, продукт и т.д.

Environmental Event (Внешнее событие / Триггер)

Событие на устройстве, которое может инициировать захват снимка: смена контекста приложения, действие пользователя, изменение сцены на экране.

Event (Событие)

Запланированная активность, идентифицированная в снимке (например, встреча, обед, день рождения), имеющая время начала в будущем.

Information Card (Информационная карточка)

Формат проактивного уведомления, предоставляемого пользователю на основе анализа предыдущих снимков. Включает контекст и призывы к действию.

Snapshot (Снимок)

Данные, основанные на контенте, представленном пользователю на устройстве в определенный момент. Может включать текст, изображения, аудио (в виде транскрипции или отпечатка) или хэш контента.

Snapshot Evaluation Engine (Механизм оценки снимков)

Компонент системы, который анализирует снимки для идентификации сущностей и событий.

Target Presentation Time (Целевое время представления)

Рассчитанное время в будущем, когда пользователю должна быть показана информационная карточка.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы.

1. Серверное устройство получает множество снимков (snapshots), основанных на контенте, показанном пользователю на его устройстве.
2. Система оценивает снимки:
   • Для каждого снимка идентифицируется набор сущностей (entities).
   • В памяти сохраняются индикаторы этих сущностей и временная метка (timestamp) момента создания снимка.
3. На основе снимка определяется первое время (first time) для представления одной или нескольких информационных карточек (information cards).
4. В это первое время в памяти находятся сущности, соответствующие этому времени.
5. Генерируется информационная карточка на основе найденных сущностей.
6. Сгенерированная карточка предоставляется пользователю.

Claim 2 (Зависимый): Детализирует обработку будущих событий.

Оценка снимков включает идентификацию событий (Events). Определяется будущее время события (Время 1). Определяется второе время (Время 2), предшествующее событию (например, время напоминания). Представление карточки происходит во Время 2.

Claim 6 (Зависимый): Детализирует использование контекста.

Хранение данных включает сохранение контекстной информации (contextual information). Предоставление карточки включает отображение этой контекстной информации.

Claim 7 (Зависимый): Детализирует методы идентификации.

Идентификация сущностей включает распознавание текста в снимке (подразумевается OCR) и его синтаксический анализ (parsing, подразумевается NLP) для идентификации сущностей.

Claim 11, 12, 13 (Зависимые): Описывают триггеры для создания снимков.

Получение снимков происходит периодически или на основе внешнего события (environmental event). Это может быть инициировано устройством, приложением, ОС или изменением контекста/сцены использования устройства.

Где и как применяется

Этот патент описывает систему, которая функционирует преимущественно вне традиционной архитектуры веб-поиска. Это система проактивной доставки информации (Ambient Assistance), основанная на анализе пользовательского контекста.

CRAWLING – Сбор данных (Data Acquisition)
Применяется в части сбора данных, но источником является не веб, а устройство пользователя. Система собирает Snapshots потребляемого контента.

INDEXING – Индексирование и извлечение признаков (Personal Indexing)
Snapshot Evaluation Engine выполняет роль экстрактора для персонального потока данных. Он извлекает Entities и Events. Для этого система полагается на общие механизмы понимания сущностей (например, Knowledge Graph), созданные на этапе глобального индексирования Google.

QUNDERSTANDING – Понимание Запросов (Context Understanding)
Ядро патента. Хотя явного запроса нет, система анализирует Snapshots для глубокого понимания контекста пользователя, его интересов и будущих намерений (событий).

RANKING / RERANKING (Proactive Delivery)
Эти этапы заменяются процессом определения Target Presentation Time. Система решает, когда показать карточку, а не где ее ранжировать в списке результатов.

Входные данные:

• Snapshots (изображения экрана, текст, аудио) с устройства пользователя.
• Timestamps захвата снимков.
• Текущий контекст пользователя (например, местоположение) для уточнения времени показа.

Выходные данные:

• Information Cards (включая контекст и призывы к действию).

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, богатый сущностями и событиями: информация о местных компаниях, бронирование путешествий (отели, авиабилеты), электронная коммерция (например, отслеживание доставки, истечение срока действия купона), элементы календаря, контактная информация в email и на веб-страницах.
• Форматы контента: Система способна обрабатывать как структурированный текст, так и неструктурированные данные, включая текст внутри изображений (с помощью OCR) или аудио (с помощью ASR).

Когда применяется

• Условия захвата снимка (Snapshot Capture):
  • Периодически (например, каждые N секунд).
  • На основе триггеров (environmental events): изменение контекста приложения, существенное изменение отображаемого контента на экране, запуск приложения.
• Условия показа карточки (Card Presentation):
  • В рассчитанное Target Presentation Time.
  • Время привязано к будущему событию (например, за 1 час до встречи, с учетом времени в пути).
  • Время привязано к моменту первого просмотра информации (напоминание о прошлом интересе).
  • Показ может быть скорректирован в зависимости от текущего контекста или местоположения пользователя.

Пошаговый алгоритм

Этап 1: Сбор и Анализ (Фоновый процесс)

1. Захват снимка (Acquisition): Устройство пользователя фиксирует Snapshot контента периодически или по триггеру. Данные отправляются на сервер.
2. Предварительная обработка: Сервер выполняет необходимые процессы, такие как OCR для изображений или распознавание речи для аудио.
3. Оценка снимка (Evaluation): Snapshot Evaluation Engine анализирует контент.
4. Извлечение Сущностей и Событий (Extraction): Используя NLP и распознавание объектов, система идентифицирует Entities и Events. Также определяется связанный контекст.
5. Сохранение данных (Storage): Извлеченные данные (сущности, события, контекст, временная метка) сохраняются в ассоциативной памяти.

Этап 2: Планирование и Показ (Proactive Delivery)

6. Определение целевого времени (Planning): Information Card Engine рассчитывает Target Presentation Time. Для событий это время до их начала.
7. Мониторинг: Система ожидает наступления целевого времени или изменения контекста пользователя.
8. Генерация карточки (Generation): В целевое время система извлекает релевантные данные, определяет подходящий призыв к действию (Call-to-Action) и генерирует Information Card.
9. Представление (Presentation): Карточка отправляется на устройство пользователя для показа.

Какие данные и как использует

Данные на входе

Система использует данные, полученные непосредственно с устройства пользователя, анализируя их для извлечения признаков.

• Контентные факторы: Текст, извлеченный из снимков (веб-страницы, приложения, электронные письма). Используется NLP для анализа текста и идентификации сущностей и событий.
• Мультимедиа факторы: Изображения в снимках. Используется OCR для извлечения текста и технологии распознавания объектов/мест. Аудио (упоминается возможность использования аудио-отпечатков или транскрипции).
• Временные факторы: Временная метка (Timestamp) создания снимка. Даты и время, извлеченные из контента для идентификации будущих событий.
• Географические и Пользовательские факторы: Текущее местоположение и контекст пользователя могут использоваться для корректировки Target Presentation Time (например, расчет времени в пути до места события).

Какие метрики используются и как они считаются

Патент не детализирует метрики ранжирования или формулы, фокусируясь на механизме извлечения и планирования.

• Методы анализа текста (NLP/Entity Extraction): Упоминается парсинг текста и идентификация описаний событий на естественном языке (Claim 3). Вероятно, используются модели NER (Named Entity Recognition).
• Методы распознавания: OCR для извлечения текста из изображений (Claim 7). Также упоминаются техники визуального распознавания (object/landmark recognition) и аудио-фингерпринтинг.
• Расчет времени: Вычисление Target Presentation Time. Это функция от времени будущего события и необходимого времени на подготовку/дорогу, или времени, прошедшего с момента захвата снимка.

Выводы

1. Переход к проактивной помощи (Ambient Assistance): Патент демонстрирует стратегию Google по созданию «окружающего ассистента», который предоставляет информацию до того, как пользователь ее запросит. Цель системы — не ответить на запрос, а проактивно помочь в нужный момент.
2. Анализ контекста за пределами поискового запроса: Система анализирует визуальный и текстовый контент, отображаемый на экране устройства (Snapshots), независимо от источника (веб-сайт, приложение, email).
3. Критичность извлечения сущностей (Entity Extraction): Вся система полагается на способность точно идентифицировать Entities и Events из неструктурированных или визуальных данных (используя NLP и OCR). Это подтверждает фундаментальную важность технологий Entity Recognition для Google.
4. Минимальное влияние на SEO-ранжирование: Описанный механизм не является алгоритмом ранжирования для веб-поиска и не влияет на позиции сайтов в традиционной выдаче.
5. Высокая важность для Entity SEO и Discover: Контент, который четко представляет сущности и события (особенно с использованием микроразметки), легче обрабатывается подобными системами. Это увеличивает вероятность его использования в проактивных сервисах Google.

Практика

Best practices (это мы делаем)

Хотя патент не дает прямых рекомендаций по ранжированию, он критически важен для оптимизации контента под машинное чтение и извлечение сущностей, что влияет на видимость в Google Assistant и Discover.

• Внедрение полной семантической разметки (Schema.org): Максимально используйте разметку для Событий (Event), Мест (Location/Place), Продуктов (Product) и Контактной информации (ContactPoint, LocalBusiness). Это значительно облегчает извлечение Entities и Events для использования в Information Cards.
• Четкая и недвусмысленная структура контента (Clear HTML): Ключевая информация (даты, время, адреса, контакты) должна быть представлена в виде HTML-текста ясно и в стандартных форматах (например, ISO 8601 для дат). Это помогает системам типа Snapshot Evaluation Engine корректно извлекать данные.
• Оптимизация под распознавание сущностей (Entity Optimization): Создавайте контент, который четко определяет основные сущности и их взаимосвязи. Укрепление связи сущностей помогает Google лучше понимать контент и увеличивает вероятность его использования в проактивных функциях.

Worst practices (это делать не надо)

• Скрытие ключевой информации в изображениях: Размещение критически важной информации (например, деталей мероприятия или адреса) исключительно внутри изображений без текстовой альтернативы. Хотя система может использовать OCR (Claim 7), это менее надежно, чем анализ текста.
• Использование неоднозначных описаний событий: Использование расплывчатых формулировок для дат и времени (например, «в следующий вторник» вместо точной даты) может запутать процесс извлечения событий и привести к некорректному определению Target Presentation Time.
• Запутанная верстка и блокировка рендеринга: Сложная структура страницы или использование методов отображения, которые могут помешать корректному захвату или анализу Snapshot на устройстве пользователя.

Стратегическое значение

Патент подтверждает долгосрочную стратегию Google по переходу от роли поисковой системы к роли проактивного персонального ассистента. Для SEO это означает, что стратегия должна учитывать видимость далеко за пределами «10 синих ссылок». Оптимизация под понимание контента Google (Entity Extraction, Knowledge Graph) становится критически важной для обеспечения видимости в функциях, основанных на подобных технологиях (Assistant, Discover, Lens и т.д.).

Практические примеры

Сценарий 1: Оптимизация страницы мероприятия (Конференция)

1. Ситуация: Пользователь просматривает на смартфоне веб-страницу с анонсом конференции. Система делает Snapshot.
2. Действия SEO (Как помочь Google): Разметить страницу с помощью Event Schema. Четко указать startDate, endDate, location (с адресом). Убедиться, что эта информация доступна в HTML-коде в текстовом виде, а не только на баннере.
3. Анализ Google: Snapshot Evaluation Engine анализирует контент (используя текст и разметку) и точно идентифицирует Event (конференция) и Entities (дата, время, место).
4. Результат: Система рассчитывает Target Presentation Time. Утром в день мероприятия Google проактивно покажет пользователю Information Card с напоминанием, адресом и кнопкой Call-to-Action («Построить маршрут»).

Сценарий 2: Оптимизация локального бизнеса (Ресторан)

1. Ситуация: Пользователь просматривает страницу контактов на сайте ресторана или читает email, где упоминается встреча в этом ресторане. Система делает Snapshot.
2. Действия SEO: Разметить контакты на сайте с помощью LocalBusiness/Restaurant Schema. Указать телефон и адрес в международном формате текстом.
3. Анализ Google: Система извлекает Entities (номер телефона, адрес) и, возможно, Event (встреча в ресторане), если контекст позволяет.
4. Результат: В предполагаемое время посещения (или незадолго до него) система может показать Information Card с контекстом (например, фрагмент email) и кнопками «Позвонить» и «Маршрут».

Вопросы и ответы