Как Google кэширует данные Knowledge Graph на устройствах пользователей для понимания контекста и помощи в реальном времени

Термины и определения

Deltas (Дельты)

Механизм обновления фиксированных наборов сущностей. Вместо загрузки всего набора передается только список сущностей, которые нужно добавить или удалить. Используется для экономии трафика.

Entity Repository (Репозиторий сущностей)

Центральная база данных, хранящая информацию о сущностях (например, Knowledge Graph или модель компьютерного зрения). Содержит факты, атрибуты и связи между сущностями.

Entity Set Generation Engine (Механизм генерации наборов сущностей)

Компонент на сервере, который разделяет центральный репозиторий на фиксированные наборы (срезы) и управляет их обновлениями.

Fixed Entity Sets / Slices (Фиксированные наборы сущностей / Срезы)

Предварительно вычисленные подмножества Entity Repository. Они не генерируются в ответ на конкретный запрос пользователя.

Functional Set (Функциональный набор)

Тип фиксированного набора, включающий сущности на основе популярности (частоты поиска), потребностей конкретного приложения или для выполнения определенной задачи (например, перевода).

Location-based Set (Набор на основе местоположения)

Тип фиксированного набора, включающий сущности, физически расположенные в определенной географической ячейке (cell).

Personalized Entity Repository (Персонализированный репозиторий сущностей)

Локальный кэш на клиентском устройстве, состоящий из наиболее релевантных для пользователя Fixed Entity Sets.

Screen Content Agent (Агент по контенту экрана)

Компонент на устройстве, который захватывает контент (текст, изображения), отображаемый на экране, для анализа контекста.

Set Identification Engine (Механизм идентификации наборов)

Компонент на устройстве, который использует контекст и Set Prediction Model для определения, ранжирования и выбора наиболее релевантных фиксированных наборов для загрузки.

Set Prediction Model (Модель предсказания наборов)

Модель машинного обучения (например, нейронная сеть), обученная предсказывать релевантные Fixed Entity Sets на основе входных сигналов (контекста).

Set Usage Parameters (Параметры использования наборов)

Ограничения, установленные пользователем или системой на устройстве (например, максимальный объем памяти, максимальное количество наборов), которые определяют размер Personalized Entity Repository.

Topic-based Set (Тематический набор)

Тип фиксированного набора, включающий сущности, сгруппированные по теме, часто с использованием кластеризации на основе сходства эмбеддингов (embedding similarity).

Versioning (Версионирование)

Механизм управления изменениями в структуре (схеме) фиксированных наборов, позволяющий приложениям продолжать использовать старые версии до обновления.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на механизме управления локальным кэшем сущностей на устройстве.

Claim 1 (Независимый пункт): Описывает процесс на мобильном устройстве.

1. Наличие локального Personalized Entity Repository, состоящего из fixed sets (вычисленных независимо от конкретного пользователя или запроса), полученных с сервера.
2. Идентификация релевантных fixed sets на сервере на основе context (контекста) устройства.
3. Ранжирование идентифицированных наборов по релевантности.
4. Определение selected sets (выбранных наборов) с использованием ранга и set usage parameters (параметров использования).
5. Обновление локального репозитория с использованием выбранных наборов.
6. Последующее использование обновленного локального репозитория для определения того, содержит ли контент на дисплее сущность из этого репозитория.
7. Предоставление предложения (suggestion), связанного с распознанной сущностью.

Ядро изобретения — это метод динамического управления локальным кэшем предварительно вычисленных данных о сущностях на основе контекста и ограничений устройства для обеспечения функций помощи пользователю.

Claim 16 (Независимый пункт): Описывает метод, аналогичный Claim 1, но в более общих терминах.

Claim 22 (Зависимый): Детализирует механизм ранжирования.

Ранжирование может включать понижение (demoting) ранга набора сущностей, если связанное (linked) устройство (например, устройство компаньона в путешествии) уже имеет этот набор локально.

Claim 23 (Зависимый): Детализирует механизм ранжирования.

Ранжирование может включать повышение (boosting) ранга набора сущностей, если он связан с мобильным приложением, установленным пользователем на устройстве.

Где и как применяется

Этот патент описывает инфраструктуру, поддерживающую понимание контекста и помощь пользователю, а не основной конвейер ранжирования веб-поиска.

INDEXING – Индексирование и извлечение признаков (Подготовка на стороне сервера)
На этом этапе происходит подготовка данных. Entity Repository (Knowledge Graph) поддерживается здесь. Entity Set Generation Engine работает в офлайн-режиме, анализируя KG, Search Records (поисковые записи) и Crawled Documents (сканированные документы) для создания Fixed Entity Sets (срезов) и обучения Set Prediction Model.

CLIENT-SIDE (Клиентское устройство)
Основное применение патента происходит на устройстве пользователя, вне традиционной архитектуры веб-поиска.

1. Сбор контекста: Screen Content Agent собирает контекст (контент на экране, местоположение, время, статус внешних устройств).
2. Предсказание (Аналог QUnderstanding на устройстве): Set Identification Engine использует локальную копию Set Prediction Model для интерпретации контекста и предсказания релевантных наборов сущностей.
3. Извлечение и Кэширование: Устройство извлекает релевантные наборы с сервера и кэширует их в Personalized Entity Repository.
4. Применение/Помощь: Приложения (такие как Assistant или Lens) используют этот локальный репозиторий для распознавания сущностей в текущем контексте и предложения действий.

Входные данные:

• На сервере (для генерации наборов и обучения модели): Центральный Entity Repository, Сканированные документы, Поисковые записи.
• На устройстве (для предсказания): Контент экрана, Местоположение, Время, Статус установки приложений, Сигналы от внешних устройств.

Выходные данные:

• На сервере: Fixed Entity Sets, обученная Set Prediction Model.
• На устройстве: Personalized Entity Repository, распознанные сущности и предложения действий.

На что влияет

• Типы контента и форматы: Влияет на распознавание сущностей в любом контексте, где Google предоставляет помощь: в мобильных приложениях, операционных системах (Android), при анализе изображений (Google Lens), при взаимодействии с Google Assistant.
• Географические ограничения: Система сильно зависит от географии, так как использует Location-based Sets для кэширования локальных сущностей (мест, компаний).
• Тематики: Система зависит от тем, которыми интересуется пользователь, используя Topic-based Sets.

Когда применяется

• Частота применения: Процесс идентификации и обновления репозитория может выполняться непрерывно, периодически или по триггеру.
• Триггеры активации: Установка нового приложения, изменение местоположения устройства, существенное изменение контента на экране (смена темы интереса), изменение сетевого подключения или запрос на синхронизацию.

Пошаговый алгоритм

Процесс А: Генерация наборов и обучение модели (Сервер, Офлайн)

1. Генерация наборов на основе местоположения: Идентификация сущностей, расположенных в определенных географических ячейках.
2. Генерация тематических наборов: Кластеризация сущностей на основе сходства (например, с использованием эмбеддингов, обученных на поисковых записях или текстах документов).
3. Генерация функциональных наборов: Определение популярных сущностей или сущностей, необходимых для конкретных приложений.
4. Управление версиями и дельтами: Определение изменений в наборах. Если меняется схема данных, создается новая версия. Если меняются только данные, генерируются дельты (списки добавлений/удалений).
5. Обучение модели предсказания: Обучение Set Prediction Model на основе маркированных поисковых записей и документов для предсказания релевантных наборов по входным сигналам.

Процесс Б: Управление персонализированным репозиторием (Устройство, Онлайн/Периодически)

1. Сбор контекста: Получение данных о местоположении устройства, контенте на экране, времени, установленных приложениях и сигналах от внешних устройств.
2. Идентификация релевантных наборов: Передача контекстных сигналов в Set Prediction Model для получения списка предсказанных фиксированных наборов.
3. Ранжирование наборов: Оценка релевантности предсказанных наборов. Релевантность может корректироваться (повышаться для нужных приложений, понижаться, если набор есть на соседнем устройстве).
4. Выбор наборов: Определение selected sets на основе ранга и Set Usage Parameters (ограничений по памяти).
5. Обновление репозитория:
   • Проверка необходимости обновления (изменился ли ранг, есть ли обновления на сервере).
   • Загрузка новых наборов с высоким рангом.
   • Удаление наборов с низким рангом или нерелевантных наборов для освобождения места.
   • Применение дельт к существующим наборам.
6. Использование репозитория: Распознавание сущностей в контенте на экране с использованием локального Personalized Entity Repository и предложение связанных действий.

Какие данные и как использует

Данные на входе

Патент описывает использование широкого спектра данных для обучения модели и определения контекста пользователя.

• Данные о сущностях: Атрибуты сущностей, связи между ними, распространенные имена, псевдонимы, аббревиатуры, изображения (для моделей компьютерного зрения).
• Контентные факторы (На устройстве): Текст и изображения, захваченные с экрана (через API или OCR).
• Пользовательские и Контекстные факторы (На устройстве):
  • Местоположение (GPS-координаты, идентификатор географической ячейки).
  • Метка времени / Время суток.
  • История поиска пользователя.
  • Информация из профиля пользователя.
  • Установленные приложения и активные приложения.
  • Действия пользователя (например, установка приложения).
• Внешние сигналы (На устройстве): Сигналы от устройств поблизости (IoT, устройства компаньонов).
• Данные для обучения (На сервере):
  • Search Records (поисковые логи, агрегированные данные запросов).
  • Crawled Documents (сканированные документы из интернета).

Какие метрики используются и как они считаются

• Relevancy Score (Оценка релевантности): Основная метрика для ранжирования наборов. Вычисляется по-разному для разных типов наборов:
  • Для Location-based Sets: Основана на обратном расстоянии от текущего местоположения устройства до центра географической ячейки набора. Если устройство внутри ячейки, релевантность максимальна.
  • Для Topic-based Sets: Основана на сходстве (similarity) между эмбеддингом контекста пользователя/запроса и эмбеддингом набора (центром кластера).
• Confidence Score / Probability Score (Оценка уверенности / Вероятность): Уровень уверенности Set Prediction Model в том, что данный набор релевантен текущему контексту.
• Set Usage Parameters (Параметры использования наборов): Метрики ограничений: максимальный объем памяти (Maximum Storage), максимальное количество наборов (Maximum Sets), процент от доступной памяти (Percent of Storage).
• Entity Popularity (Популярность сущности): Может использоваться как оценка релевантности для Functional Sets (например, на основе частоты в поисковых запросах).

Патент имеет инфраструктурный характер и не дает прямых рекомендаций по ранжированию в веб-поиске. Однако он предоставляет важное понимание того, как Google работает с сущностями и контекстом.

1. Инфраструктура доставки Knowledge Graph: Патент описывает не то, как Google ранжирует сайты, а то, как он доставляет данные из Knowledge Graph на миллиарды устройств эффективно и персонализированно. Система полагается на предварительное сегментирование данных и предсказание потребностей пользователя.
2. Важность контекста на устройстве: Google активно использует сигналы, генерируемые непосредственно на устройстве, для понимания контекста в реальном времени. Ключевые сигналы включают контент на экране, местоположение, установленные приложения и даже состояние ближайших связанных устройств.
3. Основа для Ассистентов и Discovery: Описанная система является фундаментом для работы Google Assistant, Google Lens и других проактивных функций, позволяя им распознавать сущности быстро и даже в офлайн-режиме.
4. Приоритет локальных и тематических сущностей: Система явно разделяет сущности на локальные (Location-based) и тематические (Topic-based) кластеры, что подчеркивает важность точной географической привязки и четкого тематического позиционирования сущностей в Knowledge Graph.

Хотя патент не дает прямых советов по SEO для ранжирования в SERP, он подчеркивает важность оптимизации сущностей (Entity Optimization) в Knowledge Graph, поскольку именно эти данные используются системой.

Best practices (это мы делаем)

• Оптимизация для Knowledge Graph (Источник данных): Убедитесь, что ваш бизнес, продукты, бренды и ключевые лица точно и полно представлены как сущности в Knowledge Graph. Это основной Entity Repository, который нарезается на Fixed Entity Sets и доставляется пользователям.
• Обеспечение точности локальных данных: Поскольку Location-based Sets являются основным типом срезов, критически важно поддерживать точные и согласованные данные о местоположении (Google Business Profile, структурированные данные на сайте). Это гарантирует включение вашей компании в локальные кэши пользователей, находящихся поблизости.
• Развитие тематических связей сущностей: Работайте над созданием сильных тематических ассоциаций для ваших сущностей. Topic-based Sets создаются путем кластеризации связанных сущностей. Четкий, всеобъемлющий контент на вашем сайте помогает Google понять эти связи на этапе офлайн-генерации наборов.

Worst practices (это делать не надо)

• Игнорирование оптимизации сущностей: Фокусироваться исключительно на оптимизации ключевых слов, игнорируя то, как ваш бренд представлен в Knowledge Graph. Если данных о вас нет в KG, система не сможет доставить их пользователю через этот механизм.
• Предоставление противоречивых локальных данных: Несогласованная информация об адресах и местоположении затрудняет включение сущности в правильный Location-based Set.

Стратегическое значение

Патент подтверждает стратегический сдвиг Google в сторону понимания мира на основе сущностей и контекстной доставки информации за пределы традиционного окна поиска. Долгосрочная SEO-стратегия должна включать оптимизацию для обнаружения через ассистентов (Voice Search, Google Assistant, Lens), которые полагаются на инфраструктуру, описанную в этом патенте. Важно не только ранжироваться по запросам, но и быть доступным источником информации, когда система проактивно ищет данные о сущностях.

Практические примеры

Сценарий: Кэширование локального бизнеса

1. Действие пользователя: Пользователь приезжает в новый город (например, в командировку).
2. Действие системы: Set Identification Engine на устройстве определяет изменение местоположения. Система присваивает высокий ранг Location-based Sets для этого города.
3. Результат: Устройство загружает фиксированные наборы, содержащие информацию о местных ресторанах, транспорте и достопримечательностях, в Personalized Entity Repository.
4. Применение: Когда пользователь читает сообщение от коллеги с предложением поужинать в ресторане "Ромашка", Screen Content Agent распознает название. Система использует локальный кэш для мгновенной идентификации ресторана и предлагает действия (посмотреть меню, проложить маршрут) через Google Assistant, даже при слабом сигнале сети.

Сценарий: Кэширование тематических интересов

1. Действие пользователя: Пользователь начинает активно изучать информацию о покупке электромобиля Tesla Model 3 (смотрит обзоры, читает статьи).
2. Действие системы: Screen Content Agent фиксирует контент. Set Prediction Model предсказывает высокую релевантность Topic-based Set, связанного с "Электромобилями" или "Tesla".
3. Результат: Устройство загружает этот тематический набор в локальный кэш.
4. Применение: Позже, когда пользователь видит упоминание "Supercharger" в статье, система мгновенно распознает сущность из локального кэша и может предоставить дополнительную информацию о ближайших станциях зарядки.