Как Google индексирует реальный мир через носимые устройства для создания персональной поисковой истории (Lifelogging)

Термины и определения

Audio/Visual Based Search History (История аудиовизуального поиска)

Персонализированная база данных или индекс на сервере, хранящий обработанную историю реального опыта пользователя.

Audio/Visual Based Search System (Система аудиовизуального поиска)

Серверная инфраструктура, которая получает медиаданные, выполняет процессы распознавания и управляет историей поиска.

History of real-world experiences (История реального опыта)

Доступный для поиска индекс того, что пользователь видел и слышал в реальном мире.

Media Capture Preferences (Предпочтения захвата медиа)

Настройки пользователя, определяющие, когда и как устройство должно захватывать данные (например, непрерывно, периодически, на основе местоположения).

Media Data (Медиаданные)

Захваченные устройством данные: цифровые изображения, видео и аудио.

Mobile computing device (Мобильное вычислительное устройство)

Устройство для сбора данных. В патенте особо выделяются носимые устройства, такие как очки с дисплеем (wearable computing device with a head mounted display).

Popular Location (Популярное место)

Триггер для автоматического захвата данных. Определяется как место, где медиаданные захватило пороговое количество других пользователей.

Recognition Processes (Процессы распознавания)

Алгоритмы на сервере для идентификации контента в медиаданных (распознавание лиц, объектов, песен, речи).

Sensor Data (Сенсорные данные)

Данные с датчиков устройства, сопровождающие медиаданные (например, местоположение, время).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы с точки зрения мобильного устройства.

1. Получение настроек (settings) на мобильном устройстве, определяющих, когда захватывать медиаданные.
2. Инициация захвата медиаданных на основе этих настроек И реальных условий (real-world conditions).
3. Передача захваченных данных на сервер (который выполняет распознавание и добавляет данные в history of real-world experiences при обнаружении совпадения).
4. Передача запроса пользователя на сервер для поиска по этой истории.
5. Получение релевантных результатов из истории.

Ключевым элементом Claim 1 является специфическое условие для автоматического захвата: инициация захвата, когда текущее местоположение устройства находится вблизи popular location. Popular location определяется как место, где количество других пользователей, захвативших медиаданные, превышает пороговое значение. Это механизм автоматизированного сбора данных на основе социального контекста.

Claim 21 (Независимый пункт): Описывает процесс с точки зрения серверной системы.

1. Получение медиаданных от мобильного устройства, захваченных на основе настроек и условий (включая условие popular location).
2. Выполнение одного или нескольких recognition processes.
3. Добавление данных в history of real-world experiences пользователя, если найдено совпадение.
4. Получение запроса на поиск по этой истории.
5. Передача релевантных результатов.

Зависимые пункты (например, Claims 3, 4): Уточняют, что запрос может быть голосовым (voice activated query). В этом случае система должна разобрать аудиоданные для поиска ключевых слов и сформировать текстовый запрос (text based keyword query).

Зависимые пункты (например, Claims 5): Уточняют альтернативные настройки захвата: инициирование захвата при приближении к конкретному заданному местоположению (specific location).

Где и как применяется

Этот патент описывает отдельную экосистему для персональной индексации реальности, которая напрямую не интегрируется в основную архитектуру веб-поиска Google, но использует схожие базовые технологии распознавания.

CRAWLING – Сканирование и Сбор данных
В данном контексте "сканирование" — это сбор данных из физического мира. Мобильное устройство пользователя выступает в роли краулера, собирая media data и sensor data.

INDEXING – Индексирование и извлечение признаков
Серверная система получает сырые данные. Происходит извлечение признаков и запуск Recognition Processes для идентификации сущностей (людей, объектов, звуков). Успешно распознанные данные сохраняются в персональном индексе (Audio/Visual Based Search History).

QUNDERSTANDING – Понимание Запросов
Система принимает запросы пользователя (текстовые или голосовые), предназначенные для поиска по персональной истории. Голосовые запросы парсятся для извлечения ключевых слов.

RANKING – Ранжирование
Поиск выполняется исключительно по персональному индексу пользователя (или группы пользователей) для нахождения релевантных записей из его прошлого опыта.

Входные данные:

• Media data (аудио, видео, фото).
• Sensor data (локация, время).
• Настройки пользователя (preferences).
• Запрос пользователя.

Выходные данные:

• Индексированная запись в history of real-world experiences.
• Результаты поиска по этой истории (например, миниатюры, отображение на карте или временной шкале).

На что влияет

• Типы контента: Влияет на любой контент, который может быть зафиксирован визуально или аудиально в реальном мире: объекты, искусство, архитектура, товары, лица людей, музыка, разговоры.
• Специфические запросы: Позволяет отвечать на запросы, связанные с личным опытом (например, "Какие картины я видел в Париже?", "Какая музыка играла на вечеринке?").
• Влияние на веб-поиск: Не влияет на ранжирование веб-документов в основном индексе Google.

Когда применяется

Алгоритм захвата данных применяется в соответствии с настройками пользователя (Media Capture Preferences) и текущими условиями.

Триггеры активации:

• Ручной: Пользователь сам инициирует захват.
• Временной: Непрерывная запись или запись через заданные интервалы времени.
• Географический: Активация при нахождении в конкретном заданном месте (specific location).
• Социальный (Popular Location): Автоматическая активация, если устройство находится в Popular Location (месте, где многие другие пользователи вели запись).

Исключения: Система может изменять режим захвата данных в зависимости от состояния батареи мобильного устройства.

Пошаговый алгоритм

Процесс А: Сбор и Индексация Опыта

1. Мониторинг условий: Мобильное устройство постоянно анализирует данные датчиков (местоположение, время) и проверяет, удовлетворены ли условия для захвата медиа согласно настройкам.
2. Захват медиаданных: Если условия выполнены (например, устройство находится в популярном месте), устройство захватывает аудиовизуальные данные и данные сенсоров.
3. Передача данных: Захваченные данные передаются на серверную систему.
4. Распознавание: Сервер выполняет процессы распознавания (сопоставление изображений, распознавание лиц, распознавание аудио) на полученных данных.
5. Принятие решения: Система определяет, является ли распознавание положительным (найдено ли совпадение).
6. Хранение (Индексация): Если распознавание положительное, результаты, идентификатор пользователя и данные датчиков сохраняются в Audio/Visual Based Search History.

Процесс Б: Поиск по Истории Опыта

1. Получение запроса: Пользователь отправляет запрос (текстовый или голосовой) для поиска по своей истории.
2. Обработка запроса: Система обрабатывает запрос (включая парсинг голоса в ключевые слова, если необходимо).
3. Поиск по истории: Система выполняет поиск в Audio/Visual Based Search History соответствующего пользователя (или группы авторизованных пользователей).
4. Отображение результатов: Результаты передаются обратно клиенту и отображаются пользователю.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Цифровые изображения (фотографии, видеопоток) и цифровые аудиоданные (сэмплы, аудиопоток). Это основной источник данных для индексации опыта.
• Географические факторы: Данные о местоположении. Используются как триггер для захвата данных (в конкретных или популярных местах) и как метаданные для индексации контекста события.
• Временные факторы: Временные метки. Используются как метаданные для индексации контекста события и поиска по временным рамкам.
• Пользовательские факторы: Идентификатор пользователя; Media Capture Preferences (настройки условий захвата); Данные авторизации (разрешения на доступ к истории для других пользователей).

Какие метрики используются и как они считаются

• Popular Location Threshold (Порог популярного места): Ключевая метрика для автоматического триггера. Определяет минимальное количество других пользователей, которые должны были захватить медиаданные в определенном месте, чтобы это место считалось Popular Location.
• Recognition Match (Совпадение при распознавании): Метрика успешности Recognition Processes. Данные добавляются в историю только при условии положительного распознавания (find a match). Конкретные алгоритмы распознавания в патенте не детализированы.
• Ключевые слова из голосовых запросов: Используются методы NLP для парсинга голосовых запросов и извлечения ключевых слов для поиска по истории.

1. Персональный индекс реальности (Lifelogging): Патент описывает не систему веб-поиска, а инфраструктуру для создания персонального, доступного для поиска индекса физического опыта пользователя с помощью носимых устройств.
2. Демонстрация технологий распознавания сущностей: Изобретение подтверждает возможности Google в области распознавания реального мира (визуального и аудио) для идентификации и индексации сущностей (объектов, людей, мест). Эти технологии лежат в основе мультимодального поиска.
3. Автоматизированный сбор данных на основе контекста: Детализированы механизмы автоматического сбора данных, активируемые контекстом (время, местоположение).
4. Социальные триггеры сбора данных: Вводится концепция Popular Location. Система может автоматически активировать запись, если обнаруживает, что находится в месте, которое было интересно значительному числу других пользователей.
5. Отделение от веб-поиска: Описанная система функционирует отдельно от публичного веб-индекса. Прямых рекомендаций для ранжирования сайтов нет, но есть стратегические выводы.

Практическое применение в SEO

Этот патент имеет низкое прямое влияние на традиционное SEO, так как описывает создание персонального индекса. Однако для Principal SEO Strategist он имеет высокое стратегическое значение, так как демонстрирует передовые возможности Google в распознавании сущностей в реальном мире. Это напрямую связано с оптимизацией под Визуальный Поиск (Google Lens) и Local SEO.

Best practices (это мы делаем)

• Оптимизация под визуальный поиск: Технологии распознавания объектов (Recognition Processes), описанные в патенте, используются Google повсеместно. Используйте высококачественные, четкие и уникальные изображения продуктов, логотипов и физических мест. Это увеличивает вероятность корректного распознавания объекта системами Google (например, в Google Lens или Image Search).
• Усиление Local SEO через визуализацию: Патент подтверждает способность Google идентифицировать физические места на основе визуальных данных. Для локального бизнеса критически важно обеспечить полное и визуально богатое присутствие в Google Business Profile (фото экстерьера, интерьера, вывесок), чтобы облегчить распознавание локации.
• Entity-First Optimization: Сосредоточьтесь на том, чтобы ваш бренд, продукты и локации были четко определенными сущностями. Чем лучше Google понимает сущность, тем легче его системам распознавания идентифицировать её в любом контексте – будь то текст или изображение из реального мира.

Worst practices (это делать не надо)

• Использование генерических или некачественных изображений: Применение стоковых фотографий или размытых изображений снижает эффективность визуального распознавания и усложняет идентификацию ваших продуктов или локаций системами Google.
• Игнорирование мультимодального поиска: Стратегии, основанные только на тексте, упускают возможности, предоставляемые развитием технологий распознавания. Поисковый ландшафт смещается в сторону интеграции визуального и текстового контента.

Стратегическое значение

Патент подтверждает долгосрочную стратегию Google на глубокое понимание мира через мультимодальные данные (зрение и слух), выходя за рамки текста. Для SEO это означает необходимость перехода от оптимизации ключевых слов к оптимизации сущностей и их визуального представления. Развитие продуктов типа Google Lens является прямым следствием инвестиций в эти технологии распознавания. Поиск становится все более визуальным и контекстуальным.

Практические примеры

Сценарий: Оптимизация физического магазина для лучшего распознавания

1. Задача: Улучшить идентификацию магазина системами визуального распознавания Google (используемыми в Google Lens и потенциально в системах, описанных в патенте).
2. Действие: Разместить на сайте и в Google Business Profile высококачественные, четкие фотографии экстерьера, фокусируясь на уникальных архитектурных элементах и вывеске. Убедиться, что логотип хорошо виден.
3. Ожидаемый результат: Системы распознавания Google смогут точнее идентифицировать магазин по его внешнему виду. Это улучшает видимость при визуальном поиске и укрепляет связь между физической локацией (сущностью) и её цифровым представлением.