Как Google контролирует доступ к поиску по лицам (и другим биометрическим данным) в медиахранилищах с помощью цифровых ключей

Описание

Какую задачу решает

Патент решает проблему конфиденциальности и безопасности при использовании биометрических данных (в частности, эмбеддингов лиц, но также упоминаются голос, тело, отпечатки пальцев) для поиска в медиаконтенте (фото и видео). Основная уязвимость, которую он устраняет, — это риск утечки чувствительных эмбеддингов. Если бы эмбеддинг пользователя утек, его можно было бы использовать для идентификации человека в любых данных (например, в публичных видеопотоках) без его согласия. Патент предлагает механизм контролируемого доступа к функции поиска без раскрытия базовых эмбеддингов.

Что запатентовано

Запатентована система контроля доступа к функциям поиска и индексации на основе биометрических эмбеддингов. Суть изобретения заключается в использовании цифровых ключей (digital keys) и API в качестве посредников. Пользователь (User A) может разрешить другому пользователю (User B) искать себя в медиаконтенте, предоставив ему уникальный цифровой ключ. User B использует ключ для вызова API, который выполняет поиск на сервере, но User B никогда не получает доступ к самим эмбеддингам User A. Это позволяет User A в любой момент отозвать доступ, удалив ключ.

Как это работает

Система работает следующим образом:

• Генерация данных пользователя: Система применяет машинно-обученную модель (machine-learned model) к набору изображений пользователя (User A) для создания набора данных пользователя (user-specific dataset), состоящего из эмбеддингов. Этот набор хранится в защищенном виде на сервере.
• Индексация контента: Медиаконтент (например, фотоальбомы) индексируется с использованием той же модели для извлечения эмбеддингов всех обнаруженных лиц, формируя индексированную медиаинформацию (indexed media information).
• Обмен доступом: User A генерирует уникальный цифровой ключ и делится им с User B.
• Выполнение поиска: User B отправляет поисковый запрос через API, предоставляя цифровой ключ. API проверяет ключ, получает доступ к набору данных User A и сравнивает его с индексированной информацией.
• Результат: API возвращает User B найденные фото/видео, не раскрывая эмбеддинги.

Актуальность для SEO

Высокая. Патент опубликован в 2024 году и крайне актуален для продуктов управления персональными медиа (например, Google Photos) и систем аутентификации. Он описывает критически важную инфраструктуру конфиденциальности для функций распознавания лиц в условиях повышенного внимания к защите биометрических данных.

Важность для SEO

Влияние на SEO (1/10) – Минимальное/Инфраструктура. Патент не имеет значения для SEO-стратегии продвижения сайтов в публичном веб-поиске. Он не описывает алгоритмы ранжирования, анализ веб-контента или сигналы качества сайтов. Патент описывает внутренние процессы Google, связанные с конфиденциальностью и функциональностью поиска в закрытых медиапродуктах, без прямых рекомендаций для SEO.

Детальный разбор

Термины и определения

API (Application Programming Interface)

Программный интерфейс, который выступает посредником между пользователем, выполняющим поиск, и защищенными данными (эмбеддингами и индексом). API контролирует доступ на основе цифровых ключей.

Digital Key (Цифровой ключ)

Уникальный идентификатор (токен авторизации), который пользователь (User A) предоставляет другому пользователю (User B) для авторизации поиска по эмбеддингам User A. Ключ связан с User-Specific Dataset и может быть отозван.

Embedding (Эмбеддинг)

N-мерный вектор, являющийся числовым представлением входных данных (например, лица, голоса). Используется для представления характеристик человека на основе одного или нескольких образцов.

Indexed Media Information (Индексированная медиаинформация)

Данные, полученные в результате применения Machine-Learned Model к медиаконтенту. Содержит эмбеддинги лиц (или других данных), обнаруженных в фото и видео.

Machine-Learned Model (Машинно-обученная модель)

Модель (например, сверточная нейронная сеть), обученная генерировать эмбеддинги из медиаконтента. Используется как для создания User-Specific Dataset, так и для индексации контента.

User-Specific Dataset (Набор данных пользователя)

Набор эмбеддингов конкретного пользователя, сгенерированный на основе эталонного набора образцов (например, изображений лица). Используется как эталон для поиска.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод контроля конфиденциальности, выполняемый системой поставщика услуг.

1. Система получает набор изображений лица первого пользователя.
2. Применяется Machine-Learned Model для генерации User-Specific Dataset (эмбеддингов).
3. Медиаконтент в хранилище индексируется с помощью той же модели для создания Indexed Media Information.
4. Система контролирует (через API) доступ второго пользователя, ищущего первого пользователя. Контроль основан на Digital Key, которым первый пользователь поделился со вторым.
5. Система получает поисковый запрос, включающий Digital Key.
6. API использует ключ для доступа к Indexed Media Information и идентификации совпадений (сравнивая User-Specific Dataset с индексом).
7. Система предоставляет результаты поиска (найденные фото/видео).

Ядро изобретения — использование цифрового ключа как авторизационного токена для доступа к функции поиска по биометрическим данным, при этом сами данные (эмбеддинги) остаются защищенными.

Claim 13 (Независимый пункт — Система): Описывает систему, реализующую метод, и детализирует механизм отзыва доступа.

1. Система настроена на выполнение шагов генерации датасета, индексации и контроля доступа (аналогично Claim 1).
2. Система получает от первого пользователя выбор на удаление (отзыв) Digital Key, ранее предоставленного второму пользователю.
3. Система получает последующий поисковый запрос от устройства второго пользователя, содержащий этот ключ.
4. Система возвращает пустой результат (no results), основываясь на определении, что ключ больше не включен в набор действующих ключей, связанных с User-Specific Dataset первого пользователя.

Claim 18 (Независимый пункт): Описывает метод с точки зрения взаимодействия пользователя.

1. Захват изображений первого пользователя.
2. Передача изображений системе провайдера для генерации User-Specific Dataset.
3. Передача Digital Key второму пользователю для авторизации поиска.
4. Выполнение поискового запроса с ключом через API и получение результатов.

Где и как применяется

Патент не относится к стандартной архитектуре веб-поиска, а описывает механизм для продуктов управления медиаконтентом (например, Google Photos) или систем аутентификации.

INDEXING – Индексирование и извлечение признаков (в контексте медиаконтента)

На этом этапе происходят два ключевых процесса:

1. Генерация эталона: Machine-Learned Model обрабатывает эталонные изображения пользователя для создания защищенного User-Specific Dataset.
2. Индексация хранилища: Та же модель обрабатывает весь медиаконтент в хранилище (фото/видео) для извлечения эмбеддингов всех обнаруженных лиц и сохранения их в Indexed Media Information.

RANKING / METASEARCH (в контексте выполнения медиа-запроса)

Основное применение патента происходит во время выполнения запроса на поиск человека:

1. Авторизация: Система (через API) получает запрос и Digital Key. Она проверяет валидность ключа. Это механизм контроля доступа.
2. Поиск совпадений (Retrieval/Matching): Если ключ валиден, API использует его для идентификации соответствующего User-Specific Dataset и выполняет сравнение этих эмбеддингов с Indexed Media Information для поиска совпадений.

Входные данные:

• Эталонные изображения пользователя (для генерации User-Specific Dataset).
• Медиаконтент в хранилище (для индексации).
• Поисковый запрос от второго пользователя.
• Digital Key (в составе запроса).

Выходные данные:

• User-Specific Dataset (хранится защищенно).
• Indexed Media Information (хранится защищенно).
• Результаты поиска (список фото/видео, соответствующих запросу) или отказ в доступе.

На что влияет

• Конкретные типы контента: Влияет на поиск в изображениях и видео. Также упоминается возможность применения к аудио (поиск по голосу).
• Специфические запросы: Запросы, направленные на идентификацию конкретного человека (например, «фотографии с User A»).
• Конкретные ниши: Применяется в системах хранения и управления персональными медиа-архивами (например, Google Photos). Не влияет на SEO для веб-сайтов.

Когда применяется

• Триггеры активации: Активируется, когда пользователь инициирует поиск конкретного человека в медиахранилище.
• Условия применения: Алгоритм поиска выполняется только при наличии двух условий: (1) Искомый человек предварительно создал свой User-Specific Dataset в системе; (2) Ищущий пользователь предоставил валидный Digital Key, выданный искомым человеком.
• Исключения: Если ключ не предоставлен, не валиден или был отозван (удален), система возвращает пустой результат.

Пошаговый алгоритм

Процесс А: Настройка и Индексация (Офлайн или по мере поступления данных)

1. Получение эталонных изображений: Система получает набор изображений лица первого пользователя (User A).
2. Генерация эталонных эмбеддингов: Применяется Machine-Learned Model для создания User-Specific Dataset для User A. Данные сохраняются в защищенном виде.
3. Генерация ключей: Для User A создается набор Digital Keys для возможности предоставления доступа другим пользователям.
4. Индексация контента: Система обрабатывает медиаконтент. Применяется Machine-Learned Model для извлечения эмбеддингов всех лиц и создания Indexed Media Information.

Процесс Б: Выполнение Поиска (В реальном времени)

1. Получение запроса: Система получает запрос от второго пользователя (User B) на поиск фото/видео с User A. Запрос включает Digital Key, ранее полученный от User A.
2. Валидация ключа: API проверяет, является ли ключ авторизованным (существует ли он в наборе действующих ключей User A).
3. Обработка отказа: Если ключ не авторизован (отозван или недействителен), система возвращает пустой результат.
4. Идентификация эталона: Если ключ авторизован, API использует его для идентификации соответствующего User-Specific Dataset (User A).
5. Сравнение эмбеддингов: API сравнивает эмбеддинги из User-Specific Dataset с эмбеддингами в Indexed Media Information.
6. Формирование результатов: Идентифицируются медиафайлы, содержащие совпадающие эмбеддинги.
7. Предоставление ответа: Система возвращает найденные медиафайлы User B.

Какие данные и как использует

Данные на входе

Патент фокусируется на механизме контроля доступа и использует следующие типы данных:

• Мультимедиа факторы: Изображения и видео. Это основной источник данных для генерации эмбеддингов. Упоминаются цветные изображения (color images) и изображения в ближнем инфракрасном диапазоне (near-infrared images). Также патент указывает на применимость к другим данным: голос, изображения всего тела, отпечатки пальцев.
• Пользовательские факторы: Данные аккаунтов пользователей (для управления хранилищами и генерации ключей).
• Системные данные: Digital Keys, используемые для авторизации.

Какие метрики используются и как они считаются

• Embedding (Эмбеддинг): Ключевая метрика. Это n-мерный числовой вектор, генерируемый Machine-Learned Model. Он представляет собой сжатое представление характеристик биометрических данных.
• Схожесть Эмбеддингов: Хотя патент не детализирует формулы сравнения, он подразумевает использование метрик схожести (similarity) или расстояния (distance) между эталонным User-Specific Dataset и эмбеддингами в Indexed Media Information для идентификации совпадений.
• Статус Digital Key: Бинарная метрика (Валиден/Невалиден). Определяется наличием ключа в списке активных ключей пользователя.

Выводы

1. Фокус на конфиденциальности, а не на ранжировании: Патент описывает инфраструктуру защиты биометрических данных и контроля доступа, а не алгоритмы поиска или ранжирования. Он не о том, как лучше искать в вебе, а о том, как разрешить искать безопасно в закрытых системах.
2. Изоляция биометрических данных: Ключевой механизм гарантирует, что пользователь, выполняющий поиск, никогда не получает доступ к чувствительным данным — эмбеддингам искомого пользователя. Все операции сравнения выполняются внутри защищенной системы через API.
3. Цифровые ключи как основа контроля: Использование уникальных, отзываемых Digital Keys для каждого авторизованного пользователя является центральным элементом изобретения. Это обеспечивает гранулярный контроль доступа.
4. Отзыв доступа: Возможность мгновенно отозвать доступ путем удаления ключа является критически важной функцией безопасности.
5. Применимость к продуктам (Google Photos): Описанная система идеально соответствует функциональности поиска людей в персональных медиа-архивах.
6. Отсутствие влияния на SEO: Патент не содержит информации, которая может быть использована для улучшения стратегий SEO для веб-сайтов. Он не затрагивает веб-поиск, индексацию веб-страниц или факторы ранжирования.

Практика

ВАЖНО: Патент описывает внутренние инфраструктурные процессы Google, связанные с конфиденциальностью в медиапродуктах (например, Google Photos). Он не дает практических выводов или рекомендаций для SEO-специалистов, занимающихся продвижением сайтов в органическом веб-поиске.

Best practices (это мы делаем)

Не применимо к SEO. Патент не дает оснований для формирования лучших практик в области поисковой оптимизации сайтов.

Worst practices (это делать не надо)

Не применимо к SEO. Патент не описывает механизмы, направленные против каких-либо SEO-тактик.

Стратегическое значение

Стратегическое значение для SEO отсутствует. В более широком контексте патент подтверждает инвестиции Google в технологии машинного обучения (Machine-Learned Models, Embeddings) для глубокого анализа медиаконтента, а также важность построения надежных систем конфиденциальности при работе с чувствительными пользовательскими данными (биометрией). Это важно для понимания технологического уровня Google, но не влияет на долгосрочную SEO-стратегию.

Практические примеры

Практических примеров применения в SEO нет. Ниже приведен пример использования технологии в контексте продукта (например, Google Photos).

Сценарий: Поиск фотографий друга в своем альбоме

1. Настройка (User A — Анна): Анна использует Google Photos и включает распознавание лиц. Система создает ее User-Specific Dataset. Она хочет, чтобы ее друг Борис мог искать ее в своих фото. Она генерирует Digital Key K1 и отправляет его Борису.
2. Настройка (User B — Борис): Борис загружает свои фотографии. Система индексирует их, создавая Indexed Media Information.
3. Поиск: Борис хочет найти все фото с Анной. Он вводит запрос. Его приложение отправляет запрос в API Google, включая Digital Key K1.
4. Выполнение: API Google проверяет ключ K1, находит User-Specific Dataset Анны и сравнивает его с индексом альбома Бориса.
5. Результат: Борис видит фотографии с Анной. Он не получает доступ к ее биометрическим данным.
6. Отзыв: Если Анна решит запретить Борису поиск, она удаляет ключ K1. При следующем поиске Борис получит пустой результат.

Вопросы и ответы