Как Google использует распознавание лиц и логотипов для контроля репутации и управления конфиденциальностью в визуальном поиске

Описание

Какую задачу решает

Патент решает две основные задачи. Во-первых, он устраняет проблему неконтролируемого доступа к личной информации через визуальный поиск (например, когда кто-то загружает фотографию человека для его идентификации). Система защищает конфиденциальность субъектов изображений, требуя их явного согласия на выдачу результатов. Во-вторых, он решает задачу мониторинга использования изображений (лиц или логотипов) в интернете, предоставляя механизм для контроля репутации и защиты авторских прав путем оповещения субъектов о новых публикациях их изображений на сторонних ресурсах.

Что запатентовано

Запатентована система, объединяющая функциональность визуального поиска (включая распознавание лиц) с централизованным механизмом управления конфиденциальностью (Unified Search Entity). Суть изобретения в том, что результаты визуального поиска, идентифицирующие личность или связанные с ней изображения/контент, предоставляются поисковому пользователю ТОЛЬКО в том случае, если это разрешено настройками конфиденциальности (visual query preference) самого субъекта изображения. Также запатентован механизм сравнения базы данных известных изображений (лиц/логотипов) с индексом изображений, собранных краулером из интернета, для оповещения субъектов о найденных совпадениях.

Как это работает

Система работает в двух режимах:

1. Режим поиска с контролем конфиденциальности: Пользователь загружает визуальный запрос (например, фото лица). Система проводит распознавание и идентифицирует субъекта. Затем система проверяет настройки конфиденциальности этого субъекта в централизованной базе (Account Central). Результаты (имя субъекта, другие его фото или связанный веб-контент) возвращаются пользователю, только если субъект дал на это разрешение (например, разрешил поиск всем или только друзьям в социальной сети).
2. Режим оповещения (Мониторинг): Система поддерживает базу данных известных сущностей (людей, компаний) и признаков их изображений (лиц, логотипов). Параллельно Visual Web Crawler сканирует интернет (включая видео, которое разбирается на кадры) и наполняет вторую базу данных признаками найденных изображений. Система сравнивает две базы и при обнаружении совпадения отправляет оповещение (Alert) соответствующей сущности о том, что ее изображение появилось на новом URL.

Актуальность для SEO

Высокая. Вопросы конфиденциальности при распознавании лиц и технологии визуального поиска (например, Google Lens) крайне актуальны. Механизмы контроля репутации и мониторинга использования контента (включая изображения и видео) также активно развиваются, что подтверждается функциональностью, схожей с описанной в патенте (например, инструменты поиска украденных изображений и управление конфиденциальностью в Google Аккаунте).

Важность для SEO

Патент имеет среднее-высокое значение для SEO (6.5/10), но не в контексте традиционного ранжирования. Он не описывает алгоритмы ранжирования веб-страниц. Однако он критически важен для понимания работы визуального поиска, управления онлайн-репутацией (ORM) и Image SEO. Он описывает инфраструктуру Google для масштабного распознавания лиц и логотипов в интернете и предоставляет конкретный механизм для мониторинга упоминаний бренда или персоны через изображения. Это позволяет SEO-специалистам использовать визуальный мониторинг как часть стратегии защиты бренда и линкбилдинга.

Детальный разбор

Термины и определения

Account Central

Централизованная база данных, хранящая информацию об аккаунтах пользователей и их настройках конфиденциальности.

Facial Image Database

База данных изображений лиц, используемая для распознавания. Может включать изображения из социальных сетей, веб-альбомов, предыдущих запросов, фото знаменитостей, а также изображения, собранные веб-краулером (Web Crawler Images).

Feature Extractor

Компонент, извлекающий признаки (features) из изображений (например, биометрические точки лица, цвет, текстуру) для последующего сравнения. Эти признаки могут храниться в виде векторов (feature vectors).

Generalized Web Locations

Веб-сайты в интернете, которые не находятся под контролем поисковой системы, сканируемые для поиска контента.

Privacy Dashboard (Unified Privacy Dashboard)

Централизованный интерфейс, позволяющий пользователю управлять настройками конфиденциальности для всех продуктов поисковой системы, включая разрешение или запрет на идентификацию через визуальный поиск.

Social Connection Metrics

Метрики социальной связанности между субъектом изображения и инициатором поиска. Используются для ранжирования результатов визуального поиска (если разрешено настройками). Включают степень связи в соцсетях, объем коммуникаций (email, IM), общие группы и т.д.

Unified Search Entity

Организация (например, Google), которая предоставляет как минимум визуальный поиск и связанный с ним механизм для выражения предпочтений конфиденциальности.

Visual Query

Запрос к поисковой системе, представленный в виде изображения (фотография, скан, кадр из видео).

Visual Query Preference

Конкретная настройка конфиденциальности, определяющая, может ли субъект быть идентифицирован (и какие данные могут быть показаны) в ответ на визуальный запрос.

Visual Web Crawler

Специализированный краулер, который ищет в интернете файлы, содержащие изображения (фотографии людей, логотипы) и видео для индексации их признаков.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько независимых наборов утверждений (Claims), описывающих разные аспекты системы.

Набор 1: Контроль доступа к результатам визуального поиска (Claims 1, 2)

Claim 1 (Независимый пункт): Описывает метод контроля доступа к результатам визуального поиска, выполняемый Unified Search Entity.

1. Получение визуального запроса (с изображением лица) от инициатора поиска.
2. Идентификация субъекта изображения (его личности и/или других его изображений) с помощью распознавания лиц.
3. Получение предпочтений конфиденциальности (включая visual query preference) субъекта через централизованный механизм.
4. Передача идентификационных данных или изображений субъекта инициатору поиска ТОЛЬКО если это разрешено visual query preference. Указывается, что запрет может быть основан на том, что инициатор не вошел в аккаунт или не состоит в социальной группе субъекта.
5. Если результат подавляется (suppressing), система может предоставить инициатору альтернативный ответ (например, индикацию, что субъект существует, но запретил поиск, или опцию запросить доступ).

Claim 2 (Независимый пункт): Описывает схожий процесс, но фокусируется на поиске контента на сторонних сайтах.

1. Получение визуального запроса (с изображением лица).
2. Идентификация general web content (на страницах, не контролируемых поисковой системой), связанного с субъектом изображения.
3. Получение visual query preference субъекта.
4. Передача этого general web content инициатору поиска ТОЛЬКО если это разрешено предпочтениями субъекта.

Ядро изобретения здесь — это обязательная проверка настроек конфиденциальности субъекта ПЕРЕД выдачей результатов визуального поиска, который его идентифицирует.

Набор 2: Оповещение об использовании изображения (Claims 7, 21)

Claim 7 (Независимый пункт): Описывает метод оповещения сущности (человека или компании) об использовании ее изображения (лица или логотипа).

1. Доступ к Первой базе данных (First Database), содержащей записи с идентификаторами сущностей и признаками (features) их изображений.
2. Доступ ко Второй базе данных (Second Database), содержащей записи с идентификаторами веб-страниц (URL) и признаками изображений, найденных на этих страницах краулером.
3. Сравнение признаков из Первой базы с признаками во Второй базе.
4. Получение настроек оповещений (адрес, частота) от идентифицированной сущности.
5. Если найдено вероятное совпадение (probable match), соответствующая сущность из Первой базы получает оповещение (advising).

Claim 21 (Независимый пункт): Описывает метод оповещения человека о его появлении в видео. Процесс аналогичен Claim 7, но включает дополнительные шаги: деконструкцию видео на отдельные кадры (с помощью Video Decomposer) и извлечение признаков лиц из этих кадров для наполнения Второй базы данных.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, от сбора данных до финальной выдачи результатов.

CRAWLING – Сканирование и Сбор данных
Система использует Visual Web Crawler для сканирования Generalized Web Locations и сбора изображений (фотографий, логотипов) и видео для наполнения Второй базы данных (Индекса).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит обработка собранных данных. Feature Extractor анализирует изображения как из пользовательских источников (соцсети, альбомы – Первая база), так и из интернета (Вторая база). Видео деконструируется на кадры. Извлекаются визуальные признаки (features, feature vectors), необходимые для распознавания лиц и паттернов. Также индексируются метаданные и данные о социальных связях.

RANKING – Ранжирование
При обработке визуального запроса система ранжирует потенциальные совпадения. Ранжирование основывается на визуальном сходстве (visual similarity) и, опционально (как описано в патенте, FIGS 8, 10), на Social Connection Metrics (степень знакомства инициатора запроса и субъекта), местоположении и других факторах, если это разрешено настройками конфиденциальности.

RERANKING / Filtering – Переранжирование и Фильтрация
Ключевой этап применения патента (Claims 1, 2). После того как система идентифицировала субъекта изображения, она обращается к Account Central для проверки Visual Query Preference. Если настройки субъекта запрещают выдачу результатов для данного инициатора, результаты фильтруются (блокируются) перед показом.

На что влияет

• Конкретные типы контента: В первую очередь влияет на изображения, содержащие лица людей, и на логотипы компаний. Также влияет на видеоконтент, который анализируется покадрово.
• Специфические запросы: Влияет на запросы типа «поиск по изображению» (Query-by-Image), направленные на идентификацию личности или поиск похожих изображений/логотипов.
• Управление репутацией (ORM) и Бренд-менеджмент: Предоставляет инфраструктуру и инструменты для отслеживания несанкционированного использования фотографий и логотипов в интернете.

Когда применяется

Режим Поиска:

• Триггер активации: Поступление визуального запроса, в котором система обнаруживает лицо или логотип, и попытка его идентификации.
• Условие применения фильтрации: Фильтрация активируется всегда, когда происходит идентификация. Результат (показать или скрыть) зависит от настроек Visual Query Preference субъекта и статуса инициатора поиска (анонимный, авторизованный, друг).

Режим Мониторинга:

• Триггер активации: Постоянное или периодическое сравнение Первой и Второй баз данных. Активируется при обнаружении вероятного совпадения (probable match).
• Условие применения: Пользователь или компания должны быть зарегистрированы в системе (Первая база) и активировать функцию оповещения.

Пошаговый алгоритм

Процесс А: Обработка визуального запроса с контролем конфиденциальности (Claims 1, 2)

1. Получение запроса: Unified Search Entity получает визуальный запрос с изображением лица от инициатора поиска.
2. Распознавание и Идентификация: Система использует Facial Recognition Search System для сравнения признаков изображения с базой данных. Идентифицируется личность субъекта и/или находятся другие его изображения или связанный веб-контент. (Этот шаг может включать ранжирование кандидатов, см. Процесс Б).
3. Получение настроек конфиденциальности: Система запрашивает у Account Central настройки Visual Query Preference для идентифицированного субъекта.
4. Анализ контекста запроса: Система анализирует статус инициатора поиска (вошел ли он в систему, состоит ли в социальных группах субъекта).
5. Применение фильтрации: Система принимает решение о выдаче результатов. Если Visual Query Preference разрешает доступ для данного инициатора, результаты передаются. Если запрещает, результаты блокируются.
6. (Опционально) Оповещение субъекта: Система может уведомить субъекта о том, что кто-то выполнял поиск по его изображению (принцип взаимности).

Процесс Б: Ранжирование результатов визуального поиска (Описание, FIGS 8, 10)

1. Поиск совпадений: Идентификация потенциальных совпадений (Potential Image Matches) на основе визуального сходства.
2. Идентификация персон: Определение людей, связанных с этими совпадениями.
3. Сбор данных о персонах: Для каждого кандидата извлекаются Social Connection Metrics (связь с инициатором поиска) и характеристики из других изображений этого человека (метаданные, визуальные факторы), если это разрешено настройками.
4. Генерация упорядоченного списка: Кандидаты ранжируются на основе визуального сходства И, опционально, на основе Social Connection Metrics и других факторов (например, совпадение местоположения, объем коммуникаций).

Процесс В: Мониторинг использования изображений и Оповещение (Claims 7, 21)

1. Наполнение Первой базы: Сбор идентификаторов сущностей и извлечение признаков их изображений (лиц/логотипов).
2. Сканирование Интернета: Visual Web Crawler обходит веб-сайты, собирая изображения и видео.
3. Обработка контента: Видео деконструируется на кадры. Feature Extractor извлекает признаки из найденного контента.
4. Наполнение Второй базы (Индекса): Признаки сохраняются вместе с URL источника.
5. Сравнение баз: Система распознавания сравнивает признаки из Первой базы с признаками во Второй базе.
6. Оповещение: При обнаружении совпадения отправляется уведомление (Alert) соответствующей сущности из Первой базы.

Какие данные и как использует

Данные на входе

Патент упоминает широкий спектр данных, используемых как для идентификации, так и для ранжирования результатов визуального поиска.

• Мультимедиа факторы (Визуальные признаки): Признаки изображений (features), извлеченные Feature Extractor. Для лиц это могут быть биометрические точки (FIG. 20), цвет глаз (Eye color factor), наличие очков (Glasses factor), волос на лице/голове (Facial/Head hair factor), головных уборов (Headwear factor), тип одежды (Clothing factor).
• Технические факторы (Метаданные изображений): Дата и время съемки (Date/Time information), информация о местоположении (Location information). URL источников.
• Поведенческие и Социальные факторы:
  • Social Connection Metrics: Прямые связи в социальных сетях, членство в группах (Group Memberships).
  • Объем коммуникаций: Количество email и IM сообщений между инициатором поиска и субъектом.
  • Активность в блогах и микроблогах.
• Пользовательские факторы (Персональные данные): Имя, адрес, профессия (Occupation), интересы (Interests), возраст, родной город, место работы. Эти данные берутся из профилей, календарей, контактных листов.
• Географические факторы: Текущее местоположение (Current Location) инициатора поиска и субъекта (например, через GPS или IP-адрес).
• Системные данные: Настройки конфиденциальности (Visual Query Preference, Share preferences).

Какие метрики используются и как они считаются

Система использует метрики для оценки сходства и ранжирования кандидатов при визуальном поиске:

• Visual Similarity (Визуальное сходство): Метрика, оценивающая схожесть визуальных признаков (feature vectors) запроса и изображений в базе.
• Probable Match: Результат сравнения визуального сходства, превышающий порог уверенности.
• Social Connectivity Ranking Factor: Оценка, основанная на Social Connection Metrics. Учитывает «социальную дистанцию» (количество «хопов» в социальном графе) и интенсивность коммуникаций.
• Personal Similarity Metrics: Метрики, оценивающие степень сходства персональных данных инициатора поиска и субъекта.
• Location Match: Сравнение текущего местоположения инициатора и субъекта, а также сравнение истории местоположений с метаданными изображения.
• Habitat Factors (Indoor/Outdoor): Характеристики, основанные на анализе фона других изображений субъекта.
• Occurrence/Co-occurrence Information: Частота появления субъекта в источниках изображений и частота его появления вместе с другими людьми.

Патент указывает, что эти факторы используются для определения Ranking Score для каждого кандидата, и каждому фактору может быть присвоен вес (Value and weight).

Выводы

1. Приоритет конфиденциальности над доступностью информации: Ключевой вывод — Google разработал инфраструктуру для жесткого контроля над результатами визуального поиска, идентифицирующими личность. Система может блокировать результаты, если субъект явно не разрешил их показ (модель Opt-in или default deny).
2. Визуальный поиск как инструмент ORM: Патент описывает мощный механизм мониторинга репутации (Claims 7, 21). Система способна автоматически сканировать интернет (включая видео) на предмет появления лиц или логотипов и оповещать об этом владельцев. Это превращает визуальный поиск в инструмент защиты бренда и авторских прав.
3. Индексация визуальных признаков в масштабе веба: Подтверждается использование Visual Web Crawler и масштабное извлечение признаков (feature extraction) из изображений и видеокадров по всему интернету для целей распознавания.
4. Комплексное ранжирование в визуальном поиске: Когда идентификация разрешена, ранжирование кандидатов является многофакторным. Оно учитывает не только визуальное сходство, но и глубоко интегрированные социальные сигналы (Social Connection Metrics), поведенческие паттерны и контекст (время, место).
5. Важность управления сущностями: Для работы системы необходимо, чтобы Google мог связать изображения с конкретными сущностями (людьми, компаниями) и их аккаунтами (Account Central). Это подчеркивает важность корректного управления профилями и изображениями сущностей.

Практика

Best practices (это мы делаем)

• Мониторинг использования логотипов и брендированных изображений (Линкбилдинг/ORM): Используйте инструменты визуального поиска для отслеживания того, где и как используются логотипы и ключевые изображения компании в интернете. Описанный механизм (Claim 7) предполагает, что Google может предоставлять такие данные. Это можно использовать для выявления нарушений авторских прав или для линкбилдинга (запрос ссылки при использовании изображения).
• Управление репутацией персон (ORM): Для публичных лиц (руководителей компаний, экспертов) важно отслеживать появление их фотографий и видео с их участием в сети (Claim 21). Механизм оповещения может использоваться для быстрого реагирования на негативные публикации или нежелательный контекст.
• Оптимизация под визуальный поиск (Image SEO): Понимание того, что Google извлекает и индексирует визуальные признаки (логотипы, лица), подчеркивает важность использования четких, качественных и консистентных изображений для брендов и ключевых персон, чтобы обеспечить их корректное распознавание системой.
• Управление настройками конфиденциальности: Необходимо понимать и управлять настройками конфиденциальности в экосистеме Google (Privacy Dashboard), чтобы контролировать, какая информация может быть выдана при визуальном поиске по изображениям сотрудников или логотипам.

Worst practices (это делать не надо)

• Игнорирование визуального контента в стратегии ORM: Ограничение мониторинга репутации только текстовыми упоминаниями неэффективно, так как система способна идентифицировать сущности визуально, даже без текстовых тегов.
• Неконсистентное использование логотипов: Использование множества сильно различающихся версий логотипа может затруднить его автоматическое распознавание системой мониторинга и снизить эффективность отслеживания упоминаний бренда.
• Нарушение конфиденциальности: Попытки использовать визуальный поиск для получения информации о людях без их согласия будут неэффективны, если система реализована согласно патенту (default deny).

Стратегическое значение

Патент подтверждает стратегическое направление Google на глубокое понимание визуального контента и идентификацию сущностей в нем. Для SEO это означает, что управление репутацией и брендинг все больше смещаются от простого отслеживания ключевых слов к комплексному мониторингу присутствия сущности (компании или персоны) в интернете, включая изображения и видео. Технологии, описанные в патенте, предоставляют инфраструктуру для этого мониторинга. Также патент подчеркивает важность интеграции SEO с юридическими аспектами и PR для контроля над использованием визуальных активов компании.

Практические примеры

Сценарий: Мониторинг использования логотипа для линкбилдинга

1. Настройка мониторинга: Компания регистрирует свой логотип в системе мониторинга (аналог Первой базы данных). В интерфейсе (аналог FIG. 15) активируется опция мониторинга логотипа на вебе и настраивается получение email-оповещений.
2. Работа системы: Visual Web Crawler сканирует интернет. Feature Extractor анализирует найденные изображения. Система распознавания паттернов сравнивает признаки логотипа компании с индексом.
3. Получение оповещения: SEO-специалист получает email (Alert) о том, что логотип компании был обнаружен на новом сайте (например, в статье-обзоре).
4. Действие: Специалист проверяет сайт. Если сайт качественный и использование логотипа уместно, но активная ссылка на сайт компании отсутствует, специалист связывается с владельцем сайта и просит добавить ссылку.
5. Результат: Получение качественной обратной ссылки и контроль над использованием визуальных активов.

Сценарий: Контроль репутации публичного лица (включая видео)

1. Настройка мониторинга: Публичное лицо (например, CEO компании) активирует функцию оповещения о появлении своего лица в фото и видео в своем Privacy Dashboard (аналог FIG. 14, 16).
2. Работа системы: Система сканирует интернет. При обнаружении нового видео оно разбирается на кадры (Claim 21), из которых извлекаются признаки лиц.
3. Получение оповещения: CEO получает оповещение о том, что его лицо обнаружено в новом видео на хостинге.
4. Действие: При переходе по ссылке выясняется, что видео используется в негативном контексте или является дипфейком.
5. Результат: PR- и юридический отделы компании оперативно реагируют на публикацию, минимизируя репутационный ущерб. Патент также упоминает возможность «remediate improper use», например, через предоставление шаблонов DMCA takedown запросов.

Вопросы и ответы