Как Google использует социальные связи и личные данные для распознавания лиц в визуальном поиске

Описание

Какую задачу решает

Патент решает проблему неточности систем распознавания лиц, полагающихся исключительно на визуальное сходство. Такие системы могут ошибочно идентифицировать визуально похожего незнакомца вместо реального знакомого пользователя. Изобретение повышает релевантность результатов, отдавая приоритет людям, с которыми пользователь социально связан, исходя из предположения, что пользователи чаще ищут или фотографируют тех, кого знают.

Что запатентовано

Запатентована система и метод улучшения распознавания лиц путем интеграции анализа социальных связей. Когда пользователь (requester) отправляет визуальный запрос с лицом, система извлекает social connection metrics (метрики социальной связанности) между пользователем и потенциальными кандидатами. Эти метрики собираются из множества источников (plurality of applications), таких как социальные сети, почта, мессенджеры и календари. Финальное ранжирование кандидатов основывается на комбинации визуального сходства и силы этих социальных связей.

Как это работает

Система работает следующим образом:

• Получение запроса: Пользователь отправляет визуальный запрос (visual query) с изображением лица.
• Визуальный поиск: Система находит потенциальные совпадения (potential image matches) на основе визуального сходства в источниках, связанных с пользователем.
• Идентификация и сбор данных: Идентифицируются люди на найденных изображениях. Для каждого из них система рассчитывает social connection metrics, определяющие уровень связи с пользователем.
• Ранжирование: Генерируется упорядоченный список кандидатов. Ранжирование учитывает как визуальное сходство, так и социальную связанность (например, объем общения, прямые связи, общие группы, текущее местоположение).
• Выдача результата: Пользователю предоставляется идентификатор наиболее вероятного человека.

Актуальность для SEO

Высокая. Хотя приоритет патента восходит к более ранним заявкам (2009/2010 гг.), базовый принцип использования социальных графов и данных о взаимодействиях для персонализации поиска и улучшения идентификации сущностей остается критически важным для Google (например, в Google Photos). Описанные методы интеграции разрозненных данных для понимания взаимосвязей между сущностями (людьми) лежат в основе современных систем. Однако фактическая реализация может быть ограничена современными регуляциями конфиденциальности.

Важность для SEO

(45/100). Патент имеет ограниченное прямое влияние на тактическое SEO и ранжирование веб-сайтов в традиционном поиске, так как сфокусирован на персонализированном визуальном поиске. Однако он имеет высокое стратегическое значение. Он детально раскрывает механизмы, которые Google использует для идентификации сущностей (людей) и анализа глубоких взаимосвязей между ними. Это подтверждает важность работы над управлением сущностями (Entity Management), авторством и сигналами E-E-A-T в долгосрочной SEO-стратегии.

Детальный разбор

Термины и определения

Facial Recognition Search System (Система поиска с распознаванием лиц)

Специализированная поисковая система, обрабатывающая визуальные запросы с лицами, используя визуальное сходство и социальные данные.

Image Sources (Источники изображений)

Базы данных для поиска совпадений (например, социальные сети, веб-альбомы). Выбор источников зависит от данных о запрашивающем пользователе.

Person-Specific Data (Данные, специфичные для человека)

Информация о человеке (имя, профессия, интересы, возраст, местоположение), извлекаемая из различных приложений.

Plurality of Applications (Множество приложений)

Источники для сбора Social Connection Metrics: коммуникационные приложения (почта, мессенджеры), социальные сети, календари.

Potential Image Matches (Потенциальные совпадения изображений)

Изображения, найденные системой как визуально похожие на лицо в запросе.

Requester (Запрашивающий пользователь)

Пользователь, отправляющий визуальный запрос.

Social Connection Metrics / Level of Social Connectivity (Метрики социальной связанности / Уровень социальной связанности)

Показатели, определяющие силу социальной связи между идентифицированным человеком и запрашивающим пользователем.

Visual Query (Визуальный запрос)

Изображение, отправленное в поисковую систему в качестве запроса.

Ключевые утверждения (Анализ Claims)

Патент US10515114B2 является продолжением (continuation) более ранних заявок. Анализ фокусируется на независимом пункте Claim 1.

Claim 1 (Независимый пункт): Описывает компьютерный метод обработки визуального запроса.

1. Получение изображения запроса (query image), отправленного запрашивающим пользователем (requesting user).
2. Идентификация людей, соответствующих лицу на изображении.
3. Для каждого идентифицированного человека: определение уровня социальной связанности (level of social connectivity) между этим человеком и запрашивающим пользователем.
4. Выбор одного или нескольких идентифицированных людей на основе этого уровня социальной связанности.
5. Предоставление идентификатора (respective identifier) выбранных людей пользователю.

Ядро изобретения — использование level of social connectivity как фактора для выбора и ранжирования результатов распознавания лиц.

Claim 2 (Зависимый от 1): Уточняет метод определения уровня связанности.

Уровень связанности определяется на основе расстояния (distance) между человеком и пользователем в графе социальных связей (social network connection graph).

Claim 3 (Зависимый от 1): Уточняет альтернативный метод определения уровня связанности.

Уровень связанности определяется на основе количества сообщений (quantity of messages exchanged), которыми обменялись человек и пользователь.

Claim 4 (Зависимый от 1): Детализирует процесс выбора.

Если уровень связанности первого человека указывает на более сильную связь (stronger connection), чем у второго, то выбирается первый человек.

Где и как применяется

Изобретение применяется в подсистеме распознавания лиц (Facial Recognition Search System) в рамках системы обработки визуальных запросов.

INDEXING – Индексирование и извлечение признаков
На этом этапе система предварительно обрабатывает данные из множества источников (plurality of applications) для построения социальных графов, извлечения person-specific data и расчета базовых social connection metrics. Также происходит индексация изображений и извлечение визуальных признаков лиц.

QUNDERSTANDING – Понимание Запросов
Система принимает визуальный запрос, определяет наличие лица и инициирует процесс распознавания.

RANKING – Ранжирование (в рамках визуального поиска)
Основной этап применения патента.

• Отбор кандидатов: Быстрый отбор визуально похожих изображений (potential image matches).
• Глубокое ранжирование и Переранжирование: Ключевой момент. Система извлекает social connection metrics для оценки кандидатов. Происходит расчет финального рейтинга на основе комбинации визуального сходства и социальной связанности.

Входные данные:

• Визуальный запрос с лицом.
• Идентификатор запрашивающего пользователя (Requester ID).
• Базы данных изображений и социальных данных.
• (Опционально) Текущие геолокационные данные.

Выходные данные:

• Упорядоченный список идентификаторов людей (person identifiers).

На что влияет

• Специфические запросы: Влияет исключительно на визуальные запросы, содержащие лица (Visual Search), особенно в персонализированных средах (например, Google Photos).
• Типы контента: Идентификация людей в фотографиях и видеокадрах.

Когда применяется

• Триггеры активации: Обнаружение лица в визуальном запросе.
• Условия применения: Наличие доступа к социальному графу запрашивающего пользователя и базе данных идентифицированных лиц для сравнения.

Пошаговый алгоритм

Процесс обработки визуального запроса с лицом:

1. Получение запроса: Система получает визуальный запрос от запрашивающего пользователя.
2. Идентификация визуальных совпадений: Поиск potential image matches на основе визуального сходства в источниках изображений, связанных с пользователем.
3. Идентификация кандидатов: Определение людей (сущностей), связанных с найденными совпадениями.
4. Извлечение данных и расчет метрик: Для каждого кандидата извлекаются person-specific data и рассчитываются social connection metrics с пользователем. Анализируются данные из соцсетей, почты, мессенджеров и т.д. Учитываются:
   • Объем коммуникаций.
   • Наличие прямой связи или расстояние в социальном графе.
   • Схожесть персональных данных (personal similarity metrics) – общие группы, интересы, работа.
5. (Опционально) Анализ контекста: Получение и сравнение текущего местоположения пользователя и кандидатов. Сравнение метаданных запроса (время, место) с другими изображениями кандидата.
6. Генерация итогового рейтинга: Ранжирование кандидатов на основе комбинации оценок визуального сходства и social connection metrics.
7. (Опционально) Проверка разрешений: Проверка настроек приватности или списков согласия (opt-in list).
8. Отправка результата: Отправка лучших идентификаторов (имя, фото профиля) пользователю.

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных для идентификации и ранжирования.

• Контентные факторы (Визуальные): Визуальные признаки лица из запроса и из базы данных изображений (Facial Image Database).
• Поведенческие и Коммуникационные факторы: Данные из почты и мессенджеров: объем общения (amount of communication), частота.
• Социальные факторы (Графовые): Данные из социальных сетей: наличие прямой связи (directly connected), расстояние в социальном графе (social network connection graph), членство в группах (Group Memberships).
• Пользовательские факторы (Персональные данные): Person-specific data пользователя и кандидатов: профессия, интересы, возраст, работа. Используются для расчета personal similarity metrics.
• Географические факторы: Текущее местоположение (Current Location) пользователя и кандидатов (например, через GPS или IP-адрес).
• Временные факторы: Дата и время съемки изображения запроса (метаданные).

Какие метрики используются и как они считаются

• Visual Similarity Metrics (Метрики визуального сходства): Оценка того, насколько лицо в запросе похоже на лица в базе данных.
• Social Connection Metrics (Метрики социальной связанности): Агрегированная оценка силы связи. Включает:
  • Communication Amount: Количество или частота обмена сообщениями.
  • Social Graph Distance: Количество «прыжков» в социальном графе.
• Personal Similarity Metrics (Метрики персонального сходства): Оценка схожести профилей пользователя и кандидата (общие интересы, демография, работа).
• Location Match (Совпадение местоположения): Оценка, указывающая, находятся ли пользователь и кандидат в одном месте в текущий момент или находились ли в месте съемки фото.

Финальный Ranking Score вычисляется путем комбинации этих метрик, при этом социальная связанность является ключевым фактором наряду с визуальным сходством.

Выводы

1. Приоритет связей в идентификации сущностей: В визуальном поиске лиц Google активно использует социальный граф пользователя. Социально близкий человек может быть ранжирован выше, чем визуально более похожий незнакомец.
2. Глубокая интеграция данных: Патент демонстрирует способность Google интегрировать разрозненные источники данных – изображения, логи коммуникаций, социальные сети, календари и геолокацию – для построения детальных профилей сущностей (людей) и понимания их взаимосвязей.
3. Экстремальная персонализация: Результаты распознавания лиц сильно персонализированы. Идентификация зависит от того, КТО задает вопрос и каковы его связи с объектом на фото.
4. Многофакторная оценка связей: Social Connection Metrics учитывают не только факт знакомства, но и реальную активность (объем общения) и схожесть профилей (общие интересы, демография).
5. Стратегическое значение для E-E-A-T: Хотя патент не относится напрямую к веб-поиску, он подтверждает технические возможности Google по идентификации авторов/экспертов и оценке их авторитетности через анализ взаимосвязей и активности в сети.

Практика

Best practices (это мы делаем)

Хотя патент фокусируется на персонализированном визуальном поиске, он дает критически важные инсайты для стратегии управления сущностями (Entity Management) и E-E-A-T.

• Укрепление сущности автора/эксперта: Необходимо обеспечить, чтобы Google мог четко идентифицировать ключевых авторов компании как сущности. Это включает консистентность данных (имя, фото, биография, профили в соцсетях) на всех площадках.
• Четкое определение связей сущностей: Активно используйте schema.org/Person и свойства, такие как colleague (коллега), worksFor (работает в), knowsAbout (знает о), чтобы явно указать на связи и компетенции. Это отражает тип взаимосвязей, которые Google считает важными согласно патенту.
• Использование реальных и консистентных изображений: Используйте высококачественные и одинаковые фотографии авторов на сайте и во внешних профилях. Это помогает системам визуальной идентификации корректно распознавать сущность.
• Демонстрация сотрудничества и активности: Совместное авторство, участие в общих мероприятиях, профессиональная активность в сети. Патент показывает, что Google анализирует совместную активность (например, Co-occurrences на фото, интенсивность общения) для оценки силы связи.

Worst practices (это делать не надо)

• Анонимность и псевдонимы для экспертов: Затрудняет идентификацию сущностей и построение связей, что негативно влияет на E-E-A-T.
• Использование стоковых фото или аватаров: Не позволяет системам визуальной идентификации связать контент с реальной сущностью автора.
• Неконсистентные данные о сущностях: Разные фото профиля, противоречивые биографии и варианты написания имени на разных площадках «размывают» сущность и усложняют ее идентификацию.
• Создание искусственных связей: Попытки манипулировать графом знаний путем создания фейковых персон или искусственных связей. Google анализирует глубину и природу связей, а не только факт их наличия.

Стратегическое значение

Патент подтверждает стратегический приоритет Google на понимание реального мира через идентификацию сущностей и их взаимосвязей (Entity-Oriented Search). Он детально показывает, насколько глубоко Google может анализировать связи между людьми. Для SEO это означает, что построение авторитетности (E-E-A-T) требует не только качественного контента, но и четкой идентификации авторов и демонстрации их реальных связей и активности в профессиональном сообществе.

Практические примеры

Прямых примеров для тактического SEO нет. Однако можно смоделировать сценарий для стратегического управления сущностями.

Сценарий: Усиление авторитетности эксперта через связи (E-E-A-T)

Необходимо повысить E-E-A-T основного медицинского автора сайта (Доктор А).

1. Применение принципов патента: Патент использует сильные связи для уверенной идентификации. В SEO мы должны сделать профессиональные связи Доктора А явными для Google.
2. Действия:
   • На странице профиля Доктора А использовать разметку schema.org/Person.
   • Указать место работы (worksFor) и коллег (colleague), ссылаясь на их профили.
   • Использовать единое профессиональное фото Доктора А на всех платформах (сайт, LinkedIn, профили конференций).
   • Публиковать совместные работы с другими признанными экспертами.
3. Ожидаемый результат: Укрепление связей между сущностями в Графе Знаний Google. Системы, подобные описанной в патенте, более уверенно идентифицируют Доктора А визуально и по связям, что способствует точной оценке его авторитетности.

Вопросы и ответы