Как Google использует биографические данные и визуальные характеристики для поиска похожих людей на изображениях

Описание

Какую задачу решает

Патент решает задачу повышения релевантности при поиске изображений людей, похожих на человека с исходного изображения (similarity searches). Проблема традиционных систем поиска по визуальному сходству заключается в том, что они могут возвращать результаты, которые визуально похожи, но не соответствуют важным для пользователя критериям, таким как пол, возраст или этническая принадлежность. Например, при поиске похожих на мужчину система могла вернуть изображение женщины. Патент предлагает механизм для интеграции биографической информации в процесс поиска по сходству для устранения таких несоответствий.

Что запатентовано

Запатентован метод и система для выполнения поиска по сходству изображений людей, который комбинирует визуальные характеристики и биографическую информацию. Система идентифицирует человека на изображении и связанные с ним биографические данные (из текста или метаданных). На основе этих данных определяются биографические классификации (biographical classifications), такие как возраст, пол или этническая принадлежность. Затем система выполняет поиск визуально похожих изображений и использует эти биографические классификации для фильтрации или ранжирования результатов.

Как это работает

Система работает в несколько этапов:

• Идентификация и Извлечение: Система идентифицирует человека на изображении (например, с помощью распознавания лиц) и извлекает связанную с ним биографическую информацию (biographical information) из метаданных, тегов или контекста (например, профиля в социальной сети).
• Определение характеристик: Извлеченная информация анализируется для определения биографических классификаций (пол, возраст, этническая принадлежность). Это может включать анализ имени, никнейма, географического положения или данных социальной сети.
• Поиск по сходству: Выполняется поиск изображений других людей, которые визуально похожи на исходное изображение. Для этого могут использоваться различные визуальные признаки (цвет кожи, волос, форма лица) или векторы признаков (feature vectors).
• Фильтрация и Ранжирование: Полученные результаты фильтруются или ранжируются с использованием определенных ранее биографических классификаций, чтобы убедиться, что результаты соответствуют не только визуальным, но и демографическим критериям.

Актуальность для SEO

Средняя. Технологии распознавания лиц и анализа изображений значительно продвинулись с момента подачи патента. Использование контекстуальной и биографической информации для уточнения результатов поиска изображений остается актуальной задачей для Google, особенно в контексте обеспечения разнообразия и точности выдачи. Механизмы, описанные в патенте, лежат в основе современных систем поиска изображений и управления цифровыми активами.

Важность для SEO

Влияние на традиционное SEO (ранжирование веб-страниц) минимальное. Патент напрямую фокусируется на механизмах поиска изображений и распознавания лиц. Однако он имеет значение для оптимизации поиска по изображениям (Image SEO) и управления репутацией (SERM). Понимание того, как Google извлекает и использует биографические данные, связанные с изображениями людей (например, авторов контента, экспертов), подчеркивает важность предоставления четкого текстового контекста и метаданных для корректной идентификации и классификации этих лиц.

Детальный разбор

Термины и определения

Biographical classification (Биографическая классификация)

Категоризация человека на основе его биографической информации. В патенте упоминаются такие классификации, как пол (Gender), этническая принадлежность (Ethnicity) и возраст (Age).

Biographical information (Биографическая информация)

Данные, связанные с человеком на изображении, полученные не из визуального анализа самого изображения, а из внешних источников: текста, метаданных, тегов, профилей социальных сетей, имен, никнеймов, географических меток.

Characteristic Determination (Определение характеристик)

Модуль системы, который идентифицирует биографические классификации человека на основе текста/метаданных и, возможно, данных изображения.

Feature Extraction (Извлечение признаков)

Процесс анализа изображения для извлечения визуальных данных (Image Data), которые могут использоваться для распознавания или поиска по сходству (например, цвет волос, форма лица, векторы признаков).

Feature vector (Вектор признаков)

Математическое представление признаков лица, используемое для сравнения одного лица с другим, например, с использованием алгоритмов векторного расстояния. Упоминаются методы PCA (Principal Component Analysis) и LDA (Linear Discriminant Analysis).

Image Data (Данные изображения)

Данные, соответствующие дискретным частям захваченного изображения, например, информация о пикселях или признаки, определенные из пикселей.

Query image input (Входное изображение запроса)

Изображение человека (часто лица), которое используется в качестве основы для поиска похожих людей.

Similarity Search (Поиск по сходству)

Процесс поиска изображений других людей, которые похожи по внешности на человека с входного изображения.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной компьютерно-реализованный метод поиска по сходству с использованием биографической фильтрации.

1. Система идентифицирует (i) человека на изображении и (ii) биографическую информацию, связанную с этим человеком.
2. Определяется биографическая классификация (biographical classification) на основе этой биографической информации.
3. Выполняется поиск по сходству (similarity search) на основе изображения человека.
4. В ответ на поиск идентифицируется множество изображений других людей, похожих по внешности.
5. Это множество изображений фильтруется на основе определенной биографической классификации для идентификации подмножества изображений.
6. Предоставляются результаты поиска на основе этого подмножества.

Ядро изобретения — это использование биографической информации, извлеченной из контекста изображения, для определения классификации (например, возраста) и последующее использование этой классификации для фильтрации результатов поиска по визуальному сходству.

Claim 2 (Зависимый от 1): Уточняет, что биографическая классификация может соответствовать классификации по возрасту (age classification).

Claim 3 (Зависимый от 1): Уточняет источник биографической информации. Идентификация биографической информации включает идентификацию текста или метаданных, связанных с изображением, причем изображение связано с аккаунтом человека в социальной сети (social network).

Claim 4 (Зависимый от 3): Уточняет тип метаданных. Идентификация текста или метаданных включает идентификацию метки (label) или тега (tag), предоставленных вместе с изображением.

Claim 6 (Зависимый от 1): Уточняет процесс идентификации человека. Он включает обнаружение лица человека на изображении, включая один или несколько признаков лица.

Claim 7 (Зависимый от 6): Уточняет процесс поиска. Идентификация множества изображений включает формулирование поискового запроса, включающего данные изображения (image data), которые представляют признаки лица.

Где и как применяется

Изобретение применяется в системах поиска изображений и платформах, где доступна контекстная информация об изображениях (например, социальные сети, фотохостинги).

INDEXING – Индексирование и извлечение признаков
Основной этап применения патента. Во время индексирования контента (изображений и связанного текста/метаданных) система выполняет следующие действия:

• Feature Extraction: Анализ изображений для обнаружения лиц и извлечения визуальных признаков (цвет волос, кожи, форма лица, feature vectors).
• Text/Metadata Extraction: Извлечение биографической информации из сопутствующего контента (тегов, меток, профилей социальных сетей).
• Characteristic Determination: Определение биографических классификаций (пол, возраст, этническая принадлежность) на основе извлеченной биографической информации и, возможно, визуальных данных.
• Создание профиля: Формирование набора данных профиля (profile data set) для каждого человека, включающего визуальные данные и биографические классификации.

RANKING – Ранжирование (Image Search)
На этапе выполнения запроса (поиска по сходству) система использует проиндексированные данные:

• Обработка запроса: Анализ входного изображения запроса для определения его визуальных признаков и биографических классификаций (если они доступны или определяются на лету).
• Сравнение: Сравнение визуальных признаков запроса с коллекцией проиндексированных изображений для нахождения похожих лиц.
• Фильтрация/Взвешивание: Применение биографических классификаций в качестве фильтра для сужения результатов поиска или в качестве весовых коэффициентов при расчете итоговой оценки сходства.

Входные данные:

• Изображение (или коллекция изображений) человека.
• Текст и метаданные, связанные с изображением (теги, метки, данные профиля, имена, географические метки).

Выходные данные:

• Набор изображений других людей, которые визуально схожи и соответствуют биографическим классификациям исходного человека.

На что влияет

• Конкретные типы контента: Изображения людей, особенно те, которые размещены в контексте социальных сетей, фотохостингов или на персональных страницах, где доступна биографическая информация.
• Специфические запросы: Запросы на поиск похожих людей (similarity searches), используемые, например, в социальных сетях для поиска двойников или на сайтах знакомств для поиска людей определенного типажа.

Когда применяется

• Условия работы алгоритма: Алгоритм применяется, когда выполняется поиск по сходству на основе изображения человека.
• Триггеры активации: Активация механизма фильтрации по биографическим данным происходит при наличии достаточной информации (текста, метаданных) для определения биографических классификаций (пол, возраст, этническая принадлежность) человека на исходном изображении.

Пошаговый алгоритм

Процесс А: Индексирование и анализ данных (Офлайн или при загрузке контента)

1. Сбор данных: Получение записей, включающих изображения и связанные с ними текст/метаданные.
2. Извлечение визуальных признаков: Анализ изображений для обнаружения лиц и извлечения Image Data (визуальных характеристик, векторов признаков).
3. Извлечение текста/метаданных: Идентификация и извлечение кандидатов на биографическую информацию (Bio Data).
4. Определение характеристик: Анализ Bio Data (и, возможно, Image Data) для определения биографических классификаций:
   • Определение пола: На основе имени, никнейма, меток или визуального классификатора.
   • Определение этнической принадлежности: На основе комбинации имени и фамилии, этнической принадлежности людей в социальной сети, географического положения или визуального классификатора.
   • Определение возраста: На основе никнейма, возраста людей в социальной сети, диапазона дат съемки в фотоальбоме или визуального классификатора.
5. Оптимизация (Опционально): Оценка «пригодности» (goodness) изображения для поиска по сходству на основе четкости, освещения и позы. Отбрасывание непригодных изображений.
6. Сохранение профиля: Сохранение набора данных профиля (Image/Person Data), включающего визуальные признаки и биографические классификации, в поисковой коллекции.

Процесс Б: Выполнение поиска по сходству (В реальном времени)

1. Получение запроса: Получение входного изображения запроса.
2. Анализ запроса: Определение визуальных признаков и биографических классификаций для человека на входном изображении (путем повторения шагов 2-4 Процесса А или извлечения из кэша).
3. Сравнение (Визуальное сходство): Выполнение поиска в коллекции для идентификации изображений с похожими визуальными признаками.
4. Фильтрация (Биографическое соответствие): Фильтрация предварительных результатов на основе биографических классификаций. Отбираются только те изображения, которые соответствуют классификациям исходного человека (например, совпадение по полу и возрастной группе).
5. Ранжирование и Выдача: Ранжирование отфильтрованного подмножества изображений по степени визуального сходства и предоставление результатов.

Какие данные и как использует

Данные на входе

Система использует комбинацию визуальных и контекстуальных данных.

• Мультимедиа факторы (Визуальные данные):
  • Пиксельные данные изображений.
  • Извлеченные визуальные признаки: цвет кожи (skin tone), цвет волос (hair color), длина волос (hair length), цвет глаз (eye color), форма лица (face shape — например, удлиненная или круглая), наличие очков (eyeglasses), наличие растительности на лице (facial hair — усы, борода).
  • Модели лиц или векторы признаков (feature vectors), например, на основе PCA или LDA.
• Контекстные факторы (Биографическая информация):
  • Текст и Метаданные: Метки (labels) или теги (tags), связанные с изображением.
  • Идентификационные данные: Имя, фамилия, никнейм.
  • Данные социальных сетей: Информация из профиля пользователя, связи с друзьями/семьей (используются для определения возраста/этнической принадлежности пользователя на основе его окружения).
  • Географические факторы: Географические метки фотографий, место проживания, IP-адрес компьютера, с которого загружены фотографии.
  • Временные факторы: Временные метки фотографий (используются для определения возраста).

Какие метрики используются и как они считаются

• Метрики визуального сходства: Используются для сравнения лиц. Могут включать векторное расстояние (vector distance algorithms) между feature vectors. Упоминается использование взвешенной комбинации расстояний (weighted distance combination) по различным признакам (модель PCA, растительность на лице, очки, цвет волос и т.д.).
• Метрики биографической классификации: Метрики для определения пола, возраста и этнической принадлежности. Могут использоваться статистические классификаторы (например, наивный байесовский классификатор для определения этнической принадлежности по имени/слогам) или обучаемые классификаторы (Adaboost, SVM) для визуальных признаков.
• Goodness Measure (Мера пригодности): Метрика для количественной оценки качества изображения для поиска по сходству. Учитывает четкость, освещение и позу. Может определяться с использованием методов регрессии (например, МНК) на основе визуальных признаков.
• Степень близости имен: Метрика для оценки демографической или этнической связи между людьми на основе схожести их имен (например, на основе редакционного расстояния).

Выводы

1. Контекст изображения критичен для его интерпретации: Патент подчеркивает, что Google не полагается исключительно на визуальный анализ для понимания содержания изображения. Текст, метаданные и контекст размещения (например, профиль социальной сети) активно используются для извлечения биографической информации о людях на фото.
2. Биографические данные как фильтр релевантности: Система использует демографические данные (пол, возраст, этническая принадлежность) как жесткие фильтры для повышения релевантности поиска по сходству. Визуальное сходство вторично по отношению к биографическому соответствию.
3. Комплексный подход к определению характеристик: Для определения пола, возраста и этнической принадлежности используется широкий спектр сигналов: от анализа имени и географии до данных социальных связей и временных меток фотографий. Это указывает на сложность систем идентификации сущностей (людей).
4. Важность качества исходных данных: Упоминание метрики Goodness Measure показывает, что система оценивает качество изображений и может исключать некачественные (нечеткие, плохо освещенные) изображения из процесса поиска или индексации.
5. Значение для Image SEO: Для SEO-специалистов это означает, что оптимизация изображений людей требует не только работы с самим файлом (качество, размер), но и тщательной проработки окружающего контекста и метаданных для обеспечения корректной идентификации и классификации.

Практика

Best practices (это мы делаем)

• Обеспечение четкого контекста для изображений людей: Размещайте изображения ключевых сотрудников (авторов, экспертов, команды) в релевантном текстовом окружении. Страницы «О нас» или биографии авторов должны содержать четкую биографическую информацию (имя, роль), которая может быть связана с изображением.
• Использование описательных метаданных и разметки: Используйте описательные alt-тексты и, где это уместно, разметку Schema.org (тип Person) для связи изображений с сущностями и их биографическими данными. Это помогает системе корректно извлекать biographical information.
• Использование высококачественных изображений: Используйте четкие, хорошо освещенные, фронтальные фотографии для профилей. Система может использовать метрику Goodness Measure для выбора лучших изображений или игнорирования некачественных.
• Консистентность данных на разных платформах: Обеспечивайте консистентность имен и биографических данных, связанных с изображениями человека на официальном сайте и в социальных сетях. Патент явно указывает на использование данных социальных сетей для определения характеристик.

Worst practices (это делать не надо)

• Размещение изображений без контекста: Публикация фотографий людей без подписей, имен или сопутствующего текста затрудняет для системы извлечение биографической информации и корректную классификацию.
• Использование стоковых фотографий вместо реальных людей: Использование стоковых фото для представления авторов или команды не позволяет системе связать изображение с реальной сущностью и ее биографическими данными, что снижает ценность таких изображений.
• Игнорирование метаданных изображений: Оставление пустых или нерелевантных alt-тегов и заголовков для изображений людей.
• Использование некачественных или неоднозначных изображений: Использование размытых фотографий, групповых снимков в качестве основного фото профиля или изображений с плохим освещением может привести к ошибкам классификации или игнорированию изображения системой.

Стратегическое значение

Патент подтверждает важность интеграции визуального и семантического поиска. Для Google люди являются важными сущностями, и система стремится максимально точно их идентифицировать и классифицировать, используя все доступные сигналы. Хотя патент фокусируется на поиске по сходству, лежащие в его основе механизмы извлечения биографических данных и определения характеристик имеют более широкое применение, включая построение Графа Знаний и, потенциально, оценку E-E-A-T. Стратегически важно управлять цифровым представлением ключевых лиц компании, обеспечивая консистентность и качество связанных с ними данных (изображений и текста).

Практические примеры

Сценарий: Оптимизация страницы автора для корректной классификации

Задача: Убедиться, что Google правильно идентифицирует и классифицирует эксперта компании на его биографической странице.

1. Выбор изображения: Выбрать высококачественную, фронтальную фотографию эксперта.
2. Оптимизация метаданных изображения: Прописать alt-текст, включающий полное имя и роль (например, «Иван Петров, главный аналитик по кибербезопасности»).
3. Создание контекста на странице: Разместить изображение рядом с биографическим текстом, который содержит полное имя, информацию о карьере (что может косвенно указывать на возрастную группу) и, возможно, образование (что может коррелировать с географией или этнической принадлежностью).
4. Применение микроразметки: Использовать разметку Schema.org/Person, связав свойство image с URL фотографии, а свойства name, jobTitle и alumniOf с соответствующими данными.
5. Ожидаемый результат: Система Google при индексации страницы извлекает визуальные признаки из фото и биографическую информацию из текста и разметки. Это позволяет корректно классифицировать эксперта и связать изображение с его сущностью, улучшая его представление в поиске по изображениям и других сервисах.

Вопросы и ответы