Как Google использует распознавание лиц и кластеризацию для очистки и переранжирования выдачи в Поиске по Картинкам

Термины и определения

Duplicate Images (Дубликаты изображений)

Изображения, чьи Facial Templates имеют оценку схожести, превышающую порог дублирования (duplicate threshold). Это могут быть идентичные или слегка измененные (например, кадрированные) версии одного фото.

Facial Template / Face Template (Шаблон лица)

Машинно-читаемое представление характеристик лица (например, вектор признаков, основанный на структурах лица). В патенте подчеркивается, что эти шаблоны временные (temporary) и не сохраняются в памяти (not persisted to memory).

Inlier Cluster (Внутренний / Эталонный кластер)

Кластер с наибольшим количеством изображений в наборе результатов. Он представляет визуальный консенсус — предполагаемое лицо искомого человека.

Inlier Score (Оценка соответствия эталону)

Метрика, измеряющая схожесть Facial Template конкретного изображения с шаблонами изображений из Inlier Cluster.

Name Query (Именной запрос)

Запрос, который указывает имя человека. Часто применяется к знаменитостям (Celebrity Query).

Outlier Images (Выбросы)

Изображения, попавшие в выдачу на основе внешних сигналов, но визуально не соответствующие Inlier Cluster.

Popularity Threshold (Порог популярности)

Критерий (например, частота запросов), который может использоваться для активации этого механизма только для популярных запросов.

Search Score (Оценка поиска)

Исходная оценка релевантности изображения, присвоенная поисковой системой до применения корректировок.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод корректировки результатов.

1. Система получает ранжированные изображения, релевантные запросу, с их Search Scores.
2. Для первого набора изображений: детектируется лицо и генерируется временный Facial Template (не сохраняемый в памяти).
3. Изображения кластеризуются на основе схожести шаблонов.
4. Определяется количество изображений в кластерах.
5. Кластер с наибольшим количеством выбирается как Inlier Cluster.
6. Для каждого изображения определяется Inlier Score (схожесть с Inlier Cluster).
7. Изображения переранжируются на основе Inlier Scores.

Ключевое уточнение в Claim 1: При определении Inlier Score, если изображения, принадлежащие к Inlier Cluster, определены как дубликаты друг друга, то для расчета используется только одно изображение из этой группы дубликатов.

Claim 5 и 6 (Зависимые): Детализируют обработку дубликатов.

Система вычисляет попарные оценки схожести (pairwise similarity scores). Пары, превышающие duplicate threshold, группируются как дубликаты; остальные считаются уникальными (Claim 5). Inlier scores рассчитываются на основе уникальных изображений и только одного представителя из каждой группы дубликатов (Claim 6).

Claim 9 (Зависимый): Уточняет расчет Inlier Score.

Inlier Score определяется как мера схожести центральной тенденции (central tendency similarity measure) — например, среднее или медианное значение схожести с изображениями из Inlier Cluster.

Claim 10 (Зависимый): Определяет область применения.

Метод применяется к изображениям, релевантным Name Query, который указывает имя человека и соответствует Popularity Threshold.

Где и как применяется

Изобретение применяется в системе поиска по изображениям (Image Search) и затрагивает финальные этапы обработки запроса.

RANKING – Ранжирование
На этом этапе генерируется исходный набор изображений с их Search Scores, основанными на стандартных сигналах (текст, теги, поведенческие факторы). Эти данные служат входом для системы корректировки.

RERANKING – Переранжирование
Основная область применения патента. Модуль Image Adjuster активируется после основного ранжирования:

1. Query Filter проверяет, является ли запрос подходящим (например, популярный Name Query).
2. Feature Extractor анализирует визуальный контент и генерирует временные Facial Templates.
3. Image Clusterer группирует результаты и определяет Inlier Cluster.
4. Score Adjuster рассчитывает Inlier Scores и выполняет финальное переранжирование.

Офлайн-процессы (Preprocessing / INDEXING)
Патент упоминает, что для популярных запросов корректировки могут быть рассчитаны заранее (pre-processed) и кэшированы для ускорения ответа. Обновление может происходить периодически (например, раз в день).

Входные данные:

• Исходный ранжированный список изображений и их Search Scores.
• Пиксельные данные изображений (для визуального анализа).

Выходные данные:

• Переранжированный список изображений со скорректированными оценками.

На что влияет

• Специфические запросы: Влияет исключительно на Name Queries (запросы с именами людей).
• Конкретные типы контента: Изображения в Image Search, на которых система может детектировать лица.
• Конкретные ниши или тематики: Новости, СМИ, развлечения, спорт, биографии и любые ниши, связанные с публичными персонами.

Когда применяется

• Триггеры активации: Запрос идентифицирован как Name Query и, в некоторых реализациях, превышает Popularity Threshold (Claim 10).
• Временные рамки: Может применяться в реальном времени (at query time), возможно, с ограничением на Топ-N результатов для скорости, или в режиме предварительной обработки (pre-processed).

Пошаговый алгоритм

Этап 1: Инициализация и Извлечение признаков

1. Система получает исходный набор ранжированных изображений.
2. Feature Extractor обрабатывает изображения. Для каждого обнаруживается лицо и генерируется временный Facial Template. Изображения без лиц исключаются из процесса.

Этап 2: Кластеризация и Обработка дубликатов

1. Вычисляются попарные оценки схожести (pairwise similarity scores) между всеми шаблонами.
2. Изображения, чья схожесть превышает duplicate threshold, группируются как дубликаты. Остальные помечаются как уникальные.
3. Image Clusterer группирует изображения на основе схожести шаблонов.

Этап 3: Идентификация эталона

1. Подсчитывается количество изображений в каждом кластере (при подсчете дубликаты могут учитываться как один элемент).
2. Кластер с максимальным количеством выбирается как Inlier Cluster.

Этап 4: Расчет Inlier Score

1. Для каждого изображения рассчитывается Inlier Score.
2. Расчет производится как мера центральной тенденции (например, среднее сходство) шаблона изображения с шаблонами из Inlier Cluster.
3. Критически важно: При сравнении используются только уникальные изображения и по одному представителю от каждой группы дубликатов из Inlier Cluster.
4. Изображениям из очень маленьких кластеров может быть присвоен минимальный балл.

Этап 5: Переранжирование и Выдача

1. Score Adjuster корректирует исходные Search Scores, применяя функции повышения (Boost) или понижения (Demote) на основе Inlier Scores.
2. Изображения пересортировываются.
3. Временные Facial Templates удаляются из памяти.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные данные): Пиксельные данные изображений. Это основной источник данных для генерации Facial Templates. Анализируются машиночитаемые свойства структур лица.
• Поведенческие факторы: Query Logs используются для определения популярности запроса (Popularity Threshold). Также упоминаются Selection rates (CTR) как фактор исходного ранжирования, который данный патент стремится скорректировать.
• Контентные факторы: Image tags и подписи (captions) также упоминаются как факторы исходного ранжирования, которые могут приводить к появлению выбросов.

Какие метрики используются и как они считаются

• Facial Template Similarity: Метрика схожести между двумя шаблонами лиц.
• Inlier Score: Агрегированная оценка схожести изображения с Inlier Cluster, рассчитываемая как central tendency similarity measure.
• Cluster Quantity (Cardinality): Количество изображений в кластере (часто с учетом дедупликации).
• Duplicate Threshold: Порог схожести для признания изображений дубликатами.
• Формулы расчета: Патент приводит пример линейных функций для корректировки оценок:

  Если $IS > IST_1$ (Порог бустинга):

  $Adj\_Score_j = SS_j * (B * (IS_j - IST_1) + 1)$

  Если $IS < IST_2$ (Порог демоутинга):

  $Adj\_Score_j = SS_j * max((D * (IS_j - IST_2) + 1), SD)$

  Где: B – фактор бустинга; D – фактор демоутинга; SD – фактор сильного демоутинга.

1. Визуальная консистентность как ключевой сигнал переранжирования: Для именных запросов в Image Search визуальное соответствие является приоритетным фактором, который может переопределить стандартные сигналы ранжирования (текст, теги, CTR). Система активно верифицирует, кто изображен на фото.
2. Релевантность на основе консенсуса (Inlier Cluster): Система не полагается на заранее заданную базу лиц. Она динамически определяет эталон искомого человека, предполагая, что самый большой кластер похожих лиц в текущей выдаче является правильным.
3. Сложная обработка дубликатов: Патент уделяет значительное внимание дедупликации. Дубликаты не должны искажать размер кластера или расчет Inlier Score. Это повышает точность определения эталона и оценки схожести.
4. Борьба с манипуляциями и ошибками маркировки: Механизм напрямую направлен на исправление ошибок ранжирования, вызванных вводящими в заблуждение подписями или кликбейтом.
5. Конфиденциальность и временные данные: Явно указано (Claim 1), что генерируемые Facial Templates являются временными и не сохраняются в памяти, что важно для обеспечения конфиденциальности при обработке биометрических данных.

Best practices (это мы делаем)

• Обеспечение визуальной релевантности: Критически важно для Image SEO по персоналиям. Изображение должно четко и однозначно изображать человека, под запрос которого оно оптимизируется. Визуальное соответствие интенту является обязательным.
• Использование высококачественных изображений лиц: Используйте четкие, качественные фотографии, на которых лицо хорошо различимо. Это облегчает генерацию точного Facial Template и увеличивает вероятность получения высокого Inlier Score.
• Публикация разнообразных изображений: Поскольку система эффективно обрабатывает дубликаты (считая их за один элемент при анализе), для достижения максимальной видимости в топе Image Search стратегически выгоднее иметь несколько разных качественных фотографий персоны, а не множество копий одной.

Worst practices (это делать не надо)

• Вводящие в заблуждение подписи и кликбейт (Misleading Captions): Использование фотографии Человека А для привлечения трафика по запросу «Человек Б» путем манипуляции подписями или тегами. Описанный механизм активно понижает такие изображения как outliers.
• Игнорирование визуального содержания: Полагаться исключительно на оптимизацию ALT-текстов и окружающего текста. Этой оптимизации недостаточно, если само изображение визуально нерелевантно запросу о человеке.
• Использование стоковых или нечетких изображений: Использование изображений низкого качества или аватаров вместо реальных фото может привести к ошибкам распознавания или невозможности сгенерировать Facial Template, исключая изображение из процесса бустинга.

Стратегическое значение

Патент подтверждает стратегическую важность компьютерного зрения в поиске. Google интерпретирует визуальное содержание и использует эту интерпретацию для верификации релевантности, особенно при поиске сущностей (людей). Для SEO это означает, что в Image Search фактическое визуальное содержание изображения становится важнее его метаданных. Это критично для управления репутацией (ORM) и видимости брендов/персон.

Практические примеры

Сценарий: Очистка выдачи по имени знаменитости от фото партнера.

1. Запрос: Пользователь ищет «John Famous».
2. Исходная выдача: В топе 7 фото John Famous и 3 фото его жены Jane Star. Фото Jane Star ранжируются высоко, так как взяты из популярных статей о John Famous.
3. Активация механизма: Система идентифицирует запрос как Name Query.
4. Кластеризация: Система анализирует лица. 7 фото формируют Кластер А (John), 3 фото — Кластер Б (Jane).
5. Выбор эталона: Кластер А выбирается как Inlier Cluster.
6. Переранжирование: Фотографии Jane Star (Кластер Б) получают низкий Inlier Score, так как не похожи на Кластер А, и понижаются в выдаче. Фотографии John Famous повышаются.
7. Результат: В финальной выдаче Image Search доминируют изображения искомого человека (John Famous).