Как Google выбирает и показывает изображения людей рядом с ссылками в результатах поиска

Термины и определения

Alt-text (Альтернативный текст)

Текст в HTML-документе, предназначенный для отображения веб-браузером, когда изображение не может быть показано. Используется системой как один из ключевых источников для идентификации содержимого изображения.

Computer-searchable index (Компьютерный поисковый индекс)

Индекс ресурсов. В контексте патента упоминается индекс, который генерирует Image Search Facility для хранения информации об изображениях и результатах их анализа.

Face Detection Algorithms (Алгоритмы детекции лиц)

Программное обеспечение, используемое для определения факта наличия человеческого лица на изображении.

Face Image (Изображение лица)

Изображение, содержащее лицо человека, идентифицированное с помощью Face Detection Algorithms.

Image Metadata (Метаданные изображения)

Дополнительная информация об изображении, например, разрешение, размер, цветовая модель. Используется для оценки качества изображения и его идентификации.

Image Search Facility (Система поиска изображений)

Компонент системы, ответственный за сканирование ресурсов, идентификацию изображений, детекцию лиц, извлечение связанной информации и выбор финального изображения для отображения в SERP.

Probability Model (Вероятностная модель для имен)

Модель, используемая для определения вероятности того, что термин в запросе является именем (первым, средним или фамилией). Строится на основе анализа частотности терминов в запросах и в обучающих данных.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод выбора изображения для отображения в SERP.

1. Поисковая система определяет, что поисковый запрос включает имя человека на основе терминов запроса.
2. Идентифицируется конкретный ресурс среди результатов поиска, который содержит несколько изображений.
3. Из этого ресурса извлекается имя файла (file name), метаданные (image metadata) ИЛИ альтернативный текст (alt-text) конкретного изображения.
4. Определяется, что извлеченные имя файла, метаданные ИЛИ alt-text включают имя человека из запроса.
5. На основании этого определения (пункт 4), данное конкретное изображение предоставляется вместе с результатами поиска.

Ядром изобретения является использование file name, image metadata или alt-text как подтверждающего фактора для связи изображения с именем в запросе.

Claim 2 (Зависимый от 1): Уточняет метод определения имени в запросе.

1. Определение вероятности того, что один или несколько терминов запроса являются именем человека.
2. Сравнение этих терминов со списком сохраненных терминов, которые не являются именами, и подтверждение, что терминов запроса нет в этом списке (например, исключение фраз типа "Jasmine Rice").

Claim 3 (Зависимый от 1): Добавляет к основному процессу этап определения того, что конкретное изображение включает лицо этого человека. Это подразумевает использование детекции лиц.

Claim 4 (Зависимый от 1): Описывает процесс исключения других изображений.

1. Если ресурс содержит второе изображение, система определяет, что его имя файла, метаданные или alt-text НЕ включают имя человека из запроса.
2. Второе изображение исключается из предоставления с результатами поиска.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, используя предварительные вычисления и модифицируя финальную выдачу.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная предварительная обработка (офлайн). Image Search Facility сканирует ресурсы, идентифицирует изображения, запускает алгоритмы детекции лиц и извлекает описательную информацию (filename, alt-text, metadata, окружающий текст). Эта информация сохраняется в Computer-searchable index.

QUNDERSTANDING – Понимание Запросов
Система использует Probability Model для определения того, содержит ли входящий запрос имя человека. Это служит триггером для активации механизма.

RANKING – Ранжирование
Происходит стандартное ранжирование ресурсов по запросу.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование (Презентация)
Основное применение патента. После получения ранжированных результатов Image Search Facility анализирует изображения в топовых ресурсах (используя данные из индекса). Происходит сверка имени из запроса с дескрипторами изображений. Если найдено несколько кандидатов, они оцениваются по качеству. Лучшее изображение внедряется в финальную SERP рядом со ссылкой на соответствующий ресурс.

Входные данные:

• Поисковый запрос.
• Результаты поиска (список ресурсов).
• Индекс изображений, содержащий данные детекции лиц и дескрипторы (filename, alt-text, metadata).
• Вероятностная модель имен и списки исключений.

Выходные данные:

• Модифицированная страница результатов поиска (SERP) с внедренным изображением рядом с одной или несколькими ссылками.

На что влияет

• Специфические запросы: В первую очередь влияет на информационные запросы, содержащие имена людей (знаменитости, политики, профессионалы, исторические личности).
• Типы контента: Влияет на отображение ресурсов, богатых изображениями, таких как биографические статьи, новостные материалы, профили в социальных сетях, корпоративные страницы "О команде".

Когда применяется

• Триггеры активации: Алгоритм активируется, когда система с достаточной степенью уверенности (на основе Probability Model) определяет, что поисковый запрос содержит имя человека.
• Ограничения: Применяется, если в результатах поиска есть ресурсы, содержащие изображения, и если хотя бы одно из этих изображений может быть ассоциировано с именем в запросе через его дескрипторы. Патент упоминает возможность применения этого механизма только для топовых результатов (например, топ-20) или только для первой страницы выдачи.

Пошаговый алгоритм

Процесс А: Офлайн-индексирование (Выполняется Image Search Facility)

1. Сканирование ресурсов: Обход ресурсов, размещенных на контент-хостах.
2. Идентификация изображений: Определение того, является ли ресурс изображением (например, по расширению файла JPG, TIFF, PNG).
3. Детекция лиц: Применение Face Detection Algorithms для определения, является ли изображение Face Image.
4. Извлечение информации: Извлечение имени файла, alt-text и метаданных (разрешение, размер, цветность), а также окружающего текста.
5. Сохранение: Сохранение изображения и извлеченной информации в Computer-searchable index.

Процесс Б: Обработка запроса в реальном времени

1. Анализ запроса: Определение того, содержит ли поисковый запрос имя человека (используя Probability Model и списки исключений).
2. Получение результатов: Получение стандартных результатов поиска от поисковой системы.
3. Анализ ресурсов: Для ресурсов в результатах поиска (например, для Топ-N) определяется, содержат ли они изображения.
4. Фильтрация изображений: Проверка, является ли изображение Face Image (на основе данных из индекса).
5. Проверка ассоциации (Ключевой этап): Проверка, соответствует ли лицо на изображении человеку из запроса. Это делается путем сравнения имени из запроса с именем файла, alt-text, метаданными изображения и окружающим текстом. Рассчитывается комбинированная вероятность соответствия.
6. Оценка и ранжирование кандидатов: Если найдено несколько подходящих изображений, им присваивается оценка (score). Оценка основывается на качестве: размер файла, разрешение, цветность (цветные предпочтительнее ч/б), пропорция лица в кадре, количество лиц (предпочтительнее одно лицо).
7. Выбор: Выбор изображения с наивысшей оценкой.
8. Предоставление результатов: Включение выбранного изображения в результаты поиска рядом со ссылкой на соответствующий ресурс.

Какие данные и как использует

Данные на входе

Система использует следующие данные для идентификации и выбора изображений:

• Мультимедиа факторы: Пиксельные данные изображений (для детекции лиц).
• Структурные и Контентные факторы:
  • Alt-text: Критически важный дескриптор для ассоциации имени с изображением (Claim 1).
  • Имя файла (Filename): Используется как сигнал для ассоциации имени, например, john-doe.jpg (Claim 1).
  • Окружающий текст: Текст на веб-странице, где встроено изображение, сканируется для подтверждения имени.
• Технические факторы (Image Metadata):
  • Разрешение изображения (Image resolution).
  • Размер изображения (Image size).
  • Цветовая информация (Colors) (например, цветное или черно-белое).
• Системные данные:
  • Словари имен (для построения Probability Model).
  • Списки фраз, которые не являются именами (для исключений).

Какие метрики используются и как они считаются

• Вероятность имени (Name Probability): Рассчитывается с использованием байесовской оценки. Учитывается базовая вероятность появления термина в запросе (P(term|query)) и вероятность того, что этот термин является именем на основе обучающих данных (P(term|name)).
• Face Detection Confidence: Результат работы алгоритмов детекции лиц, определяющий вероятность наличия лица.
• Combined Probability (Комбинированная вероятность соответствия): Вероятность того, что изображение лица соответствует имени в запросе. Учитывает совпадение имени в filename, alt-text, окружающем тексте.
• Image Quality Score (Оценка качества изображения): Используется для ранжирования подходящих изображений. Метрика комбинирует:
  • Вероятность на основе размера изображения (больше размер – выше оценка).
  • Вероятность на основе разрешения.
  • Вероятность на основе цветов (цветные выше ч/б).
  • Размер лица внутри изображения (больше пропорция – выше оценка).
  • Количество лиц на изображении (меньше лиц – выше оценка).

1. Механизм улучшения SERP для запросов о людях: Патент описывает конкретный механизм для улучшения визуального представления результатов поиска при запросах, содержащих имена людей, путем добавления фотографии этого человека рядом со ссылкой.
2. Критическая роль дескрипторов изображения: Alt-text, filename и image metadata являются основными факторами для подтверждения того, что изображение соответствует имени в запросе (Claim 1). Это подчеркивает важность базовой оптимизации изображений.
3. Использование Детекции Лиц (Face Detection): Система использует алгоритмы детекции лиц для фильтрации кандидатов (определение наличия лица), но не полагается на Распознавание Лиц (Face Recognition) для идентификации личности. Идентификация основана на текстовых сигналах.
4. Ранжирование на основе качества изображения: Если найдено несколько подходящих изображений, система выбирает лучшее, используя метрики качества, такие как размер, разрешение, цветность и композиция кадра (пропорция лица, количество людей).
5. Комбинированный подход (Офлайн и Онлайн): Процесс включает как предварительное индексирование и анализ изображений (офлайн), так и обработку запроса и модификацию SERP в реальном времени.
6. Вероятностное распознавание имен: Система использует сложную вероятностную модель и списки исключений для точной идентификации того, что запрос содержит имя человека.

Best practices (это мы делаем)

• Оптимизация изображений ключевых персон: Для корпоративных сайтов, блогов, новостных порталов необходимо оптимизировать фотографии сотрудников, авторов или упоминаемых лиц.
• Использование описательных имен файлов: Используйте четкие и релевантные имена файлов, включающие имя человека. Например, john-doe-ceo.jpg вместо IMG1234.jpg. Это напрямую соответствует механизму ассоциации, описанному в Claim 1.
• Точный и описательный Alt-text: Всегда заполняйте alt-text, точно описывая, кто изображен на фото. Включение полного имени человека критически важно для работы этого алгоритма (Claim 1).
• Использование высококачественных изображений: Загружайте изображения достаточного размера и разрешения. Система предпочитает более качественные изображения при выборе кандидата для отображения в SERP (Image Quality Score).
• Предпочтение портретных фото: Используйте изображения, где лицо человека является основным объектом и занимает значительную часть кадра. Система присваивает более высокие оценки таким изображениям по сравнению с групповыми фото.
• Контекстное окружение: Размещайте изображение рядом с текстом, упоминающим имя человека, так как это также используется для подтверждения ассоциации (Combined Probability).

Worst practices (это делать не надо)

• Игнорирование Alt-text или его неправильное использование: Оставлять alt-text пустым или использовать его для keyword stuffing'а, не описывающего изображение. Это лишает систему ключевого сигнала для идентификации.
• Генерические имена файлов: Использование автоматически сгенерированных имен файлов (например, DCIM001.jpg).
• Использование низкокачественных изображений: Использование очень маленьких изображений или изображений с низким разрешением. Даже если они будут идентифицированы, они проиграют конкуренцию более качественным кандидатам.
• Использование сложных групповых фото в качестве основного изображения: Попытка использовать групповое фото как репрезентативное изображение для одного человека. Система понижает такие изображения в ранжировании кандидатов.

Стратегическое значение

Патент подтверждает стратегическую важность оптимизации изображений для повышения видимости сущностей (в данном случае, людей). Он демонстрирует, что Google активно использует традиционные сигналы Image SEO (alt-text, filename) в сочетании с продвинутыми технологиями (детекция лиц, вероятностные модели) для формирования финальной выдачи. Достижение такого расширенного визуального представления в SERP может значительно увеличить CTR и узнаваемость бренда или персоны.

Практические примеры

Сценарий: Оптимизация страницы "Наша команда" для отображения фото в SERP

1. Анализ текущей ситуации: На странице "Наша команда" есть фотографии сотрудников, но при поиске по имени сотрудника в SERP фото не отображается. Изображения имеют имена типа team-member-1.jpg, а alt-text просто "Сотрудник".
2. Применение рекомендаций патента:
   • Выбираются качественные портретные фото для каждого сотрудника, где лицо хорошо видно.
   • Имена файлов переименовываются: ivan-ivanov-manager.jpg.
   • Alt-text обновляется: "Иван Иванов, менеджер по продажам компании Ромашка".
   • Обеспечивается достаточный размер изображений (например, 800x800px).
3. Ожидаемый результат: При последующем поиске по запросу