Как Google оценивает качество изображений, комбинируя визуальные характеристики, распознанный контент и социальные сигналы для ранжирования

Термины и определения

Candidate Image (Изображение-кандидат)

Изображение, прошедшее предварительный отбор по базовым критериям (initial set of characteristics) и допущенное к детальному анализу и ранжированию.

Individual Score (Индивидуальная оценка)

Числовая оценка, присваиваемая определенному классу характеристик изображения (например, отдельная оценка для Visual Capture, отдельная для Social Popularity). Может быть комбинацией оценок разных типов внутри одного класса.

Initial Set of Characteristics (Начальный набор характеристик)

Характеристики, проверяемые на раннем этапе для быстрого отсева неподходящих изображений. Они требуют меньше вычислительных ресурсов для анализа (например, разрешение, настройки приватности, базовый шум).

Overall Score (Общая оценка)

Итоговая оценка качества изображения, являющаяся взвешенной комбинацией Individual Scores. Определяет ранг изображения.

Reputation Score (Оценка репутации)

Метрика, присваиваемая пользователю, который предоставил социальные данные (комментарий, рейтинг). Используется для взвешивания социальных сигналов, чтобы снизить влияние спама или фейковых отзывов.

Social Popularity Characteristics (Характеристики социальной популярности)

Метрики, основанные на взаимодействии пользователей с изображением: количество просмотров, время просмотра, количество комментариев, количество шеров (share count), рейтинги (rating count), добавление в избранное.

Visual Capture Characteristics (Характеристики визуального захвата)

Технические визуальные характеристики изображения, часто связанные с моментом съемки: резкость (размытость), уровень экспозиции, яркость, контраст, насыщенность, шум, композиция.

Visual Content Characteristics (Характеристики визуального контента)

Типы и атрибуты контента, изображенного на картинке: лица, объекты, животные, здания, ландшафты, текст. Определяются с помощью технологий распознавания образов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод предоставления выбранных изображений для показа.

1. Система анализирует характеристики множества изображений. Анализ включает Visual Content Characteristics и один или более из: Visual Capture Characteristics и Social Popularity Characteristics.
2. Анализ Visual Content Characteristics включает:
   • Сравнение обнаруженных типов контента со списком определенных типов контента (list of one or more particular content types), который включает тип контента "человеческие лица".
   • Обозначение для исключения (designating for exclusion) изображений, которые содержат контент, соответствующий этому списку.
3. Система определяет Individual Scores для проанализированных характеристик изображений (не исключенных). Оценки основаны на обнаруженных типах контента.
4. Система определяет Overall Scores на основе комбинации Individual Scores.
5. Система определяет ранжирование изображений на основе Overall Scores.
6. Система выбирает одно или несколько изображений на основе ранжирования, при этом изображения, обозначенные для исключения, не выбираются.
7. Система вызывает показ выбранных изображений.

Ядро изобретения — это система ранжирования, которая комбинирует разные типы сигналов качества (визуальные, контентные, социальные) и при этом активно исключает изображения на основе специфических типов контента (явно упомянуты лица) перед финальным выбором.

Claim 2 (Зависимый от 1): Добавляет этап предварительного отбора.

До анализа основных характеристик система выбирает подмножество изображений-кандидатов из общего набора на основе initial set of characteristics.

Claim 3 (Зависимый от 2): Уточняет эффективность предварительного отбора.

Обработка initial set of characteristics требует меньше вычислительных ресурсов, чем обработка основных характеристик.

Claim 8 (Зависимый от 1): Детализирует расчет Individual Score.

Если характеристика включает несколько типов (например, разные типы социального взаимодействия), то расчет Individual Score включает взвешивание каждого типа по-разному и комбинирование взвешенных типов.

Claim 9 (Зависимый от 1): Детализирует расчет Overall Score.

При определении Overall Scores разные Individual Scores (например, оценка за контент и оценка за социальную популярность) взвешиваются по-разному.

Claim 11 (Зависимый от 10): Вводит учет репутации пользователей.

Пользователи, предоставляющие входные данные для Social Popularity Characteristics, проверяются на наличие Reputation Score. Определение Individual Scores включает взвешивание социальных характеристик на основе этого Reputation Score.

Где и как применяется

Изобретение охватывает этапы индексирования (для извлечения признаков) и ранжирования (для оценки и выбора).

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются сами изображения и связанные с ними социальные данные (комментарии, шеры, рейтинги) из различных источников (например, веб-сайтов, социальных сетей, фотохостингов).

INDEXING – Индексирование и извлечение признаков
Основная часть анализа характеристик происходит здесь.

• Извлечение признаков (Feature Extraction):
  • Анализируются Visual Capture Characteristics (резкость, экспозиция, шум).
  • Анализируются Visual Content Characteristics (распознавание объектов, лиц, ландшафтов, текста).
  • Обрабатываются Social Popularity Characteristics, собранные на этапе Crawling.
  • Определяется Reputation Score пользователей, связанных с социальными данными.
• Предварительный отбор (Candidate Selection): Может происходить в конце этапа индексирования или в начале этапа ранжирования. Система использует Initial Set of Characteristics для быстрого отсева изображений (например, по разрешению или приватности).

RANKING – Ранжирование
Этот этап используется для оценки и сортировки изображений-кандидатов.

• Скоринг: Вычисляются Individual Scores для каждого класса характеристик. Социальные сигналы взвешиваются с учетом Reputation Score.
• Фильтрация: Изображения с нежелательным контентом (например, лицами) исключаются из рассмотрения.
• Комбинирование: Вычисляется Overall Score путем взвешенного комбинирования Individual Scores. Веса могут определяться с помощью машинного обучения.
• Сортировка: Изображения ранжируются по Overall Score.

RERANKING – Переранжирование
На этом этапе могут применяться корректировки. Например, патент упоминает возможность выбора изображений с учетом предпочтений пользователя, который будет их просматривать (персонализация).

Входные данные:

• Набор изображений для оценки.
• Социальные данные, связанные с изображениями (просмотры, шеры, комментарии, рейтинги).
• Данные о репутации пользователей (Reputation Score).
• Списки нежелательных типов контента (например, "лица").
• Модели машинного обучения для распознавания контента и определения весов.

Выходные данные:

• Ранжированный список изображений.
• Выбранные изображения наивысшего качества для показа.

На что влияет

• Типы контента: Система явно влияет на изображения с распознаваемым контентом. Пейзажи, закаты, пляжи, цветы и популярные животные могут получать преимущество. Изображения с лицами, текстом, нежелательными объектами (насекомые, мусор) могут быть исключены или понижены.
• Форматы контента: Влияет на статичные изображения и, возможно, на ключевые кадры видео.
• Техническое качество: Изображения с высоким разрешением, хорошей резкостью и правильной экспозицией получают значительное преимущество.

Когда применяется

• Триггеры активации: Алгоритм может активироваться периодически (например, ежедневно для выбора "фото дня"), при загрузке новых изображений в систему или в реальном времени при формировании выдачи (например, в Google Images).
• Условия работы: Применяется, когда необходимо выбрать наиболее привлекательные (general appeal) изображения из большого набора, особенно для публичной демонстрации (featured display, обои, скринсейверы).

Пошаговый алгоритм

Этап 1: Предварительная обработка и отбор кандидатов

1. Получение изображения: Система получает изображение из набора.
2. Анализ начальных характеристик: Система анализирует Initial Set of Characteristics (например, разрешение, настройки приватности, базовый шум). Этот анализ менее ресурсоемок.
3. Проверка требований: Система проверяет, удовлетворяют ли начальные характеристики требованиям (например, разрешение выше порога, статус публичный).
4. Решение:
   • Если НЕТ: Изображение отклоняется и исключается из дальнейшего ранжирования.
   • Если ДА: Изображение помечается как Candidate Image.
5. Итерация: Повторение шагов 1-4 для всех изображений в наборе.

Этап 2: Детальный анализ и Скоринг

1. Выбор кандидата: Система выбирает Candidate Image для анализа.
2. Анализ Социальной Популярности:
   • Определение Social Popularity Characteristics (просмотры, шеры, рейтинги).
   • Проверка Reputation Score пользователей, предоставивших данные.
   • Расчет Individual Score для социальной популярности, взвешивая данные на основе репутации. Разные типы взаимодействия (например, шеры и просмотры) могут иметь разные веса.
3. Анализ Визуального Контента:
   • Определение Visual Content Characteristics (распознавание объектов, лиц, ландшафтов).
   • Сравнение с списком нежелательного контента. Если контент нежелателен (например, обнаружено лицо), изображение может быть исключено или получить минимально возможный вес.
   • Расчет Individual Score для визуального контента. Разные типы контента (например, закат и мусор) имеют разные веса.
4. Анализ Визуального Захвата:
   • Определение Visual Capture Characteristics (резкость, экспозиция, шум). Может использоваться машинное обучение для оценки эстетики.
   • Расчет Individual Score для визуального захвата. Разные технические аспекты (например, яркость и шум) могут иметь разные веса.
5. Комбинирование оценок:
   • Взвешивание Individual Scores. Веса для каждого класса (Социальный, Контент, Захват) определяются (например, через машинное обучение) для максимизации общей привлекательности.
   • Комбинирование взвешенных оценок в Overall Score.

Этап 3: Ранжирование и Выбор

1. Ранжирование: Изображение помещается в ранжированный список на основе Overall Score.
2. Итерация: Повторение Этапа 2 для всех кандидатов.
3. Выбор: Система выбирает одно или несколько изображений с наивысшим рейтингом для показа. Может учитываться персонализация для конечного пользователя.
4. Показ: Выбранные изображения предоставляются для демонстрации.

Какие данные и как использует

Данные на входе

Патент детально описывает три основных класса входных данных:

1. Технические факторы (Visual Capture Characteristics и Initial Set)

• Разрешение (Resolution): Используется на начальном этапе для отсева слишком маленьких изображений.
• Шум (Noise): Оценивается как на начальном этапе (базовый), так и на основном (детальный анализ цветового шума).
• Размытость/Резкость (Blurriness/Sharpness): Оценка четкости изображения.
• Экспозиция (Exposure Level): Оценка уровня экспонированности (пересвет/недосвет).
• Яркость (Brightness), Контраст (Contrast), Насыщенность (Saturation/Vibrance).
• Композиция (Image Composition): Расположение основного объекта относительно границ кадра и других объектов.
• EXIF данные: Могут использоваться для оценки качества на основе бренда/модели камеры.

2. Контентные факторы (Visual Content Characteristics)

• Распознанные объекты и сущности: Лица, животные, здания, транспортные средства, ландшафты (горы, озера, пляжи), достопримечательности.
• Текст (Text): Распознанный текст на изображении (может считаться нежелательным контентом).
• Ключевые слова/Метки (Keywords/Labels): Описания контента, сгенерированные автоматически (например, с помощью Deep Learning) или добавленные пользователями.
• Метаданные локации (Location data): Используются для помощи в распознавании достопримечательностей или ландшафтов.

3. Поведенческие и Социальные факторы (Social Popularity Characteristics)

• Количество просмотров (Number of views) и Время просмотра (Length of times viewed).
• Количество шеров (Share count): Включая решеры.
• Рейтинги (Rating count): Количество и значение положительных/отрицательных оценок.
• Комментарии (Number of comments): Количество и тональность (позитивные/негативные).
• Добавление в избранное/закладки (Favorite/Bookmark lists).

4. Пользовательские факторы

• Приватность (Privacy characteristic): Публичный или приватный статус изображения.
• Репутация пользователя (Reputation Score): Оценка надежности пользователя, предоставившего социальные данные (для борьбы со спамом) или загрузившего изображение.
• Предпочтения пользователя (User preferences): Могут использоваться на этапе выбора для персонализации показа.

Какие метрики используются и как они считаются

• Пороги для Initial Set: Минимальное разрешение, максимальный уровень шума, требование публичного статуса.
• Individual Scores: Вычисляются для каждого класса характеристик. Внутри класса разные типы могут взвешиваться по-разному (например, шеры важнее просмотров; закаты важнее мусора).
• Веса для классов: Коэффициенты, применяемые к Individual Scores при расчете Overall Score. Патент предполагает использование машинного обучения (например, регрессии) для определения этих весов на основе оценок реальных пользователей.
• Reputation Weighting: Социальные данные от пользователей с низким Reputation Score могут быть дисконтированы или проигнорированы. Данные от экспертов (например, профессиональных фотографов) могут получать повышенный вес.
• Content Exclusion: Бинарное исключение или присвоение крайне негативного веса при обнаружении нежелательного контента (например, лиц, текста).

1. Три столпа качества изображения: Патент формализует оценку качества изображений как комбинацию трех ключевых компонентов: Техническое качество (Visual Capture), Содержание (Visual Content) и Вовлеченность (Social Popularity). Для достижения максимального ранжирования необходимо оптимизировать все три аспекта.
2. Взвешенная модель и Машинное обучение: Система использует взвешенную модель, где значимость каждого компонента (и подкомпонентов внутри них) может варьироваться. Веса определяются с помощью машинного обучения на основе реальных человеческих оценок привлекательности изображений. Это означает, что "идеальные" параметры могут меняться со временем.
3. Критичность технического качества: Внедрен двухэтапный процесс, где базовые технические требования (разрешение, шум) используются для быстрого отсева (Initial Set). Несоответствие базовым требованиям исключает изображение из ранжирования независимо от его содержания или популярности.
4. Контент имеет значение и может быть фильтром: Система не просто оценивает содержание, но и активно фильтрует его. Определенные типы контента (явно упомянуты лица и текст) могут быть причиной полного исключения изображения из выдачи или его сильного понижения, если это требуется контекстом показа (например, для обоев).
5. Качество социальных сигналов (E-E-A-T для вовлеченности): Патент подчеркивает важность не только количества социальных взаимодействий, но и их качества. Вводится понятие Reputation Score пользователя, который влияет на вес его отзыва или рейтинга. Сигналы от авторитетных пользователей (экспертов) весят больше, а спам дисконтируется.

Best practices (это мы делаем)

• Обеспечение максимального технического качества: Загружайте изображения в высоком разрешении, с минимальным уровнем шума, идеальной резкостью и правильной экспозицией. Это критично для прохождения как начального фильтра (Initial Set), так и для получения высокого Individual Score по Visual Capture Characteristics.
• Оптимизация композиции и эстетики: Поскольку система использует машинное обучение для оценки визуальной привлекательности и композиции, следует придерживаться общепринятых стандартов фотографии и дизайна. Это повышает вероятность положительной оценки моделью.
• Фокус на универсально привлекательном контенте: Создавайте контент, который имеет широкую привлекательность (general appeal). Патент упоминает, что контент вроде закатов, пляжей, цветов и популярных животных может оцениваться выше.
• Стимулирование органического вовлечения: Поощряйте пользователей взаимодействовать с изображением (лайки, шеры, комментарии, добавление в закладки), так как Social Popularity является важным компонентом Overall Score.
• Построение репутации автора/источника: Работайте над повышением Reputation Score аккаунтов, которые публикуют и комментируют контент. Сигналы от авторитетных источников имеют больший вес. Это соответствует принципам E-E-A-T, примененным к источникам пользовательских сигналов.
• Анализ контекста размещения: Понимайте, где изображение может быть показано. Если цель — попасть в общие подборки (например, обои или Discover), возможно, стоит избегать изображений с лицами или большим количеством текста, так как патент явно указывает на возможность их исключения.

Worst practices (это делать не надо)

• Игнорирование технических дефектов: Публикация размытых, шумных, пересвеченных или недоэкспонированных изображений значительно снижает их шансы на высокое ранжирование.
• Загрузка изображений низкого разрешения: Такие изображения могут быть отсеяны еще на этапе предварительного отбора (Initial Set).
• Накрутка социальных сигналов: Использование ботов или фейковых аккаунтов для генерации просмотров, лайков или комментариев неэффективно, так как система использует Reputation Score для дисконтирования сигналов от низкокачественных источников.
• Фокус на спорном или низкокачественном контенте: Изображения, которые могут быть восприняты негативно широкой аудиторией (например, мусор, непристойный контент), получат низкий Individual Score по Visual Content Characteristics.

Стратегическое значение

Патент подтверждает, что оценка качества мультимедиа в Google является сложной, многофакторной задачей, использующей машинное обучение. Для SEO-стратегии это означает, что оптимизация изображений выходит далеко за рамки заполнения ALT-тегов. Необходимо рассматривать изображение как самостоятельную единицу контента, требующую технической оптимизации, семантической релевантности и подтверждения ценности через пользовательское вовлечение. Механизм учета репутации источника сигналов также подчеркивает глобальный тренд Google на борьбу с манипуляциями и приоритет авторитетных данных (E-E-A-T).

Практические примеры

Сценарий: Оптимизация изображений для статьи в блоге о путешествиях для попадания в Google Discover

1. Задача: Повысить вероятность показа изображений из статьи в рекомендациях Discover.
2. Действия на основе патента:
   • Visual Capture: Использовать только профессиональные фотографии с высоким разрешением (не менее 1200px по ширине), идеальной резкостью и яркими цветами. Проверить композицию.
   • Visual Content: Выбрать фотографии с универсально привлекательными пейзажами (например, горы, океан). Убедиться, что на главных фото нет большого количества текста или водяных знаков. Если используются фото с людьми, убедиться, что они не являются фокусом, или быть готовым к тому, что система может их отфильтровать для общих показов.
   • Social Popularity: Сразу после публикации статьи активно продвигать ее в социальных сетях, стимулируя шеры и комментарии к посту с этими изображениями. Поощрять взаимодействие от авторитетных тревел-блогеров (повышенный вес из-за Reputation Score).
3. Ожидаемый результат: Система оценивает изображения как высококачественные по всем трем параметрам, что приводит к высокому Overall Score и увеличивает вероятность их выбора для показа в Google Discover или высокое ранжирование в Google Images.