Как Google использует поведенческие сигналы и контекст событий для обучения моделей целостному пониманию изображений

Термины и определения

Automated Assistant (Автоматизированный ассистент)

Программное обеспечение (например, Google Assistant), обрабатывающее естественный язык для определения намерений пользователя.

Biased Image Recognition (Смещенное распознавание изображений)

Процесс распознавания, в котором приоритет отдается обнаружению объектов или сущностей, связанных с известным контекстом (например, поиск тортов, если контекст – день рождения).

Digital Images (Цифровые изображения)

Включает как статичные изображения, так и цифровое видео.

Event of Significance (Значимое событие)

Событие, связанное с пользователем, идентифицированное системой на основе natural language input.

Holistic Classification (Целостная классификация)

Метод классификации изображений на основе их общего тематического или контекстуального сходства с другими изображениями, а не только на основе распознанных объектов.

Latent Space Embeddings (Векторные представления в скрытом пространстве)

Векторные представления объектов, сгенерированные моделями (например, CNN). Используются для измерения семантического сходства между объектами на изображении и концепциями события.

Machine Learning Classifier (Классификатор машинного обучения)

Модель (например, CNN), обучаемая на аннотированных изображениях для распознавания контекста в новых изображениях.

Record of User-Controlled Computing Interactions (Запись о взаимодействиях пользователя)

Данные о том, как пользователь взаимодействовал с изображениями. Ключевые метрики: время отображения (amount of time displayed), мера манипуляции (measure of image manipulation – редактирование) и мера обмена (measure of sharing).

Tokens (Токены)

Слова или фразы, извлеченные из natural language input, которые описывают событие и используются для аннотирования.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод классификации изображений, основанный на поведенческом сигнале (манипуляция изображением).

1. Система получает natural language input, направленный automated assistant.
2. Анализирует ввод для определения события, токенов и даты.
3. Идентифицирует набор изображений, снятых в эту дату.
4. Сравнивает степень манипуляции изображением (degree of image manipulation), примененную к каждому изображению через приложения для редактирования, относительно других изображений из набора.
5. На основе этого сравнения классифицирует подмножество изображений как относящиеся к событию (те, которые больше редактировали).
6. Сохраняет токены в ассоциации с этим подмножеством в поисковой базе данных.

Claim 3 и Claim 9 (Зависимые): Расширяют набор поведенческих сигналов.

• Claim 3 добавляет measure of sharing (меру обмена).
• Claim 9 добавляет сравнение amount of time displayed (времени отображения) на графических интерфейсах.

Это подтверждает использование сигналов вовлеченности (редактирование, обмен, просмотр) как метода классификации значимости контента.

Claim 8 (Зависимый): Добавляет анализ контента к основному методу.

1. Система выполняет image recognition processing.
2. Процесс распознавания смещается (biasing) в сторону распознавания токенов или связанных объектов.
3. Классификация дополнительно основывается на идентифицированных объектах.

Claim 7 (Зависимый): Описывает конвейер обучения ML.

1. Аннотированные изображения подаются на вход machine learning classifier.
2. Выход сравнивается с токенами (метками) для генерации ошибки (error).
3. Классификатор обучается на основе ошибки для улучшения классификации последующих изображений (целостная классификация).

Где и как применяется

Изобретение применяется в основном на этапах индексирования и в конвейере обучения ML, влияя на то, как Google понимает изображения.

INDEXING – Индексирование и извлечение признаков
Основной этап применения в контексте персональных данных (например, Google Photos). Система обрабатывает изображения и связанные с ними данные.

• Извлечение Признаков: Извлекаются объекты с помощью Image Recognition Processing. Собираются и анализируются поведенческие данные (User-Controlled Computing Interactions).
• NLP и Семантика: Анализируется Natural Language Input (например, из истории Assistant) для определения событий и токенов.
• Аннотирование: Генерируются новые контекстуальные аннотации для изображений.

Стратегический слой: Конвейер обучения ML (ML Training Pipeline)
Наиболее значимое применение для SEO. Система генерирует высококачественные training data (изображения с контекстными метками). Эти данные используются для обучения моделей, которые впоследствии применяются на этапах Индексирования и Ранжирования публичного поиска (Google Images) для лучшего целостного понимания изображений.

RANKING – Ранжирование (Image Search)
Модели, обученные с помощью этого метода, используются для оценки релевантности и контекста изображений в публичном поиске.

Входные данные:

• Ввод на естественном языке (Natural Language Input).
• Цифровые изображения и метаданные (дата съемки).
• Записи о взаимодействии пользователя с изображениями (просмотр, редактирование, шеринг).

Выходные данные:

• Аннотации (токены), ассоциированные с изображениями.
• Наборы обучающих данных для Machine Learning Models.

На что влияет

• Типы контента: Цифровые изображения и видео.
• Технологии машинного обучения: Патент напрямую влияет на то, как Google обучает модели (например, CNN) распознавать контекст и темы holistically — на основе общего сходства сцены, а не только отдельных объектов.
• Специфические запросы: Улучшает понимание запросов, связанных с событиями, темами и контекстом, которые сложно определить только по визуальному содержанию.
• Идентификация сущностей: В описании упоминается возможность использования технологии для идентификации лиц и присвоения имен анонимным кластерам лиц на основе контекста события.

Когда применяется

• Триггеры активации: Получение Natural Language Input (например, через Assistant, социальные сети), из которого можно определить значимое событие и дату (в прошлом, настоящем или будущем).
• Условия применения: Наличие цифровых изображений, снятых в указанную дату, и доступность записей о взаимодействии пользователя с ними или возможности выполнить распознавание контента.

Пошаговый алгоритм

Этап 1: Получение и анализ ввода

1. Получение natural language input от пользователя.
2. Анализ ввода (NLP) для определения: События, Даты и Описательных токенов.

Этап 2: Идентификация изображений-кандидатов

1. Идентификация всех цифровых изображений, снятых в определенную Дату.

Этап 3: Анализ и классификация изображений (Выполняется одним или несколькими способами)

Вариант А: Анализ поведенческих сигналов

1. Изучение записей о взаимодействии пользователя (User-Controlled Computing Interactions).
2. Вычисление и сравнение метрик взаимодействия для каждого изображения: Время отображения, Мера манипуляции (редактирование), Мера обмена (шеринг).
3. Классификация изображений с высокими показателями взаимодействия как связанных с событием.

Вариант Б: Анализ контента изображения

1. Выполнение Image Recognition Processing.
2. Смещение (Biasing) распознавания в сторону токенов события или связанных концепций из Knowledge Graph. Использование embeddings для оценки семантического сходства.
3. Классификация изображений, содержащих релевантные объекты, как связанных с событием.

Вариант В: Комбинированный подход

1. Расчет совокупной меры уверенности (aggregate measure of confidence) на основе сигналов из Вариантов А и Б.
2. Если мера уверенности превышает порог (threshold), изображение классифицируется.

Этап 4: Аннотирование и хранение

1. Сохранение токенов события в ассоциации с классифицированными изображениями в поисковой базе данных.

Этап 5: Обучение моделей (ML Training)

1. Использование аннотированных изображений (вход) и токенов (метки) в качестве обучающих данных.
2. Обучение Machine Learning Classifier на основе ошибки между выходом модели и метками для улучшения его способности к целостной классификации.

Какие данные и как использует

Данные на входе

Система использует комбинацию поведенческих, контентных и текстовых данных.

• Поведенческие факторы (User Interaction): Критически важные данные.
  • Время просмотра: Как долго изображение отображалось (Amount of time displayed), включая кумулятивное время на разных устройствах и у разных пользователей.
  • Манипуляции: Данные о редактировании (Image manipulation) — фильтры, обрезка, зум.
  • Шеринг: Активность обмена изображением (Measure of sharing), включая количество отправок исходным пользователем и распространение среди других пользователей.
• Контентные факторы (Image Content): Пиксельные данные изображений и видео, анализируемые с помощью Image Recognition Processing (включая распознавание объектов и лиц).
• Текстовые факторы (NLP): Ввод на естественном языке, из которого извлекаются токены события.
• Временные и Географические факторы: Метаданные изображений (дата, геотеги). Используются для фильтрации и анализа темпоральной и пространственной близости.

Какие метрики используются и как они считаются

• Measure of Image Manipulation: Метрика, оценивающая степень редактирования изображения. Используется для сравнения относительной значимости изображений.
• Measure of Sharing: Количественная оценка активности обмена изображением.
• Amount of Time Displayed: Метрика времени просмотра.
• Aggregate Measure of Confidence: Совокупная оценка, основанная на комбинации поведенческих и контентных сигналов.
• Latent Space Similarity (Сходство в скрытом пространстве): Используется при смещенном распознавании. Измеряется расстояние между embeddings объектов на изображении и embeddings концепций, связанных с событием (например, с использованием Евклидова расстояния или косинусного сходства).
• Пороговые значения (Thresholds): Используются для определения, достаточно ли высока мера уверенности для классификации.

1. Целостное понимание (Holistic Understanding) как цель: Ключевой вывод для SEO — Google активно обучает свои модели классифицировать изображения «целостно». Модели учатся распознавать тему или событие на основе общего визуального сходства с другими изображениями той же тематики, а не только по наличию конкретных объектов.
2. Генерация обучающих данных (Training Data Pipeline): Патент раскрывает один из методов, как Google генерирует высококачественные, маркированные контекстом данные для обучения своих моделей ИИ, используя реальное поведение пользователей в своих продуктах.
3. Поведенческие данные как сигнал значимости: Патент явно описывает использование поведенческих сигналов (просмотры, редактирование, шеринг) как индикаторов значимости и релевантности контента в заданном контексте. Это подтверждает важность вовлеченности (Engagement) для оценки контента.
4. Синергия NLP и Computer Vision (Biased Recognition): Контекст, полученный из NLP, используется для активного «смещения» (bias) распознавания изображений и разрешения неоднозначностей. Это подчеркивает важность соответствия визуального контента и окружающего текста.
5. Важность семантической связи: Система использует embeddings и Knowledge Graph для установления семантической связи между визуальными элементами (включая объекты и лица) и текстовыми концепциями.

Best practices (это мы делаем)

• Оптимизация под контекст и тему (Holistic Relevance): Создавайте изображения, которые четко передают общую тему страницы. Убедитесь, что визуальная композиция соответствует тематике, которую Google может распознать целостно. Изображение должно визуально соответствовать другим изображениям этой темы в индексе Google.
• Создание визуально вовлекающего контента (Engagement Signals): Патент подчеркивает, что вовлеченность является сигналом значимости. Для Image SEO это подтверждает важность создания высококачественных, уникальных изображений, которые пользователи захотят рассмотреть (время просмотра) или поделиться (шеринг).
• Обеспечение семантического соответствия текста и изображения (Contextual Biasing): Убедитесь, что окружающий текст (заголовки, подписи, alt-текст, контент страницы) точно описывает контекст изображения. Текст задает контекст, который система будет пытаться подтвердить визуально, смещая распознавание в нужном направлении.
• Использование уникальных изображений: Уникальные изображения, точно отражающие контекст контента, будут иметь преимущество перед общими стоковыми фото, так как они лучше соответствуют целостному пониманию темы и с большей вероятностью вызовут вовлеченность.

Worst practices (это делать не надо)

• Использование общих стоковых фото без контекста: Использование стоковых изображений, слабо связанных с контекстом страницы, снижает вероятность их правильной целостной классификации и признания значимыми.
• Несоответствие текста и изображения (Keyword Stuffing): Попытки манипулировать ранжированием путем добавления нерелевантных ключевых слов в alt-текст будут неэффективны. Системы ищут соответствие между текстовым контекстом и визуальным содержанием.
• Игнорирование качества изображений: Размещение низкокачественных или непривлекательных изображений может привести к низкой вовлеченности, что интерпретируется как низкая значимость контента.
• Визуальный Clickbait: Использование изображений, которые привлекают внимание, но не соответствуют контексту страницы. Системы, стремящиеся к целостному пониманию, могут распознать это несоответствие.

Стратегическое значение

Патент подтверждает стратегический переход Google от анализа отдельных объектов к пониманию сложных сцен и контекстов (Holistic Understanding). Для долгосрочной SEO-стратегии это означает, что инвестиции в создание уникального визуального контента, который точно отражает тематику сайта и вызывает вовлеченность пользователей, будут окупаться. Способность Google понимать изображения целостно снижает эффективность простых манипуляций и повышает требования к качеству и контекстуальной релевантности.

Практические примеры

Сценарий: Оптимизация изображений для статьи «Как собрать игровой компьютер» (Принцип целостного понимания и контекстуального смещения)

1. Действие: Вместо общих фото компонентов, создайте серию уникальных фотографий процесса сборки: установка процессора в сокет, подключение кабелей к материнской плате, финальный вид собранной системы.
2. Оптимизация: Убедитесь, что текст статьи (контекст) четко описывает процесс. Alt-текст и подписи должны соответствовать действию на фото (например, «Аккуратное подключение кабеля питания к видеокарте»).
3. Ожидаемый результат: Система распознавания Google, смещенная контекстом статьи (NLP), правильно классифицирует эти изображения как высокорелевантные теме «сборка ПК». Модели, обученные целостному пониманию, распознают эти сцены как типичные для этой темы, улучшая видимость в Image Search.

Сценарий: Улучшение вовлеченности для E-commerce (Принцип сигналов значимости)

1. Действие: На карточке товара (например, рюкзак для походов) разместите высококачественные фото деталей (качество швов, фурнитура) и фото рюкзака в использовании (в походе).
2. Оптимизация: Используйте функционал галереи, позволяющий пользователям легко увеличивать (зум) и детально рассматривать изображения.
3. Ожидаемый результат: Повышенная вовлеченность пользователей (время просмотра, использование зума) может служить сигналом значимости контента для поисковых систем (как показано в патенте на примере метрик time displayed и manipulation), потенциально улучшая ранжирование.