Как Google классифицирует изображения по сезонам и времени суток на основе визуальных признаков и использует это в поиске

Описание

Какую задачу решает

Патент решает две ключевые проблемы в поиске изображений:

• Отсутствие временных метаданных: Пользователи часто ищут изображения с временным контекстом (например, «Эйфелева башня зимой»), но многие изображения не содержат EXIF данных о времени съемки. Система позволяет удовлетворить такие запросы, анализируя визуальное содержание картинки.
• Поиск по точке обзора (Vantage Point): Сложно найти изображения одного объекта, снятые с одной точки в разные сезоны, из-за сильных визуальных различий. Патент предлагает механизм идентификации таких изображений на основе точного совпадения местоположения и направления съемки.

Что запатентовано

Запатентована система классификации и поиска изображений на основе Seasonal Time Period (сезонного периода времени). Изобретение включает использование моделей машинного обучения (Image Classification Models), обученных предсказывать время съемки по визуальным признакам. Также запатентован метод поиска по изображению (Query by Image), который использует данные о локации (Location) и направлении съемки (Direction) для нахождения других снимков с той же точки обзора (Vantage Point) в разные периоды времени.

Как это работает

Система работает в нескольких режимах:

• Обучение (Офлайн): Система использует изображения с известными временными метками и локациями для обучения моделей. Извлекаются визуальные признаки (Feature Vectors). Модели учатся ассоциировать эти признаки с конкретным временем. Обучение может быть локализованным (учитывая, что сезоны выглядят по-разному в разных местах).
• Классификация: При индексировании или во время запроса система применяет модели для предсказания времени съемки изображений, у которых нет метаданных.
• Поиск и Фильтрация: Система использует предсказанные или известные временные метки для фильтрации результатов по запросу пользователя (введенному текстом или через UI-элементы, например, слайдер).
• Поиск по точке обзора: При поиске по изображению система идентифицирует локацию (GPS) и направление (компас) исходного изображения и ищет другие изображения, соответствующие этим параметрам в пределах заданных порогов.

Актуальность для SEO

Высокая. Понимание визуального контента и контекста изображений является фундаментальным для современных систем поиска (Google Images, Google Lens). Описанные методы анализа пикселей для определения контекста (времени съемки) и использование точных геопространственных данных для визуального поиска остаются крайне актуальными.

Важность для SEO

Патент имеет существенное значение для SEO изображений (Image SEO), особенно в тематиках, где внешний вид объектов зависит от сезона (туризм, недвижимость, мода). Он демонстрирует, что Google активно анализирует сами пиксели для понимания контекста изображения, не полагаясь исключительно на текст. Это подчеркивает важность визуального качества, соответствия контента изображения сезонным запросам и сохранения метаданных (EXIF).

Детальный разбор

Термины и определения

Seasonal Time Period (Сезонный период времени)

Широкий термин, определяемый как идентифицируемая циклическая вариация времени. Включает сезоны года (зима, весна и т.д.), время суток (утро, вечер), месяц года.

Image Classification Model (Модель классификации изображений)

Модель машинного обучения (например, SVM, нейронная сеть), обученная предсказывать Seasonal Time Period изображения на основе его визуальных характеристик.

Feature Vector (Вектор признаков)

Набор данных, содержащий значения визуальных характеристик изображения (Content Feature Values). Примеры: LBP, SIFT, цветовые гистограммы, градиенты.

Content Feature Value (Значение признака контента)

Числовое значение, указывающее на визуальную характеристику изображения (например, цвет, текстура).

Geolocation Tag / Location Value (Геолокационная метка / Значение локации)

Метаданные (например, GPS-координаты), указывающие географическое местоположение съемки.

Directional Tag (Метка направления)

Метаданные (например, данные компаса), указывающие направление, в котором была направлена камера во время съемки.

Vantage Point (Точка обзора)

Комбинация точного местоположения (Location Value) и направления съемки (Directional Tag).

Time-filter UI Control Element (Элемент управления UI для фильтрации по времени)

Элемент интерфейса (слайдер, временная шкала, интерактивные часы), позволяющий пользователю выбрать желаемый Seasonal Time Period.

Timestamp / Time Value (Временная метка)

Метаданные (например, из EXIF), указывающие время и/или дату съемки. Используются для обучения моделей.

Ключевые утверждения (Анализ Claims)

Важно отметить, что хотя описание патента фокусируется на обучении моделей для предсказания времени съемки, ключевые независимые пункты формулы изобретения (Claims 1, 8, 15) сосредоточены на механизме поиска по точке обзора (Vantage Point Search).

Claim 1 (Независимый пункт): Описывает метод поиска по изображению (Query by Image), который точно определяет точку обзора с использованием локации и направления.

1. Система получает запрос, включающий изображение субъекта.
2. Определяется локация (location), где было снято изображение.
3. Идентифицируются дополнительные изображения того же субъекта, снятые в той же локации. Этот процесс включает:
   • Определение направления (direction), в котором было направлено устройство во время съемки исходного изображения.
   • Поиск изображений, снятых устройством, которое находилось в пределах порогового расстояния (threshold distance) от исходной локации И было направлено в сторону, находящуюся в пределах порогового допуска (threshold directional tolerance) от исходного направления.
4. Система предоставляет часть этих дополнительных изображений в ответ на запрос.

Это механизм для высокоточного визуального поиска, использующий GPS и данные компаса для гарантии, что найденные изображения сделаны с той же точки обзора.

Claim 4 (Зависимый от 1): Добавляет возможность фильтрации найденных изображений (из Claim 1) по времени.

1. Предоставляется UI-объект для выбора seasonal time period.
2. Получается выбор пользователя.
3. Идентифицируется та часть дополнительных изображений, которые были сняты в течение выбранного периода.

Claim 5 (Зависимый от 4): Уточняет метод определения времени съемки для фильтрации.

Сезонный период времени для каждого дополнительного изображения определяется с использованием одной или нескольких image classification models. Это связывает механизм поиска по точке обзора с технологией предсказания времени съемки, описанной в патенте.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, преимущественно в вертикали Поиска по Картинкам.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная предварительная обработка:

• Извлечение метаданных (EXIF): время (timestamp), GPS (geolocation tag) и компас (directional tag).
• Вычисление визуальных признаков и генерация Feature Vectors.
• Применение Image Classification Models (офлайн) для предсказания Seasonal Time Period для изображений (особенно без метаданных).
• Сохранение всех этих данных (метаданные, векторы, предсказанное время) в Search Index в виде меток (labels).

RANKING / RERANKING – Ранжирование и Переранжирование
Основной этап применения патента:

• Фильтрация по времени: Если запрос содержит временной критерий или пользователь активирует Time-filter UI element, система фильтрует или переранжирует кандидатов, используя известные или предсказанные временные метки.
• Поиск по точке обзора: Для Query by Image (согласно Claim 1), система жестко фильтрует кандидатов по совпадению локации и направления съемки с исходным изображением.

Входные данные:

• Изображения и их метаданные (EXIF).
• Вычисленные Feature Vectors.
• Обученные Image Classification Models.
• Запрос пользователя (текст, изображение, выбранный временной фильтр).

Выходные данные:

• Отфильтрованный набор результатов поиска изображений, соответствующий теме запроса, временным критериям и/или точке обзора.

На что влияет

• Конкретные типы контента: Фотографии, особенно те, где визуальные характеристики зависят от времени: ландшафты, природа, достопримечательности, архитектура.
• Специфические запросы: Запросы с явным временным интентом («осенний лес», «Нью-Йорк ночью»). Запросы типа Query by Image (аналогично Google Lens).
• Конкретные ниши или тематики: Туризм, путешествия, недвижимость, электронная коммерция (сезонные товары, мода).

Когда применяется

• При индексировании: Алгоритм классификации применяется для определения времени съемки, особенно если отсутствуют точные метаданные (Timestamp).
• При обработке запроса:
  • Фильтрация: Активируется, когда пользователь указывает временной период в тексте или использует UI для временной фильтрации.
  • Точка обзора: Активируется при поиске по изображению (Query by Image), когда система ищет снимки с того же ракурса.

Пошаговый алгоритм

Процесс А: Обучение моделей классификации (Офлайн)

1. Сбор данных: Сбор обучающих изображений с надежными метаданными о времени и месте съемки.
2. Извлечение признаков: Вычисление Feature Vectors (цвет, текстура, SIFT и т.д.).
3. Группировка (Вариативно): Разделение изображений на группы. Патент описывает варианты:
   • Группировка только по времени (например, по сезонам).
   • Группировка по локации (location-based groups), а затем внутри каждой локации – по времени (учитывая, что сезоны выглядят по-разному в разных местах).
4. Обучение классификаторов: Обучение Image Classification Models для каждой группы. Модель учится предсказывать вероятность принадлежности изображения к данной временной группе на основе его Feature Vector.
5. Создание мультиклассовой модели: Объединение моделей (например, используя стратегию one-versus-all).
6. Сохранение: Сохранение обученных моделей в хранилище (Model Store).

Процесс Б: Обработка запроса по точке обзора (Claim 1)

1. Получение запроса: Получение изображения в качестве запроса.
2. Анализ запроса: Идентификация субъекта. Определение местоположения (GPS) и направления съемки (компас) из метаданных или анализа изображения.
3. Поиск кандидатов: Поиск в индексе изображений того же субъекта.
4. Фильтрация по точке обзора: Фильтрация кандидатов, чье местоположение находится в пределах threshold distance И чье направление находится в пределах threshold directional tolerance от исходного изображения.
5. Фильтрация по времени (Опционально, Claim 4/5): Если пользователь запросил конкретное время, фильтрация результатов по Seasonal Time Period (используя предсказания моделей).
6. Предоставление результатов: Формирование выдачи.

Какие данные и как использует

Данные на входе

• Контентные (Визуальные) факторы: Основные данные для классификации. Анализируются пиксельные данные для извлечения Content Feature Values. Упоминаются: цвет, гистограммы цвета/оттенков серого, текстура, оттенок (hue), края, градиенты изображения, SIFT, LBP, visterms.
• Технические факторы (Метаданные): Данные из файлов (например, EXIF). Время и дата съемки (timestamp / time value) критически важны для обучения.
• Географические факторы: Метаданные о локации (Geolocation Tag), например, GPS-координаты. Используются для обучения локальных моделей и поиска по точке обзора. Также используются данные о направлении съемки (Directional Tag) с компаса устройства.

Какие метрики используются и как они считаются

• Алгоритмы машинного обучения: Упоминаются SVM (Support Vector Machines), Boosting model, Нейронные сети (Neural Network, Deep Belief Network), Logistic Regression, K-nearest neighbor classifier.
• Методы вычислений: Обучение включает итеративную корректировку весов (weights) признаков. Для мультиклассовой классификации используются подходы one-versus-all (стратегия winner-takes-all) или one-versus-one.
• Пороговые значения (для Query by Image / Vantage Point Search):
  • Threshold distance: Пороговое расстояние для определения совпадения локации (например, 10 метров).
  • Threshold directional tolerance: Пороговый допуск для определения совпадения направления съемки (например, +/- 10 градусов).

Выводы

1. Анализ визуального контента для понимания времени: Google использует машинное обучение для анализа пикселей, чтобы определить контекст (время съемки), который не указан в тексте или метаданных. Визуальные характеристики (цвет, освещение) являются прямыми сигналами для этой задачи.
2. Широкое понимание «Сезонности»: Термин Seasonal Time Period трактуется широко и включает не только время года, но и время суток или месяц.
3. Локализация классификации: Система способна учитывать географическое положение при определении сезона. Патент предлагает обучение отдельных моделей для разных локаций (location-based groups), признавая, что визуальные признаки одного сезона различаются в разных регионах.
4. Точка обзора (Vantage Point) как фактор поиска: Для поиска по изображению Google использует комбинацию GPS-данных и данных о направлении съемки (Directional Tag), чтобы определить точную точку обзора. Это критически важно для функций типа Google Lens.
5. Независимость от метаданных для классификации, но зависимость для Vantage Point Search: Система может предсказать сезон без метаданных, но для точного поиска по точке обзора метаданные (GPS, компас) необходимы.

Практика

Best practices (это мы делаем)

• Разработка сезонной визуальной стратегии: Для сайтов в нишах туризма, недвижимости, ландшафтного дизайна необходимо целенаправленно публиковать высококачественные изображения, представляющие объекты в разные сезоны и время суток.
• Обеспечение визуальной четкости сезонного контекста: Изображения должны ясно отражать сезон (снег зимой, зеленая листва летом). Поскольку система полагается на визуальные признаки (Content Feature Values) для классификации, неоднозначные изображения могут быть классифицированы неверно.
• Сохранение и валидация метаданных (EXIF): Не удаляйте метаданные, особенно Time Value, Location Value (GPS) и Directional Tag (компас). Наличие точных метаданных предоставляет системе достоверную информацию и необходимо для функционирования поиска по точке обзора (Vantage Point Search).
• Оптимизация под визуальный поиск (Google Lens): Для локального SEO и туризма важно иметь изображения ключевых мест, которые могут быть легко сопоставлены по местоположению и направлению, учитывая механизм Vantage Point Search.

Worst practices (это делать не надо)

• Визуальное несоответствие (Mismatch): Использование изображений, которые визуально противоречат контексту страницы (например, летние фото для статьи о зимних курортах). Система может распознать это несоответствие визуально.
• Удаление метаданных изображений: Автоматическое удаление всех EXIF данных при загрузке на сайт лишает Google точной информации о времени и месте съемки, заставляя ее полагаться только на предсказания моделей и исключая возможность участия в поиске по точке обзора.
• Использование фальшивых или чрезмерно отредактированных изображений: Попытки манипулировать сезонностью (например, добавление снега в Photoshop) или использование агрессивных фильтров могут исказить естественные визуальные сигналы (освещение, текстуры) и привести к неверной классификации.

Стратегическое значение

Патент подтверждает стратегический приоритет Google в глубоком понимании визуального контента на уровне пикселей. Для успеха в Image Search и Google Lens необходимо учитывать не только текстовую оптимизацию, но и само визуальное содержание изображения и его метаданные. Это особенно важно в нишах, где визуальное представление продукта или локации в разное время года имеет ключевое значение для пользователя.

Практические примеры

Сценарий: SEO для сайта гостиничного комплекса (Resort)

1. Задача: Увеличить видимость в поиске изображений для пользователей, планирующих отпуск в разные сезоны.
2. Действия на основе патента:
   • Провести фотосъемку комплекса зимой, летом и осенью, а также в разное время суток (рассвет, закат, ночь).
   • Убедиться, что изображения визуально четко передают атмосферу сезона (снег зимой, яркое солнце летом). Это позволит Image Classification Models корректно присвоить метки.
   • При загрузке на сайт сохранить EXIF данные (время и GPS).
3. Ожидаемый результат: Когда пользователь ищет отели в локации и использует временной фильтр (например, слайдер на «Зима»), изображения комплекса будут иметь высокие шансы появиться в выдаче, так как они корректно классифицированы системой Google как зимние (визуально и/или по метаданным).

Вопросы и ответы