Как Google индексирует и ищет визуальные фрагменты для улучшения качества изображений в своих сервисах

Описание

Какую задачу решает

Патент решает проблему низкого качества изображений в информационных системах, хранящих большие объемы визуальных данных (например, картографические приложения, использующие аэрофотоснимки или наземные фотографии). Исходные изображения часто имеют области с низким разрешением, окклюзиями (перекрытиями), тенями или отсутствующими данными. Изобретение предлагает масштабируемый метод для поиска высококачественных визуальных фрагментов (patches) в большой базе данных для замены этих низкокачественных областей. Патент не направлен на устранение SEO-манипуляций.

Что запатентовано

Запатентована система и метод для крупномасштабного поиска визуальных фрагментов с целью улучшения (enhancing) цифровых изображений. Суть изобретения заключается в создании эффективной инфраструктуры для индексации и быстрого поиска среди миллиардов изображений и их фрагментов. Это достигается за счет использования глобальных дескрипторов для изображений и локальных дескрипторов для патчей, организованных в иерархические структуры данных.

Как это работает

Патент описывает внутренние процессы Google в области компьютерного зрения без прямых рекомендаций для SEO. Система работает в два основных этапа:

• Индексация (Офлайн): Обрабатывается большой набор изображений. Вычисляются Global Descriptors для каждого изображения и Patch Descriptors для множества фрагментов внутри них. Для эффективности размерность дескрипторов патчей уменьшается (dimensionality reduction), а сами дескрипторы организуются в древовидные структуры (например, с помощью Hierarchical K-means).
• Улучшение/Поиск (Онлайн): Для низкокачественного патча на исходном изображении система выполняет двухэтапный поиск. Сначала выполняется глобальный поиск, чтобы найти визуально похожие изображения (Related Images). Затем выполняется локальный поиск только внутри этих изображений, чтобы найти наиболее похожие патчи для замены.

Актуальность для SEO

Высокая (в контексте Computer Vision). Технологии обработки и улучшения изображений критически важны для поддержания качества данных в сервисах типа Google Maps, Street View и Google Photos. Описанные методы (использование дескрипторов, снижение размерности и эффективных структур данных для масштабного поиска) являются фундаментальными в области компьютерного зрения.

Важность для SEO

Минимальное влияние (1/10) на традиционное SEO. Патент описывает внутреннюю инфраструктуру Google для улучшения качества собственных визуальных активов (Image Enhancement). Он не описывает алгоритмы сканирования, индексирования или ранжирования веб-страниц или изображений в поисковой выдаче (Google Search или Google Images). Он не дает прямых рекомендаций для SEO-специалистов.

Детальный разбор

Термины и определения

Dimensionality Reduction (Снижение размерности)

Процесс уменьшения количества признаков в Feature Vector для повышения эффективности обработки и хранения. В патенте упоминается использование PCA.

Feature Vector (Вектор признаков)

Числовое представление характеристик патча, например, интенсивности пикселей. Является основой для Patch Descriptor.

Gist

Алгоритм для генерации глобальных дескрипторов, упомянутый в патенте. Создает низкоразмерное описание основных характеристик сцены.

Global Descriptor (Глобальный дескриптор)

Низкоразмерное представление (low dimensional representation) характеристик всего изображения. Используется для быстрого поиска визуально похожих изображений.

Hierarchical K-means clustering (Иерархическая кластеризация K-средних)

Алгоритм кластеризации, используемый для построения древовидных структур данных (tree structure) из глобальных и патч-дескрипторов для эффективного поиска.

Image Data Structure (Структура данных изображений)

Поисковая структура данных, организованная на основе Global Descriptors.

Nearest Neighbor Search (NNS) (Поиск ближайшего соседа)

Техника поиска, используемая для нахождения наиболее похожих дескрипторов в структурах данных.

Patch (Патч/Фрагмент)

Небольшой участок изображения (region of pixels). В патенте упоминается пример размера 32×32 пикселя. Патчи могут создаваться путем применения скользящего окна (sliding window).

Patch Descriptor (Дескриптор патча)

Представление признаков конкретного патча, полученное из Feature Vector после обязательного снижения размерности.

PCA (Principal Component Analysis) (Анализ главных компонент)

Алгоритм снижения размерности, упомянутый как метод оптимизации дескрипторов патчей.

Related Images (Похожие/Связанные изображения)

Изображения из базы данных, которые визуально похожи на исходное изображение, найденные по Global Descriptor.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной компьютерный метод идентификации патчей для улучшения исходного изображения (original image).

1. Генерация Global Descriptors и Patch Descriptors для базы полученных изображений (received images). Процесс генерации Patch Descriptors включает:
   • Идентификацию набора патчей внутри изображения.
   • Генерацию векторов признаков (feature vectors) для этих патчей.
   • Применение алгоритма снижения размерности (dimensionality reduction algorithm) к векторам признаков для создания финальных дескрипторов патчей.
2. Генерация одной или нескольких поисковых структур данных (searchable data structures) на основе этих дескрипторов.
3. Генерация глобального дескриптора для исходного изображения и дескриптора для целевого патча, требующего улучшения.
4. Поиск в структурах данных с использованием обоих дескрипторов (глобального и патча).
5. Идентификация набора подходящих патчей для улучшения исходного изображения.
6. Сохранение этого набора патчей.

Ядром изобретения является создание масштабируемой системы поиска, которая использует комбинацию глобальных и локальных дескрипторов, причем обязательным элементом процесса создания локальных дескрипторов является уменьшение их размерности. Это обеспечивает эффективность системы.

Claim 3 и 4 (Зависимые от 1): Уточняют природу структур данных.

Структуры данных (как для изображений, так и для патчей) могут быть древовидными (tree data structure), сгенерированными с помощью Hierarchical K-means clustering соответствующих дескрипторов.

Claim 5 и 6 (Зависимые): Детализируют процесс поиска и идентификации (двухэтапный поиск).

1. Поиск включает в себя сначала поиск в структуре глобальных дескрипторов для идентификации похожих дескрипторов и соответствующего набора связанных изображений (set of one or more related images).
2. Затем идентификация включает поиск в структурах данных патчей (patch data structure), ассоциированных только с этими связанными изображениями, используя дескриптор целевого патча. Это значительно сужает область поиска и ускоряет процесс.

Где и как применяется

Этот патент относится к инфраструктуре обработки и анализа визуальных данных (Computer Vision), а не к стандартной архитектуре веб-поиска. Он описывает систему улучшения изображений (Image Enhancement).

CRAWLING – Сканирование и Сбор данных
Система принимает на вход большой набор изображений, которые могут поступать из различных источников, включая картографические сервисы или пользовательские репозитории (упомянуты PICASA WEB, YOUTUBE, GOOGLE VIDEO).

INDEXING – Индексирование (в контексте обработки изображений)
Это основной этап применения. Система выполняет массовую обработку корпуса изображений. Происходит извлечение признаков (Feature Extraction): вычисляются Global Descriptors и Patch Descriptors (с применением Dimensionality Reduction). Затем строятся и сохраняются индексные структуры: Image Data Structure и Patch Data Structures с помощью Hierarchical K-means clustering. Это офлайн-процесс подготовки данных.

RANKING / RETRIEVAL (в контексте улучшения изображений)
Когда система получает запрос на улучшение изображения, она выполняет поиск (Retrieval) в реальном времени. Используя предварительно созданные структуры данных и технику NNS, система быстро находит сначала похожие изображения (Этап 1), а затем подходящие для замены патчи (Этап 2).

Входные данные:

• (Офлайн): Большой набор индексируемых изображений.
• (Онлайн): Исходное изображение с патчем, требующим улучшения.

Выходные данные:

• (Офлайн): Image Data Structure и Patch Data Structures.
• (Онлайн): Набор патчей-кандидатов (Set of Similar Patches) для замены низкокачественного фрагмента.

На что влияет

• Конкретные типы контента: Влияет исключительно на визуальный контент — цифровые изображения и текстуры.
• Конкретные ниши или тематики: Наиболее актуально для сервисов, интенсивно использующих фотографии местности, зданий, ландшафтов (картографические и панорамные сервисы, текстуры 3D-моделей зданий).

Патент не влияет на текстовый контент, типы поисковых запросов или традиционные SEO-ниши.

Когда применяется

• Условия применения: Алгоритм применяется во внутренних системах Google при наличии задачи по улучшению качества конкретного изображения.
• Триггеры активации: Необходимость повысить разрешение, удалить окклюзии, тени или артефакты на изображениях. В патенте упоминается, что идентификация патча для улучшения может производиться на основе ввода от пользователя (вручную).
• Пороговые значения: В процессе поиска (NNS) используются пороги схожести или расстояния (predetermined distance) для определения того, что считать похожим изображением или патчем.

Пошаговый алгоритм

Фаза 1: Индексация и создание структур данных (Офлайн)

1. Получение данных: Получение набора изображений для индексации.
2. Генерация глобальных дескрипторов: Вычисление Global Descriptors для каждого изображения (например, с помощью алгоритма Gist).
3. Построение Image Data Structure: Генерация иерархической структуры данных (например, дерева Hierarchical K-means) на основе глобальных дескрипторов.
4. Идентификация патчей: Выделение набора патчей для каждого изображения (например, с использованием скользящего окна 32×32 пикселя).
5. Генерация векторов признаков: Вычисление исходных Feature Vectors для каждого патча (например, интенсивности пикселей).
6. Снижение размерности: Применение Dimensionality Reduction (например, PCA) к векторам признаков для создания компактных Patch Descriptors (обязательный шаг согласно Claim 1).
7. Построение Patch Data Structures: Генерация структур данных патчей для каждого отдельного изображения (также с помощью Hierarchical K-means clustering).
8. Сохранение: Сохранение всех структур данных и дескрипторов.

Фаза 2: Поиск патчей для улучшения (Онлайн)

1. Получение исходного изображения: Загрузка изображения, требующего улучшения.
2. Генерация глобального дескриптора: Вычисление Global Descriptor для исходного изображения.
3. Идентификация целевого патча: Определение участка (патча), который нужно улучшить.
4. Генерация дескриптора патча: Вычисление Patch Descriptor для целевого патча.
5. Глобальный поиск (Этап 1): Поиск в Image Data Structure с использованием глобального дескриптора (например, через NNS) для нахождения набора визуально похожих изображений (Related Images).
6. Локальный поиск (Этап 2): Поиск в Patch Data Structures, соответствующих только найденным похожим изображениям, с использованием дескриптора целевого патча.
7. Идентификация результатов: Определение набора похожих высококачественных патчей-кандидатов.
8. Сохранение: Сохранение набора найденных патчей.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на анализе визуальной составляющей изображений.

• Мультимедиа факторы: Пиксельные данные изображений (например, интенсивность). Это единственный тип входных данных, описанный в документе для генерации дескрипторов.

Патент не упоминает использование контентных (текст), технических, ссылочных, поведенческих, временных, структурных (HTML), географических или пользовательских факторов.

Какие метрики используются и как они считаются

• Global Descriptors: Вычисляются с помощью алгоритмов анализа изображений. Упоминается алгоритм «gist».
• Patch Descriptors: Вычисляются как векторы признаков (Feature Vectors) на основе пикселей патча. Патент явно указывает на использование алгоритмов снижения размерности (Dimensionality Reduction), таких как PCA (Principal Component Analysis), для оптимизации этих векторов.
• Метрики схожести (Distance Metrics): При поиске ближайших соседей (NNS) используются метрики расстояния между дескрипторами для определения визуальной схожести. Упоминаются Евклидово расстояние (Euclidian distance) и Манхэттенское расстояние (Manhattan distance).
• Алгоритмы машинного обучения (Кластеризация): Используется алгоритм Hierarchical K-means clustering для организации дескрипторов в эффективные древовидные структуры данных.

Выводы

Патент является чисто техническим, описывает инфраструктурные процессы Google в области компьютерного зрения (Computer Vision) и не содержит практических выводов для SEO.

1. Фокус на улучшении качества, а не на ранжировании: Система предназначена для улучшения качества существующих визуальных активов (Image Enhancement), а не для определения релевантности изображений поисковым запросам или их ранжирования в поиске.
2. Масштабируемость через двухэтапный поиск: Ключевой механизм для обеспечения масштабируемости — это двухэтапный подход. Сначала быстрый поиск похожих сцен с использованием Global Descriptors, а затем точный поиск похожих деталей с использованием Patch Descriptors только внутри отобранных кандидатов.
3. Эффективность через снижение размерности: Claim 1 подчеркивает, что применение Dimensionality Reduction (например, PCA) к дескрипторам патчей является обязательной частью процесса. Это необходимо для обеспечения скорости и эффективности хранения при работе с огромным количеством патчей.
4. Иерархическая индексация: Использование Hierarchical K-means trees для индексации как изображений, так и патчей является основой для быстрого поиска (NNS).
5. Отсутствие связи с традиционным SEO: Патент не содержит информации о семантической оценке контента, анализе текста, авторитетности источников или факторах E-E-A-T.

Практика

ВАЖНО: Патент является инфраструктурным, относится к области компьютерного зрения и не дает практических выводов для SEO.

Best practices (это мы делаем)

Практических рекомендаций для SEO (контентных, технических или ссылочных), основанных на механизмах этого патента, нет.

Worst practices (это делать не надо)

SEO-тактик, которые этот патент делает неэффективными или опасными, нет. Он не направлен против каких-либо SEO-манипуляций и не описывает механизмы пессимизации.

Стратегическое значение

Стратегическое значение для SEO минимально. Патент не меняет понимание приоритетов Google в веб-поиске. Он демонстрирует сложность инфраструктуры Google для обработки визуальных данных и способность системы детально анализировать и сопоставлять фрагменты изображений на уровне пикселей, но это знание не влияет на долгосрочную SEO-стратегию.

Практические примеры

Практических примеров для SEO нет.

Пример использования технологии Google (для иллюстрации работы):

Сценарий: Улучшение текстуры здания в Google Maps/Earth.

1. Проблема: Текстура фасада здания на 3D-модели имеет низкое разрешение или перекрыта тенью, так как была снята издалека.
2. Анализ и Глобальный поиск: Система анализирует исходное изображение фасада и ищет в своей базе данных другие похожие фотографии этого же или аналогичных зданий (используя Global Descriptor). Источниками могут быть другие аэрофотоснимки или даже пользовательские фото (в патенте упоминается PICASA WEB).
3. Локальный поиск: В найденных похожих фотографиях система ищет фрагменты (патчи), которые точно соответствуют низкокачественному участку (используя Patch Descriptor).
4. Результат: Найденный четкий патч используется для замены дефектной области, улучшая качество финальной 3D-модели для пользователя.

Вопросы и ответы