Как Google обновляет индекс визуального поиска в реальном времени, используя динамические и статические индексы

Термины и определения

Image Descriptor (Дескриптор изображения) / Image Feature (Признак изображения)

Математическое представление (например, вектор чисел) визуальных характеристик изображения или его части, обычно вокруг точки интереса (Image Interest Point). Используется для сравнения изображений.

Static Index (Статический индекс)

Основной индекс визуальной поисковой системы. Хранит дескрипторы в сжатом виде (Compressed Image Descriptors) для экономии памяти и повышения скорости поиска. Разделен на множество частей (шардов).

Dynamic Index (Динамический индекс)

Временный индекс, хранящий дескрипторы в несжатом виде (Uncompressed Image Descriptors). Оптимизирован для быстрой вставки новых изображений, позволяя им становиться доступными для поиска немедленно. Может храниться в оперативной памяти (RAM).

Database Shard (Шард базы данных) / Set of image features (Набор признаков изображения)

Отдельная часть (партиция) Статического индекса. Шардирование позволяет распределить индекс по нескольким серверам и обновлять его по частям.

Index Manager (Менеджер индекса)

Компонент системы, отвечающий за мониторинг Динамического индекса, инициацию миграции данных в Статический индекс и управление заменой шардов.

Exemplars (Эталоны/Экземпляры)

Представители кластеров (центроиды) в пространстве дескрипторов. Используются для партиционирования (шардирования) и сжатия индекса. Дескрипторы могут группироваться в шард на основе ближайшего к ним эталона.

Query Image (Изображение-запрос)

Изображение, предоставленное пользователем для поиска.

Reference Image (Эталонное изображение)

Изображение, добавляемое в индекс поисковой системы.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс миграции данных из динамического индекса в статический.

1. Система определяет необходимость миграции признаков (image features) из Динамического индекса (хранит в несжатой форме) в Статический индекс (хранит в сжатой форме). Оба индекса используются для поиска.
2. В ответ на это система классифицирует несжатые признаки из Динамического индекса в соответствии со схемой классификации (classification scheme) Статического индекса, определяя, к какому существующему набору признаков (шарду) они относятся.
3. Система сжимает эти классифицированные признаки.
4. Генерируется новый набор признаков (replacement set), включающий (i) новые сжатые признаки и (ii) существующие сжатые признаки из соответствующего набора.
5. Существующий набор признаков в Статическом индексе заменяется новым (replacement set).

Claim 2 и 3 (Зависимые): Уточняют условия инициации миграции (Шаг 1 из Claim 1).

Миграция инициируется, когда количество признаков (Claim 2) или общий размер данных (Claim 3) в Динамическом индексе превышает заданный порог (threshold).

Claim 6 (Зависимый): Описывает завершающий этап миграции.

После того как признаки были классифицированы и успешно перенесены (путем замены шарда), эти же признаки удаляются (deleting/purging) из Динамического индекса.

Claim 8 (Зависимый): Уточняет процесс классификации и объединения (Шаги 2 и 4 из Claim 1), предлагая альтернативный вариант реализации.

Процесс классификации может включать декомпрессию существующих признаков из соответствующего набора (шарда) Статического индекса и объединение этих декомпрессированных признаков с новыми несжатыми признаками из Динамического индекса. Это подразумевает, что для создания обновленного шарда может потребоваться совместная обработка (и последующее сжатие) старых и новых данных.

Где и как применяется

Изобретение относится к инфраструктуре исключительно визуального поиска (Google Images, Google Lens) и затрагивает этапы индексирования и ранжирования в этой вертикали.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. На этом этапе происходит обработка новых изображений. Их дескрипторы извлекаются и немедленно помещаются в Динамический индекс. Также этот этап включает фоновый процесс (управляемый Index Manager) периодической миграции и консолидации данных из Динамического индекса в Статический индекс.

RANKING – Ранжирование (Этап отбора кандидатов)
Во время выполнения запроса система запускает параллельный поиск. First Search Engine ищет совпадения в шардах Статического индекса, а Second Search Engine ищет в Динамическом индексе. Это гарантирует полноту выдачи, включая самые свежие данные. Система спроектирована так, чтобы процесс слияния не прерывал процесс поиска.

Входные данные:

• Новые изображения (Reference Images) для добавления в индекс.
• Изображения-запросы (Query Images).
• Существующие данные Статического и Динамического индексов.
• Критерии партиционирования (например, Exemplars).

Выходные данные:

• Результаты поиска (совпадающие изображения и их метаданные).
• Обновленный Статический индекс и очищенный Динамический индекс (после завершения миграции).

На что влияет

• Конкретные типы контента: Влияет исключительно на изображения и видео-кадры, обрабатываемые системами визуального поиска. Не влияет на ранжирование текстовых веб-страниц.
• Свежесть (Freshness): Основное влияние — на скорость появления новых изображений в поиске. Система гарантирует, что добавленный визуальный контент индексируется и становится доступным почти мгновенно.
• Конкретные ниши: Наибольшее влияние в нишах с высокой частотой появления новых изображений (Новости, E-commerce).

Когда применяется

• При добавлении контента: Система постоянно принимает новые изображения и записывает их в Динамический индекс.
• При обработке запросов: Система постоянно использует оба индекса для ответа на поисковые запросы.
• Триггеры активации миграции: Процесс миграции запускается периодически. Триггером служит достижение порогового значения размера Динамического индекса (по количеству изображений, количеству дескрипторов или использованию памяти), срабатывание расписания или ручная команда.

Пошаговый алгоритм

Система работает в трех параллельных режимах.

Процесс А: Добавление изображения (Real-time)

1. Получение данных: Система получает новое эталонное изображение (Reference Image).
2. Извлечение признаков: Из изображения извлекаются дескрипторы (Image Descriptors).
3. Запись в Динамический индекс: Несжатые дескрипторы сохраняются в Динамическом индексе.
4. Обеспечение доступности: Изображение немедленно становится доступным для поиска.

Процесс Б: Обработка запроса (Real-time)

1. Получение запроса: Система получает изображение-запрос (Query Image).
2. Извлечение признаков: Извлекаются дескрипторы запроса.
3. Параллельный поиск: Запускается поиск совпадений одновременно в Статическом индексе (по всем шардам) и в Динамическом индексе.
4. Объединение результатов: Результаты из обоих индексов объединяются, ранжируются и предоставляются пользователю.

Процесс В: Миграция индекса (Фоновый процесс)

1. Мониторинг и Триггер: Index Manager отслеживает размер Динамического индекса. При превышении порога инициируется миграция.
2. Определение критериев: Определяются критерии партиционирования (например, Exemplars), используемые в статическом индексе.
3. Классификация: Несжатые дескрипторы из Динамического индекса анализируются и распределяются по соответствующим шардам согласно этим критериям.
4. Создание новых шардов (Replacement Sets): Генерируются новые версии шардов, объединяющие старые и новые данные. Возможны варианты:
   • Вариант 1 (Claim 1): Новые дескрипторы сжимаются и добавляются к существующим сжатым данным шарда.
   • Вариант 2 (Claim 8): Существующие данные шарда декомпрессируются, объединяются с новыми несжатыми данными, и весь набор совместно обрабатывается (например, пересжимается).
5. Замена шардов (Swapping): Index Manager заменяет старые версии шардов новыми. Замена может происходить последовательно (one-by-one), чтобы минимизировать влияние на текущие поисковые запросы.
6. Очистка (Purging): Смигрированные данные удаляются из Динамического индекса, освобождая место для новых изображений.

Какие данные и как использует

Данные на входе

Патент фокусируется на управлении индексом, а не на анализе контента.

• Мультимедиа факторы: Изображения (как запросы, так и эталонные). Система использует пиксельные данные для генерации Image Descriptors вокруг точек интереса (Image Interest Points). Также упоминаются Object Metadata, связанные с эталонными изображениями.
• Системные данные: Критерии шардирования и сжатия (например, наборы Exemplars).

Какие метрики используются и как они считаются

• Размер Динамического индекса: Метрика, используемая для инициации миграции. Может измеряться в количестве изображений, количестве дескрипторов или объеме занимаемой памяти (RAM или диск).
• Пороги (Thresholds): Предопределенные значения для размера Динамического индекса, служащие триггером для миграции.
• Критерии партиционирования (Classification scheme): Метод, используемый для разделения дескрипторов на шарды. Патент упоминает, что это может быть основано на наборе эталонов (Exemplars) в пространстве дескрипторов, определенных, например, с помощью кластеризации (k-means).

1. Инфраструктурное решение для визуального поиска: Патент описывает не алгоритм ранжирования, а инфраструктуру, необходимую для работы масштабной системы визуального поиска, такой как Google Images или Google Lens. Практических выводов для традиционного SEO нет.
2. Дуальная архитектура для скорости и свежести: Google использует двухслойную архитектуру: Dynamic Index для обеспечения свежести (быстрая запись, несжатые данные) и Static Index для обеспечения масштаба и скорости поиска (сжатые данные, шардинг).
3. Мгновенная доступность контента: Благодаря Dynamic Index новые изображения могут попадать в результаты поиска практически мгновенно после их обработки.
4. Механизм бесшовного обновления: Ключевое изобретение — это способность объединять индексы без остановки системы и без заметного снижения производительности поиска. Это достигается за счет создания новых версий шардов и их постепенной замены (Swapping).
5. Отсутствие SEO-инсайтов по ранжированию: Патент не содержит информации о том, как рассчитывается релевантность изображений или какие факторы влияют на их ранжирование.

ВАЖНО: Патент является инфраструктурным и не дает прямых практических выводов для SEO-стратегий ранжирования.

Best practices (это мы делаем)

• Понимание скорости индексации визуального контента: Патент подтверждает, что у Google есть механизмы (Dynamic Index) для чрезвычайно быстрого включения новых изображений в поисковую выдачу. Это подчеркивает важность оперативной публикации актуального визуального контента (например, для новостных сайтов или E-commerce) и использования инструментов для быстрого уведомления поисковых систем (например, Image Sitemaps).
• Обеспечение технической доступности изображений: Чтобы контент эффективно попадал в первичный Dynamic Index, необходимо обеспечить быструю отдачу изображений краулеру и не блокировать их сканирование.

Worst practices (это делать не надо)

• Информация о худших практиках в патенте отсутствует. Патент не направлен против каких-либо конкретных SEO-тактик или манипуляций, он описывает архитектуру баз данных.

Стратегическое значение

Патент подтверждает, что визуальный поиск является стратегически важной вертикалью, требующей сложной инфраструктуры. Система построена для обработки огромного количества данных и обеспечения их обновления в реальном времени. Это демонстрирует, что свежесть визуального контента является приоритетом, для чего создана специальная инфраструктура (Dynamic Index).

Практические примеры

Практических примеров применения для SEO нет, так как патент описывает внутреннюю инфраструктуру управления индексом. Можно привести пример работы системы:

Сценарий: Быстрая индексация товара в E-commerce

1. Событие: Интернет-магазин добавляет новый товар с фотографиями.
2. Сканирование: Googlebot обнаруживает новые изображения через XML Sitemap.
3. Индексация (Dynamic): Система извлекает Image Descriptors из фотографий и немедленно добавляет их в Dynamic Index.
4. Доступность: Вскоре пользователи могут найти этот товар через Google Images или Google Lens.
5. Миграция (Позже): Позже (например, ночью), Index Manager запускает процесс слияния, и дескрипторы этого товара переносятся в Static Index для долговременного хранения.