От 2D сеток к 1D токенам: реорганизация общих представлений для мультимодального слияния изображений

Аннотация

Мультимодальное слияние изображений направлено на объединение дополнительной информации из различных модальностей в результирующее изображение, сохраняющее богатые локальные детали при глобально согласованном внешнем виде. Существующие подходы строят общие представления на двумерных (2D) сетках признаков, которые хорошо моделируют локальные структуры, но имеют ограниченные возможности управления глобальными факторами внешнего вида на уровне изображения. Для балансировки этих целей мы предлагаем компактный одномерный (1D) токен-интерфейс на основе замороженного предобученного токенизатора изображений для моделирования нелокальных факторов внешнего вида/базы. В отличие от использования токенизатора в качестве основы для реконструкции, наша конструкция использует 1D-токеновое пространство как глобальный носитель, сохраняя при этом 2D-пространственный путь для восстановления локальных структур. В частности, мы вводим метод Selective Token Editing (STE), который разреженно обновляет/заменяет небольшое множество критических токенов, обеспечивая легковесный механизм для управления согласованностью глобального внешнего вида без изменения основы слияния и без введения дополнительных функций потерь. Эксперименты на четырёх широко используемых эталонных наборах данных показывают, что наш метод достигает наилучшей общей производительности, обеспечивая последовательные улучшения по множеству метрик как в глобальной согласованности, так и в локальной точности. Страница проекта: https://zju-xyc.github.io/1D-Fusion-Project-Page/

English

Multimodal image fusion aims to integrate complementary information from different modalities into a fused image that preserves rich local details while maintaining globally consistent appearance. Existing approaches build shared representations on 2D feature grids, which excel at modeling local structures but offer limited leverage over image-level global appearance factors. To balance these objectives, we introduce a compact 1D token interface based on a frozen pretrained image tokenizer for modeling non-local appearance/base factors. Rather than using the tokenizer as a reconstruction backbone, our design uses the 1D token space as a global carrier while retaining the 2D spatial pathway for local structure restoration. Specifically, we introduce Selective Token Editing (STE), which sparsely updates/replaces a small set of critical tokens, providing a lightweight mechanism to steer global appearance coherence while keeping the fusion backbone unchanged and avoiding extra losses. Experiments on four commonly used benchmarks show that our method achieves the best overall performance, with consistent, multi-metric improvements in both global coherence and local fidelity. Project page: https://zju-xyc.github.io/1D-Fusion-Project-Page/