Des grilles 2D aux tokens 1D : Réformer les représentations partagées pour la fusion d'images multimodales

Résumé

La fusion d'images multimodales vise à intégrer des informations complémentaires provenant de différentes modalités en une image fusionnée qui préserve des détails locaux riches tout en maintenant une apparence globalement cohérente. Les approches existantes construisent des représentations partagées sur des grilles de caractéristiques 2D, excellentes pour modéliser les structures locales mais offrant une prise limitée sur les facteurs d'apparence globaux à l'échelle de l'image. Pour équilibrer ces objectifs, nous introduisons une interface compacte de jetons 1D basée sur un tokenizer d'images pré-entraîné et figé, pour modéliser les facteurs d'apparence/de base non locaux. Au lieu d'utiliser le tokenizer comme base de reconstruction, notre conception utilise l'espace de jetons 1D comme support global tout en conservant la voie spatiale 2D pour la restauration des structures locales. Plus précisément, nous introduisons l'édition sélective de jetons (Selective Token Editing, STE), qui met à jour/remplace de manière parcimonieuse un petit ensemble de jetons critiques, offrant un mécanisme léger pour orienter la cohérence globale de l'apparence tout en laissant la base de fusion inchangée et en évitant des pertes supplémentaires. Les expériences sur quatre bancs d'essai couramment utilisés montrent que notre méthode atteint les meilleures performances globales, avec des améliorations cohérentes et multi-métriques tant en cohérence globale qu'en fidélité locale. Page du projet : https://zju-xyc.github.io/1D-Fusion-Project-Page/

English

Multimodal image fusion aims to integrate complementary information from different modalities into a fused image that preserves rich local details while maintaining globally consistent appearance. Existing approaches build shared representations on 2D feature grids, which excel at modeling local structures but offer limited leverage over image-level global appearance factors. To balance these objectives, we introduce a compact 1D token interface based on a frozen pretrained image tokenizer for modeling non-local appearance/base factors. Rather than using the tokenizer as a reconstruction backbone, our design uses the 1D token space as a global carrier while retaining the 2D spatial pathway for local structure restoration. Specifically, we introduce Selective Token Editing (STE), which sparsely updates/replaces a small set of critical tokens, providing a lightweight mechanism to steer global appearance coherence while keeping the fusion backbone unchanged and avoiding extra losses. Experiments on four commonly used benchmarks show that our method achieves the best overall performance, with consistent, multi-metric improvements in both global coherence and local fidelity. Project page: https://zju-xyc.github.io/1D-Fusion-Project-Page/