Von 2D-Gittern zu 1D-Token: Umgestaltung gemeinsamer Repräsentationen für multimodale Bildfusion

Zusammenfassung

Die multimodale Bildfusion zielt darauf ab, komplementäre Informationen aus verschiedenen Modalitäten in einem fusionierten Bild zu integrieren, das reichhaltige lokale Details bewahrt und gleichzeitig eine global konsistente Erscheinung beibehält. Bestehende Ansätze bauen gemeinsame Repräsentationen auf 2D-Feature-Gittern auf, die sich hervorragend zur Modellierung lokaler Strukturen eignen, aber nur begrenzte Kontrolle über globale Erscheinungsfaktoren auf Bildebene bieten. Um diese Ziele auszugleichen, führen wir eine kompakte 1D-Token-Schnittstelle basierend auf einem eingefrorenen, vortrainierten Bildtokenisierer zur Modellierung nicht-lokaler Erscheinungs-/Basis-Faktoren ein. Anstatt den Tokenisierer als Rekonstruktions-Backbone zu verwenden, nutzt unser Design den 1D-Token-Raum als globalen Träger, während der 2D-Raumpfad für die Wiederherstellung lokaler Strukturen erhalten bleibt. Konkret führen wir die Selektive Token-Bearbeitung (Selective Token Editing, STE) ein, die eine kleine Anzahl kritischer Tokens spärlich aktualisiert/ersetzt. Dies bietet einen leichten Mechanismus zur Steuerung der globalen Erscheinungskohärenz, während der Fusions-Backbone unverändert bleibt und zusätzliche Verluste vermieden werden. Experimente auf vier häufig verwendeten Benchmarks zeigen, dass unsere Methode die insgesamt beste Leistung erzielt, mit konsistenten, multi-metrischen Verbesserungen sowohl in der globalen Kohärenz als auch in der lokalen Treue. Projektseite: https://zju-xyc.github.io/1D-Fusion-Project-Page/

English

Multimodal image fusion aims to integrate complementary information from different modalities into a fused image that preserves rich local details while maintaining globally consistent appearance. Existing approaches build shared representations on 2D feature grids, which excel at modeling local structures but offer limited leverage over image-level global appearance factors. To balance these objectives, we introduce a compact 1D token interface based on a frozen pretrained image tokenizer for modeling non-local appearance/base factors. Rather than using the tokenizer as a reconstruction backbone, our design uses the 1D token space as a global carrier while retaining the 2D spatial pathway for local structure restoration. Specifically, we introduce Selective Token Editing (STE), which sparsely updates/replaces a small set of critical tokens, providing a lightweight mechanism to steer global appearance coherence while keeping the fusion backbone unchanged and avoiding extra losses. Experiments on four commonly used benchmarks show that our method achieves the best overall performance, with consistent, multi-metric improvements in both global coherence and local fidelity. Project page: https://zju-xyc.github.io/1D-Fusion-Project-Page/