2次元グリッドから1次元トークンへ：マルチモーダル画像融合のための共有表現の再形成

要旨

マルチモーダル画像融合は、異なるモダリティからの補完的情報を融合画像に統合し、豊かな局所的詳細を保持しつつ、グローバルに一貫した外観を維持することを目的としています。既存の手法は2D特徴グリッド上に共有表現を構築しますが、これらは局所構造のモデリングに優れる一方、画像レベルのグローバルな外観因子に対する制御は限定的です。これらの目的をバランスさせるために、我々は非局所的な外観・基底因子をモデリングするための、凍結された事前学習済み画像トークナイザに基づくコンパクトな1次元トークンインターフェースを導入します。トークナイザを再構成のバックボーンとして使用するのではなく、我々の設計では1Dトークン空間をグローバルなキャリアとして利用し、局所構造の復元のために2D空間パスを保持します。具体的には、選択的トークン編集（STE）を導入します。これは、少数の重要なトークンをスパースに更新・置換し、融合バックボーンを変更せずに追加損失を回避しながら、グローバルな外観の一貫性を導く軽量なメカニズムを提供します。4つの一般的なベンチマークでの実験により、本手法が最良の総合性能を達成し、グローバルな一貫性と局所的な忠実度の両方で一貫した複数指標にわたる改善を示しています。プロジェクトページ：https://zju-xyc.github.io/1D-Fusion-Project-Page/

English

Multimodal image fusion aims to integrate complementary information from different modalities into a fused image that preserves rich local details while maintaining globally consistent appearance. Existing approaches build shared representations on 2D feature grids, which excel at modeling local structures but offer limited leverage over image-level global appearance factors. To balance these objectives, we introduce a compact 1D token interface based on a frozen pretrained image tokenizer for modeling non-local appearance/base factors. Rather than using the tokenizer as a reconstruction backbone, our design uses the 1D token space as a global carrier while retaining the 2D spatial pathway for local structure restoration. Specifically, we introduce Selective Token Editing (STE), which sparsely updates/replaces a small set of critical tokens, providing a lightweight mechanism to steer global appearance coherence while keeping the fusion backbone unchanged and avoiding extra losses. Experiments on four commonly used benchmarks show that our method achieves the best overall performance, with consistent, multi-metric improvements in both global coherence and local fidelity. Project page: https://zju-xyc.github.io/1D-Fusion-Project-Page/