ReFlowSET：SAR-to-EO画像変換のための表現整合潜在フローマッチング

要旨

SAR画像をEO画像へ変換するタスクは、合成開口レーダ(SAR)観測から電気光学(EO)画像を生成することを目的とする。既存の潜在拡散アプローチの多くは、所定のオートエンコーダを継承しているが、再構成忠実度はコーデックやモダリティによって大きく変動し得る。潜在コーデックは、SAR条件とEOターゲットの双方のラウンドトリップ保存に影響を与えるため、コーデックの選択は根本的な設計上の選択である。しかし、既存手法は主に自然画像で事前学習されたコーデックに依存している。本稿ではこの問題に対処するため、SAR-EO再構成の共同検証を通じてコーデックを選択する、条件付き潜在フローマッチングフレームワークReFlowSETを提案する。ReFlowSETは、重い事前学習済み生成器を継承するのではなく、選択された潜在空間内で、二重ストリームのSAR条件付けと、それに続く共同特徴量リファインメントを用いて、大幅に小型の条件付きDiTをスクラッチから学習する。このスクラッチ学習に意味的ガイダンスを提供するため、中間のノイズを含むEO特徴量を、凍結した視覚基盤モデルによって抽出されたクリーンなターゲットEO表現と整列させる。この整列は学習時のみに使用され、追加の推論コストは発生しない。QXS-SAROPTおよびSAR2Optを用いた実験により、多様な知覚忠実度指標および分布指標に対する最先端の性能を示す。コードと事前学習済み重みはhttps://github.com/KAIST-VICLab/ReFlowSETで公開している。

English

SAR-to-EO image translation aims to generate electro-optical (EO) imagery from synthetic aperture radar (SAR) observations. Existing latent diffusion approaches typically inherit a predetermined autoencoder, although reconstruction fidelity can vary substantially across codecs and modalities. Because the latent codec affects the round-trip preservation of both SAR conditions and EO targets, codec selection constitutes a fundamental design choice; nevertheless, existing methods largely rely on codecs pretrained on natural images. To remedy this, we introduce ReFlowSET, a conditional latent flow-matching framework that selects its codec through a joint SAR--EO reconstruction audit. Rather than inheriting a heavyweight pretrained generator, ReFlowSET trains a substantially smaller conditional DiT from scratch in the selected latent space, using dual-stream SAR conditioning followed by joint feature refinement. To provide semantic guidance for this from-scratch training, intermediate noisy-EO features are aligned with clean target-EO representations extracted by a frozen vision foundation model. This alignment is used only during training and introduces no additional inference cost. Experiments on QXS-SAROPT and SAR2Opt demonstrate state-of-the-art performance across diverse perceptual fidelity and distributional metrics. Code and pretrained weights are publicly available at https://github.com/KAIST-VICLab/ReFlowSET.