FMA-Net++: 動きと露光を考慮した実世界向け統合ビデオ超解像・ブラー除去技術
FMA-Net++: Motion- and Exposure-Aware Real-World Joint Video Super-Resolution and Deblurring
December 4, 2025
著者: Geunhyuk Youk, Jihyong Oh, Munchurl Kim
cs.AI
要旨
実世界のビデオ修復では、動きに伴う複雑な劣化と動的に変化する露光が複合的に作用する問題が広く見られる。これは、従来の研究でほとんど注目されてこなかった重要な課題であり、オートエクスポージャーや低照度撮影において一般的に生じるアーティファクトである。本論文では、動きと動的露光変化の複合効果を明示的にモデル化する、ビデオ超解像とデブラーを統合的に行うフレームワークFMA-Net++を提案する。FMA-Net++は、階層的 refinement と双方向伝播ブロックから構成されるシーケンスレベルアーキテクチャを採用し、並列的な長距離時間モデリングを実現する。各ブロック内には、露光時間を考慮したモジュレーション層を設け、フレームごとの露光情報に基づいて特徴量を条件付けする。これにより、露光を考慮したフローの誘導による動的フィルタリングモジュールが駆動され、動きと露光を考慮した劣化カーネルを推定する。FMA-Net++は劣化の学習と修復を分離しており、前者が露光・動きを考慮した事前情報を推定して後者を導くことで、精度と効率の両方を向上させる。現実的な撮影条件での評価を行うため、REDS-ME（マルチ露光）およびREDS-RE（ランダム露光）ベンチマークを新たに導入した。合成データのみで学習したFMA-Net++は、提案する新ベンチマークおよびGoProデータセットにおいて、最高精度の修復品質と時間的一貫性を達成し、最近の手法よりも修復品質と推論速度の両方で優れ、困難な実世界のビデオに対しても良好な一般化性能を示す。
English
Real-world video restoration is plagued by complex degradations from motion coupled with dynamically varying exposure - a key challenge largely overlooked by prior works and a common artifact of auto-exposure or low-light capture. We present FMA-Net++, a framework for joint video super-resolution and deblurring that explicitly models this coupled effect of motion and dynamically varying exposure. FMA-Net++ adopts a sequence-level architecture built from Hierarchical Refinement with Bidirectional Propagation blocks, enabling parallel, long-range temporal modeling. Within each block, an Exposure Time-aware Modulation layer conditions features on per-frame exposure, which in turn drives an exposure-aware Flow-Guided Dynamic Filtering module to infer motion- and exposure-aware degradation kernels. FMA-Net++ decouples degradation learning from restoration: the former predicts exposure- and motion-aware priors to guide the latter, improving both accuracy and efficiency. To evaluate under realistic capture conditions, we introduce REDS-ME (multi-exposure) and REDS-RE (random-exposure) benchmarks. Trained solely on synthetic data, FMA-Net++ achieves state-of-the-art accuracy and temporal consistency on our new benchmarks and GoPro, outperforming recent methods in both restoration quality and inference speed, and generalizes well to challenging real-world videos.