FMA-Net++: Bewegings- en Belichtingsbewuste Real-World Gezamenlijke Video Superresolutie en Ontscherping
FMA-Net++: Motion- and Exposure-Aware Real-World Joint Video Super-Resolution and Deblurring
December 4, 2025
Auteurs: Geunhyuk Youk, Jihyong Oh, Munchurl Kim
cs.AI
Samenvatting
Realistische videorestauratie wordt geteisterd door complexe degradaties als gevolg van beweging in combinatie met dynamisch variërende belichting - een kernuitdaging die grotendeels over het hoofd wordt gezien door eerdere werken en een veelvoorkomend artefact van auto-exposure of opnames bij weinig licht. Wij presenteren FMA-Net++, een raamwerk voor gezamenlijke videosuperresolutie en deblurring dat dit gekoppelde effect van beweging en dynamisch variërende belichting expliciet modelleert. FMA-Net++ hanteert een sequentieniveau-architectuur opgebouwd uit Hiërarchische Verfijning met Bidirectionele Propagatie-blokken, waardoor parallelle, lange-afstand temporele modellering mogelijk wordt. Binnen elk blok conditioneert een Exposure Time-aware Modulation-laag kenmerken op de belichting per frame, wat op zijn beurt een exposure-aware Flow-Guided Dynamic Filtering-module aanstuurt om degradatiekernels af te leiden die rekening houden met beweging en belichting. FMA-Net++ ontkoppelt het leren van degradatie van restauratie: het eerste voorspelt exposure- en motion-aware priors om het laatste te sturen, wat zowel de nauwkeurigheid als de efficiëntie verbetert. Om te evalueren onder realistische opnameomstandigheden introduceren we de REDS-ME (multi-exposure) en REDS-RE (random-exposure) benchmarks. Getraind uitsluitend op synthetische data, behaalt FMA-Net++ state-of-the-art nauwkeurigheid en temporele consistentie op onze nieuwe benchmarks en GoPro, overtreft recente methoden in zowel restauratiekwaliteit als inferentiesnelheid, en generaliseert goed naar uitdagende real-world video's.
English
Real-world video restoration is plagued by complex degradations from motion coupled with dynamically varying exposure - a key challenge largely overlooked by prior works and a common artifact of auto-exposure or low-light capture. We present FMA-Net++, a framework for joint video super-resolution and deblurring that explicitly models this coupled effect of motion and dynamically varying exposure. FMA-Net++ adopts a sequence-level architecture built from Hierarchical Refinement with Bidirectional Propagation blocks, enabling parallel, long-range temporal modeling. Within each block, an Exposure Time-aware Modulation layer conditions features on per-frame exposure, which in turn drives an exposure-aware Flow-Guided Dynamic Filtering module to infer motion- and exposure-aware degradation kernels. FMA-Net++ decouples degradation learning from restoration: the former predicts exposure- and motion-aware priors to guide the latter, improving both accuracy and efficiency. To evaluate under realistic capture conditions, we introduce REDS-ME (multi-exposure) and REDS-RE (random-exposure) benchmarks. Trained solely on synthetic data, FMA-Net++ achieves state-of-the-art accuracy and temporal consistency on our new benchmarks and GoPro, outperforming recent methods in both restoration quality and inference speed, and generalizes well to challenging real-world videos.