FMA-Net++: Bewegungs- und Belichtungsbewusstes Echtzeit-Joint-Video-Super-Resolution und Entschärfung

FMA-Net++: Motion- and Exposure-Aware Real-World Joint Video Super-Resolution and Deblurring

December 4, 2025

papers.authors: Geunhyuk Youk, Jihyong Oh, Munchurl Kim

cs.AI

papers.abstract

Die Wiederherstellung von Videos unter realen Bedingungen wird durch komplexe Degradationen infolge von Bewegung in Kombination mit dynamisch variierender Belichtung erschwert – eine zentrale Herausforderung, die von früheren Arbeiten weitgehend unbeachtet blieb und ein häufiges Artefakt bei Auto-Belichtung oder Aufnahmen unter schwachen Lichtverhältnissen darstellt. Wir präsentieren FMA-Net++, ein Framework für gemeinsame Video-Superresolution und Entschärfung, das diesen gekoppelten Effekt von Bewegung und dynamisch variierender Belichtung explizit modelliert. FMA-Net++ verwendet eine sequenzbasierte Architektur, die aus Hierarchical Refinement with Bidirectional Propagation-Blöcken aufgebaut ist und parallele, langreichweitige zeitliche Modellierung ermöglicht. In jedem Block konditioniert eine Exposure Time-aware Modulation-Schicht Merkmale anhand der belichtungszeit pro Frame, was wiederum ein belichtungsbewusstes Flow-Guided Dynamic Filtering-Modul antreibt, um bewegungs- und belichtungsabhängige Degradationskerne abzuleiten. FMA-Net++ entkoppelt das Erlernen der Degradation von der Wiederherstellung: Ersteres sagt belichtungs- und bewegungsabhängige Priori-Werte vorher, um Letztere anzuleiten, was sowohl die Genauigkeit als auch die Effizienz verbessert. Zur Evaluierung unter realistischen Aufnahmebedingungen führen wir die Benchmarks REDS-ME (Multi-Exposure) und REDS-RE (Random-Exposure) ein. Obwohl ausschließlich auf synthetischen Daten trainiert, erzielt FMA-Net++ state-of-the-art Genauigkeit und zeitliche Konsistenz auf unseren neuen Benchmarks sowie auf GoPro, übertrifft aktuelle Methoden sowohl in der Wiederherstellungsqualität als auch in der Inferenzgeschwindigkeit und generalisiert gut auf anspruchsvolle reale Videos.

English

Real-world video restoration is plagued by complex degradations from motion coupled with dynamically varying exposure - a key challenge largely overlooked by prior works and a common artifact of auto-exposure or low-light capture. We present FMA-Net++, a framework for joint video super-resolution and deblurring that explicitly models this coupled effect of motion and dynamically varying exposure. FMA-Net++ adopts a sequence-level architecture built from Hierarchical Refinement with Bidirectional Propagation blocks, enabling parallel, long-range temporal modeling. Within each block, an Exposure Time-aware Modulation layer conditions features on per-frame exposure, which in turn drives an exposure-aware Flow-Guided Dynamic Filtering module to infer motion- and exposure-aware degradation kernels. FMA-Net++ decouples degradation learning from restoration: the former predicts exposure- and motion-aware priors to guide the latter, improving both accuracy and efficiency. To evaluate under realistic capture conditions, we introduce REDS-ME (multi-exposure) and REDS-RE (random-exposure) benchmarks. Trained solely on synthetic data, FMA-Net++ achieves state-of-the-art accuracy and temporal consistency on our new benchmarks and GoPro, outperforming recent methods in both restoration quality and inference speed, and generalizes well to challenging real-world videos.