FMA-Net++: 움직임 및 노출 인식 실세계 동영상 초해상도 및 디블러링 통합 기법

FMA-Net++: Motion- and Exposure-Aware Real-World Joint Video Super-Resolution and Deblurring

December 4, 2025

저자: Geunhyuk Youk, Jihyong Oh, Munchurl Kim

cs.AI

초록

실세계 영상 복원은 움직임에 따른 복잡한 열화와 동적으로 변화하는 노출이 결합된 문제로 인해 어려움을 겪고 있으며, 이는 기존 연구들이 크게 간과한 핵심 과제이자 자동 노출 또는 저조도 촬영에서 흔히 발생하는 아티팩트입니다. 우리는 움직임과 동적 노출 변화의 결합 효과를 명시적으로 모델링하는 영상 초해상도 및 디블러링 공동 수행 프레임워크인 FMA-Net++를 제안합니다. FMA-Net++는 계층적 정교화와 양방향 전파 블록으로 구성된 시퀀스 수준 아키텍처를 채택하여 병렬 장기 시간 모델링이 가능합니다. 각 블록 내에는 노출 시간 인지 변조 계층이 프레임별 노출 정보를 특징에 조건화하며, 이는 다시 노출 인지 흐름 기반 동적 필터링 모듈을 구동하여 움직임과 노출을 고려한 열화 커널을 추론합니다. FMA-Net++는 열화 학습과 복원 과정을 분리합니다. 전자는 노출 및 움직임 인지 사전 정보를 예측하여 후자를 안내함으로써 정확도와 효율성을 모두 향상시킵니다. 현실적인 촬영 조건에서 평가하기 위해 REDS-ME(다중 노출) 및 REDS-RE(무작위 노출) 벤치마크를 도입했습니다. 합성 데이터만으로 학습된 FMA-Net++는 우리의 새로운 벤치마크와 GoPro에서 최첨단 정확도와 시간적 일관성을 달성하며, 복원 품질과 추론 속도 모두에서 최근 방법들을 능가하고 까다로운 실세계 영상에 대해 우수한 일반화 성능을 보입니다.

English

Real-world video restoration is plagued by complex degradations from motion coupled with dynamically varying exposure - a key challenge largely overlooked by prior works and a common artifact of auto-exposure or low-light capture. We present FMA-Net++, a framework for joint video super-resolution and deblurring that explicitly models this coupled effect of motion and dynamically varying exposure. FMA-Net++ adopts a sequence-level architecture built from Hierarchical Refinement with Bidirectional Propagation blocks, enabling parallel, long-range temporal modeling. Within each block, an Exposure Time-aware Modulation layer conditions features on per-frame exposure, which in turn drives an exposure-aware Flow-Guided Dynamic Filtering module to infer motion- and exposure-aware degradation kernels. FMA-Net++ decouples degradation learning from restoration: the former predicts exposure- and motion-aware priors to guide the latter, improving both accuracy and efficiency. To evaluate under realistic capture conditions, we introduce REDS-ME (multi-exposure) and REDS-RE (random-exposure) benchmarks. Trained solely on synthetic data, FMA-Net++ achieves state-of-the-art accuracy and temporal consistency on our new benchmarks and GoPro, outperforming recent methods in both restoration quality and inference speed, and generalizes well to challenging real-world videos.