FMA-Net++: Алгоритм совместного повышения разрешения и устранения размытия видео в реальных условиях с учетом движения и экспозиции
FMA-Net++: Motion- and Exposure-Aware Real-World Joint Video Super-Resolution and Deblurring
December 4, 2025
Авторы: Geunhyuk Youk, Jihyong Oh, Munchurl Kim
cs.AI
Аннотация
Восстановление видео в реальных условиях осложняется сложными искажениями, вызванными движением в сочетании с динамически меняющейся экспозицией — ключевой проблемой, которая в значительной степени игнорировалась в предыдущих работах и является распространенным артефактом при автоматической экспозиции или съемке в условиях низкой освещенности. Мы представляем FMA-Net++, фреймворк для совместного сверхразрешения и устранения размытия видео, который явно моделирует эту связанную эффект движения и динамически меняющейся экспозиции. FMA-Net++ использует архитектуру на уровне последовательности, построенную из блоков иерарахического уточнения с двунаправленным распространением, что позволяет осуществлять параллельное временное моделирование на больших промежутках. Внутри каждого блока слой модуляции с учетом времени экспозиции conditionирует признаки на основе экспозиции каждого кадра, что, в свою очередь, управляет модулем динамической фильтрации с управлением потоком и учетом экспозиции для вывода ядер искажений, учитывающих движение и экспозицию. FMA-Net++ разделяет обучение моделированию искажений и восстановлению: первое предсказывает априорные знания, учитывающие экспозицию и движение, чтобы направлять второе, улучшая как точность, так и эффективность. Для оценки в реалистичных условиях съемки мы представляем бенчмарки REDS-ME (многоэкспозиционный) и REDS-RE (случайная экспозиция). Обучаясь исключительно на синтетических данных, FMA-Net++ достигает наивысшей точности и временной согласованности на наших новых бенчмарках и наборе GoPro, превосходя современные методы как по качеству восстановления, так и по скорости вывода, и хорошо обобщается на сложные реальные видео.
English
Real-world video restoration is plagued by complex degradations from motion coupled with dynamically varying exposure - a key challenge largely overlooked by prior works and a common artifact of auto-exposure or low-light capture. We present FMA-Net++, a framework for joint video super-resolution and deblurring that explicitly models this coupled effect of motion and dynamically varying exposure. FMA-Net++ adopts a sequence-level architecture built from Hierarchical Refinement with Bidirectional Propagation blocks, enabling parallel, long-range temporal modeling. Within each block, an Exposure Time-aware Modulation layer conditions features on per-frame exposure, which in turn drives an exposure-aware Flow-Guided Dynamic Filtering module to infer motion- and exposure-aware degradation kernels. FMA-Net++ decouples degradation learning from restoration: the former predicts exposure- and motion-aware priors to guide the latter, improving both accuracy and efficiency. To evaluate under realistic capture conditions, we introduce REDS-ME (multi-exposure) and REDS-RE (random-exposure) benchmarks. Trained solely on synthetic data, FMA-Net++ achieves state-of-the-art accuracy and temporal consistency on our new benchmarks and GoPro, outperforming recent methods in both restoration quality and inference speed, and generalizes well to challenging real-world videos.