DyBluRF: Campi Neurali Radiance Dinamici per la Rimozione della Sfocatura in Video Monoculari

DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

December 21, 2023

Autori: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim

cs.AI

Abstract

La sintesi di visualizzazione video, che consente la creazione di fotogrammi visivamente accattivanti da punti di vista e tempi arbitrari, offre esperienze di visione immersive. I campi di radianza neurale, in particolare il NeRF, inizialmente sviluppati per scene statiche, hanno stimolato la creazione di vari metodi per la sintesi di visualizzazione video. Tuttavia, la sfida per la sintesi di visualizzazione video deriva dal motion blur, una conseguenza del movimento degli oggetti o della telecamera durante l'esposizione, che ostacola la precisa sintesi di viste spazio-temporali nitide. In risposta, proponiamo un nuovo framework NeRF dinamico per il deblurring di video monoculari sfocati, chiamato DyBluRF, composto da una fase di Interleave Ray Refinement (IRR) e una fase di Motion Decomposition-based Deblurring (MDD). Il nostro DyBluRF è il primo che affronta e gestisce la sintesi di nuove viste per video monoculari sfocati. La fase IRR ricostruisce congiuntamente scene 3D dinamiche e affina le informazioni imprecise sulla posa della telecamera per contrastare le informazioni di posa inesatte estratte dai fotogrammi sfocati forniti. La fase MDD è un nuovo approccio incrementale di previsione dei raggi nitidi latenti (ILSP) per i fotogrammi video monoculari sfocati, scomponendo i raggi nitidi latenti in componenti di movimento globale della telecamera e movimento locale degli oggetti. I risultati sperimentali estesi dimostrano che il nostro DyBluRF supera qualitativamente e quantitativamente i metodi più recenti all'avanguardia. La nostra pagina del progetto, inclusi i codici sorgente e il modello preaddestrato, è pubblicamente disponibile all'indirizzo https://kaist-viclab.github.io/dyblurf-site/.

English

Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.