DyBluRF: Dynamisch Ontscherpen van Neural Radiance Fields voor Wazige Monoculaire Video's

DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

December 21, 2023

Auteurs: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim

cs.AI

Samenvatting

Video view synthesis, waarmee het mogelijk wordt om visueel aantrekkelijke frames te creëren vanuit willekeurige gezichtspunten en tijden, biedt een meeslepende kijkervaring. Neural radiance fields, met name NeRF, oorspronkelijk ontwikkeld voor statische scènes, hebben de ontwikkeling van diverse methoden voor video view synthesis gestimuleerd. De uitdaging voor video view synthesis ligt echter in motion blur, een gevolg van object- of camerabeweging tijdens de belichting, wat de precieze synthese van scherpe spatio-temporele beelden belemmert. Als antwoord hierop stellen wij een nieuw dynamisch deblurring NeRF-framework voor, genaamd DyBluRF, bestaande uit een Interleave Ray Refinement (IRR) fase en een Motion Decomposition-based Deblurring (MDD) fase. Onze DyBluRF is de eerste die de novel view synthesis voor wazige monoscopische video aanpakt en verwerkt. De IRR fase reconstrueert gezamenlijk dynamische 3D-scènes en verfijnt de onnauwkeurige camerapose-informatie om de onnauwkeurige pose-informatie die uit de gegeven wazige frames wordt geëxtraheerd, te bestrijden. De MDD fase is een nieuwe incrementele latent sharp-rays prediction (ILSP) benadering voor de wazige monoscopische videoframes door de latente scherpe stralen te ontbinden in globale camerabeweging en lokale objectbewegingscomponenten. Uitgebreide experimentele resultaten tonen aan dat onze DyBluRF kwalitatief en kwantitatief superieur presteert ten opzichte van de meest recente state-of-the-art methoden. Onze projectpagina, inclusief broncodes en voorgetrainde modellen, is publiekelijk beschikbaar op https://kaist-viclab.github.io/dyblurf-site/.

English

Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.