DyBluRF: Dynamische Entschärfung von Neural Radiance Fields für unscharfe monokulare Videos

DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

December 21, 2023

Autoren: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim

cs.AI

Zusammenfassung

Die Videosynthese von Ansichten, die die Erstellung visuell ansprechender Bilder aus beliebigen Blickwinkeln und Zeiten ermöglicht, bietet immersive Betrachtungserlebnisse. Neuronale Strahlungsfelder, insbesondere NeRF, die ursprünglich für statische Szenen entwickelt wurden, haben die Entwicklung verschiedener Methoden für die Videosynthese von Ansichten vorangetrieben. Die Herausforderung bei der Videosynthese von Ansichten ergibt sich jedoch aus der Bewegungsunschärfe, die durch die Bewegung von Objekten oder der Kamera während der Belichtung entsteht und die präzise Synthese scharfer räumlich-zeitlicher Ansichten behindert. Als Antwort darauf schlagen wir ein neuartiges dynamisches Entschärfungs-NeRF-Framework für unscharfe monokulare Videos vor, genannt DyBluRF, das aus einer Interleave Ray Refinement (IRR)-Phase und einer Motion Decomposition-based Deblurring (MDD)-Phase besteht. Unser DyBluRF ist das erste Modell, das die Synthese neuer Ansichten für unscharfe monokulare Videos adressiert und bewältigt. Die IRR-Phase rekonstruiert gemeinsam dynamische 3D-Szenen und verfeinert die ungenaue Kameraposeninformation, um der unpräzisen Poseninformation entgegenzuwirken, die aus den gegebenen unscharfen Bildern extrahiert wird. Die MDD-Phase ist ein neuartiger inkrementeller Ansatz zur Vorhersage latenter scharfer Strahlen (ILSP) für die unscharfen monokularen Videobilder, indem die latenten scharfen Strahlen in globale Kamerabewegungen und lokale Objektbewegungskomponenten zerlegt werden. Umfangreiche experimentelle Ergebnisse zeigen, dass unser DyBluRF qualitativ und quantitativ die neuesten State-of-the-Art-Methoden übertrifft. Unsere Projektseite, einschließlich der Quellcodes und des vortrainierten Modells, ist öffentlich unter https://kaist-viclab.github.io/dyblurf-site/ verfügbar.

English

Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.