DyBluRF : Champs de Radiance Neuronaux Dynamiques pour le Défloutage de Vidéos Monoculaires Floues

DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

December 21, 2023

Auteurs: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim

cs.AI

Résumé

La synthèse de vues vidéo, permettant la création de cadres visuellement attrayants à partir de points de vue et de moments arbitraires, offre des expériences de visionnage immersives. Les champs de radiance neuronaux, en particulier NeRF, initialement développés pour des scènes statiques, ont stimulé la création de diverses méthodes pour la synthèse de vues vidéo. Cependant, le défi pour la synthèse de vues vidéo réside dans le flou de mouvement, une conséquence du déplacement des objets ou de la caméra pendant l'exposition, qui entrave la synthèse précise de vues spatio-temporelles nettes. En réponse, nous proposons un nouveau cadre NeRF dynamique de débruitage pour les vidéos monoculaires floues, appelé DyBluRF, composé d'une étape de Raffinement Intercalé des Rayons (Interleave Ray Refinement, IRR) et d'une étape de Débruitage basé sur la Décomposition du Mouvement (Motion Decomposition-based Deblurring, MDD). Notre DyBluRF est le premier à aborder et à gérer la synthèse de nouvelles vues pour les vidéos monoculaires floues. L'étape IRR reconstruit conjointement les scènes 3D dynamiques et affine les informations imprécises de pose de la caméra pour lutter contre les informations de pose inexactes extraites des cadres flous donnés. L'étape MDD est une nouvelle approche de prédiction incrémentale des rayons nets latents (Incremental Latent Sharp-rays Prediction, ILSP) pour les cadres de vidéo monoculaire floue en décomposant les rayons nets latents en composantes de mouvement global de la caméra et de mouvement local des objets. Les résultats expérimentaux approfondis démontrent que notre DyBluRF surpasse qualitativement et quantitativement les méthodes les plus récentes de l'état de l'art. Notre page de projet, incluant les codes sources et le modèle pré-entraîné, est disponible publiquement à l'adresse https://kaist-viclab.github.io/dyblurf-site/.

English

Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.