DyBluRF: Campos de Radiación Neural Dinámicos para Eliminación de Desenfoque en Vídeo Monocular Borroso

DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

December 21, 2023

Autores: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim

cs.AI

Resumen

La síntesis de vistas de video, que permite la creación de fotogramas visualmente atractivos desde puntos de vista y momentos arbitrarios, ofrece experiencias de visualización inmersivas. Los campos de radiancia neural, particularmente NeRF, desarrollados inicialmente para escenas estáticas, han impulsado la creación de diversos métodos para la síntesis de vistas de video. Sin embargo, el desafío para la síntesis de vistas de video surge del desenfoque de movimiento, una consecuencia del movimiento del objeto o de la cámara durante la exposición, lo que dificulta la síntesis precisa de vistas espacio-temporales nítidas. En respuesta, proponemos un novedoso marco de NeRF dinámico para el desenfoque de video monocromático, llamado DyBluRF, que consta de una etapa de Refinamiento de Rayos Intercalados (IRR) y una etapa de Desenfoque basado en Descomposición de Movimiento (MDD). Nuestro DyBluRF es el primero que aborda y maneja la síntesis de nuevas vistas para video monocromático con desenfoque. La etapa IRR reconstruye conjuntamente escenas 3D dinámicas y refina la información imprecisa de la pose de la cámara para combatir la información de pose inexacta extraída de los fotogramas desenfocados dados. La etapa MDD es un enfoque novedoso de predicción incremental de rayos nítidos latentes (ILSP) para los fotogramas de video monocromático desenfocados, descomponiendo los rayos nítidos latentes en componentes de movimiento global de la cámara y movimiento local del objeto. Los resultados experimentales extensos demuestran que nuestro DyBluRF supera cualitativa y cuantitativamente a los métodos más recientes del estado del arte. Nuestra página del proyecto, que incluye códigos fuente y modelos preentrenados, está disponible públicamente en https://kaist-viclab.github.io/dyblurf-site/.

English

Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.