DyBluRF: Campos de Radiação Neural Dinâmicos para Remoção de Desfoque em Vídeo Monocular com Desfoque

DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

December 21, 2023

Autores: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim

cs.AI

Resumo

A síntese de visão de vídeo, permitindo a criação de quadros visualmente atraentes a partir de pontos de vista e tempos arbitrários, oferece experiências de visualização imersivas. Os campos de radiação neural, particularmente o NeRF, inicialmente desenvolvidos para cenas estáticas, impulsionaram a criação de diversos métodos para síntese de visão de vídeo. No entanto, o desafio para a síntese de visão de vídeo surge do borrão de movimento, uma consequência do movimento do objeto ou da câmera durante a exposição, o que dificulta a síntese precisa de visões espaço-temporais nítidas. Em resposta, propomos uma nova estrutura de NeRF dinâmico para desborramento de vídeo monocromático borrado, chamada DyBluRF, composta por uma etapa de Refinamento de Raios Intercalados (IRR) e uma etapa de Desborramento Baseado em Decomposição de Movimento (MDD). Nosso DyBluRF é o primeiro que aborda e lida com a síntese de novas visões para vídeo monocromático borrado. A etapa IRR reconstrói conjuntamente cenas 3D dinâmicas e refina as informações imprecisas da pose da câmera para combater as informações de pose inexatas extraídas dos quadros borrados fornecidos. A etapa MDD é uma nova abordagem de previsão incremental de raios nítidos latentes (ILSP) para os quadros de vídeo monocromático borrado, decompondo os raios nítidos latentes em componentes de movimento global da câmera e movimento local do objeto. Resultados experimentais extensivos demonstram que nosso DyBluRF supera qualitativamente e quantitativamente os métodos mais recentes e avançados. Nossa página do projeto, incluindo códigos-fonte e modelo pré-treinado, está publicamente disponível em https://kaist-viclab.github.io/dyblurf-site/.

English

Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.