DyBluRF: 흐릿한 단안 비디오를 위한 동적 디블러링 신경 방사 필드

DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

December 21, 2023

저자: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim

cs.AI

초록

비디오 뷰 합성은 임의의 시점과 시간에서 시각적으로 매력적인 프레임을 생성함으로써 몰입형 시청 경험을 제공합니다. 정적 장면을 위해 초기에 개발된 신경 방사 필드(NeRF)는 특히 비디오 뷰 합성을 위한 다양한 방법의 개발을 촉진했습니다. 그러나 비디오 뷰 합성의 도전 과제는 노출 중 객체 또는 카메라 이동으로 인해 발생하는 모션 블러로, 이는 선명한 시공간적 뷰의 정확한 합성을 방해합니다. 이에 대응하여, 우리는 블러 모노큘러 비디오를 위한 새로운 동적 디블러링 NeRF 프레임워크인 DyBluRF를 제안합니다. 이 프레임워크는 Interleave Ray Refinement (IRR) 단계와 Motion Decomposition-based Deblurring (MDD) 단계로 구성됩니다. 우리의 DyBluRF는 블러 모노큘러 비디오를 위한 새로운 뷰 합성을 처음으로 다루고 처리합니다. IRR 단계는 동적 3D 장면을 재구성하고 주어진 블러 프레임에서 추출된 부정확한 카메라 포즈 정보를 개선하여 부정확한 포즈 정보를 해결합니다. MDD 단계는 블러 모노큘러 비디오 프레임을 위한 새로운 증분 잠재 선명 광선 예측(ILSP) 접근 방식으로, 잠재 선명 광선을 전역 카메라 모션과 지역 객체 모션 구성 요소로 분해합니다. 광범위한 실험 결과는 우리의 DyBluRF가 최신 최첨단 방법들을 질적 및 양적으로 능가함을 보여줍니다. 우리의 프로젝트 페이지는 소스 코드와 사전 훈련된 모델을 포함하여 공개적으로 이용 가능하며, https://kaist-viclab.github.io/dyblurf-site/에서 확인할 수 있습니다.

English

Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.