CRiM-GS: 모션 블러 이미지로부터의 연속적 강체 운동 인식 가우시안 스플래팅

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images

July 4, 2024

저자: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee

cs.AI

초록

신경 방사 필드(NeRF)는 높은 품질의 새로운 시점 렌더링 능력으로 인해 상당한 주목을 받으며 다양한 실제 사례를 해결하기 위한 연구가 활발히 진행되고 있습니다. 이 중 하나의 중요한 과제는 노출 시간 동안 카메라 이동으로 인해 발생하는 카메라 모션 블러로, 이는 정확한 3D 장면 재구성을 방해합니다. 본 연구에서는 실시간 렌더링 속도로 블러 이미지로부터 정확한 3D 장면을 재구성하기 위해 연속적인 강체 운동 인식 가우시안 스플래팅(CRiM-GS)을 제안합니다. 복잡한 운동 패턴으로 구성된 실제 카메라 모션 블러링 과정을 고려하여, 신경 상미분 방정식(ODE)을 기반으로 카메라의 연속적인 움직임을 예측합니다. 특히, 강체 변환을 활용하여 적절한 정규화와 함께 카메라 운동을 모델링함으로써 물체의 형태와 크기를 보존합니다. 더 나아가, SE(3) 필드에서 연속적인 변형 가능한 3D 변환을 도입하여 강체 변환을 실제 문제에 적응시킴으로써 더 높은 자유도를 보장합니다. 기본적인 카메라 이론을 재검토하고 고급 신경망 훈련 기법을 활용함으로써, 연속적인 카메라 궤적의 정확한 모델링을 달성합니다. 벤치마크 데이터셋에서 정량적 및 정성적으로 최신 기술 수준의 성능을 입증하는 광범위한 실험을 수행합니다.

English

Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the SE(3) field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.