COLMAP-Free 3D 가우시안 스플래팅

초록

신경 렌더링(neural rendering)은 장면 재구성(scene reconstruction)과 새로운 시점 합성(novel view synthesis)에서 인상적인 발전을 이뤄냈지만, 이는 정확하게 사전 계산된 카메라 포즈(camera poses)에 크게 의존합니다. 이러한 제약을 완화하기 위해, 사전 처리된 카메라 포즈 없이 신경 방사 필드(Neural Radiance Fields, NeRFs)를 학습시키려는 여러 시도가 이루어졌습니다. 그러나 NeRFs의 암묵적 표현(implicit representations)은 3D 구조와 카메라 포즈를 동시에 최적화하는 데 추가적인 어려움을 제공합니다. 반면, 최근 제안된 3D 가우시안 스플래팅(3D Gaussian Splatting)은 명시적인 포인트 클라우드 표현(explicit point cloud representations)을 통해 새로운 기회를 제공합니다. 본 논문은 명시적인 기하학적 표현과 입력 비디오 스트림의 연속성을 활용하여 SfM(SfM preprocessing) 전처리 없이 새로운 시점 합성을 수행합니다. 우리는 입력 프레임을 순차적으로 처리하고, 한 번에 하나의 입력 프레임을 취해 3D 가우시안 집합을 점진적으로 확장하며, 카메라 포즈를 사전 계산할 필요가 없습니다. 우리의 방법은 큰 모션 변화 하에서 시점 합성 및 카메라 포즈 추정에서 이전 접근법들을 크게 개선합니다. 우리의 프로젝트 페이지는 https://oasisyang.github.io/colmap-free-3dgs 입니다.

English

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs

COLMAP-Free 3D 가우시안 스플래팅

COLMAP-Free 3D Gaussian Splatting

초록

Support