가우시안 스플래팅은 SFM 초기화가 필요한가?

Does Gaussian Splatting need SFM Initialization?

April 18, 2024

저자: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi

cs.AI

초록

3D 가우시안 스플래팅(3D Gaussian Splatting)은 최근 고품질의 결과물과 하드웨어 래스터화와의 호환성으로 인해 장면 재구성 및 새로운 시점 합성에 있어 다재다능하고 효과적인 방법으로 주목받고 있습니다. 그러나 이러한 장점에도 불구하고, 가우시안 스플래팅은 Structure-from-Motion(SFM) 알고리즘에 의한 고품질 포인트 클라우드 초기화에 의존한다는 점이 극복해야 할 중요한 한계로 남아 있습니다. 이를 위해, 우리는 가우시안 스플래팅을 위한 다양한 초기화 전략을 탐구하고, 신경망 기반 방사 필드(Neural Radiance Fields, NeRF)로부터 얻은 체적 재구성이 SFM 데이터에 대한 의존성을 우회하는 데 어떻게 활용될 수 있는지 심층적으로 연구합니다. 우리의 연구 결과는, 신중하게 설계된 경우 무작위 초기화가 훨씬 더 나은 성능을 발휘할 수 있으며, 개선된 초기화 전략과 저비용 NeRF 모델로부터의 구조 추출을 결합함으로써 SFM 초기화를 통해 얻은 결과와 동등하거나 때로는 더 우수한 결과를 달성할 수 있음을 보여줍니다.

English

3D Gaussian Splatting has recently been embraced as a versatile and effective method for scene reconstruction and novel view synthesis, owing to its high-quality results and compatibility with hardware rasterization. Despite its advantages, Gaussian Splatting's reliance on high-quality point cloud initialization by Structure-from-Motion (SFM) algorithms is a significant limitation to be overcome. To this end, we investigate various initialization strategies for Gaussian Splatting and delve into how volumetric reconstructions from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on SFM data. Our findings demonstrate that random initialization can perform much better if carefully designed and that by employing a combination of improved initialization strategies and structure distillation from low-cost NeRF models, it is possible to achieve equivalent results, or at times even superior, to those obtained from SFM initialization.