GaussianPro: 점진적 전파를 통한 3D 가우시안 스플래팅

초록

3D 가우시안 스플래팅(3DGS)의 등장은 최근 신경 렌더링 분야에 혁신을 가져왔으며, 실시간 속도로 고품질 렌더링을 가능하게 했습니다. 그러나 3DGS는 구조적 모션 추정(SfM) 기법으로 생성된 초기화된 포인트 클라우드에 크게 의존합니다. 텍스처가 없는 표면이 불가피하게 포함된 대규모 장면을 다룰 때, SfM 기법은 이러한 표면에서 충분한 포인트를 생성하지 못하고 3DGS에 대한 좋은 초기화를 제공할 수 없습니다. 결과적으로, 3DGS는 최적화가 어렵고 렌더링 품질이 낮아지는 문제를 겪습니다. 본 논문에서는 고전적인 다중 뷰 스테레오(MVS) 기법에서 영감을 받아, 3D 가우시안의 밀도화를 안내하는 점진적 전파 전략을 적용한 새로운 방법인 GaussianPro를 제안합니다. 3DGS에서 사용되는 단순한 분할 및 복제 전략과 비교하여, 우리의 방법은 장면의 기존 재구성된 기하학적 사전 정보와 패치 매칭 기법을 활용하여 정확한 위치와 방향을 가진 새로운 가우시안을 생성합니다. 대규모 및 소규모 장면에 대한 실험을 통해 우리 방법의 효과를 검증하였으며, Waymo 데이터셋에서 3DGS를 크게 능가하며 PSNR 측면에서 1.15dB의 향상을 보였습니다.

English

The advent of 3D Gaussian Splatting (3DGS) has recently brought about a revolution in the field of neural rendering, facilitating high-quality renderings at real-time speed. However, 3DGS heavily depends on the initialized point cloud produced by Structure-from-Motion (SfM) techniques. When tackling with large-scale scenes that unavoidably contain texture-less surfaces, the SfM techniques always fail to produce enough points in these surfaces and cannot provide good initialization for 3DGS. As a result, 3DGS suffers from difficult optimization and low-quality renderings. In this paper, inspired by classical multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that applies a progressive propagation strategy to guide the densification of the 3D Gaussians. Compared to the simple split and clone strategies used in 3DGS, our method leverages the priors of the existing reconstructed geometries of the scene and patch matching techniques to produce new Gaussians with accurate positions and orientations. Experiments on both large-scale and small-scale scenes validate the effectiveness of our method, where our method significantly surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in terms of PSNR.

GaussianPro: 점진적 전파를 통한 3D 가우시안 스플래팅

GaussianPro: 3D Gaussian Splatting with Progressive Propagation

초록

Support