VastGaussian: 대규모 장면 재구성을 위한 방대한 3D 가우시안

초록

대규모 장면 재구성을 위한 기존의 NeRF 기반 방법들은 시각적 품질과 렌더링 속도에서 한계를 보여왔다. 최근의 3D Gaussian Splatting은 소규모 및 객체 중심 장면에서 잘 작동하지만, 이를 대규모 장면으로 확장할 경우 제한된 비디오 메모리, 긴 최적화 시간, 그리고 두드러지는 외관 변화로 인해 어려움이 발생한다. 이러한 문제를 해결하기 위해, 우리는 3D Gaussian Splatting을 기반으로 대규모 장면에서 고품질 재구성과 실시간 렌더링을 가능하게 하는 첫 번째 방법인 VastGaussian을 제안한다. 우리는 대규모 장면을 여러 셀로 나누기 위한 점진적 분할 전략을 제안하며, 여기서 훈련 카메라와 포인트 클라우드는 공역 인지 가시성 기준에 따라 적절히 분배된다. 이러한 셀들은 병렬 최적화 후 완전한 장면으로 통합된다. 또한, 우리는 렌더링된 이미지에서 외관 변화를 줄이기 위해 최적화 과정에 분리된 외관 모델링을 도입한다. 우리의 접근 방식은 기존의 NeRF 기반 방법들을 능가하며, 여러 대규모 장면 데이터셋에서 최첨단 결과를 달성함으로써 빠른 최적화와 고품질 실시간 렌더링을 가능하게 한다.

English

Existing NeRF-based methods for large scene reconstruction often have limitations in visual quality and rendering speed. While the recent 3D Gaussian Splatting works well on small-scale and object-centric scenes, scaling it up to large scenes poses challenges due to limited video memory, long optimization time, and noticeable appearance variations. To address these challenges, we present VastGaussian, the first method for high-quality reconstruction and real-time rendering on large scenes based on 3D Gaussian Splatting. We propose a progressive partitioning strategy to divide a large scene into multiple cells, where the training cameras and point cloud are properly distributed with an airspace-aware visibility criterion. These cells are merged into a complete scene after parallel optimization. We also introduce decoupled appearance modeling into the optimization process to reduce appearance variations in the rendered images. Our approach outperforms existing NeRF-based methods and achieves state-of-the-art results on multiple large scene datasets, enabling fast optimization and high-fidelity real-time rendering.

VastGaussian: 대규모 장면 재구성을 위한 방대한 3D 가우시안

VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction

초록

Support