VastGaussian: Vastos Gaussianos 3D para Reconstrução de Cenas em Grande Escala

VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction

February 27, 2024

Autores: Jiaqi Lin, Zhihao Li, Xiao Tang, Jianzhuang Liu, Shiyong Liu, Jiayue Liu, Yangdi Lu, Xiaofei Wu, Songcen Xu, Youliang Yan, Wenming Yang

cs.AI

Resumo

Os métodos existentes baseados em NeRF para reconstrução de cenas grandes frequentemente apresentam limitações na qualidade visual e na velocidade de renderização. Embora o recente 3D Gaussian Splatting funcione bem em cenas de pequena escala e centradas em objetos, sua escalabilidade para cenas grandes enfrenta desafios devido à memória de vídeo limitada, tempo de otimização prolongado e variações perceptíveis na aparência. Para abordar esses desafios, apresentamos o VastGaussian, o primeiro método para reconstrução de alta qualidade e renderização em tempo real em cenas grandes baseado no 3D Gaussian Splatting. Propomos uma estratégia de particionamento progressivo para dividir uma cena grande em múltiplas células, onde as câmeras de treinamento e a nuvem de pontos são distribuídas adequadamente com um critério de visibilidade consciente do espaço aéreo. Essas células são mescladas em uma cena completa após a otimização paralela. Também introduzimos a modelagem de aparência desacoplada no processo de otimização para reduzir as variações de aparência nas imagens renderizadas. Nossa abordagem supera os métodos baseados em NeRF existentes e alcança resultados de ponta em múltiplos conjuntos de dados de cenas grandes, permitindo otimização rápida e renderização em tempo real de alta fidelidade.

English

Existing NeRF-based methods for large scene reconstruction often have limitations in visual quality and rendering speed. While the recent 3D Gaussian Splatting works well on small-scale and object-centric scenes, scaling it up to large scenes poses challenges due to limited video memory, long optimization time, and noticeable appearance variations. To address these challenges, we present VastGaussian, the first method for high-quality reconstruction and real-time rendering on large scenes based on 3D Gaussian Splatting. We propose a progressive partitioning strategy to divide a large scene into multiple cells, where the training cameras and point cloud are properly distributed with an airspace-aware visibility criterion. These cells are merged into a complete scene after parallel optimization. We also introduce decoupled appearance modeling into the optimization process to reduce appearance variations in the rendered images. Our approach outperforms existing NeRF-based methods and achieves state-of-the-art results on multiple large scene datasets, enabling fast optimization and high-fidelity real-time rendering.