VastGaussian : Vastes Gaussiennes 3D pour la reconstruction de scènes étendues

VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction

February 27, 2024

Auteurs: Jiaqi Lin, Zhihao Li, Xiao Tang, Jianzhuang Liu, Shiyong Liu, Jiayue Liu, Yangdi Lu, Xiaofei Wu, Songcen Xu, Youliang Yan, Wenming Yang

cs.AI

Résumé

Les méthodes existantes basées sur NeRF pour la reconstruction de grandes scènes présentent souvent des limitations en termes de qualité visuelle et de vitesse de rendu. Bien que la récente technique de 3D Gaussian Splatting fonctionne bien pour les scènes de petite échelle et centrées sur des objets, son extension à de grandes scènes pose des défis en raison de la mémoire vidéo limitée, des temps d'optimisation longs et des variations d'apparence notables. Pour relever ces défis, nous présentons VastGaussian, la première méthode permettant une reconstruction de haute qualité et un rendu en temps réel pour les grandes scènes, basée sur le 3D Gaussian Splatting. Nous proposons une stratégie de partitionnement progressive pour diviser une grande scène en plusieurs cellules, où les caméras d'entraînement et le nuage de points sont correctement distribués selon un critère de visibilité prenant en compte l'espace aérien. Ces cellules sont ensuite fusionnées en une scène complète après une optimisation parallèle. Nous intégrons également une modélisation d'apparence découplée dans le processus d'optimisation pour réduire les variations d'apparence dans les images rendues. Notre approche surpasse les méthodes existantes basées sur NeRF et obtient des résultats de pointe sur plusieurs ensembles de données de grandes scènes, permettant une optimisation rapide et un rendu en temps réel de haute fidélité.

English

Existing NeRF-based methods for large scene reconstruction often have limitations in visual quality and rendering speed. While the recent 3D Gaussian Splatting works well on small-scale and object-centric scenes, scaling it up to large scenes poses challenges due to limited video memory, long optimization time, and noticeable appearance variations. To address these challenges, we present VastGaussian, the first method for high-quality reconstruction and real-time rendering on large scenes based on 3D Gaussian Splatting. We propose a progressive partitioning strategy to divide a large scene into multiple cells, where the training cameras and point cloud are properly distributed with an airspace-aware visibility criterion. These cells are merged into a complete scene after parallel optimization. We also introduce decoupled appearance modeling into the optimization process to reduce appearance variations in the rendered images. Our approach outperforms existing NeRF-based methods and achieves state-of-the-art results on multiple large scene datasets, enabling fast optimization and high-fidelity real-time rendering.