VastGaussian: Gaussianas 3D extensas para la reconstrucción de escenas grandes

VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction

February 27, 2024

Autores: Jiaqi Lin, Zhihao Li, Xiao Tang, Jianzhuang Liu, Shiyong Liu, Jiayue Liu, Yangdi Lu, Xiaofei Wu, Songcen Xu, Youliang Yan, Wenming Yang

cs.AI

Resumen

Los métodos basados en NeRF para la reconstrucción de escenas grandes suelen presentar limitaciones en la calidad visual y la velocidad de renderizado. Aunque la técnica reciente de 3D Gaussian Splatting funciona bien en escenas de pequeña escala y centradas en objetos, escalarla a escenas grandes plantea desafíos debido a la memoria de video limitada, tiempos de optimización prolongados y variaciones notables en la apariencia. Para abordar estos desafíos, presentamos VastGaussian, el primer método para la reconstrucción de alta calidad y renderizado en tiempo real en escenas grandes basado en 3D Gaussian Splatting. Proponemos una estrategia de partición progresiva para dividir una escena grande en múltiples celdas, donde las cámaras de entrenamiento y la nube de puntos se distribuyen adecuadamente con un criterio de visibilidad consciente del espacio aéreo. Estas celdas se fusionan en una escena completa después de una optimización paralela. También introducimos un modelado de apariencia desacoplado en el proceso de optimización para reducir las variaciones de apariencia en las imágenes renderizadas. Nuestro enfoque supera a los métodos basados en NeRF existentes y logra resultados de vanguardia en múltiples conjuntos de datos de escenas grandes, permitiendo una optimización rápida y un renderizado en tiempo real de alta fidelidad.

English

Existing NeRF-based methods for large scene reconstruction often have limitations in visual quality and rendering speed. While the recent 3D Gaussian Splatting works well on small-scale and object-centric scenes, scaling it up to large scenes poses challenges due to limited video memory, long optimization time, and noticeable appearance variations. To address these challenges, we present VastGaussian, the first method for high-quality reconstruction and real-time rendering on large scenes based on 3D Gaussian Splatting. We propose a progressive partitioning strategy to divide a large scene into multiple cells, where the training cameras and point cloud are properly distributed with an airspace-aware visibility criterion. These cells are merged into a complete scene after parallel optimization. We also introduce decoupled appearance modeling into the optimization process to reduce appearance variations in the rendered images. Our approach outperforms existing NeRF-based methods and achieves state-of-the-art results on multiple large scene datasets, enabling fast optimization and high-fidelity real-time rendering.