VastGaussian: Uitgebreide 3D Gaussians voor Reconstructie van Grote Scènes

VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction

February 27, 2024

Auteurs: Jiaqi Lin, Zhihao Li, Xiao Tang, Jianzhuang Liu, Shiyong Liu, Jiayue Liu, Yangdi Lu, Xiaofei Wu, Songcen Xu, Youliang Yan, Wenming Yang

cs.AI

Samenvatting

Bestaande NeRF-gebaseerde methoden voor reconstructie van grote scènes hebben vaak beperkingen in visuele kwaliteit en renderingsnelheid. Hoewel de recente 3D Gaussian Splatting goed werkt op kleinschalige en objectgerichte scènes, brengt het opschalen naar grote scènes uitdagingen met zich mee vanwege beperkt videogeheugen, lange optimalisatietijd en opvallende uiterlijke variaties. Om deze uitdagingen aan te pakken, presenteren we VastGaussian, de eerste methode voor hoogwaardige reconstructie en real-time rendering van grote scènes gebaseerd op 3D Gaussian Splatting. We stellen een progressieve partitiestrategie voor om een grote scène op te delen in meerdere cellen, waarbij de trainingscamera's en puntenwolk correct worden verdeeld met een luchtruim-bewust zichtbaarheidscriterium. Deze cellen worden na parallelle optimalisatie samengevoegd tot een complete scène. We introduceren ook ontkoppelde uiterlijke modellering in het optimalisatieproces om uiterlijke variaties in de gerenderde afbeeldingen te verminderen. Onze aanpak overtreft bestaande NeRF-gebaseerde methoden en behaalt state-of-the-art resultaten op meerdere grote scène-datasets, waardoor snelle optimalisatie en hoogwaardige real-time rendering mogelijk worden.

English

Existing NeRF-based methods for large scene reconstruction often have limitations in visual quality and rendering speed. While the recent 3D Gaussian Splatting works well on small-scale and object-centric scenes, scaling it up to large scenes poses challenges due to limited video memory, long optimization time, and noticeable appearance variations. To address these challenges, we present VastGaussian, the first method for high-quality reconstruction and real-time rendering on large scenes based on 3D Gaussian Splatting. We propose a progressive partitioning strategy to divide a large scene into multiple cells, where the training cameras and point cloud are properly distributed with an airspace-aware visibility criterion. These cells are merged into a complete scene after parallel optimization. We also introduce decoupled appearance modeling into the optimization process to reduce appearance variations in the rendered images. Our approach outperforms existing NeRF-based methods and achieves state-of-the-art results on multiple large scene datasets, enabling fast optimization and high-fidelity real-time rendering.