VastGaussian: Umfangreiche 3D-Gaußsche Verteilungen für die Rekonstruktion großer Szenen

VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction

February 27, 2024

Autoren: Jiaqi Lin, Zhihao Li, Xiao Tang, Jianzhuang Liu, Shiyong Liu, Jiayue Liu, Yangdi Lu, Xiaofei Wu, Songcen Xu, Youliang Yan, Wenming Yang

cs.AI

Zusammenfassung

Bestehende NeRF-basierte Methoden für die Rekonstruktion großer Szenen weisen oft Einschränkungen in Bezug auf die visuelle Qualität und die Render-Geschwindigkeit auf. Während das kürzlich entwickelte 3D Gaussian Splatting gut für kleinere, objektzentrierte Szenen funktioniert, stellt die Skalierung auf große Szenen aufgrund begrenzten Video-Speichers, langer Optimierungszeiten und deutlicher Erscheinungsvariationen eine Herausforderung dar. Um diese Herausforderungen zu bewältigen, präsentieren wir VastGaussian, die erste Methode für hochwertige Rekonstruktion und Echtzeit-Rendering großer Szenen basierend auf 3D Gaussian Splatting. Wir schlagen eine progressive Partitionierungsstrategie vor, um eine große Szene in mehrere Zellen zu unterteilen, wobei die Trainingskameras und die Punktwolke mit einem luftraumbezogenen Sichtbarkeitskriterium angemessen verteilt werden. Diese Zellen werden nach einer parallelen Optimierung zu einer vollständigen Szene zusammengeführt. Zudem integrieren wir eine entkoppelte Erscheinungsmodellierung in den Optimierungsprozess, um Erscheinungsvariationen in den gerenderten Bildern zu reduzieren. Unser Ansatz übertrifft bestehende NeRF-basierte Methoden und erzielt state-of-the-art Ergebnisse auf mehreren großen Szenen-Datensätzen, wodurch eine schnelle Optimierung und hochauflösendes Echtzeit-Rendering ermöglicht wird.

English

Existing NeRF-based methods for large scene reconstruction often have limitations in visual quality and rendering speed. While the recent 3D Gaussian Splatting works well on small-scale and object-centric scenes, scaling it up to large scenes poses challenges due to limited video memory, long optimization time, and noticeable appearance variations. To address these challenges, we present VastGaussian, the first method for high-quality reconstruction and real-time rendering on large scenes based on 3D Gaussian Splatting. We propose a progressive partitioning strategy to divide a large scene into multiple cells, where the training cameras and point cloud are properly distributed with an airspace-aware visibility criterion. These cells are merged into a complete scene after parallel optimization. We also introduce decoupled appearance modeling into the optimization process to reduce appearance variations in the rendered images. Our approach outperforms existing NeRF-based methods and achieves state-of-the-art results on multiple large scene datasets, enabling fast optimization and high-fidelity real-time rendering.