CityGaussianV2: Reconstrucción Eficiente y Geométricamente Precisa para Escenas a Gran Escala

CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

November 1, 2024

Autores: Yang Liu, Chuanchen Luo, Zhongkai Mao, Junran Peng, Zhaoxiang Zhang

cs.AI

Resumen

Recientemente, el Splatting Gaussiano 3D (3DGS) ha revolucionado la reconstrucción de campos de luminancia, manifestando una síntesis de vista novedosa eficiente y de alta fidelidad. Sin embargo, representar superficies con precisión, especialmente en escenarios grandes y complejos, sigue siendo un desafío significativo debido a la naturaleza no estructurada del 3DGS. En este documento, presentamos CityGaussianV2, un enfoque novedoso para la reconstrucción de escenas a gran escala que aborda desafíos críticos relacionados con la precisión geométrica y la eficiencia. Basándonos en las capacidades favorables de generalización del Splatting Gaussiano 2D (2DGS), abordamos sus problemas de convergencia y escalabilidad. Específicamente, implementamos una técnica de densificación basada en gradientes descompuestos y regresión de profundidad para eliminar artefactos borrosos y acelerar la convergencia. Para escalar, introducimos un filtro de elongación que mitiga la explosión de recuento gaussiano causada por la degeneración del 2DGS. Además, optimizamos el pipeline de CityGaussian para entrenamiento paralelo, logrando una compresión de hasta 10 veces, al menos un 25% de ahorro en tiempo de entrenamiento y una disminución del 50% en el uso de memoria. También establecimos benchmarks de geometría estándar en escenas a gran escala. Los resultados experimentales demuestran que nuestro método logra un equilibrio prometedor entre calidad visual, precisión geométrica, así como costos de almacenamiento y entrenamiento. La página del proyecto está disponible en https://dekuliutesla.github.io/CityGaussianV2/.

English

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10times compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.