CityGaussianV2: Reconstrução Eficiente e Geometricamente Precisa para Cenas em Grande Escala

CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

November 1, 2024

Autores: Yang Liu, Chuanchen Luo, Zhongkai Mao, Junran Peng, Zhaoxiang Zhang

cs.AI

Resumo

Recentemente, a técnica de Splatting Gaussiano 3D (3DGS) revolucionou a reconstrução de campos de radiância, manifestando uma síntese eficiente e de alta fidelidade de novas visualizações. No entanto, representar com precisão superfícies, especialmente em cenários grandes e complexos, continua sendo um desafio significativo devido à natureza não estruturada do 3DGS. Neste artigo, apresentamos o CityGaussianV2, uma abordagem inovadora para a reconstrução de cenas em grande escala que aborda desafios críticos relacionados à precisão geométrica e eficiência. Baseando-se nas capacidades favoráveis de generalização do Splatting Gaussiano 2D (2DGS), abordamos suas questões de convergência e escalabilidade. Especificamente, implementamos uma técnica de densificação baseada em gradiente decomposto e regressão de profundidade para eliminar artefatos borrados e acelerar a convergência. Para escalar, introduzimos um filtro de alongamento que mitiga a explosão de contagem gaussiana causada pela degeneração do 2DGS. Além disso, otimizamos o pipeline do CityGaussian para treinamento paralelo, alcançando uma compressão de até 10 vezes, pelo menos 25% de economia no tempo de treinamento e uma redução de 50% no uso de memória. Também estabelecemos benchmarks de geometria padrão em cenas em grande escala. Resultados experimentais demonstram que nosso método alcança um equilíbrio promissor entre qualidade visual, precisão geométrica, bem como custos de armazenamento e treinamento. A página do projeto está disponível em https://dekuliutesla.github.io/CityGaussianV2/.

English

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10times compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.