CityGaussianV2：大規模シーンの効率的かつ幾何学的に正確な再構築

CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

November 1, 2024

著者: Yang Liu, Chuanchen Luo, Zhongkai Mao, Junran Peng, Zhaoxiang Zhang

cs.AI

要旨

最近、3次元ガウススプラッティング（3DGS）は輝度場再構築を革新し、効率的かつ高品質な新しい視点合成を実現しています。しかし、特に大規模かつ複雑なシナリオにおいて表面を正確に表現することは、3DGSの非構造化の性質により依然として重要な課題です。本論文では、幾何学的精度と効率に関連する重要な課題に取り組む大規模シーン再構築のための新しい手法であるCityGaussianV2を提案します。2次元ガウススプラッティング（2DGS）の有利な一般化能力に基づき、その収束性とスケーラビリティの問題に対処します。具体的には、ぼやけたアーティファクトを除去し収束を加速するために、分解勾配ベースの密度化および深度回帰技術を実装します。スケーリングアップするために、2DGSの退化によるガウス数の爆発を緩和する伸長フィルターを導入します。さらに、CityGaussianパイプラインを並列トレーニングに最適化し、最大10倍の圧縮、トレーニング時間の少なくとも25%の節約、およびメモリ使用量の50%の減少を達成します。また、大規模シーンにおける標準的な幾何学的ベンチマークを確立しました。実験結果は、当社の手法が視覚品質、幾何学的精度、およびストレージとトレーニングコストの間で有望なバランスを実現していることを示しています。プロジェクトページはhttps://dekuliutesla.github.io/CityGaussianV2/ でご覧いただけます。

English

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10times compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.