CityGaussianV2: Эффективная и геометрически точная реконструкция для крупномасштабных сцен

CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

November 1, 2024

Авторы: Yang Liu, Chuanchen Luo, Zhongkai Mao, Junran Peng, Zhaoxiang Zhang

cs.AI

Аннотация

Недавно трехмерное гауссово сглаживание (3DGS) революционизировало восстановление радиационного поля, обеспечивая эффективный и высококачественный синтез нового вида. Однако точное представление поверхностей, особенно в больших и сложных сценариях, остается значительным вызовом из-за неструктурированной природы 3DGS. В данной статье мы представляем CityGaussianV2, новый подход для реконструкции сцен большого масштаба, который решает критические проблемы, связанные с геометрической точностью и эффективностью. Основываясь на благоприятных возможностях обобщения двумерного гауссова сглаживания (2DGS), мы решаем проблемы сходимости и масштабируемости. Конкретно, мы реализуем технику денсификации на основе разложения градиента и регрессии глубины для устранения размытых артефактов и ускорения сходимости. Для масштабирования мы вводим фильтр удлинения, который смягчает взрыв числа гауссов, вызванный деградацией 2DGS. Более того, мы оптимизируем конвейер CityGaussian для параллельного обучения, достигая до 10-кратного сжатия, по крайней мере, 25% экономии времени обучения и уменьшения использования памяти на 50%. Мы также установили стандартные геометрические показатели на сценах большого масштаба. Экспериментальные результаты демонстрируют, что наш метод находит перспективный баланс между визуальным качеством, геометрической точностью, а также затратами на хранение и обучение. Страница проекта доступна по адресу https://dekuliutesla.github.io/CityGaussianV2/.

English

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10times compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.