GaussianPro: Splatting Gaussiano 3D con Propagazione Progressiva

GaussianPro: 3D Gaussian Splatting with Progressive Propagation

February 22, 2024

Autori: Kai Cheng, Xiaoxiao Long, Kaizhi Yang, Yao Yao, Wei Yin, Yuexin Ma, Wenping Wang, Xuejin Chen

cs.AI

Abstract

L'avvento del 3D Gaussian Splatting (3DGS) ha recentemente portato una rivoluzione nel campo del rendering neurale, facilitando rendering di alta qualità a velocità in tempo reale. Tuttavia, il 3DGS dipende fortemente dalla nuvola di punti inizializzata prodotta dalle tecniche di Structure-from-Motion (SfM). Quando si affrontano scene su larga scala che inevitabilmente contengono superfici prive di texture, le tecniche SfM non riescono a produrre un numero sufficiente di punti su queste superfici e non possono fornire una buona inizializzazione per il 3DGS. Di conseguenza, il 3DGS soffre di un'ottimizzazione difficile e di rendering di bassa qualità. In questo articolo, ispirati dalle classiche tecniche di multi-view stereo (MVS), proponiamo GaussianPro, un metodo innovativo che applica una strategia di propagazione progressiva per guidare la densificazione delle Gaussiane 3D. Rispetto alle semplici strategie di divisione e clonazione utilizzate nel 3DGS, il nostro metodo sfrutta i priori delle geometrie ricostruite esistenti della scena e le tecniche di corrispondenza di patch per produrre nuove Gaussiane con posizioni e orientamenti accurati. Esperimenti su scene sia su larga scala che su piccola scala convalidano l'efficacia del nostro metodo, dove il nostro metodo supera significativamente il 3DGS sul dataset Waymo, mostrando un miglioramento di 1,15 dB in termini di PSNR.

English

The advent of 3D Gaussian Splatting (3DGS) has recently brought about a revolution in the field of neural rendering, facilitating high-quality renderings at real-time speed. However, 3DGS heavily depends on the initialized point cloud produced by Structure-from-Motion (SfM) techniques. When tackling with large-scale scenes that unavoidably contain texture-less surfaces, the SfM techniques always fail to produce enough points in these surfaces and cannot provide good initialization for 3DGS. As a result, 3DGS suffers from difficult optimization and low-quality renderings. In this paper, inspired by classical multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that applies a progressive propagation strategy to guide the densification of the 3D Gaussians. Compared to the simple split and clone strategies used in 3DGS, our method leverages the priors of the existing reconstructed geometries of the scene and patch matching techniques to produce new Gaussians with accurate positions and orientations. Experiments on both large-scale and small-scale scenes validate the effectiveness of our method, where our method significantly surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in terms of PSNR.