GaussianPro: 3D Gaussiaans Splatting met Progressieve Propagatie

GaussianPro: 3D Gaussian Splatting with Progressive Propagation

February 22, 2024

Auteurs: Kai Cheng, Xiaoxiao Long, Kaizhi Yang, Yao Yao, Wei Yin, Yuexin Ma, Wenping Wang, Xuejin Chen

cs.AI

Samenvatting

De opkomst van 3D Gaussian Splatting (3DGS) heeft recentelijk een revolutie teweeggebracht in het veld van neurale rendering, waardoor hoogwaardige renderings in realtime mogelijk zijn geworden. Echter, 3DGS is sterk afhankelijk van het geïnitialiseerde puntenwolk dat wordt geproduceerd door Structure-from-Motion (SfM) technieken. Bij het aanpakken van grootschalige scènes die onvermijdelijk textuurloze oppervlakken bevatten, slagen SfM-technieken er vaak niet in om voldoende punten op deze oppervlakken te produceren en kunnen ze geen goede initialisatie bieden voor 3DGS. Als gevolg hiervan kampt 3DGS met moeilijke optimalisatie en renderings van lage kwaliteit. In dit artikel, geïnspireerd door klassieke multi-view stereo (MVS) technieken, stellen we GaussianPro voor, een nieuwe methode die een progressieve propagatiestrategie toepast om de verdichting van de 3D Gaussians te begeleiden. In vergelijking met de eenvoudige split- en clone-strategieën die in 3DGS worden gebruikt, maakt onze methode gebruik van de aannames van de bestaande gereconstrueerde geometrieën van de scène en patch matching technieken om nieuwe Gaussians te produceren met nauwkeurige posities en oriëntaties. Experimenten op zowel grootschalige als kleinschalige scènes valideren de effectiviteit van onze methode, waarbij onze methode 3DGS aanzienlijk overtreft op de Waymo-dataset, met een verbetering van 1.15dB in termen van PSNR.

English

The advent of 3D Gaussian Splatting (3DGS) has recently brought about a revolution in the field of neural rendering, facilitating high-quality renderings at real-time speed. However, 3DGS heavily depends on the initialized point cloud produced by Structure-from-Motion (SfM) techniques. When tackling with large-scale scenes that unavoidably contain texture-less surfaces, the SfM techniques always fail to produce enough points in these surfaces and cannot provide good initialization for 3DGS. As a result, 3DGS suffers from difficult optimization and low-quality renderings. In this paper, inspired by classical multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that applies a progressive propagation strategy to guide the densification of the 3D Gaussians. Compared to the simple split and clone strategies used in 3DGS, our method leverages the priors of the existing reconstructed geometries of the scene and patch matching techniques to produce new Gaussians with accurate positions and orientations. Experiments on both large-scale and small-scale scenes validate the effectiveness of our method, where our method significantly surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in terms of PSNR.