GaussianPro: 3D-Gaußsche Splatting mit progressiver Propagation
GaussianPro: 3D Gaussian Splatting with Progressive Propagation
February 22, 2024
Autoren: Kai Cheng, Xiaoxiao Long, Kaizhi Yang, Yao Yao, Wei Yin, Yuexin Ma, Wenping Wang, Xuejin Chen
cs.AI
Zusammenfassung
Das Aufkommen von 3D Gaussian Splatting (3DGS) hat kürzlich eine Revolution im Bereich des Neural Rendering ausgelöst, die hochwertige Renderings in Echtzeit ermöglicht. Allerdings ist 3DGS stark auf das initialisierte Punktwolkenmodell angewiesen, das durch Structure-from-Motion (SfM)-Techniken erzeugt wird. Bei der Bearbeitung von großflächigen Szenen, die unweigerlich texturlose Oberflächen enthalten, scheitern die SfM-Techniken oft daran, ausreichend Punkte auf diesen Oberflächen zu erzeugen, und können keine gute Initialisierung für 3DGS bereitstellen. Infolgedessen leidet 3DGS unter schwieriger Optimierung und qualitativ minderwertigen Renderings. In diesem Artikel schlagen wir, inspiriert von klassischen Multi-View Stereo (MVS)-Techniken, GaussianPro vor, eine neuartige Methode, die eine progressive Propagationsstrategie anwendet, um die Verdichtung der 3D-Gaußschen zu steuern. Im Vergleich zu den einfachen Teilungs- und Klonstrategien, die in 3DGS verwendet werden, nutzt unsere Methode die Prioritäten der bestehenden rekonstruierten Geometrien der Szene und Patch-Matching-Techniken, um neue Gaußsche mit präzisen Positionen und Ausrichtungen zu erzeugen. Experimente sowohl in großflächigen als auch in kleinflächigen Szenen bestätigen die Wirksamkeit unserer Methode, wobei unsere Methode 3DGS auf dem Waymo-Datensatz deutlich übertrifft und eine Verbesserung von 1,15 dB in Bezug auf PSNR zeigt.
English
The advent of 3D Gaussian Splatting (3DGS) has recently brought about a
revolution in the field of neural rendering, facilitating high-quality
renderings at real-time speed. However, 3DGS heavily depends on the initialized
point cloud produced by Structure-from-Motion (SfM) techniques. When tackling
with large-scale scenes that unavoidably contain texture-less surfaces, the SfM
techniques always fail to produce enough points in these surfaces and cannot
provide good initialization for 3DGS. As a result, 3DGS suffers from difficult
optimization and low-quality renderings. In this paper, inspired by classical
multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that
applies a progressive propagation strategy to guide the densification of the 3D
Gaussians. Compared to the simple split and clone strategies used in 3DGS, our
method leverages the priors of the existing reconstructed geometries of the
scene and patch matching techniques to produce new Gaussians with accurate
positions and orientations. Experiments on both large-scale and small-scale
scenes validate the effectiveness of our method, where our method significantly
surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in
terms of PSNR.