GaussianPro : Projection progressive de splines gaussiennes en 3D
GaussianPro: 3D Gaussian Splatting with Progressive Propagation
February 22, 2024
Auteurs: Kai Cheng, Xiaoxiao Long, Kaizhi Yang, Yao Yao, Wei Yin, Yuexin Ma, Wenping Wang, Xuejin Chen
cs.AI
Résumé
L'avènement du 3D Gaussian Splatting (3DGS) a récemment provoqué une révolution dans le domaine du rendu neuronal, permettant des rendus de haute qualité en temps réel. Cependant, le 3DGS dépend fortement du nuage de points initialisé produit par les techniques de Structure-from-Motion (SfM). Lorsqu'il s'agit de traiter des scènes à grande échelle contenant inévitablement des surfaces sans texture, les techniques SfM échouent souvent à produire suffisamment de points sur ces surfaces et ne peuvent pas fournir une bonne initialisation pour le 3DGS. Par conséquent, le 3DGS souffre d'une optimisation difficile et de rendus de faible qualité. Dans cet article, inspirés par les techniques classiques de stéréo multi-vues (MVS), nous proposons GaussianPro, une nouvelle méthode qui applique une stratégie de propagation progressive pour guider la densification des Gaussiennes 3D. Par rapport aux simples stratégies de division et de clonage utilisées dans le 3DGS, notre méthode exploite les a priori des géométries reconstruites existantes de la scène et les techniques de correspondance de patchs pour produire de nouvelles Gaussiennes avec des positions et des orientations précises. Des expériences sur des scènes à grande et petite échelle valident l'efficacité de notre méthode, où notre méthode surpasse significativement le 3DGS sur le jeu de données Waymo, montrant une amélioration de 1,15 dB en termes de PSNR.
English
The advent of 3D Gaussian Splatting (3DGS) has recently brought about a
revolution in the field of neural rendering, facilitating high-quality
renderings at real-time speed. However, 3DGS heavily depends on the initialized
point cloud produced by Structure-from-Motion (SfM) techniques. When tackling
with large-scale scenes that unavoidably contain texture-less surfaces, the SfM
techniques always fail to produce enough points in these surfaces and cannot
provide good initialization for 3DGS. As a result, 3DGS suffers from difficult
optimization and low-quality renderings. In this paper, inspired by classical
multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that
applies a progressive propagation strategy to guide the densification of the 3D
Gaussians. Compared to the simple split and clone strategies used in 3DGS, our
method leverages the priors of the existing reconstructed geometries of the
scene and patch matching techniques to produce new Gaussians with accurate
positions and orientations. Experiments on both large-scale and small-scale
scenes validate the effectiveness of our method, where our method significantly
surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in
terms of PSNR.