GaussianPro: Splatting Gaussiano 3D com Propagação Progressiva

GaussianPro: 3D Gaussian Splatting with Progressive Propagation

February 22, 2024

Autores: Kai Cheng, Xiaoxiao Long, Kaizhi Yang, Yao Yao, Wei Yin, Yuexin Ma, Wenping Wang, Xuejin Chen

cs.AI

Resumo

O advento do 3D Gaussian Splatting (3DGS) trouxe recentemente uma revolução no campo da renderização neural, possibilitando renderizações de alta qualidade em tempo real. No entanto, o 3DGS depende fortemente da nuvem de pontos inicializada produzida por técnicas de Structure-from-Motion (SfM). Ao lidar com cenas em grande escala que inevitavelmente contêm superfícies sem textura, as técnicas de SfM frequentemente falham em produzir pontos suficientes nessas superfícies e não conseguem fornecer uma boa inicialização para o 3DGS. Como resultado, o 3DGS enfrenta dificuldades de otimização e renderizações de baixa qualidade. Neste artigo, inspirados pelas clássicas técnicas de multi-view stereo (MVS), propomos o GaussianPro, um método novo que aplica uma estratégia de propagação progressiva para guiar a densificação dos Gaussianos 3D. Em comparação com as simples estratégias de divisão e clonagem utilizadas no 3DGS, nosso método aproveita os priors das geometrias já reconstruídas da cena e técnicas de correspondência de patches para produzir novos Gaussianos com posições e orientações precisas. Experimentos em cenas de grande e pequena escala validam a eficácia do nosso método, onde ele supera significativamente o 3DGS no conjunto de dados Waymo, exibindo uma melhoria de 1,15 dB em termos de PSNR.

English

The advent of 3D Gaussian Splatting (3DGS) has recently brought about a revolution in the field of neural rendering, facilitating high-quality renderings at real-time speed. However, 3DGS heavily depends on the initialized point cloud produced by Structure-from-Motion (SfM) techniques. When tackling with large-scale scenes that unavoidably contain texture-less surfaces, the SfM techniques always fail to produce enough points in these surfaces and cannot provide good initialization for 3DGS. As a result, 3DGS suffers from difficult optimization and low-quality renderings. In this paper, inspired by classical multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that applies a progressive propagation strategy to guide the densification of the 3D Gaussians. Compared to the simple split and clone strategies used in 3DGS, our method leverages the priors of the existing reconstructed geometries of the scene and patch matching techniques to produce new Gaussians with accurate positions and orientations. Experiments on both large-scale and small-scale scenes validate the effectiveness of our method, where our method significantly surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in terms of PSNR.