GaussianPro: Representación 3D mediante Splatting Gaussiano con Propagación Progresiva
GaussianPro: 3D Gaussian Splatting with Progressive Propagation
February 22, 2024
Autores: Kai Cheng, Xiaoxiao Long, Kaizhi Yang, Yao Yao, Wei Yin, Yuexin Ma, Wenping Wang, Xuejin Chen
cs.AI
Resumen
El advenimiento del Splatting Gaussiano 3D (3DGS) ha revolucionado recientemente el campo del renderizado neuronal, permitiendo renderizados de alta calidad en tiempo real. Sin embargo, el 3DGS depende en gran medida de la nube de puntos inicial generada por técnicas de Estructura a partir del Movimiento (SfM). Al abordar escenas a gran escala que inevitablemente contienen superficies sin textura, las técnicas SfM no logran producir suficientes puntos en estas superficies y no pueden proporcionar una buena inicialización para el 3DGS. Como resultado, el 3DGS enfrenta dificultades de optimización y renderizados de baja calidad. En este artículo, inspirados por las técnicas clásicas de estereoscopía multivista (MVS), proponemos GaussianPro, un método novedoso que aplica una estrategia de propagación progresiva para guiar la densificación de los Gaussianos 3D. En comparación con las simples estrategias de división y clonación utilizadas en el 3DGS, nuestro método aprovecha los priors de las geometrías reconstruidas existentes de la escena y técnicas de emparejamiento de parches para producir nuevos Gaussianos con posiciones y orientaciones precisas. Los experimentos en escenas tanto a gran como a pequeña escala validan la efectividad de nuestro método, donde nuestro enfoque supera significativamente al 3DGS en el conjunto de datos Waymo, mostrando una mejora de 1.15 dB en términos de PSNR.
English
The advent of 3D Gaussian Splatting (3DGS) has recently brought about a
revolution in the field of neural rendering, facilitating high-quality
renderings at real-time speed. However, 3DGS heavily depends on the initialized
point cloud produced by Structure-from-Motion (SfM) techniques. When tackling
with large-scale scenes that unavoidably contain texture-less surfaces, the SfM
techniques always fail to produce enough points in these surfaces and cannot
provide good initialization for 3DGS. As a result, 3DGS suffers from difficult
optimization and low-quality renderings. In this paper, inspired by classical
multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that
applies a progressive propagation strategy to guide the densification of the 3D
Gaussians. Compared to the simple split and clone strategies used in 3DGS, our
method leverages the priors of the existing reconstructed geometries of the
scene and patch matching techniques to produce new Gaussians with accurate
positions and orientations. Experiments on both large-scale and small-scale
scenes validate the effectiveness of our method, where our method significantly
surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in
terms of PSNR.