Revisitando las Representaciones de Profundidad para el Renderizado de Splatting Gaussiano 3D de Avance Directo

Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

June 5, 2025

Autores: Duochao Shi, Weijie Wang, Donny Y. Chen, Zeyu Zhang, Jia-Wang Bian, Bohan Zhuang, Chunhua Shen

cs.AI

Resumen

Los mapas de profundidad son ampliamente utilizados en las canalizaciones de proyección de Gaussianas 3D (3DGS) de avance directo al desproyectarlos en nubes de puntos 3D para la síntesis de nuevas vistas. Este enfoque ofrece ventajas como un entrenamiento eficiente, el uso de poses de cámara conocidas y una estimación precisa de la geometría. Sin embargo, las discontinuidades de profundidad en los límites de los objetos a menudo generan nubes de puntos fragmentadas o dispersas, lo que degrada la calidad del renderizado, una limitación bien conocida de las representaciones basadas en profundidad. Para abordar este problema, presentamos PM-Loss, una nueva pérdida de regularización basada en un mapa de puntos predicho por un transformador preentrenado. Aunque el mapa de puntos en sí puede ser menos preciso que el mapa de profundidad, impone eficazmente suavidad geométrica, especialmente alrededor de los límites de los objetos. Con el mapa de profundidad mejorado, nuestro método mejora significativamente la 3DGS de avance directo en diversas arquitecturas y escenas, ofreciendo resultados de renderizado consistentemente mejores. Nuestra página del proyecto: https://aim-uofa.github.io/PMLoss.

English

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality -- a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss