Revisiter les représentations de profondeur pour le rendu par projection de Gaussiennes 3D en propagation avant

Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

June 5, 2025

Auteurs: Duochao Shi, Weijie Wang, Donny Y. Chen, Zeyu Zhang, Jia-Wang Bian, Bohan Zhuang, Chunhua Shen

cs.AI

Résumé

Les cartes de profondeur sont largement utilisées dans les pipelines de projection 3D par splatting gaussien (3DGS) en avant-propagée, en les projetant en nuages de points 3D pour la synthèse de nouvelles vues. Cette approche présente des avantages tels qu'un entraînement efficace, l'utilisation de poses de caméra connues et une estimation géométrique précise. Cependant, les discontinuités de profondeur aux limites des objets entraînent souvent des nuages de points fragmentés ou clairsemés, ce qui dégrade la qualité de rendu — une limitation bien connue des représentations basées sur la profondeur. Pour résoudre ce problème, nous introduisons PM-Loss, une nouvelle fonction de régularisation basée sur une carte de points prédite par un transformeur pré-entraîné. Bien que la carte de points elle-même puisse être moins précise que la carte de profondeur, elle impose efficacement une régularité géométrique, en particulier autour des limites des objets. Avec la carte de profondeur améliorée, notre méthode améliore significativement la projection 3DGS en avant-propagée sur diverses architectures et scènes, offrant des résultats de rendu constamment meilleurs. Notre page de projet : https://aim-uofa.github.io/PMLoss

English

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality -- a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss