Het Heronderzoeken van Diepteweergaven voor Feed-Forward 3D Gaussische Splatting

Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

June 5, 2025

Auteurs: Duochao Shi, Weijie Wang, Donny Y. Chen, Zeyu Zhang, Jia-Wang Bian, Bohan Zhuang, Chunhua Shen

cs.AI

Samenvatting

Dieptekaarten worden veelvuldig gebruikt in feed-forward 3D Gaussian Splatting (3DGS) pijplijnen door ze te unprojecten naar 3D-puntenwolken voor de synthese van nieuwe aanzichten. Deze aanpak biedt voordelen zoals efficiënte training, het gebruik van bekende cameraposities en nauwkeurige geometrie-schatting. Dieptediscontinuïteiten op objectgrenzen leiden echter vaak tot gefragmenteerde of schaarse puntenwolken, wat de renderkwaliteit vermindert — een bekende beperking van dieptegebaseerde representaties. Om dit probleem aan te pakken, introduceren we PM-Loss, een nieuwe regularisatieverliesfunctie gebaseerd op een puntenkaart voorspeld door een vooraf getrainde transformer. Hoewel de puntenkaart zelf minder nauwkeurig kan zijn dan de dieptekaart, dwingt deze effectief geometrische gladheid af, vooral rond objectgrenzen. Met de verbeterde dieptekaart verbetert onze methode de feed-forward 3DGS aanzienlijk over verschillende architecturen en scènes, wat consistent betere renderresultaten oplevert. Onze projectpagina: https://aim-uofa.github.io/PMLoss

English

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality -- a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss