Riesaminazione delle rappresentazioni di profondità per il 3D Gaussian Splatting feed-forward

Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

June 5, 2025

Autori: Duochao Shi, Weijie Wang, Donny Y. Chen, Zeyu Zhang, Jia-Wang Bian, Bohan Zhuang, Chunhua Shen

cs.AI

Abstract

Le mappe di profondità sono ampiamente utilizzate nelle pipeline feed-forward di 3D Gaussian Splatting (3DGS) proiettandole in nuvole di punti 3D per la sintesi di nuove viste. Questo approccio offre vantaggi come un addestramento efficiente, l'uso di pose della camera note e una stima accurata della geometria. Tuttavia, le discontinuità di profondità ai bordi degli oggetti spesso portano a nuvole di punti frammentate o sparse, degradando la qualità del rendering — una limitazione ben nota delle rappresentazioni basate sulla profondità. Per affrontare questo problema, introduciamo PM-Loss, una nuova funzione di regolarizzazione basata su una mappa di punti predetta da un transformer pre-addestrato. Sebbene la mappa di punti stessa possa essere meno accurata della mappa di profondità, essa impone efficacemente una regolarità geometrica, specialmente intorno ai bordi degli oggetti. Con la mappa di profondità migliorata, il nostro metodo migliora significativamente il 3DGS feed-forward su varie architetture e scene, fornendo risultati di rendering costantemente migliori. La nostra pagina del progetto: https://aim-uofa.github.io/PMLoss

English

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality -- a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss