Revisitando as Representações de Profundidade para o Espalhamento de Gaussianos 3D em Redes Feed-Forward

Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

June 5, 2025

Autores: Duochao Shi, Weijie Wang, Donny Y. Chen, Zeyu Zhang, Jia-Wang Bian, Bohan Zhuang, Chunhua Shen

cs.AI

Resumo

Mapas de profundidade são amplamente utilizados em pipelines de Splatting Gaussiano 3D (3DGS) feed-forward, sendo desprojetados em nuvens de pontos 3D para síntese de novas visões. Essa abordagem oferece vantagens como treinamento eficiente, uso de poses de câmera conhecidas e estimativa precisa de geometria. No entanto, descontinuidades de profundidade nas bordas dos objetos frequentemente resultam em nuvens de pontos fragmentadas ou esparsas, degradando a qualidade de renderização — uma limitação bem conhecida das representações baseadas em profundidade. Para resolver esse problema, introduzimos o PM-Loss, uma nova função de perda de regularização baseada em um mapa de pontos previsto por um transformer pré-treinado. Embora o mapa de pontos em si possa ser menos preciso que o mapa de profundidade, ele efetivamente impõe suavidade geométrica, especialmente ao redor das bordas dos objetos. Com o mapa de profundidade aprimorado, nosso método melhora significativamente o 3DGS feed-forward em várias arquiteturas e cenas, entregando resultados de renderização consistentemente melhores. Nossa página do projeto: https://aim-uofa.github.io/PMLoss.

English

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality -- a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss