Neubetrachtung von Tiefendarstellungen für Feed-Forward-3D-Gaussian-Splatting

Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

June 5, 2025

Autoren: Duochao Shi, Weijie Wang, Donny Y. Chen, Zeyu Zhang, Jia-Wang Bian, Bohan Zhuang, Chunhua Shen

cs.AI

Zusammenfassung

Tiefenkarten werden häufig in vorwärtsgerichteten 3D-Gaußschen Splatting (3DGS)-Pipelines verwendet, indem sie in 3D-Punktwolken zurückprojiziert werden, um die Synthese neuer Ansichten zu ermöglichen. Dieser Ansatz bietet Vorteile wie effizientes Training, die Nutzung bekannter Kameraposen und eine präzise Geometrieschätzung. Allerdings führen Tiefensprünge an Objektgrenzen oft zu fragmentierten oder spärlichen Punktwolken, was die Renderqualität beeinträchtigt – eine bekannte Einschränkung tiefenbasierter Darstellungen. Um dieses Problem zu lösen, führen wir PM-Loss ein, einen neuartigen Regularisierungsverlust, der auf einer von einem vortrainierten Transformer vorhergesagten Punktkarte basiert. Obwohl die Punktkarte selbst möglicherweise weniger genau ist als die Tiefenkarte, fördert sie effektiv geometrische Glätte, insbesondere an Objektgrenzen. Mit der verbesserten Tiefenkarte verbessert unsere Methode das vorwärtsgerichtete 3DGS über verschiedene Architekturen und Szenen hinweg signifikant und liefert durchweg bessere Renderergebnisse. Unsere Projektseite: https://aim-uofa.github.io/PMLoss

English

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality -- a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss