フィードフォワード型3Dガウススプラッティングのための深度表現の再検討

要旨

深度マップは、フィードフォワード型3Dガウススプラッティング（3DGS）パイプラインにおいて、新規視点合成のために3D点群に逆投影されることで広く利用されています。このアプローチは、効率的な学習、既知のカメラポーズの利用、正確な形状推定といった利点を提供します。しかし、物体境界における深度の不連続性は、断片的または疎な点群を引き起こし、レンダリング品質を低下させます。これは、深度ベース表現のよく知られた制限です。この問題に対処するため、我々はPM-Lossを導入します。これは、事前学習済みトランスフォーマーによって予測されるポイントマップに基づく新しい正則化損失です。ポイントマップ自体は深度マップほど正確ではないかもしれませんが、特に物体境界周辺で幾何学的な滑らかさを効果的に強制します。改善された深度マップにより、我々の手法は様々なアーキテクチャとシーンにわたってフィードフォワード型3DGSを大幅に改善し、一貫して優れたレンダリング結果を提供します。プロジェクトページ: https://aim-uofa.github.io/PMLoss

English

Depth maps are widely used in feed-forward 3D Gaussian Splatting (3DGS) pipelines by unprojecting them into 3D point clouds for novel view synthesis. This approach offers advantages such as efficient training, the use of known camera poses, and accurate geometry estimation. However, depth discontinuities at object boundaries often lead to fragmented or sparse point clouds, degrading rendering quality -- a well-known limitation of depth-based representations. To tackle this issue, we introduce PM-Loss, a novel regularization loss based on a pointmap predicted by a pre-trained transformer. Although the pointmap itself may be less accurate than the depth map, it effectively enforces geometric smoothness, especially around object boundaries. With the improved depth map, our method significantly improves the feed-forward 3DGS across various architectures and scenes, delivering consistently better rendering results. Our project page: https://aim-uofa.github.io/PMLoss

フィードフォワード型3Dガウススプラッティングのための深度表現の再検討

Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting

要旨

Support