MeshSplat: ガウススプラッティングによる一般化可能なスパースビュー表面再構成

MeshSplat: Generalizable Sparse-View Surface Reconstruction via Gaussian Splatting

August 25, 2025

著者: Hanzhi Chang, Ruijie Zhu, Wenjie Chang, Mulin Yu, Yanzhe Liang, Jiahao Lu, Zhuoyuan Li, Tianzhu Zhang

cs.AI

要旨

表面再構成は、コンピュータビジョンとグラフィックスの分野で広く研究されてきました。しかし、既存の表面再構成手法は、入力ビューが極めて疎である場合に正確なシーン幾何学を復元するのに苦労しています。この問題に対処するため、我々はGaussian Splattingを介した汎用的な疎ビュー表面再構成フレームワークであるMeshSplatを提案します。我々の鍵となるアイデアは、2DGSを橋渡しとして活用し、新規ビュー合成と学習された幾何学的プライアを接続し、これらのプライアを転送して表面再構成を実現することです。具体的には、フィードフォワードネットワークを組み込み、ビューごとのピクセル整列2DGSを予測することで、ネットワークが新規ビュー画像を合成できるようにし、直接的な3Dグラウンドトゥルース監視の必要性を排除します。2DGSの位置と方向の予測精度を向上させるために、重み付きChamfer距離損失を提案し、特に入力ビューの重複領域での深度マップを正則化します。また、単眼法線推定器によって予測された法線ベクトルと2DGSの方向を整列させるための法線予測ネットワークも提案します。広範な実験により、提案した改善の有効性が検証され、我々の手法が汎用的な疎ビューメッシュ再構成タスクにおいて最先端の性能を達成することが示されました。プロジェクトページ: https://hanzhichang.github.io/meshsplat_web

English

Surface reconstruction has been widely studied in computer vision and graphics. However, existing surface reconstruction works struggle to recover accurate scene geometry when the input views are extremely sparse. To address this issue, we propose MeshSplat, a generalizable sparse-view surface reconstruction framework via Gaussian Splatting. Our key idea is to leverage 2DGS as a bridge, which connects novel view synthesis to learned geometric priors and then transfers these priors to achieve surface reconstruction. Specifically, we incorporate a feed-forward network to predict per-view pixel-aligned 2DGS, which enables the network to synthesize novel view images and thus eliminates the need for direct 3D ground-truth supervision. To improve the accuracy of 2DGS position and orientation prediction, we propose a Weighted Chamfer Distance Loss to regularize the depth maps, especially in overlapping areas of input views, and also a normal prediction network to align the orientation of 2DGS with normal vectors predicted by a monocular normal estimator. Extensive experiments validate the effectiveness of our proposed improvement, demonstrating that our method achieves state-of-the-art performance in generalizable sparse-view mesh reconstruction tasks. Project Page: https://hanzhichang.github.io/meshsplat_web