MeshSplat: Generalisierbare Oberflächenrekonstruktion mit spärlichen Ansichten mittels Gaußscher Splatting
MeshSplat: Generalizable Sparse-View Surface Reconstruction via Gaussian Splatting
August 25, 2025
papers.authors: Hanzhi Chang, Ruijie Zhu, Wenjie Chang, Mulin Yu, Yanzhe Liang, Jiahao Lu, Zhuoyuan Li, Tianzhu Zhang
cs.AI
papers.abstract
Die Oberflächenrekonstruktion wurde in der Computer Vision und Grafik umfassend untersucht. Allerdings haben bestehende Ansätze zur Oberflächenrekonstruktion Schwierigkeiten, eine präzise Szenengeometrie wiederherzustellen, wenn die Eingabeansichten extrem spärlich sind. Um dieses Problem zu lösen, schlagen wir MeshSplat vor, ein generalisierbares Framework für die Oberflächenrekonstruktion mit spärlichen Ansichten mittels Gaussian Splatting. Unser zentraler Ansatz besteht darin, 2DGS als Brücke zu nutzen, die die Synthese neuer Ansichten mit gelernten geometrischen Priors verbindet und diese Priors dann zur Oberflächenrekonstruktion überträgt. Konkret integrieren wir ein Feedforward-Netzwerk, um pixelgenaue 2DGS pro Ansicht vorherzusagen, was dem Netzwerk ermöglicht, neue Ansichtsbilder zu synthetisieren und somit die Notwendigkeit einer direkten 3D-Ground-Truth-Supervision entfällt. Um die Genauigkeit der Vorhersage von Position und Ausrichtung der 2DGS zu verbessern, schlagen wir einen Weighted Chamfer Distance Loss vor, um die Tiefenkarten zu regularisieren, insbesondere in überlappenden Bereichen der Eingabeansichten, sowie ein Netzwerk zur Normalenvorhersage, um die Ausrichtung der 2DGS mit den Normalenvektoren abzugleichen, die von einem monokularen Normalenschätzer vorhergesagt werden. Umfangreiche Experimente bestätigen die Wirksamkeit unserer vorgeschlagenen Verbesserungen und zeigen, dass unsere Methode in generalisierbaren Aufgaben zur Rekonstruktion von Netzen aus spärlichen Ansichten state-of-the-art Leistungen erzielt. Projektseite: https://hanzhichang.github.io/meshsplat_web
English
Surface reconstruction has been widely studied in computer vision and
graphics. However, existing surface reconstruction works struggle to recover
accurate scene geometry when the input views are extremely sparse. To address
this issue, we propose MeshSplat, a generalizable sparse-view surface
reconstruction framework via Gaussian Splatting. Our key idea is to leverage
2DGS as a bridge, which connects novel view synthesis to learned geometric
priors and then transfers these priors to achieve surface reconstruction.
Specifically, we incorporate a feed-forward network to predict per-view
pixel-aligned 2DGS, which enables the network to synthesize novel view images
and thus eliminates the need for direct 3D ground-truth supervision. To improve
the accuracy of 2DGS position and orientation prediction, we propose a Weighted
Chamfer Distance Loss to regularize the depth maps, especially in overlapping
areas of input views, and also a normal prediction network to align the
orientation of 2DGS with normal vectors predicted by a monocular normal
estimator. Extensive experiments validate the effectiveness of our proposed
improvement, demonstrating that our method achieves state-of-the-art
performance in generalizable sparse-view mesh reconstruction tasks. Project
Page: https://hanzhichang.github.io/meshsplat_web