MeshSplat: Algemene Sparse-View Oppervlakte-reconstructie via Gaussische Splatting

MeshSplat: Generalizable Sparse-View Surface Reconstruction via Gaussian Splatting

August 25, 2025

Auteurs: Hanzhi Chang, Ruijie Zhu, Wenjie Chang, Mulin Yu, Yanzhe Liang, Jiahao Lu, Zhuoyuan Li, Tianzhu Zhang

cs.AI

Samenvatting

Oppervlakte-reconstructie is uitgebreid bestudeerd in computervisie en grafische technieken. Echter, bestaande methoden voor oppervlakte-reconstructie hebben moeite om nauwkeurige scène-geometrie te herstellen wanneer de invoerbeelden extreem schaars zijn. Om dit probleem aan te pakken, stellen we MeshSplat voor, een generaliseerbaar raamwerk voor oppervlakte-reconstructie met schaarse beelden via Gaussian Splatting. Onze kernidee is om 2DGS te gebruiken als een brug, die nieuwe beeld-synthese verbindt met geleerde geometrische voorkennis en deze voorkennis vervolgens overbrengt om oppervlakte-reconstructie te bereiken. Specifiek integreren we een feed-forward netwerk om per-beeld pixel-uitgelijnde 2DGS te voorspellen, wat het netwerk in staat stelt nieuwe beelden te synthetiseren en zo de noodzaak voor directe 3D grondwaarheid-supervisie elimineert. Om de nauwkeurigheid van de positie- en oriëntatievoorspelling van 2DGS te verbeteren, stellen we een Gewogen Chamfer Afstand Verlies voor om de dieptekaarten te regulariseren, vooral in overlappende gebieden van invoerbeelden, en ook een normaalvoorspellingsnetwerk om de oriëntatie van 2DGS uit te lijnen met normaalvectoren voorspeld door een monokulaire normaal-schatter. Uitgebreide experimenten valideren de effectiviteit van onze voorgestelde verbeteringen, en tonen aan dat onze methode state-of-the-art prestaties bereikt in generaliseerbare oppervlakte-reconstructietaken met schaarse beelden. Projectpagina: https://hanzhichang.github.io/meshsplat_web

English

Surface reconstruction has been widely studied in computer vision and graphics. However, existing surface reconstruction works struggle to recover accurate scene geometry when the input views are extremely sparse. To address this issue, we propose MeshSplat, a generalizable sparse-view surface reconstruction framework via Gaussian Splatting. Our key idea is to leverage 2DGS as a bridge, which connects novel view synthesis to learned geometric priors and then transfers these priors to achieve surface reconstruction. Specifically, we incorporate a feed-forward network to predict per-view pixel-aligned 2DGS, which enables the network to synthesize novel view images and thus eliminates the need for direct 3D ground-truth supervision. To improve the accuracy of 2DGS position and orientation prediction, we propose a Weighted Chamfer Distance Loss to regularize the depth maps, especially in overlapping areas of input views, and also a normal prediction network to align the orientation of 2DGS with normal vectors predicted by a monocular normal estimator. Extensive experiments validate the effectiveness of our proposed improvement, demonstrating that our method achieves state-of-the-art performance in generalizable sparse-view mesh reconstruction tasks. Project Page: https://hanzhichang.github.io/meshsplat_web