MeshSplat: Reconstrucción de Superficies con Vistas Escasas Generalizable mediante Proyección Gaussiana

MeshSplat: Generalizable Sparse-View Surface Reconstruction via Gaussian Splatting

August 25, 2025

Autores: Hanzhi Chang, Ruijie Zhu, Wenjie Chang, Mulin Yu, Yanzhe Liang, Jiahao Lu, Zhuoyuan Li, Tianzhu Zhang

cs.AI

Resumen

La reconstrucción de superficies ha sido ampliamente estudiada en visión por computadora y gráficos. Sin embargo, los trabajos existentes en reconstrucción de superficies tienen dificultades para recuperar la geometría precisa de la escena cuando las vistas de entrada son extremadamente escasas. Para abordar este problema, proponemos MeshSplat, un marco generalizable de reconstrucción de superficies con vistas escasas mediante Gaussian Splatting. Nuestra idea clave es aprovechar 2DGS como un puente, que conecta la síntesis de nuevas vistas con los conocimientos geométricos aprendidos y luego transfiere estos conocimientos para lograr la reconstrucción de superficies. Específicamente, incorporamos una red de avance para predecir 2DGS alineados por píxeles por vista, lo que permite a la red sintetizar imágenes de nuevas vistas y, por lo tanto, elimina la necesidad de supervisión directa con datos de verdad terrestre en 3D. Para mejorar la precisión en la predicción de la posición y orientación de 2DGS, proponemos una Pérdida de Distancia de Chamfer Ponderada para regularizar los mapas de profundidad, especialmente en áreas superpuestas de las vistas de entrada, y también una red de predicción de normales para alinear la orientación de 2DGS con los vectores normales predichos por un estimador de normales monoculares. Experimentos extensos validan la efectividad de nuestras mejoras propuestas, demostrando que nuestro método alcanza un rendimiento de vanguardia en tareas generalizables de reconstrucción de mallas con vistas escasas. Página del proyecto: https://hanzhichang.github.io/meshsplat_web

English

Surface reconstruction has been widely studied in computer vision and graphics. However, existing surface reconstruction works struggle to recover accurate scene geometry when the input views are extremely sparse. To address this issue, we propose MeshSplat, a generalizable sparse-view surface reconstruction framework via Gaussian Splatting. Our key idea is to leverage 2DGS as a bridge, which connects novel view synthesis to learned geometric priors and then transfers these priors to achieve surface reconstruction. Specifically, we incorporate a feed-forward network to predict per-view pixel-aligned 2DGS, which enables the network to synthesize novel view images and thus eliminates the need for direct 3D ground-truth supervision. To improve the accuracy of 2DGS position and orientation prediction, we propose a Weighted Chamfer Distance Loss to regularize the depth maps, especially in overlapping areas of input views, and also a normal prediction network to align the orientation of 2DGS with normal vectors predicted by a monocular normal estimator. Extensive experiments validate the effectiveness of our proposed improvement, demonstrating that our method achieves state-of-the-art performance in generalizable sparse-view mesh reconstruction tasks. Project Page: https://hanzhichang.github.io/meshsplat_web