MeshSplat: Reconstrução de Superfície com Visão Esparsa Generalizável via Splatting Gaussiano

MeshSplat: Generalizable Sparse-View Surface Reconstruction via Gaussian Splatting

August 25, 2025

Autores: Hanzhi Chang, Ruijie Zhu, Wenjie Chang, Mulin Yu, Yanzhe Liang, Jiahao Lu, Zhuoyuan Li, Tianzhu Zhang

cs.AI

Resumo

A reconstrução de superfícies tem sido amplamente estudada em visão computacional e gráficos. No entanto, os trabalhos existentes de reconstrução de superfícies enfrentam dificuldades para recuperar a geometria precisa da cena quando as visualizações de entrada são extremamente esparsas. Para resolver esse problema, propomos o MeshSplat, uma estrutura generalizável de reconstrução de superfícies com visualizações esparsas via Gaussian Splatting. Nossa ideia principal é utilizar o 2DGS como uma ponte, que conecta a síntese de novas visualizações a priors geométricos aprendidos e, em seguida, transfere esses priors para alcançar a reconstrução da superfície. Especificamente, incorporamos uma rede feed-forward para prever 2DGS alinhados por pixel em cada visualização, o que permite à rede sintetizar imagens de novas visualizações e, assim, elimina a necessidade de supervisão direta com ground-truth 3D. Para melhorar a precisão da previsão de posição e orientação do 2DGS, propomos uma Perda de Distância de Chamfer Ponderada para regularizar os mapas de profundidade, especialmente em áreas sobrepostas das visualizações de entrada, e também uma rede de previsão de normais para alinhar a orientação do 2DGS com vetores normais previstos por um estimador de normais monoculares. Experimentos extensivos validam a eficácia de nossas melhorias propostas, demonstrando que nosso método alcança desempenho de ponta em tarefas generalizáveis de reconstrução de malhas com visualizações esparsas. Página do Projeto: https://hanzhichang.github.io/meshsplat_web

English

Surface reconstruction has been widely studied in computer vision and graphics. However, existing surface reconstruction works struggle to recover accurate scene geometry when the input views are extremely sparse. To address this issue, we propose MeshSplat, a generalizable sparse-view surface reconstruction framework via Gaussian Splatting. Our key idea is to leverage 2DGS as a bridge, which connects novel view synthesis to learned geometric priors and then transfers these priors to achieve surface reconstruction. Specifically, we incorporate a feed-forward network to predict per-view pixel-aligned 2DGS, which enables the network to synthesize novel view images and thus eliminates the need for direct 3D ground-truth supervision. To improve the accuracy of 2DGS position and orientation prediction, we propose a Weighted Chamfer Distance Loss to regularize the depth maps, especially in overlapping areas of input views, and also a normal prediction network to align the orientation of 2DGS with normal vectors predicted by a monocular normal estimator. Extensive experiments validate the effectiveness of our proposed improvement, demonstrating that our method achieves state-of-the-art performance in generalizable sparse-view mesh reconstruction tasks. Project Page: https://hanzhichang.github.io/meshsplat_web