MeshSplat: 가우시안 스플래팅을 통한 일반화 가능한 희소 시점 표면 재구성

MeshSplat: Generalizable Sparse-View Surface Reconstruction via Gaussian Splatting

August 25, 2025

저자: Hanzhi Chang, Ruijie Zhu, Wenjie Chang, Mulin Yu, Yanzhe Liang, Jiahao Lu, Zhuoyuan Li, Tianzhu Zhang

cs.AI

초록

표면 재구성은 컴퓨터 비전 및 그래픽스 분야에서 널리 연구되어 왔습니다. 그러나 기존의 표면 재구성 연구는 입력 뷰가 극도로 희소할 때 정확한 장면 기하학을 복원하는 데 어려움을 겪습니다. 이 문제를 해결하기 위해, 우리는 Gaussian Splatting을 통한 일반화 가능한 희소 뷰 표면 재구성 프레임워크인 MeshSplat을 제안합니다. 우리의 핵심 아이디어는 2DGS를 새로운 뷰 합성과 학습된 기하학적 사전 지식을 연결한 다음, 이러한 사전 지식을 전달하여 표면 재구성을 달성하는 것입니다. 구체적으로, 우리는 피드포워드 네트워크를 통합하여 뷰별 픽셀 정렬 2DGS를 예측함으로써 네트워크가 새로운 뷰 이미지를 합성할 수 있게 하고, 이를 통해 직접적인 3D 지상 진실(ground-truth) 감독의 필요성을 제거합니다. 2DGS의 위치와 방향 예측의 정확도를 향상시키기 위해, 우리는 깊이 맵을 정규화하기 위한 가중치 첨퍼 거리 손실(Weighted Chamfer Distance Loss)을 제안하며, 특히 입력 뷰의 겹치는 영역에서 이를 적용합니다. 또한, 단안 정규 추정기(monocular normal estimator)에 의해 예측된 법선 벡터와 2DGS의 방향을 정렬하기 위한 법선 예측 네트워크를 제안합니다. 광범위한 실험을 통해 우리가 제안한 개선 사항의 효과를 검증하였으며, 우리의 방법이 일반화 가능한 희소 뷰 메쉬 재구성 작업에서 최첨단 성능을 달성함을 입증하였습니다. 프로젝트 페이지: https://hanzhichang.github.io/meshsplat_web

English

Surface reconstruction has been widely studied in computer vision and graphics. However, existing surface reconstruction works struggle to recover accurate scene geometry when the input views are extremely sparse. To address this issue, we propose MeshSplat, a generalizable sparse-view surface reconstruction framework via Gaussian Splatting. Our key idea is to leverage 2DGS as a bridge, which connects novel view synthesis to learned geometric priors and then transfers these priors to achieve surface reconstruction. Specifically, we incorporate a feed-forward network to predict per-view pixel-aligned 2DGS, which enables the network to synthesize novel view images and thus eliminates the need for direct 3D ground-truth supervision. To improve the accuracy of 2DGS position and orientation prediction, we propose a Weighted Chamfer Distance Loss to regularize the depth maps, especially in overlapping areas of input views, and also a normal prediction network to align the orientation of 2DGS with normal vectors predicted by a monocular normal estimator. Extensive experiments validate the effectiveness of our proposed improvement, demonstrating that our method achieves state-of-the-art performance in generalizable sparse-view mesh reconstruction tasks. Project Page: https://hanzhichang.github.io/meshsplat_web