MeshSplat: Реконструкция поверхности по разреженным видам с использованием гауссовых сплайнов, обеспечивающая обобщаемость

MeshSplat: Generalizable Sparse-View Surface Reconstruction via Gaussian Splatting

August 25, 2025

Авторы: Hanzhi Chang, Ruijie Zhu, Wenjie Chang, Mulin Yu, Yanzhe Liang, Jiahao Lu, Zhuoyuan Li, Tianzhu Zhang

cs.AI

Аннотация

Реконструкция поверхностей широко изучается в области компьютерного зрения и графики. Однако существующие методы реконструкции поверхностей сталкиваются с трудностями при восстановлении точной геометрии сцены, когда входные данные представлены крайне разреженными видами. Для решения этой проблемы мы предлагаем MeshSplat — универсальную структуру для реконструкции поверхностей по разреженным видам с использованием метода Gaussian Splatting. Основная идея заключается в использовании 2DGS в качестве связующего звена, которое соединяет синтез новых видов с изученными геометрическими приоритетами и затем переносит эти приоритеты для достижения реконструкции поверхности. В частности, мы интегрируем прямую сеть для предсказания пиксельно-выровненных 2DGS для каждого вида, что позволяет сети синтезировать изображения новых видов и, таким образом, устраняет необходимость в прямом 3D-надзоре с использованием эталонных данных. Для повышения точности предсказания положения и ориентации 2DGS мы предлагаем функцию потерь Weighted Chamfer Distance Loss для регуляризации карт глубины, особенно в областях перекрытия входных видов, а также сеть для предсказания нормалей, чтобы выровнять ориентацию 2DGS с векторами нормалей, предсказанными монохромным оценщиком нормалей. Многочисленные эксперименты подтверждают эффективность наших предложенных улучшений, демонстрируя, что наш метод достигает передовых результатов в задачах универсальной реконструкции сеток по разреженным видам. Страница проекта: https://hanzhichang.github.io/meshsplat_web.

English

Surface reconstruction has been widely studied in computer vision and graphics. However, existing surface reconstruction works struggle to recover accurate scene geometry when the input views are extremely sparse. To address this issue, we propose MeshSplat, a generalizable sparse-view surface reconstruction framework via Gaussian Splatting. Our key idea is to leverage 2DGS as a bridge, which connects novel view synthesis to learned geometric priors and then transfers these priors to achieve surface reconstruction. Specifically, we incorporate a feed-forward network to predict per-view pixel-aligned 2DGS, which enables the network to synthesize novel view images and thus eliminates the need for direct 3D ground-truth supervision. To improve the accuracy of 2DGS position and orientation prediction, we propose a Weighted Chamfer Distance Loss to regularize the depth maps, especially in overlapping areas of input views, and also a normal prediction network to align the orientation of 2DGS with normal vectors predicted by a monocular normal estimator. Extensive experiments validate the effectiveness of our proposed improvement, demonstrating that our method achieves state-of-the-art performance in generalizable sparse-view mesh reconstruction tasks. Project Page: https://hanzhichang.github.io/meshsplat_web