MeshSplatting: Differentieerbaar Renderen met Ondoorzichtige Meshes
MeshSplatting: Differentiable Rendering with Opaque Meshes
December 7, 2025
Auteurs: Jan Held, Sanghyun Son, Renaud Vandeghen, Daniel Rebain, Matheus Gadelha, Yi Zhou, Anthony Cioppa, Ming C. Lin, Marc Van Droogenbroeck, Andrea Tagliasacchi
cs.AI
Samenvatting
Primitief-gebaseerde splatting-methoden zoals 3D Gaussian Splatting hebben een revolutie teweeggebracht in de synthese van nieuwe gezichtspunten met real-time rendering. Hun op punten gebaseerde representaties blijven echter onverenigbaar met op meshes gebaseerde pipelines die AR/VR- en game-engines aandrijven. Wij presenteren MeshSplatting, een op meshes gebaseerde reconstructiebenadering die geometrie en uiterlijk gezamenlijk optimaliseert via differentieerbaar renderen. Door connectiviteit af te dwingen via restricted Delaunay-triangulatie en oppervlakteconsistentie te verfijnen, creëert MeshSplatting end-to-end vloeiende, visueel hoogwaardige meshes die efficiënt renderen in real-time 3D-engines. Op Mip-NeRF360 verbetert het de PSNR met +0,69 dB ten opzichte van de huidige state-of-the-art MiLo voor op meshes gebaseerde synthese van nieuwe gezichtspunten, terwijl het twee keer zo snel traint en twee keer minder geheugen gebruikt, waardoor een brug wordt geslagen tussen neurale rendering en interactieve 3D-graphics voor naadloze real-time scène-interactie. De projectpagina is beschikbaar op https://meshsplatting.github.io/.
English
Primitive-based splatting methods like 3D Gaussian Splatting have revolutionized novel view synthesis with real-time rendering. However, their point-based representations remain incompatible with mesh-based pipelines that power AR/VR and game engines. We present MeshSplatting, a mesh-based reconstruction approach that jointly optimizes geometry and appearance through differentiable rendering. By enforcing connectivity via restricted Delaunay triangulation and refining surface consistency, MeshSplatting creates end-to-end smooth, visually high-quality meshes that render efficiently in real-time 3D engines. On Mip-NeRF360, it boosts PSNR by +0.69 dB over the current state-of-the-art MiLo for mesh-based novel view synthesis, while training 2x faster and using 2x less memory, bridging neural rendering and interactive 3D graphics for seamless real-time scene interaction. The project page is available at https://meshsplatting.github.io/.