MeshSplatting: Differenzierbares Rendern mit undurchsichtigen Meshes
MeshSplatting: Differentiable Rendering with Opaque Meshes
December 7, 2025
papers.authors: Jan Held, Sanghyun Son, Renaud Vandeghen, Daniel Rebain, Matheus Gadelha, Yi Zhou, Anthony Cioppa, Ming C. Lin, Marc Van Droogenbroeck, Andrea Tagliasacchi
cs.AI
papers.abstract
Primitivenbasierte Splatting-Verfahren wie 3D Gaussian Splatting haben die Synthese neuartiger Ansichten durch Echtzeit-Rendering revolutioniert. Ihre punktbasierten Repräsentationen sind jedoch nach wie vor inkompatibel mit meshbasierten Pipelines, die AR/VR- und Spiele-Engines antreiben. Wir stellen MeshSplatting vor, einen meshbasierten Rekonstruktionsansatz, der Geometrie und Erscheinungsbild gemeinsam durch differenzierbares Rendering optimiert. Durch die Erzwingung von Konnektivität mittels eingeschränkter Delaunay-Triangulierung und die Verfeinerung der Oberflächenkonsistenz erzeugt MeshSplatting end-to-end glatte, visuell hochwertige Meshes, die effizient in Echtzeit-3D-Engines gerendert werden können. Auf Mip-NeRF360 steigert es den PSNR-Wert um +0,69 dB gegenüber dem aktuellen State-of-the-Art-Verfahren MiLo für meshbasierte Neuansichtssynthese, bei gleichzeitig doppelt so schnellem Training und halbiertem Speicherbedarf. So überbrückt es neuronales Rendering und interaktive 3D-Grafik für nahtlose Echtzeit-Szeneninteraktion. Die Projektseite ist unter https://meshsplatting.github.io/ verfügbar.
English
Primitive-based splatting methods like 3D Gaussian Splatting have revolutionized novel view synthesis with real-time rendering. However, their point-based representations remain incompatible with mesh-based pipelines that power AR/VR and game engines. We present MeshSplatting, a mesh-based reconstruction approach that jointly optimizes geometry and appearance through differentiable rendering. By enforcing connectivity via restricted Delaunay triangulation and refining surface consistency, MeshSplatting creates end-to-end smooth, visually high-quality meshes that render efficiently in real-time 3D engines. On Mip-NeRF360, it boosts PSNR by +0.69 dB over the current state-of-the-art MiLo for mesh-based novel view synthesis, while training 2x faster and using 2x less memory, bridging neural rendering and interactive 3D graphics for seamless real-time scene interaction. The project page is available at https://meshsplatting.github.io/.