MeshSplatting: Rendering Differenziabile con Mesh Opache
MeshSplatting: Differentiable Rendering with Opaque Meshes
December 7, 2025
Autori: Jan Held, Sanghyun Son, Renaud Vandeghen, Daniel Rebain, Matheus Gadelha, Yi Zhou, Anthony Cioppa, Ming C. Lin, Marc Van Droogenbroeck, Andrea Tagliasacchi
cs.AI
Abstract
I metodi di splatting basati su primitive come il 3D Gaussian Splatting hanno rivoluzionato la sintesi di nuove viste con rendering in tempo reale. Tuttavia, le loro rappresentazioni basate su punti rimangono incompatibili con le pipeline basate su mesh che alimentano i motori di AR/VR e videogiochi. Presentiamo MeshSplatting, un approccio di ricostruzione basato su mesh che ottimizza congiuntamente geometria e aspetto attraverso il rendering differenziabile. Applicando la connettività tramite triangolazione di Delaunay ristretta e perfezionando la coerenza superficiale, MeshSplatting crea mesh end-to-end lisce e di alta qualità visiva che si renderizzano efficientemente nei motori 3D in tempo reale. Su Mip-NeRF360, migliora il PSNR di +0,69 dB rispetto all'attuale stato dell'arte MiLo per la sintesi di nuove viste basata su mesh, addestrandosi 2 volte più velocemente e utilizzando 2 volte meno memoria, colmando il divario tra il rendering neurale e la grafica 3D interattiva per un'interazione scenica in tempo reale senza soluzione di continuità. La pagina del progetto è disponibile all'indirizzo https://meshsplatting.github.io/.
English
Primitive-based splatting methods like 3D Gaussian Splatting have revolutionized novel view synthesis with real-time rendering. However, their point-based representations remain incompatible with mesh-based pipelines that power AR/VR and game engines. We present MeshSplatting, a mesh-based reconstruction approach that jointly optimizes geometry and appearance through differentiable rendering. By enforcing connectivity via restricted Delaunay triangulation and refining surface consistency, MeshSplatting creates end-to-end smooth, visually high-quality meshes that render efficiently in real-time 3D engines. On Mip-NeRF360, it boosts PSNR by +0.69 dB over the current state-of-the-art MiLo for mesh-based novel view synthesis, while training 2x faster and using 2x less memory, bridging neural rendering and interactive 3D graphics for seamless real-time scene interaction. The project page is available at https://meshsplatting.github.io/.