MeshSplatting: Renderizado Diferenciable con Mallas Opacas
MeshSplatting: Differentiable Rendering with Opaque Meshes
December 7, 2025
Autores: Jan Held, Sanghyun Son, Renaud Vandeghen, Daniel Rebain, Matheus Gadelha, Yi Zhou, Anthony Cioppa, Ming C. Lin, Marc Van Droogenbroeck, Andrea Tagliasacchi
cs.AI
Resumen
Los métodos de splatting basados en primitivas, como 3D Gaussian Splatting, han revolucionado la síntesis de nuevas vistas con renderizado en tiempo real. Sin embargo, sus representaciones basadas en puntos siguen siendo incompatibles con las canalizaciones basadas en mallas que impulsan los motores de AR/VR y videojuegos. Presentamos MeshSplatting, un enfoque de reconstrucción basado en mallas que optimiza conjuntamente la geometría y la apariencia mediante renderizado diferenciable. Al imponer conectividad mediante triangulación de Delaunay restringida y refinar la consistencia superficial, MeshSplatting crea mallas suaves de extremo a extremo y de alta calidad visual que se renderizan eficientemente en motores 3D en tiempo real. En Mip-NeRF360, aumenta el PSNR en +0.69 dB sobre el estado actual de la técnica MiLo para la síntesis de nuevas vistas basada en mallas, mientras entrena 2 veces más rápido y usa 2 veces menos memoria, tendiendo un puente entre el renderizado neuronal y los gráficos 3D interactivos para una interacción de escena en tiempo real sin interrupciones. La página del proyecto está disponible en https://meshsplatting.github.io/.
English
Primitive-based splatting methods like 3D Gaussian Splatting have revolutionized novel view synthesis with real-time rendering. However, their point-based representations remain incompatible with mesh-based pipelines that power AR/VR and game engines. We present MeshSplatting, a mesh-based reconstruction approach that jointly optimizes geometry and appearance through differentiable rendering. By enforcing connectivity via restricted Delaunay triangulation and refining surface consistency, MeshSplatting creates end-to-end smooth, visually high-quality meshes that render efficiently in real-time 3D engines. On Mip-NeRF360, it boosts PSNR by +0.69 dB over the current state-of-the-art MiLo for mesh-based novel view synthesis, while training 2x faster and using 2x less memory, bridging neural rendering and interactive 3D graphics for seamless real-time scene interaction. The project page is available at https://meshsplatting.github.io/.