MeshSplatting: Renderização Diferenciável com Malhas Opacas
MeshSplatting: Differentiable Rendering with Opaque Meshes
December 7, 2025
Autores: Jan Held, Sanghyun Son, Renaud Vandeghen, Daniel Rebain, Matheus Gadelha, Yi Zhou, Anthony Cioppa, Ming C. Lin, Marc Van Droogenbroeck, Andrea Tagliasacchi
cs.AI
Resumo
Métodos baseados em primitivas, como o 3D Gaussian Splatting, revolucionaram a síntese de novas vistas com renderização em tempo real. No entanto, suas representações baseadas em pontos permanecem incompatíveis com pipelines baseados em malha que alimentam motores de AR/VR e jogos. Apresentamos o MeshSplatting, uma abordagem de reconstrução baseada em malha que otimiza conjuntamente geometria e aparência por meio de renderização diferenciável. Ao impor conectividade via triangulação de Delaunay restrita e refinar a consistência superficial, o MeshSplatting cria malhas suaves de ponta a ponta e de alta qualidade visual que renderizam com eficiência em motores 3D em tempo real. No Mip-NeRF360, ele aumenta o PSNR em +0,69 dB em relação ao estado da arte atual (MiLo) para síntese de novas vistas baseada em malha, enquanto treina 2x mais rápido e usa 2x menos memória, unindo a renderização neural e os gráficos 3D interativos para uma interação de cena em tempo real perfeita. A página do projeto está disponível em https://meshsplatting.github.io/.
English
Primitive-based splatting methods like 3D Gaussian Splatting have revolutionized novel view synthesis with real-time rendering. However, their point-based representations remain incompatible with mesh-based pipelines that power AR/VR and game engines. We present MeshSplatting, a mesh-based reconstruction approach that jointly optimizes geometry and appearance through differentiable rendering. By enforcing connectivity via restricted Delaunay triangulation and refining surface consistency, MeshSplatting creates end-to-end smooth, visually high-quality meshes that render efficiently in real-time 3D engines. On Mip-NeRF360, it boosts PSNR by +0.69 dB over the current state-of-the-art MiLo for mesh-based novel view synthesis, while training 2x faster and using 2x less memory, bridging neural rendering and interactive 3D graphics for seamless real-time scene interaction. The project page is available at https://meshsplatting.github.io/.