Triangulación Splatting+: Renderizado Diferenciable con Triángulos Opacos

Resumen

La reconstrucción de escenas 3D y la síntesis de nuevas vistas han experimentado un rápido progreso en los últimos años. Los Campos de Radiancia Neurales demostraron que los campos de radiancia volumétricos continuos pueden lograr una síntesis de imágenes de alta calidad, pero sus largos tiempos de entrenamiento y renderizado limitan su practicidad. El método de 3D Gaussian Splatting (3DGS) abordó estos problemas representando escenas con millones de gaussianos, permitiendo renderizado en tiempo real y optimización rápida. Sin embargo, los primitivos gaussianos no son nativamente compatibles con las canalizaciones basadas en mallas utilizadas en cascos de realidad virtual y aplicaciones gráficas en tiempo real. Las soluciones existentes intentan convertir gaussianos en mallas mediante post-procesamiento o canalizaciones de dos etapas, lo que aumenta la complejidad y degrada la calidad visual. En este trabajo, presentamos Triangle Splatting+, que optimiza directamente triángulos, el primitivo fundamental de los gráficos por computadora, dentro de un marco de splatting diferenciable. Formulamos la parametrización de triángulos para permitir conectividad a través de vértices compartidos, y diseñamos una estrategia de entrenamiento que impone triángulos opacos. El resultado final es inmediatamente utilizable en motores gráficos estándar sin necesidad de post-procesamiento. Los experimentos en los conjuntos de datos Mip-NeRF360 y Tanks & Temples muestran que Triangle Splatting+ logra un rendimiento de vanguardia en la síntesis de nuevas vistas basada en mallas. Nuestro método supera a los enfoques de splatting anteriores en fidelidad visual mientras sigue siendo eficiente y rápido de entrenar. Además, las mallas semi-conectadas resultantes admiten aplicaciones posteriores como simulaciones basadas en física o recorridos interactivos. La página del proyecto es https://trianglesplatting2.github.io/trianglesplatting2/.

English

Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.

Triangulación Splatting+: Renderizado Diferenciable con Triángulos Opacos

Triangle Splatting+: Differentiable Rendering with Opaque Triangles

Resumen

Support