Triangle Splatting+: Rendering Differenziabile con Triangoli Opachi

Abstract

La ricostruzione di scene 3D e la sintesi di nuove prospettive hanno registrato rapidi progressi negli ultimi anni. I Neural Radiance Fields hanno dimostrato che i campi di radianza volumetrici continui possono ottenere una sintesi di immagini di alta qualità, ma i lunghi tempi di addestramento e rendering ne limitano l'uso pratico. Il 3D Gaussian Splatting (3DGS) ha affrontato questi problemi rappresentando le scene con milioni di Gaussiane, consentendo il rendering in tempo reale e un'ottimizzazione rapida. Tuttavia, le primitive gaussiane non sono nativamente compatibili con le pipeline basate su mesh utilizzate nei visori VR e nelle applicazioni grafiche in tempo reale. Le soluzioni esistenti tentano di convertire le Gaussiane in mesh attraverso post-elaborazione o pipeline a due stadi, il che aumenta la complessità e riduce la qualità visiva. In questo lavoro, introduciamo Triangle Splatting+, che ottimizza direttamente i triangoli, la primitiva fondamentale della computer grafica, all'interno di un framework di splatting differenziabile. Formuliamo la parametrizzazione dei triangoli per abilitare la connettività attraverso vertici condivisi e progettiamo una strategia di addestramento che impone triangoli opachi. L'output finale è immediatamente utilizzabile nei motori grafici standard senza post-elaborazione. Gli esperimenti sui dataset Mip-NeRF360 e Tanks & Temples mostrano che Triangle Splatting+ raggiunge prestazioni all'avanguardia nella sintesi di nuove prospettive basate su mesh. Il nostro metodo supera gli approcci di splatting precedenti in fedeltà visiva, rimanendo efficiente e veloce da addestrare. Inoltre, le mesh semi-connesse risultanti supportano applicazioni downstream come la simulazione basata sulla fisica o i tour interattivi. La pagina del progetto è https://trianglesplatting2.github.io/trianglesplatting2/.

English

Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.

Triangle Splatting+: Rendering Differenziabile con Triangoli Opachi

Triangle Splatting+: Differentiable Rendering with Opaque Triangles

Abstract

Support