Triangle Splatting+: Differentieerbaar Renderen met Ondoorzichtige Driehoeken

Samenvatting

Het reconstrueren van 3D-scènes en het synthetiseren van nieuwe perspectieven heeft de afgelopen jaren een snelle vooruitgang geboekt. Neural Radiance Fields toonden aan dat continue volumetrische radiance-velden hoogwaardige beeld-synthese kunnen bereiken, maar hun lange training- en renderingtijden beperken de praktische toepasbaarheid. 3D Gaussian Splatting (3DGS) pakte deze problemen aan door scènes te representeren met miljoenen Gaussians, wat real-time rendering en snelle optimalisatie mogelijk maakt. Echter zijn Gaussian-primitieven niet van nature compatibel met de op meshes gebaseerde pipelines die worden gebruikt in VR-headsets en real-time grafische toepassingen. Bestaande oplossingen proberen Gaussians om te zetten in meshes via post-processing of tweestaps pipelines, wat de complexiteit verhoogt en de visuele kwaliteit vermindert. In dit werk introduceren we Triangle Splatting+, dat direct driehoeken, het fundamentele primitief van computergraphics, optimaliseert binnen een differentieerbaar splatting-framework. We formuleren driehoek-parametrisering om connectiviteit mogelijk te maken via gedeelde vertices, en we ontwerpen een trainingsstrategie die ondoorzichtige driehoeken afdwingt. De uiteindelijke output is direct bruikbaar in standaard grafische engines zonder post-processing. Experimenten op de Mip-NeRF360 en Tanks & Temples datasets tonen aan dat Triangle Splatting+ state-of-the-art prestaties bereikt in op meshes gebaseerde nieuwe perspectief-synthese. Onze methode overtreft eerdere splatting-benaderingen in visuele kwaliteit terwijl het efficiënt en snel blijft in training. Bovendien ondersteunen de resulterende semi-verbonden meshes downstream toepassingen zoals physics-based simulaties of interactieve walkthroughs. De projectpagina is https://trianglesplatting2.github.io/trianglesplatting2/.

English

Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.

Triangle Splatting+: Differentieerbaar Renderen met Ondoorzichtige Driehoeken

Triangle Splatting+: Differentiable Rendering with Opaque Triangles

Samenvatting

Support