Triangle Splatting+: Differenzierbares Rendern mit undurchsichtigen Dreiecken

papers.abstract

Die Rekonstruktion von 3D-Szenen und die Synthese neuer Ansichten haben in den letzten Jahren rasante Fortschritte gemacht. Neural Radiance Fields zeigten, dass kontinuierliche volumetrische Radiance Fields eine hochwertige Bildsynthese erreichen können, doch ihre langen Trainings- und Renderingzeiten schränken die Praktikabilität ein. 3D Gaussian Splatting (3DGS) adressierte diese Probleme, indem Szenen mit Millionen von Gaußschen Funktionen dargestellt werden, was Echtzeit-Rendering und schnelle Optimierung ermöglicht. Allerdings sind Gaußsche Primitiven nicht nativ kompatibel mit den meshbasierten Pipelines, die in VR-Headsets und Echtzeit-Grafikanwendungen verwendet werden. Bestehende Lösungen versuchen, Gaußsche Funktionen durch Nachbearbeitung oder zweistufige Pipelines in Meshes umzuwandeln, was die Komplexität erhöht und die visuelle Qualität beeinträchtigt. In dieser Arbeit stellen wir Triangle Splatting+ vor, das direkt Dreiecke, das grundlegende Primitiv der Computergrafik, innerhalb eines differenzierbaren Splatting-Frameworks optimiert. Wir formulieren die Dreiecksparametrisierung, um Konnektivität durch gemeinsame Eckpunkte zu ermöglichen, und entwerfen eine Trainingsstrategie, die undurchsichtige Dreiecke erzwingt. Das endgültige Ergebnis ist sofort in Standard-Grafik-Engines ohne Nachbearbeitung verwendbar. Experimente auf den Mip-NeRF360- und Tanks & Temples-Datensätzen zeigen, dass Triangle Splatting+ state-of-the-art Leistung in der meshbasierten Synthese neuer Ansichten erreicht. Unsere Methode übertrifft frühere Splatting-Ansätze in der visuellen Treue, bleibt dabei effizient und schnell im Training. Darüber hinaus unterstützen die resultierenden halbverbundenen Meshes nachgelagerte Anwendungen wie physikbasierte Simulationen oder interaktive Rundgänge. Die Projektseite ist https://trianglesplatting2.github.io/trianglesplatting2/.

English

Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.

Triangle Splatting+: Differenzierbares Rendern mit undurchsichtigen Dreiecken

Triangle Splatting+: Differentiable Rendering with Opaque Triangles

papers.abstract

Support