Triangle Splatting+ : Rendu Différentiable avec Triangles Opaques

papers.abstract

La reconstruction de scènes 3D et la synthèse de nouvelles vues ont connu des progrès rapides ces dernières années. Les champs de radiance neuronaux (NeRF) ont démontré que des champs de radiance volumétriques continus peuvent produire une synthèse d'images de haute qualité, mais leurs longs temps d'entraînement et de rendu limitent leur praticabilité. Le lissage par Gaussiennes 3D (3DGS) a résolu ces problèmes en représentant les scènes avec des millions de Gaussiennes, permettant un rendu en temps réel et une optimisation rapide. Cependant, les primitives Gaussiennes ne sont pas naturellement compatibles avec les pipelines basés sur des maillages utilisés dans les casques de réalité virtuelle et les applications graphiques en temps réel. Les solutions existantes tentent de convertir les Gaussiennes en maillages par post-traitement ou via des pipelines en deux étapes, ce qui augmente la complexité et dégrade la qualité visuelle. Dans ce travail, nous introduisons Triangle Splatting+, qui optimise directement les triangles, la primitive fondamentale de l'infographie, dans un cadre de lissage différentiable. Nous formulons une paramétrisation des triangles pour permettre la connectivité via des sommets partagés, et nous concevons une stratégie d'entraînement qui impose des triangles opaques. Le résultat final est immédiatement utilisable dans les moteurs graphiques standard sans post-traitement. Les expériences sur les ensembles de données Mip-NeRF360 et Tanks & Temples montrent que Triangle Splatting+ atteint des performances de pointe dans la synthèse de nouvelles vues basées sur des maillages. Notre méthode surpasse les approches de lissage précédentes en termes de fidélité visuelle tout en restant efficace et rapide à entraîner. De plus, les maillages semi-connectés résultants supportent des applications en aval telles que la simulation basée sur la physique ou les visites interactives. La page du projet est disponible à l'adresse https://trianglesplatting2.github.io/trianglesplatting2/.

English

Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.

Triangle Splatting+ : Rendu Différentiable avec Triangles Opaques

Triangle Splatting+: Differentiable Rendering with Opaque Triangles

papers.abstract

Support