Triangle Splatting+: Renderização Diferenciável com Triângulos Opacos

Triangle Splatting+: Differentiable Rendering with Opaque Triangles

September 29, 2025

Autores: Jan Held, Renaud Vandeghen, Sanghyun Son, Daniel Rebain, Matheus Gadelha, Yi Zhou, Ming C. Lin, Marc Van Droogenbroeck, Andrea Tagliasacchi

cs.AI

Resumo

A reconstrução de cenas 3D e a síntese de novas visões têm registrado progressos rápidos nos últimos anos. Os Neural Radiance Fields demonstraram que campos de radiação volumétricos contínuos podem alcançar síntese de imagens de alta qualidade, mas seus longos tempos de treinamento e renderização limitam a praticidade. O 3D Gaussian Splatting (3DGS) abordou essas questões representando cenas com milhões de Gaussianas, permitindo renderização em tempo real e otimização rápida. No entanto, as primitivas Gaussianas não são nativamente compatíveis com os pipelines baseados em malhas usados em headsets de realidade virtual e aplicações gráficas em tempo real. As soluções existentes tentam converter Gaussianas em malhas por meio de pós-processamento ou pipelines de dois estágios, o que aumenta a complexidade e degrada a qualidade visual. Neste trabalho, apresentamos o Triangle Splatting+, que otimiza diretamente triângulos, a primitiva fundamental da computação gráfica, dentro de um framework de splatting diferenciável. Formulamos a parametrização de triângulos para permitir conectividade por meio de vértices compartilhados e projetamos uma estratégia de treinamento que impõe triângulos opacos. A saída final é imediatamente utilizável em motores gráficos padrão sem pós-processamento. Experimentos nos conjuntos de dados Mip-NeRF360 e Tanks & Temples mostram que o Triangle Splatting+ alcança desempenho de ponta na síntese de novas visões baseadas em malhas. Nosso método supera abordagens anteriores de splatting em fidelidade visual, mantendo-se eficiente e rápido no treinamento. Além disso, as malhas semi-conectadas resultantes suportam aplicações subsequentes, como simulação baseada em física ou passeios interativos. A página do projeto está disponível em https://trianglesplatting2.github.io/trianglesplatting2/.

English

Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.