Triangle Splatting+: 不透明三角形を用いた微分可能レンダリング

要旨

3Dシーンの再構築と新規視点の合成は、近年急速な進展を遂げています。Neural Radiance Fields（NeRF）は、連続的な体積放射場が高品質な画像合成を実現できることを示しましたが、その長い学習時間とレンダリング時間が実用性を制限していました。3D Gaussian Splatting（3DGS）は、シーンを数百万のガウシアンで表現することでこれらの問題に対処し、リアルタイムレンダリングと高速な最適化を可能にしました。しかし、ガウシアンプリミティブは、VRヘッドセットやリアルタイムグラフィックスアプリケーションで使用されるメッシュベースのパイプラインとネイティブに互換性がありません。既存の解決策は、ガウシアンをメッシュに変換するために後処理や二段階パイプラインを試みますが、これにより複雑さが増し、視覚品質が低下します。本研究では、Triangle Splatting+を紹介します。これは、微分可能なスプラッティングフレームワーク内で、コンピュータグラフィックスの基本プリミティブである三角形を直接最適化するものです。共有頂点を通じた接続性を可能にする三角形のパラメータ化を定式化し、不透明な三角形を強制する学習戦略を設計します。最終的な出力は、後処理なしで標準のグラフィックスエンジンで即座に使用可能です。Mip-NeRF360およびTanks & Templesデータセットでの実験により、Triangle Splatting+がメッシュベースの新規視点合成において最先端の性能を達成することが示されました。本手法は、視覚的忠実度において従来のスプラッティングアプローチを凌駕しつつ、効率的で高速な学習を実現しています。さらに、得られた半接続メッシュは、物理ベースのシミュレーションやインタラクティブなウォークスルーなどの下流アプリケーションをサポートします。プロジェクトページはhttps://trianglesplatting2.github.io/trianglesplatting2/です。

English

Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.

Triangle Splatting+: 不透明三角形を用いた微分可能レンダリング

Triangle Splatting+: Differentiable Rendering with Opaque Triangles

要旨

Support