MeshSplatting: 不透明メッシュを用いた微分可能レンダリング

要旨

プリミティブベースのスプラッティング手法である3Dガウススプラッティングは、リアルタイムレンダリングによる新規視点合成に革命をもたらしました。しかし、その点ベースの表現は、AR/VRやゲームエンジンを支えるメッシュベースのパイプラインと互換性がありません。本論文では、微分可能レンダリングを通じてジオメトリと外観を共同最適化するメッシュベースの再構築手法「MeshSplatting」を提案します。制限付きドロネー三角形分割による接続性の確保と表面一貫性の洗練により、MeshSplattingはエンドツーエンドで滑らかで視覚的高品質なメッシュを生成し、リアルタイム3Dエンジンで効率的にレンダリングできます。Mip-NeRF360データセットでは、メッシュベース新規視点合成の現状最高手法であるMiLoをPSNRで+0.69dB上回り、学習速度は2倍高速、メモリ使用量は2分の1となり、ニューラルレンダリングとインタラクティブ3Dグラフィックスを統合してシームレスなリアルタイムシーンインタラクションを実現します。プロジェクトページはhttps://meshsplatting.github.io/で公開されています。

English

Primitive-based splatting methods like 3D Gaussian Splatting have revolutionized novel view synthesis with real-time rendering. However, their point-based representations remain incompatible with mesh-based pipelines that power AR/VR and game engines. We present MeshSplatting, a mesh-based reconstruction approach that jointly optimizes geometry and appearance through differentiable rendering. By enforcing connectivity via restricted Delaunay triangulation and refining surface consistency, MeshSplatting creates end-to-end smooth, visually high-quality meshes that render efficiently in real-time 3D engines. On Mip-NeRF360, it boosts PSNR by +0.69 dB over the current state-of-the-art MiLo for mesh-based novel view synthesis, while training 2x faster and using 2x less memory, bridging neural rendering and interactive 3D graphics for seamless real-time scene interaction. The project page is available at https://meshsplatting.github.io/.

MeshSplatting: 不透明メッシュを用いた微分可能レンダリング

MeshSplatting: Differentiable Rendering with Opaque Meshes

要旨

Support