幾何学的に正確な放射輝度フィールドのための2Dガウススプラッティング

2D Gaussian Splatting for Geometrically Accurate Radiance Fields

March 26, 2024

著者: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao

cs.AI

要旨

3Dガウシアンスプラッティング（3DGS）は最近、ラディアンスフィールドの再構築に革命をもたらし、ベイキングなしで高品質な新視点合成と高速なレンダリングを実現しました。しかし、3Dガウシアンの多視点非整合性の性質により、3DGSは表面を正確に表現することができません。本論文では、多視点画像から幾何学的に正確なラディアンスフィールドをモデル化および再構築するための新しいアプローチである2Dガウシアンスプラッティング（2DGS）を提案します。私たちの鍵となるアイデアは、3Dボリュームを一連の2D指向平面ガウシアンディスクに折りたたむことです。3Dガウシアンとは異なり、2Dガウシアンは視点整合性のある幾何学を提供し、表面を本質的にモデル化します。薄い表面を正確に復元し、安定した最適化を実現するために、レイ-スプラット交差とラスタライゼーションを利用した視点正確な2Dスプラッティングプロセスを導入します。さらに、深度歪みと法線整合性の項を組み込むことで、再構築の品質をさらに向上させます。私たちの微分可能レンダラーは、ノイズのない詳細な幾何学再構築を可能にしつつ、競争力のある外観品質、高速な学習速度、リアルタイムレンダリングを維持することを実証します。私たちのコードは公開される予定です。

English

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.