3D凸スプラッティング：3Dスムース凸体を用いた輝度場レンダリング

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

November 22, 2024

著者: Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

cs.AI

要旨

最近の放射輝度場再構築の進歩、例えば3Dガウススプラッティング（3DGS）は、ガウス原理の組成でシーンを表現することにより、高品質な新しい視点合成と高速レンダリングを達成しています。しかし、3Dガウスはシーン再構築にいくつかの制限を持っています。硬いエッジを正確に捉えることは、ガウスの数を大幅に増やさないと難しく、大きなメモリフットプリントを作成します。さらに、彼らは平坦な表面を表現するのに苦労し、空間に拡散します。手作りの正則化子がないと、実際の表面の周りに不規則に分散する傾向があります。これらの問題を回避するために、私たちは3Dスムース凸スプラッティング（3DCS）という新しい手法を導入します。これは、幾何学的に意味のある放射輝度場をマルチビュー画像からモデリングするために3Dスムース凸体を原始体として利用します。スムースな凸形状はガウスよりも柔軟性があり、少ない原始体を使用して、硬いエッジと密なボリュームを持つ3Dシーンをより良く表現できます。私たちの効率的なCUDAベースのラスタライザによって強化された3DCSは、Mip-NeRF360、Tanks and Temples、Deep Blendingなどのベンチマークで3DGSに比べて優れたパフォーマンスを達成します。具体的には、PSNRで最大0.81、LPIPSで0.026の向上を達成し、高速なレンダリング速度を維持しつつ必要な原始体の数を減らします。私たちの結果は、3Dスムース凸スプラッティングが高品質なシーン再構築と新しい視点合成の新たな標準になる可能性を示しています。プロジェクトページ：convexsplatting.github.io。

English

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: convexsplatting.github.io.