NeRFは3Dガウススプラッティングにとって貴重なアシスタントである

要旨

本論文では、Neural Radiance Fields（NeRF）と3D Gaussian Splatting（3DGS）を共同で最適化する新しいフレームワークであるNeRF-GSを提案します。このフレームワークは、NeRFの持つ連続的な空間表現を活用することで、3DGSのいくつかの制限（ガウシアン初期化への感度、空間認識の限界、ガウシアン間の相関の弱さなど）を緩和し、その性能を向上させます。NeRF-GSでは、3DGSの設計を見直し、その空間的特徴をNeRFと段階的に整合させることで、両方の表現が共有の3D空間情報を通じて同一シーン内で最適化されることを可能にします。さらに、暗黙的特徴とガウシアン位置の両方に対する残差ベクトルを最適化することで、3DGSの個別化能力を向上させ、両アプローチ間の形式的な差異に対処します。ベンチマークデータセットでの実験結果は、NeRF-GSが既存の手法を凌駕し、最先端の性能を達成することを示しています。この結果は、NeRFと3DGSが競合するのではなく補完的であることを確認し、効率的な3Dシーン表現のために3DGSとNeRFを組み合わせたハイブリッドアプローチに対する新たな洞察を提供します。

English

We introduce NeRF-GS, a novel framework that jointly optimizes Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). This framework leverages the inherent continuous spatial representation of NeRF to mitigate several limitations of 3DGS, including sensitivity to Gaussian initialization, limited spatial awareness, and weak inter-Gaussian correlations, thereby enhancing its performance. In NeRF-GS, we revisit the design of 3DGS and progressively align its spatial features with NeRF, enabling both representations to be optimized within the same scene through shared 3D spatial information. We further address the formal distinctions between the two approaches by optimizing residual vectors for both implicit features and Gaussian positions to enhance the personalized capabilities of 3DGS. Experimental results on benchmark datasets show that NeRF-GS surpasses existing methods and achieves state-of-the-art performance. This outcome confirms that NeRF and 3DGS are complementary rather than competing, offering new insights into hybrid approaches that combine 3DGS and NeRF for efficient 3D scene representation.

NeRFは3Dガウススプラッティングにとって貴重なアシスタントである

NeRF Is a Valuable Assistant for 3D Gaussian Splatting

要旨

Support