NeRF는 3D 가우시안 스플래팅에 있어 귀중한 보조 도구입니다.

초록

본 논문에서는 Neural Radiance Fields(NeRF)와 3D Gaussian Splatting(3DGS)을 공동으로 최적화하는 새로운 프레임워크인 NeRF-GS를 소개한다. 이 프레임워크는 NeRF의 고유한 연속적 공간 표현을 활용하여 3DGS의 가우시안 초기화에 대한 민감성, 제한된 공간 인식, 그리고 약한 가우시안 간 상관관계와 같은 여러 한계를 완화함으로써 성능을 향상시킨다. NeRF-GS에서는 3DGS의 설계를 재검토하고, 공간 특징을 점진적으로 NeRF와 정렬함으로써 두 표현이 공유된 3D 공간 정보를 통해 동일한 장면 내에서 최적화될 수 있도록 한다. 또한, 암묵적 특징과 가우시안 위치에 대한 잔차 벡터를 최적화하여 3DGS의 개인화 능력을 강화함으로써 두 접근법 간의 형식적 차이를 해결한다. 벤치마크 데이터셋에 대한 실험 결과는 NeRF-GS가 기존 방법들을 능가하며 최첨단 성능을 달성함을 보여준다. 이러한 결과는 NeRF와 3DGS가 상호 보완적이며 경쟁적이지 않음을 확인하며, 효율적인 3D 장면 표현을 위해 3DGS와 NeRF를 결합한 하이브리드 접근법에 대한 새로운 통찰을 제공한다.

English

We introduce NeRF-GS, a novel framework that jointly optimizes Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). This framework leverages the inherent continuous spatial representation of NeRF to mitigate several limitations of 3DGS, including sensitivity to Gaussian initialization, limited spatial awareness, and weak inter-Gaussian correlations, thereby enhancing its performance. In NeRF-GS, we revisit the design of 3DGS and progressively align its spatial features with NeRF, enabling both representations to be optimized within the same scene through shared 3D spatial information. We further address the formal distinctions between the two approaches by optimizing residual vectors for both implicit features and Gaussian positions to enhance the personalized capabilities of 3DGS. Experimental results on benchmark datasets show that NeRF-GS surpasses existing methods and achieves state-of-the-art performance. This outcome confirms that NeRF and 3DGS are complementary rather than competing, offering new insights into hybrid approaches that combine 3DGS and NeRF for efficient 3D scene representation.

NeRF는 3D 가우시안 스플래팅에 있어 귀중한 보조 도구입니다.

NeRF Is a Valuable Assistant for 3D Gaussian Splatting

초록

Support