NeRF es un asistente valioso para el splatting Gaussiano 3D.

NeRF Is a Valuable Assistant for 3D Gaussian Splatting

July 31, 2025

Autores: Shuangkang Fang, I-Chao Shen, Takeo Igarashi, Yufeng Wang, ZeSheng Wang, Yi Yang, Wenrui Ding, Shuchang Zhou

cs.AI

Resumen

Presentamos NeRF-GS, un marco novedoso que optimiza conjuntamente los Campos de Radiancia Neural (NeRF) y el Splatting Gaussiano 3D (3DGS). Este marco aprovecha la representación espacial continua inherente de NeRF para mitigar varias limitaciones de 3DGS, incluyendo la sensibilidad a la inicialización gaussiana, la conciencia espacial limitada y las débiles correlaciones inter-gaussianas, mejorando así su rendimiento. En NeRF-GS, revisamos el diseño de 3DGS y alineamos progresivamente sus características espaciales con NeRF, permitiendo que ambas representaciones se optimicen dentro de la misma escena a través de información espacial 3D compartida. Además, abordamos las distinciones formales entre los dos enfoques optimizando vectores residuales tanto para las características implícitas como para las posiciones gaussianas, con el fin de mejorar las capacidades personalizadas de 3DGS. Los resultados experimentales en conjuntos de datos de referencia muestran que NeRF-GS supera los métodos existentes y alcanza un rendimiento de vanguardia. Este resultado confirma que NeRF y 3DGS son complementarios en lugar de competidores, ofreciendo nuevas perspectivas sobre enfoques híbridos que combinan 3DGS y NeRF para una representación eficiente de escenas 3D.

English

We introduce NeRF-GS, a novel framework that jointly optimizes Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). This framework leverages the inherent continuous spatial representation of NeRF to mitigate several limitations of 3DGS, including sensitivity to Gaussian initialization, limited spatial awareness, and weak inter-Gaussian correlations, thereby enhancing its performance. In NeRF-GS, we revisit the design of 3DGS and progressively align its spatial features with NeRF, enabling both representations to be optimized within the same scene through shared 3D spatial information. We further address the formal distinctions between the two approaches by optimizing residual vectors for both implicit features and Gaussian positions to enhance the personalized capabilities of 3DGS. Experimental results on benchmark datasets show that NeRF-GS surpasses existing methods and achieves state-of-the-art performance. This outcome confirms that NeRF and 3DGS are complementary rather than competing, offering new insights into hybrid approaches that combine 3DGS and NeRF for efficient 3D scene representation.