NeRF constitue un assistant précieux pour le splatting gaussien 3D.

NeRF Is a Valuable Assistant for 3D Gaussian Splatting

July 31, 2025

papers.authors: Shuangkang Fang, I-Chao Shen, Takeo Igarashi, Yufeng Wang, ZeSheng Wang, Yi Yang, Wenrui Ding, Shuchang Zhou

cs.AI

papers.abstract

Nous présentons NeRF-GS, un nouveau cadre qui optimise conjointement les Champs de Radiance Neuronaux (NeRF) et le Splatting Gaussien 3D (3DGS). Ce cadre exploite la représentation spatiale continue inhérente à NeRF pour atténuer plusieurs limitations de 3DGS, notamment la sensibilité à l'initialisation gaussienne, la conscience spatiale limitée et les faibles corrélations inter-gaussiennes, améliorant ainsi ses performances. Dans NeRF-GS, nous revisitons la conception de 3DGS et alignons progressivement ses caractéristiques spatiales avec NeRF, permettant aux deux représentations d'être optimisées au sein de la même scène grâce à des informations spatiales 3D partagées. Nous abordons également les distinctions formelles entre les deux approches en optimisant les vecteurs résiduels pour les caractéristiques implicites et les positions gaussiennes, afin d'améliorer les capacités personnalisées de 3DGS. Les résultats expérimentaux sur des ensembles de données de référence montrent que NeRF-GS surpasse les méthodes existantes et atteint des performances de pointe. Ce résultat confirme que NeRF et 3DGS sont complémentaires plutôt que concurrents, offrant de nouvelles perspectives sur les approches hybrides qui combinent 3DGS et NeRF pour une représentation efficace de scènes 3D.

English

We introduce NeRF-GS, a novel framework that jointly optimizes Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). This framework leverages the inherent continuous spatial representation of NeRF to mitigate several limitations of 3DGS, including sensitivity to Gaussian initialization, limited spatial awareness, and weak inter-Gaussian correlations, thereby enhancing its performance. In NeRF-GS, we revisit the design of 3DGS and progressively align its spatial features with NeRF, enabling both representations to be optimized within the same scene through shared 3D spatial information. We further address the formal distinctions between the two approaches by optimizing residual vectors for both implicit features and Gaussian positions to enhance the personalized capabilities of 3DGS. Experimental results on benchmark datasets show that NeRF-GS surpasses existing methods and achieves state-of-the-art performance. This outcome confirms that NeRF and 3DGS are complementary rather than competing, offering new insights into hybrid approaches that combine 3DGS and NeRF for efficient 3D scene representation.