NeRF rappresenta un prezioso assistente per il Gaussian Splatting 3D.

NeRF Is a Valuable Assistant for 3D Gaussian Splatting

July 31, 2025

Autori: Shuangkang Fang, I-Chao Shen, Takeo Igarashi, Yufeng Wang, ZeSheng Wang, Yi Yang, Wenrui Ding, Shuchang Zhou

cs.AI

Abstract

Introduciamo NeRF-GS, un nuovo framework che ottimizza congiuntamente i Neural Radiance Fields (NeRF) e il 3D Gaussian Splatting (3DGS). Questo framework sfrutta la rappresentazione spaziale continua intrinseca di NeRF per mitigare diverse limitazioni del 3DGS, tra cui la sensibilità all'inizializzazione gaussiana, la consapevolezza spaziale limitata e le deboli correlazioni inter-gaussiane, migliorando così le sue prestazioni. In NeRF-GS, rivediamo il design del 3DGS e allineiamo progressivamente le sue caratteristiche spaziali con NeRF, consentendo a entrambe le rappresentazioni di essere ottimizzate all'interno della stessa scena attraverso informazioni spaziali 3D condivise. Affrontiamo ulteriormente le distinzioni formali tra i due approcci ottimizzando i vettori residui sia per le caratteristiche implicite che per le posizioni gaussiane, al fine di potenziare le capacità personalizzate del 3DGS. I risultati sperimentali su dataset di riferimento dimostrano che NeRF-GS supera i metodi esistenti e raggiunge prestazioni all'avanguardia. Questo risultato conferma che NeRF e 3DGS sono complementari piuttosto che in competizione, offrendo nuove prospettive su approcci ibridi che combinano 3DGS e NeRF per una rappresentazione efficiente delle scene 3D.

English

We introduce NeRF-GS, a novel framework that jointly optimizes Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). This framework leverages the inherent continuous spatial representation of NeRF to mitigate several limitations of 3DGS, including sensitivity to Gaussian initialization, limited spatial awareness, and weak inter-Gaussian correlations, thereby enhancing its performance. In NeRF-GS, we revisit the design of 3DGS and progressively align its spatial features with NeRF, enabling both representations to be optimized within the same scene through shared 3D spatial information. We further address the formal distinctions between the two approaches by optimizing residual vectors for both implicit features and Gaussian positions to enhance the personalized capabilities of 3DGS. Experimental results on benchmark datasets show that NeRF-GS surpasses existing methods and achieves state-of-the-art performance. This outcome confirms that NeRF and 3DGS are complementary rather than competing, offering new insights into hybrid approaches that combine 3DGS and NeRF for efficient 3D scene representation.