NeRF ist ein wertvoller Assistent für 3D-Gaussian-Splatting.

NeRF Is a Valuable Assistant for 3D Gaussian Splatting

July 31, 2025

papers.authors: Shuangkang Fang, I-Chao Shen, Takeo Igarashi, Yufeng Wang, ZeSheng Wang, Yi Yang, Wenrui Ding, Shuchang Zhou

cs.AI

papers.abstract

Wir stellen NeRF-GS vor, ein neuartiges Framework, das Neural Radiance Fields (NeRF) und 3D Gaussian Splatting (3DGS) gemeinsam optimiert. Dieses Framework nutzt die inhärente kontinuierliche räumliche Darstellung von NeRF, um mehrere Einschränkungen von 3DGS zu mildern, darunter die Empfindlichkeit gegenüber der Gaußschen Initialisierung, das begrenzte räumliche Bewusstsein und die schwachen Inter-Gaußschen Korrelationen, wodurch die Leistung verbessert wird. In NeRF-GS überdenken wir das Design von 3DGS und passen dessen räumliche Merkmale schrittweise an NeRF an, sodass beide Darstellungen durch gemeinsame 3D-Rauminformationen innerhalb derselben Szene optimiert werden können. Wir gehen weiterhin auf die formalen Unterschiede zwischen den beiden Ansätzen ein, indem wir Residuenvektoren sowohl für implizite Merkmale als auch für Gaußsche Positionen optimieren, um die personalisierten Fähigkeiten von 3DGS zu verbessern. Experimentelle Ergebnisse auf Benchmark-Datensätzen zeigen, dass NeRF-GS bestehende Methoden übertrifft und state-of-the-art Leistung erzielt. Dieses Ergebnis bestätigt, dass NeRF und 3DGS eher komplementär als konkurrierend sind, und bietet neue Einblicke in hybride Ansätze, die 3DGS und NeRF für eine effiziente 3D-Szenendarstellung kombinieren.

English

We introduce NeRF-GS, a novel framework that jointly optimizes Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). This framework leverages the inherent continuous spatial representation of NeRF to mitigate several limitations of 3DGS, including sensitivity to Gaussian initialization, limited spatial awareness, and weak inter-Gaussian correlations, thereby enhancing its performance. In NeRF-GS, we revisit the design of 3DGS and progressively align its spatial features with NeRF, enabling both representations to be optimized within the same scene through shared 3D spatial information. We further address the formal distinctions between the two approaches by optimizing residual vectors for both implicit features and Gaussian positions to enhance the personalized capabilities of 3DGS. Experimental results on benchmark datasets show that NeRF-GS surpasses existing methods and achieves state-of-the-art performance. This outcome confirms that NeRF and 3DGS are complementary rather than competing, offering new insights into hybrid approaches that combine 3DGS and NeRF for efficient 3D scene representation.