NeRF is een waardevolle assistent voor 3D Gaussian Splatting.

NeRF Is a Valuable Assistant for 3D Gaussian Splatting

July 31, 2025

Auteurs: Shuangkang Fang, I-Chao Shen, Takeo Igarashi, Yufeng Wang, ZeSheng Wang, Yi Yang, Wenrui Ding, Shuchang Zhou

cs.AI

Samenvatting

We introduceren NeRF-GS, een nieuw framework dat Neural Radiance Fields (NeRF) en 3D Gaussian Splatting (3DGS) gezamenlijk optimaliseert. Dit framework benut de inherente continue ruimtelijke representatie van NeRF om verschillende beperkingen van 3DGS te verminderen, waaronder gevoeligheid voor Gaussische initialisatie, beperkt ruimtelijk bewustzijn en zwakke inter-Gaussische correlaties, waardoor de prestaties worden verbeterd. In NeRF-GS herzien we het ontwerp van 3DGS en brengen de ruimtelijke kenmerken geleidelijk in lijn met NeRF, waardoor beide representaties binnen dezelfde scène kunnen worden geoptimaliseerd via gedeelde 3D-ruimtelijke informatie. We gaan verder in op de formele verschillen tussen de twee benaderingen door restvectoren te optimaliseren voor zowel impliciete kenmerken als Gaussische posities, om de gepersonaliseerde mogelijkheden van 3DGS te versterken. Experimentele resultaten op benchmarkdatasets tonen aan dat NeRF-GS bestaande methoden overtreft en state-of-the-art prestaties bereikt. Dit resultaat bevestigt dat NeRF en 3DGS complementair zijn in plaats van concurrerend, wat nieuwe inzichten biedt in hybride benaderingen die 3DGS en NeRF combineren voor efficiënte 3D-scènerrepresentatie.

English

We introduce NeRF-GS, a novel framework that jointly optimizes Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). This framework leverages the inherent continuous spatial representation of NeRF to mitigate several limitations of 3DGS, including sensitivity to Gaussian initialization, limited spatial awareness, and weak inter-Gaussian correlations, thereby enhancing its performance. In NeRF-GS, we revisit the design of 3DGS and progressively align its spatial features with NeRF, enabling both representations to be optimized within the same scene through shared 3D spatial information. We further address the formal distinctions between the two approaches by optimizing residual vectors for both implicit features and Gaussian positions to enhance the personalized capabilities of 3DGS. Experimental results on benchmark datasets show that NeRF-GS surpasses existing methods and achieves state-of-the-art performance. This outcome confirms that NeRF and 3DGS are complementary rather than competing, offering new insights into hybrid approaches that combine 3DGS and NeRF for efficient 3D scene representation.