NeRF é um Assistente Valioso para o Splatting Gaussiano 3D

NeRF Is a Valuable Assistant for 3D Gaussian Splatting

July 31, 2025

Autores: Shuangkang Fang, I-Chao Shen, Takeo Igarashi, Yufeng Wang, ZeSheng Wang, Yi Yang, Wenrui Ding, Shuchang Zhou

cs.AI

Resumo

Apresentamos o NeRF-GS, uma nova estrutura que otimiza conjuntamente Campos de Radiação Neural (NeRF) e Splatting Gaussiano 3D (3DGS). Essa estrutura aproveita a representação espacial contínua inerente do NeRF para mitigar várias limitações do 3DGS, incluindo sensibilidade à inicialização Gaussiana, consciência espacial limitada e correlações fracas entre Gaussianos, melhorando assim seu desempenho. No NeRF-GS, revisitamos o design do 3DGS e alinhamos progressivamente suas características espaciais com o NeRF, permitindo que ambas as representações sejam otimizadas dentro da mesma cena por meio de informações espaciais 3D compartilhadas. Além disso, abordamos as distinções formais entre as duas abordagens otimizando vetores residuais tanto para características implícitas quanto para posições Gaussianas, a fim de aprimorar as capacidades personalizadas do 3DGS. Resultados experimentais em conjuntos de dados de referência mostram que o NeRF-GS supera os métodos existentes e alcança desempenho de ponta. Esse resultado confirma que o NeRF e o 3DGS são complementares em vez de concorrentes, oferecendo novos insights sobre abordagens híbridas que combinam 3DGS e NeRF para uma representação eficiente de cenas 3D.

English

We introduce NeRF-GS, a novel framework that jointly optimizes Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). This framework leverages the inherent continuous spatial representation of NeRF to mitigate several limitations of 3DGS, including sensitivity to Gaussian initialization, limited spatial awareness, and weak inter-Gaussian correlations, thereby enhancing its performance. In NeRF-GS, we revisit the design of 3DGS and progressively align its spatial features with NeRF, enabling both representations to be optimized within the same scene through shared 3D spatial information. We further address the formal distinctions between the two approaches by optimizing residual vectors for both implicit features and Gaussian positions to enhance the personalized capabilities of 3DGS. Experimental results on benchmark datasets show that NeRF-GS surpasses existing methods and achieves state-of-the-art performance. This outcome confirms that NeRF and 3DGS are complementary rather than competing, offering new insights into hybrid approaches that combine 3DGS and NeRF for efficient 3D scene representation.