HyRF: 메모리 효율적이고 고품질의 새로운 뷰 합성을 위한 하이브리드 방사 필드

HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

September 21, 2025

저자: Zipeng Wang, Dan Xu

cs.AI

초록

최근 3D 가우시안 스플래팅(3DGS)이 NeRF 기반 접근법의 강력한 대안으로 부상하며, 명시적이고 최적화 가능한 3D 가우시안을 통해 실시간 고품질의 새로운 시점 합성을 가능하게 하였다. 그러나 3DGS는 시점 의존적 효과와 이방성 형태를 모델링하기 위해 가우시안별 파라미터에 의존함으로써 상당한 메모리 오버헤드를 겪는다. 최근 연구들은 신경망 필드를 이용해 3DGS를 압축하는 방법을 제안했지만, 이러한 방법들은 가우시안 특성의 고주파 공간적 변화를 포착하는 데 어려움을 겪어 미세한 세부 사항의 재구성이 저하된다. 우리는 명시적 가우시안과 신경망 필드의 장점을 결합한 새로운 장면 표현 방식인 하이브리드 방사 필드(HyRF)를 제안한다. HyRF는 장면을 (1) 중요한 고주파 파라미터만 저장하는 간결한 명시적 가우시안 집합과 (2) 나머지 특성을 예측하는 그리드 기반 신경망 필드로 분해한다. 표현 능력을 향상시키기 위해, 우리는 기하학(크기, 불투명도, 회전)과 시점 의존적 색상을 별도로 모델링하는 분리된 신경망 필드 구조를 도입한다. 또한, 우리는 가우시안 스플래팅과 신경망 필드로 예측된 배경을 합성하는 하이브리드 렌더링 기법을 제안하여 원거리 장면 표현의 한계를 해결한다. 실험 결과, HyRF는 3DGS 대비 모델 크기를 20배 이상 줄이면서도 최신 수준의 렌더링 품질을 달성하고 실시간 성능을 유지함을 보여준다. 우리의 프로젝트 페이지는 https://wzpscott.github.io/hyrf/에서 확인할 수 있다.

English

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.