HyRF: Hybride Radiance Velden voor Geheugenefficiënte en Hoogwaardige Nieuwe Weergave Synthese

HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

September 21, 2025

Auteurs: Zipeng Wang, Dan Xu

cs.AI

Samenvatting

Onlangs is 3D Gaussian Splatting (3DGS) naar voren gekomen als een krachtig alternatief voor NeRF-gebaseerde benaderingen, waardoor real-time, hoogwaardige synthese van nieuwe gezichtspunten mogelijk wordt gemaakt via expliciete, optimaliseerbare 3D Gaussians. Echter, 3DGS kampt met een aanzienlijk geheugenoverhead vanwege de afhankelijkheid van per-Gaussian parameters om view-dependent effecten en anisotrope vormen te modelleren. Hoewel recente werken voorstellen om 3DGS te comprimeren met neurale velden, hebben deze methoden moeite om hoogfrequente ruimtelijke variaties in Gaussian eigenschappen vast te leggen, wat leidt tot een verslechterde reconstructie van fijne details. Wij presenteren Hybrid Radiance Fields (HyRF), een nieuwe scène-representatie die de sterke punten van expliciete Gaussians en neurale velden combineert. HyRF deelt de scène op in (1) een compacte set van expliciete Gaussians die alleen kritieke hoogfrequente parameters opslaan en (2) grid-gebaseerde neurale velden die de overige eigenschappen voorspellen. Om de representatiecapaciteit te vergroten, introduceren we een ontkoppelde neurale veldarchitectuur, die apart geometrie (schaal, opaciteit, rotatie) en view-dependent kleur modelleert. Daarnaast stellen we een hybride renderingschema voor dat Gaussian splatting combineert met een door een neuraal veld voorspelde achtergrond, waardoor beperkingen in de representatie van verre scènes worden aangepakt. Experimenten tonen aan dat HyRF state-of-the-art renderingkwaliteit bereikt terwijl het modelformaat met meer dan 20 keer wordt verkleind in vergelijking met 3DGS en real-time prestaties behoudt. Onze projectpagina is beschikbaar op https://wzpscott.github.io/hyrf/.

English

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.