HyRF: Campi di Radianza Ibridi per la Sintesi Efficiente in Memoria e di Alta Qualità di Nuove Visualizzazioni

HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

September 21, 2025

Autori: Zipeng Wang, Dan Xu

cs.AI

Abstract

Recentemente, il 3D Gaussian Splatting (3DGS) è emerso come una valida alternativa agli approcci basati su NeRF, consentendo la sintesi di nuove viste in tempo reale e di alta qualità attraverso Gaussiane 3D esplicite e ottimizzabili. Tuttavia, il 3DGS soffre di un significativo sovraccarico di memoria a causa della sua dipendenza da parametri per-Gaussiana per modellare effetti dipendenti dalla vista e forme anisotrope. Sebbene lavori recenti propongano di comprimere il 3DGS con campi neurali, questi metodi faticano a catturare variazioni spaziali ad alta frequenza nelle proprietà delle Gaussiane, portando a una ricostruzione degradata dei dettagli fini. Presentiamo Hybrid Radiance Fields (HyRF), una nuova rappresentazione di scena che combina i punti di forza delle Gaussiane esplicite e dei campi neurali. HyRF scompone la scena in (1) un insieme compatto di Gaussiane esplicite che memorizzano solo i parametri critici ad alta frequenza e (2) campi neurali basati su griglia che predicono le proprietà rimanenti. Per migliorare la capacità rappresentativa, introduciamo un'architettura di campo neurale disaccoppiata, modellando separatamente la geometria (scala, opacità, rotazione) e il colore dipendente dalla vista. Inoltre, proponiamo uno schema di rendering ibrido che combina il Gaussian splatting con uno sfondo predetto da un campo neurale, affrontando le limitazioni nella rappresentazione di scene distanti. Gli esperimenti dimostrano che HyRF raggiunge una qualità di rendering all'avanguardia riducendo le dimensioni del modello di oltre 20 volte rispetto al 3DGS e mantenendo prestazioni in tempo reale. La nostra pagina del progetto è disponibile all'indirizzo https://wzpscott.github.io/hyrf/.

English

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.