HyRF : Champs de Radiance Hybrides pour une Synthèse de Nouvelles Vues Économe en Mémoire et de Haute Qualité

HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

September 21, 2025

papers.authors: Zipeng Wang, Dan Xu

cs.AI

papers.abstract

Récemment, le 3D Gaussian Splatting (3DGS) est apparu comme une alternative puissante aux approches basées sur NeRF, permettant une synthèse de vues nouvelles en temps réel et de haute qualité grâce à des Gaussiennes 3D explicites et optimisables. Cependant, le 3DGS souffre d'une surcharge mémoire importante en raison de sa dépendance aux paramètres par Gaussienne pour modéliser les effets dépendants de la vue et les formes anisotropes. Bien que des travaux récents proposent de compresser le 3DGS avec des champs neuronaux, ces méthodes peinent à capturer les variations spatiales à haute fréquence des propriétés des Gaussiennes, ce qui entraîne une dégradation de la reconstruction des détails fins. Nous présentons Hybrid Radiance Fields (HyRF), une nouvelle représentation de scène qui combine les forces des Gaussiennes explicites et des champs neuronaux. HyRF décompose la scène en (1) un ensemble compact de Gaussiennes explicites stockant uniquement les paramètres critiques à haute fréquence et (2) des champs neuronaux basés sur une grille qui prédisent les propriétés restantes. Pour améliorer la capacité de représentation, nous introduisons une architecture de champ neuronal découplée, modélisant séparément la géométrie (échelle, opacité, rotation) et la couleur dépendante de la vue. De plus, nous proposons un schéma de rendu hybride qui combine le splatting de Gaussiennes avec un arrière-plan prédit par un champ neuronal, abordant ainsi les limitations dans la représentation des scènes lointaines. Les expériences démontrent que HyRF atteint une qualité de rendu de pointe tout en réduisant la taille du modèle de plus de 20 fois par rapport au 3DGS et en maintenant des performances en temps réel. Notre page de projet est disponible à l'adresse https://wzpscott.github.io/hyrf/.

English

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.