HyRF: Hybride Radiance Fields für speichereffiziente und hochwertige Synthese neuer Ansichten

HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

September 21, 2025

papers.authors: Zipeng Wang, Dan Xu

cs.AI

papers.abstract

Kürzlich hat 3D Gaussian Splatting (3DGS) als leistungsstarke Alternative zu NeRF-basierten Ansätzen Aufmerksamkeit erregt, da es eine Echtzeit-Synthese hochwertiger neuer Ansichten durch explizite, optimierbare 3D-Gaußsche ermöglicht. Allerdings leidet 3DGS unter einem erheblichen Speicheraufwand, da es auf pro-Gaußsche Parameter angewiesen ist, um sichtabhängige Effekte und anisotrope Formen zu modellieren. Obwohl neuere Arbeiten die Komprimierung von 3DGS mit neuronalen Feldern vorschlagen, haben diese Methoden Schwierigkeiten, hochfrequente räumliche Variationen in Gaußschen Eigenschaften zu erfassen, was zu einer verschlechterten Rekonstruktion feiner Details führt. Wir stellen Hybrid Radiance Fields (HyRF) vor, eine neuartige Szenendarstellung, die die Stärken expliziter Gaußscher und neuronaler Felder kombiniert. HyRF zerlegt die Szene in (1) eine kompakte Menge expliziter Gaußscher, die nur kritische hochfrequente Parameter speichern, und (2) gitterbasierte neuronale Felder, die die verbleibenden Eigenschaften vorhersagen. Um die Darstellungskapazität zu verbessern, führen wir eine entkoppelte Architektur für neuronale Felder ein, die Geometrie (Skalierung, Opazität, Rotation) und sichtabhängige Farbe separat modelliert. Zusätzlich schlagen wir ein hybrides Rendering-Schema vor, das Gaußsches Splatting mit einem durch neuronale Felder vorhergesagten Hintergrund kombiniert und so die Einschränkungen bei der Darstellung entfernter Szenen adressiert. Experimente zeigen, dass HyRF eine state-of-the-art Rendering-Qualität erreicht, während die Modellgröße im Vergleich zu 3DGS um mehr als das 20-fache reduziert wird und die Echtzeit-Leistung erhalten bleibt. Unsere Projektseite ist unter https://wzpscott.github.io/hyrf/ verfügbar.

English

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.