HyRF: メモリ効率と高品質な新視点合成のためのハイブリッド放射場

HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

September 21, 2025

著者: Zipeng Wang, Dan Xu

cs.AI

要旨

近年、3D Gaussian Splatting（3DGS）はNeRFベースの手法に代わる強力な代替手段として登場し、明示的かつ最適化可能な3Dガウシアンを通じてリアルタイムかつ高品質な新視点合成を実現している。しかし、3DGSは視点依存効果や異方性形状をモデル化するためにガウシアンごとのパラメータに依存するため、メモリオーバーヘッドが大きいという課題がある。最近の研究では、ニューラルフィールドを用いて3DGSを圧縮する手法が提案されているが、これらの手法はガウシアンの特性における高周波空間変動を捉えることが難しく、細部の再構成が劣化する傾向がある。本論文では、明示的ガウシアンとニューラルフィールドの長所を組み合わせた新しいシーン表現手法であるHybrid Radiance Fields（HyRF）を提案する。HyRFはシーンを（1）重要な高周波パラメータのみを保存するコンパクトな明示的ガウシアンの集合と、（2）残りの特性を予測するグリッドベースのニューラルフィールドに分解する。表現能力を向上させるため、ジオメトリ（スケール、不透明度、回転）と視点依存色を別々にモデル化する分離型ニューラルフィールドアーキテクチャを導入した。さらに、遠方シーンの表現における制限を解決するため、ガウシアンスプラッティングとニューラルフィールドで予測された背景を合成するハイブリッドレンダリング手法を提案する。実験の結果、HyRFは3DGSと比較してモデルサイズを20倍以上削減しつつ、リアルタイム性能を維持しつつ、最先端のレンダリング品質を達成することが示された。プロジェクトページはhttps://wzpscott.github.io/hyrf/で公開されている。

English

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.