HyRF: Campos de Radiancia Híbridos para la Síntesis de Nuevas Vistas de Alta Calidad y Eficiencia en Memoria

HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

September 21, 2025

Autores: Zipeng Wang, Dan Xu

cs.AI

Resumen

Recientemente, el método de Splatting Gaussiano 3D (3DGS) ha surgido como una alternativa potente a los enfoques basados en NeRF, permitiendo la síntesis de nuevas vistas en tiempo real y de alta calidad mediante el uso de Gaussianas 3D explícitas y optimizables. Sin embargo, 3DGS sufre un consumo significativo de memoria debido a su dependencia de parámetros por Gaussiana para modelar efectos dependientes de la vista y formas anisotrópicas. Aunque trabajos recientes proponen comprimir 3DGS utilizando campos neuronales, estos métodos tienen dificultades para capturar variaciones espaciales de alta frecuencia en las propiedades de las Gaussianas, lo que resulta en una reconstrucción degradada de detalles finos. Presentamos Campos de Radiancia Híbridos (HyRF), una representación novedosa de escenas que combina las fortalezas de las Gaussianas explícitas y los campos neuronales. HyRF descompone la escena en (1) un conjunto compacto de Gaussianas explícitas que almacenan únicamente parámetros críticos de alta frecuencia y (2) campos neuronales basados en cuadrículas que predicen las propiedades restantes. Para mejorar la capacidad de representación, introducimos una arquitectura de campo neuronal desacoplada, modelando por separado la geometría (escala, opacidad, rotación) y el color dependiente de la vista. Además, proponemos un esquema de renderizado híbrido que combina el splatting Gaussiano con un fondo predicho por un campo neuronal, abordando las limitaciones en la representación de escenas distantes. Los experimentos demuestran que HyRF logra una calidad de renderizado de vanguardia mientras reduce el tamaño del modelo en más de 20 veces en comparación con 3DGS y mantiene un rendimiento en tiempo real. Nuestra página del proyecto está disponible en https://wzpscott.github.io/hyrf/.

English

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.