HyRF: Campos de Radiação Híbridos para Síntese de Novas Visões com Eficiência de Memória e Alta Qualidade

HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

September 21, 2025

Autores: Zipeng Wang, Dan Xu

cs.AI

Resumo

Recentemente, o 3D Gaussian Splatting (3DGS) surgiu como uma alternativa poderosa às abordagens baseadas em NeRF, permitindo a síntese de novas visões em tempo real e de alta qualidade por meio de Gaussianas 3D explícitas e otimizáveis. No entanto, o 3DGS sofre com um overhead significativo de memória devido à sua dependência de parâmetros por Gaussiana para modelar efeitos dependentes da vista e formas anisotrópicas. Embora trabalhos recentes proponham comprimir o 3DGS com campos neurais, esses métodos têm dificuldade em capturar variações espaciais de alta frequência nas propriedades das Gaussianas, levando a uma reconstrução degradada de detalhes finos. Apresentamos os Hybrid Radiance Fields (HyRF), uma nova representação de cena que combina as vantagens das Gaussianas explícitas e dos campos neurais. O HyRF decompõe a cena em (1) um conjunto compacto de Gaussianas explícitas que armazenam apenas parâmetros críticos de alta frequência e (2) campos neurais baseados em grade que preveem as propriedades restantes. Para aumentar a capacidade de representação, introduzimos uma arquitetura de campo neural desacoplada, modelando separadamente a geometria (escala, opacidade, rotação) e a cor dependente da vista. Além disso, propomos um esquema de renderização híbrida que combina o splatting de Gaussianas com um fundo previsto por campo neural, abordando limitações na representação de cenas distantes. Experimentos demonstram que o HyRF alcança qualidade de renderização de última geração enquanto reduz o tamanho do modelo em mais de 20 vezes em comparação com o 3DGS, mantendo o desempenho em tempo real. Nossa página do projeto está disponível em https://wzpscott.github.io/hyrf/.

English

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.