HyRF: Гибридные поля излучения для эффективного использования памяти и синтеза высококачественных новых ракурсов

HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

September 21, 2025

Авторы: Zipeng Wang, Dan Xu

cs.AI

Аннотация

Недавно метод 3D Gaussian Splatting (3DGS) появился как мощная альтернатива подходам на основе NeRF, обеспечивая синтез новых видов в реальном времени с высоким качеством за счет использования явных, оптимизируемых 3D гауссов. Однако 3DGS страдает от значительных затрат памяти из-за зависимости от параметров для каждого гаусса, используемых для моделирования зависящих от вида эффектов и анизотропных форм. Хотя в последних работах предлагается сжатие 3DGS с помощью нейронных полей, эти методы плохо справляются с захватом высокочастотных пространственных вариаций свойств гауссов, что приводит к ухудшению восстановления мелких деталей. Мы представляем Hybrid Radiance Fields (HyRF) — новое представление сцены, объединяющее преимущества явных гауссов и нейронных полей. HyRF разлагает сцену на (1) компактный набор явных гауссов, хранящих только ключевые высокочастотные параметры, и (2) сеточные нейронные поля, предсказывающие оставшиеся свойства. Для повышения выразительной способности мы вводим архитектуру разделенных нейронных полей, отдельно моделирующих геометрию (масштаб, прозрачность, вращение) и зависящий от вида цвет. Кроме того, мы предлагаем гибридную схему рендеринга, которая комбинирует гауссово размытие с фоном, предсказанным нейронным полем, устраняя ограничения в представлении удаленных частей сцены. Эксперименты показывают, что HyRF достигает наивысшего качества рендеринга, сокращая размер модели более чем в 20 раз по сравнению с 3DGS, сохраняя при этом производительность в реальном времени. Наша страница проекта доступна по адресу https://wzpscott.github.io/hyrf/.

English

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.