ProNeRF: Het leren van efficiënte projectiebewuste straalbemonstering voor fijnmazige impliciete neurale stralingsvelden

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

December 13, 2023

Auteurs: Juan Luis Gonzalez Bello, Minh-Quan Viet Bui, Munchurl Kim

cs.AI

Samenvatting

Recente vooruitgang in neurale rendering heeft aangetoond dat, hoewel traag, impliciete compacte modellen de geometrieën en gezichtsafhankelijke verschijningen van een scène vanuit meerdere perspectieven kunnen leren. Om zo'n klein geheugenverbruik te behouden maar snellere inferentietijden te bereiken, hebben recente werken 'sampler'-netwerken geadopteerd die adaptief een kleine subset van punten langs elke straal in de impliciete neurale stralingsvelden bemonsteren. Hoewel deze methoden een reductie in rendertijd tot wel 10 keer bereiken, lijden ze nog steeds aan aanzienlijke kwaliteitsvermindering in vergelijking met de standaard NeRF. In contrast stellen wij ProNeRF voor, dat een optimale balans biedt tussen geheugenverbruik (vergelijkbaar met NeRF), snelheid (sneller dan HyperReel) en kwaliteit (beter dan K-Planes). ProNeRF is uitgerust met een nieuw projectiebewust bemonsteringsnetwerk (PAS) samen met een nieuwe trainingsstrategie voor straalverkenning en -exploitatie, waardoor efficiënte fijnmazige deeltjesbemonstering mogelijk wordt. Onze ProNeRF levert state-of-the-art metrieken, is 15-23 keer sneller met een 0.65dB hogere PSNR dan NeRF en levert een 0.95dB hogere PSNR dan de best gepubliceerde sampler-gebaseerde methode, HyperReel. Onze verkenning- en exploitatie-trainingsstrategie stelt ProNeRF in staat om de volledige kleur- en dichtheidsverdelingen van scènes te leren, terwijl het ook efficiënte straalbemonstering leert die zich richt op de regio's met de hoogste dichtheid. We bieden uitgebreide experimentele resultaten die de effectiviteit van onze methode ondersteunen op de veelgebruikte forward-facing en 360 datasets, respectievelijk LLFF en Blender.

English

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler' networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10times reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes' color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.