ProNeRF: Apprendimento di un campionamento efficiente di raggi con consapevolezza della proiezione per campi di radianza neurali impliciti ad alta granularità

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

December 13, 2023

Autori: Juan Luis Gonzalez Bello, Minh-Quan Viet Bui, Munchurl Kim

cs.AI

Abstract

I recenti progressi nel rendering neurale hanno dimostrato che, sebbene lenti, i modelli compatti impliciti possono apprendere le geometrie di una scena e le apparenze dipendenti dalla vista da più prospettive. Per mantenere un'impronta di memoria così ridotta ma ottenere tempi di inferenza più rapidi, lavori recenti hanno adottato reti "sampler" che campionano in modo adattivo un piccolo sottoinsieme di punti lungo ogni raggio nei campi di radianza neurale impliciti. Sebbene questi metodi raggiungano una riduzione fino a 10 volte nel tempo di rendering, soffrono comunque di un notevole degrado della qualità rispetto al NeRF classico. Al contrario, proponiamo ProNeRF, che offre un compromesso ottimale tra impronta di memoria (simile a NeRF), velocità (più veloce di HyperReel) e qualità (migliore di K-Planes). ProNeRF è dotato di una nuova rete di campionamento consapevole della proiezione (PAS) insieme a una nuova strategia di addestramento per l'esplorazione e lo sfruttamento dei raggi, consentendo un campionamento efficiente e fine delle particelle. Il nostro ProNeRF produce metriche all'avanguardia, essendo 15-23 volte più veloce con un PSNR più alto di 0,65 dB rispetto a NeRF e ottenendo un PSNR più alto di 0,95 dB rispetto al miglior metodo basato su sampler pubblicato, HyperReel. La nostra strategia di addestramento di esplorazione e sfruttamento consente a ProNeRF di apprendere le distribuzioni complete di colore e densità delle scene, apprendendo anche un campionamento efficiente dei raggi focalizzato sulle regioni a più alta densità. Forniamo ampi risultati sperimentali che supportano l'efficacia del nostro metodo sui dataset ampiamente adottati di prospettiva frontale e 360 gradi, rispettivamente LLFF e Blender.

English

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler' networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10times reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes' color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.