ProNeRF: Effizientes, projikationsbewusstes Strahlensampling für detaillierte implizite neuronale Radiance Fields

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

December 13, 2023

Autoren: Juan Luis Gonzalez Bello, Minh-Quan Viet Bui, Munchurl Kim

cs.AI

Zusammenfassung

Jüngste Fortschritte im Bereich des neuronalen Renderings haben gezeigt, dass implizite, kompakte Modelle, obwohl langsam, die Geometrien und sichtabhängigen Erscheinungsformen einer Szene aus mehreren Blickwinkeln erlernen können. Um einen derart geringen Speicherbedarf beizubehalten und gleichzeitig schnellere Inferenzzeiten zu erreichen, haben aktuelle Arbeiten sogenannte „Sampler“-Netzwerke eingeführt, die adaptiv eine kleine Teilmenge von Punkten entlang jedes Strahls in den impliziten neuronalen Strahlungsfeldern (NeRF) auswählen. Obwohl diese Methoden eine bis zu 10-fache Reduzierung der Renderzeit erreichen, leiden sie immer noch unter einer erheblichen Qualitätsminderung im Vergleich zum ursprünglichen NeRF. Im Gegensatz dazu schlagen wir ProNeRF vor, das einen optimalen Kompromiss zwischen Speicherbedarf (ähnlich wie NeRF), Geschwindigkeit (schneller als HyperReel) und Qualität (besser als K-Planes) bietet. ProNeRF ist mit einem neuartigen projektionsbewussten Sampling-Netzwerk (PAS) sowie einer neuen Trainingsstrategie zur Strahlenexploration und -ausnutzung ausgestattet, die ein effizientes, fein abgestimmtes Partikelsampling ermöglicht. Unser ProNeRF erzielt state-of-the-art Metriken, ist 15-23 Mal schneller bei einem um 0,65 dB höheren PSNR-Wert als NeRF und liefert einen um 0,95 dB höheren PSNR-Wert als die beste veröffentlichte Sampler-basierte Methode, HyperReel. Unsere Trainingsstrategie zur Exploration und Ausnutzung ermöglicht es ProNeRF, die vollständigen Farb- und Dichteverteilungen der Szenen zu erlernen, während gleichzeitig ein effizientes Strahlensampling auf die Regionen mit der höchsten Dichte fokussiert wird. Wir präsentieren umfangreiche experimentelle Ergebnisse, die die Wirksamkeit unserer Methode auf den weit verbreiteten Datensätzen für vorwärtsgerichtete und 360-Grad-Szenen, LLFF und Blender, belegen.

English

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler' networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10times reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes' color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.