PyNeRF: Pyramidale Neuronale Radiance Fields

PyNeRF: Pyramidal Neural Radiance Fields

November 30, 2023

Autoren: Haithem Turki, Michael Zollhöfer, Christian Richardt, Deva Ramanan

cs.AI

Zusammenfassung

Neural Radiance Fields (NeRFs) können durch räumliche Gitterdarstellungen erheblich beschleunigt werden. Allerdings berücksichtigen sie Skalierung nicht explizit und führen daher Aliasing-Artefakte ein, wenn Szenen rekonstruiert werden, die aus unterschiedlichen Kameradistanzen aufgenommen wurden. Mip-NeRF und seine Erweiterungen schlagen skalierungsbewusste Renderer vor, die volumetrische Frustums anstelle von Punktproben projizieren, doch solche Ansätze basieren auf Positionskodierungen, die nicht ohne Weiteres mit Gittermethoden kompatibel sind. Wir schlagen eine einfache Modifikation gitterbasierter Modelle vor, indem Modellköpfe auf verschiedenen räumlichen Gitterauflösungen trainiert werden. Zum Rendern verwenden wir einfach gröbere Gitter, um Proben zu rendern, die größere Volumina abdecken. Unsere Methode kann problemlos auf bestehende beschleunigte NeRF-Methoden angewendet werden und verbessert die Renderqualität erheblich (Reduzierung der Fehlerraten um 20–90 % bei synthetischen und unbegrenzten realen Szenen), während nur ein minimaler Leistungsaufwand entsteht (da jeder Modellkopf schnell ausgewertet werden kann). Im Vergleich zu Mip-NeRF reduzieren wir die Fehlerraten um 20 %, während das Training über 60-mal schneller abläuft.

English

Neural Radiance Fields (NeRFs) can be dramatically accelerated by spatial grid representations. However, they do not explicitly reason about scale and so introduce aliasing artifacts when reconstructing scenes captured at different camera distances. Mip-NeRF and its extensions propose scale-aware renderers that project volumetric frustums rather than point samples but such approaches rely on positional encodings that are not readily compatible with grid methods. We propose a simple modification to grid-based models by training model heads at different spatial grid resolutions. At render time, we simply use coarser grids to render samples that cover larger volumes. Our method can be easily applied to existing accelerated NeRF methods and significantly improves rendering quality (reducing error rates by 20-90% across synthetic and unbounded real-world scenes) while incurring minimal performance overhead (as each model head is quick to evaluate). Compared to Mip-NeRF, we reduce error rates by 20% while training over 60x faster.