PyNeRF: Campi Neurali Radiance Piramidali

PyNeRF: Pyramidal Neural Radiance Fields

November 30, 2023

Autori: Haithem Turki, Michael Zollhöfer, Christian Richardt, Deva Ramanan

cs.AI

Abstract

I Neural Radiance Fields (NeRFs) possono essere notevolmente accelerati mediante rappresentazioni a griglia spaziale. Tuttavia, non considerano esplicitamente la scala, introducendo così artefatti di aliasing durante la ricostruzione di scene catturate a diverse distanze dalla telecamera. Mip-NeRF e le sue estensioni propongono renderer consapevoli della scala che proiettano frustum volumetrici anziché campioni puntuali, ma tali approcci si basano su codifiche posizionali non facilmente compatibili con i metodi a griglia. Proponiamo una semplice modifica ai modelli basati su griglia addestrando teste del modello a diverse risoluzioni della griglia spaziale. Al momento del rendering, utilizziamo semplicemente griglie più grossolane per renderizzare campioni che coprono volumi più ampi. Il nostro metodo può essere facilmente applicato ai metodi NeRF accelerati esistenti e migliora significativamente la qualità del rendering (riducendo i tassi di errore del 20-90% su scene sintetiche e reali illimitate) con un sovraccarico di prestazioni minimo (poiché ogni testa del modello è veloce da valutare). Rispetto a Mip-NeRF, riduciamo i tassi di errore del 20% addestrando oltre 60 volte più velocemente.

English

Neural Radiance Fields (NeRFs) can be dramatically accelerated by spatial grid representations. However, they do not explicitly reason about scale and so introduce aliasing artifacts when reconstructing scenes captured at different camera distances. Mip-NeRF and its extensions propose scale-aware renderers that project volumetric frustums rather than point samples but such approaches rely on positional encodings that are not readily compatible with grid methods. We propose a simple modification to grid-based models by training model heads at different spatial grid resolutions. At render time, we simply use coarser grids to render samples that cover larger volumes. Our method can be easily applied to existing accelerated NeRF methods and significantly improves rendering quality (reducing error rates by 20-90% across synthetic and unbounded real-world scenes) while incurring minimal performance overhead (as each model head is quick to evaluate). Compared to Mip-NeRF, we reduce error rates by 20% while training over 60x faster.