PyNeRF: Piramidale Neurale Radiance Velden

PyNeRF: Pyramidal Neural Radiance Fields

November 30, 2023

Auteurs: Haithem Turki, Michael Zollhöfer, Christian Richardt, Deva Ramanan

cs.AI

Samenvatting

Neural Radiance Fields (NeRFs) kunnen aanzienlijk worden versneld door ruimtelijke rasterrepresentaties. Ze houden echter niet expliciet rekening met schaal, wat aliasing-artefacten introduceert bij het reconstrueren van scènes die op verschillende camerafstanden zijn vastgelegd. Mip-NeRF en zijn uitbreidingen stellen schaalbewuste renderers voor die volumetrische frustums projecteren in plaats van puntmonsters, maar dergelijke benaderingen zijn afhankelijk van positionele coderingen die niet gemakkelijk compatibel zijn met rastermethoden. Wij stellen een eenvoudige aanpassing voor op rastergebaseerde modellen door modelkoppen te trainen op verschillende ruimtelijke rasterresoluties. Tijdens het renderen gebruiken we eenvoudigweg grovere rasters om monsters te renderen die grotere volumes bestrijken. Onze methode kan eenvoudig worden toegepast op bestaande versnelde NeRF-methoden en verbetert de renderkwaliteit aanzienlijk (vermindert foutpercentages met 20-90% in synthetische en onbegrensde real-world scènes) terwijl er minimale prestatieoverhead is (aangezien elke modelkop snel te evalueren is). Vergeleken met Mip-NeRF verminderen we de foutpercentages met 20% terwijl we meer dan 60x sneller trainen.

English

Neural Radiance Fields (NeRFs) can be dramatically accelerated by spatial grid representations. However, they do not explicitly reason about scale and so introduce aliasing artifacts when reconstructing scenes captured at different camera distances. Mip-NeRF and its extensions propose scale-aware renderers that project volumetric frustums rather than point samples but such approaches rely on positional encodings that are not readily compatible with grid methods. We propose a simple modification to grid-based models by training model heads at different spatial grid resolutions. At render time, we simply use coarser grids to render samples that cover larger volumes. Our method can be easily applied to existing accelerated NeRF methods and significantly improves rendering quality (reducing error rates by 20-90% across synthetic and unbounded real-world scenes) while incurring minimal performance overhead (as each model head is quick to evaluate). Compared to Mip-NeRF, we reduce error rates by 20% while training over 60x faster.