PyNeRF : Champs de Radiance Neuronaux Pyramidaux

PyNeRF: Pyramidal Neural Radiance Fields

November 30, 2023

Auteurs: Haithem Turki, Michael Zollhöfer, Christian Richardt, Deva Ramanan

cs.AI

Résumé

Les champs de radiance neuronaux (NeRFs) peuvent être considérablement accélérés grâce aux représentations par grilles spatiales. Cependant, ils ne raisonnent pas explicitement sur l'échelle, ce qui introduit des artefacts de crénelage lors de la reconstruction de scènes capturées à différentes distances de la caméra. Mip-NeRF et ses extensions proposent des moteurs de rendu sensibles à l'échelle qui projettent des frustums volumétriques plutôt que des échantillons ponctuels, mais ces approches reposent sur des encodages positionnels qui ne sont pas facilement compatibles avec les méthodes basées sur des grilles. Nous proposons une modification simple des modèles basés sur des grilles en entraînant des têtes de modèle à différentes résolutions de grille spatiale. Au moment du rendu, nous utilisons simplement des grilles plus grossières pour rendre des échantillons couvrant des volumes plus importants. Notre méthode peut être facilement appliquée aux méthodes NeRF accélérées existantes et améliore significativement la qualité du rendu (réduisant les taux d'erreur de 20 à 90 % sur des scènes synthétiques et réelles non bornées) tout en induisant une surcharge de performance minimale (car chaque tête de modèle est rapide à évaluer). Par rapport à Mip-NeRF, nous réduisons les taux d'erreur de 20 % tout en entraînant plus de 60 fois plus rapidement.

English

Neural Radiance Fields (NeRFs) can be dramatically accelerated by spatial grid representations. However, they do not explicitly reason about scale and so introduce aliasing artifacts when reconstructing scenes captured at different camera distances. Mip-NeRF and its extensions propose scale-aware renderers that project volumetric frustums rather than point samples but such approaches rely on positional encodings that are not readily compatible with grid methods. We propose a simple modification to grid-based models by training model heads at different spatial grid resolutions. At render time, we simply use coarser grids to render samples that cover larger volumes. Our method can be easily applied to existing accelerated NeRF methods and significantly improves rendering quality (reducing error rates by 20-90% across synthetic and unbounded real-world scenes) while incurring minimal performance overhead (as each model head is quick to evaluate). Compared to Mip-NeRF, we reduce error rates by 20% while training over 60x faster.