ProNeRF : Apprentissage d'un échantillonnage efficace de rayons prenant en compte la projection pour des champs de radiance neuronaux implicites à granularité fine

Résumé

Les récents progrès en rendu neuronal ont montré que, bien que lents, les modèles compacts implicites peuvent apprendre les géométries d'une scène et les apparences dépendantes de la vue à partir de multiples angles. Pour maintenir une empreinte mémoire aussi réduite tout en obtenant des temps d'inférence plus rapides, des travaux récents ont adopté des réseaux "échantillonneurs" qui sélectionnent de manière adaptative un petit sous-ensemble de points le long de chaque rayon dans les champs de radiance neuronaux implicites. Bien que ces méthodes permettent une réduction jusqu'à 10 fois du temps de rendu, elles souffrent encore d'une dégradation de qualité considérable par rapport au NeRF classique. En revanche, nous proposons ProNeRF, qui offre un compromis optimal entre empreinte mémoire (similaire à NeRF), vitesse (plus rapide que HyperReel) et qualité (meilleure que K-Planes). ProNeRF est équipé d'un nouveau réseau d'échantillonnage sensible à la projection (PAS) ainsi que d'une nouvelle stratégie d'entraînement pour l'exploration et l'exploitation des rayons, permettant un échantillonnage fin et efficace des particules. Notre ProNeRF atteint des métriques de pointe, étant 15 à 23 fois plus rapide avec un PSNR supérieur de 0,65 dB par rapport à NeRF et offrant un PSNR supérieur de 0,95 dB par rapport à la meilleure méthode basée sur un échantillonneur publiée, HyperReel. Notre stratégie d'entraînement d'exploration et d'exploitation permet à ProNeRF d'apprendre les distributions de couleur et de densité des scènes complètes tout en apprenant un échantillonnage efficace des rayons concentré sur les régions de plus haute densité. Nous fournissons des résultats expérimentaux approfondis qui soutiennent l'efficacité de notre méthode sur les ensembles de données largement adoptés de vues frontales et 360, respectivement LLFF et Blender.

English

Recent advances in neural rendering have shown that, albeit slow, implicit compact models can learn a scene's geometries and view-dependent appearances from multiple views. To maintain such a small memory footprint but achieve faster inference times, recent works have adopted `sampler' networks that adaptively sample a small subset of points along each ray in the implicit neural radiance fields. Although these methods achieve up to a 10times reduction in rendering time, they still suffer from considerable quality degradation compared to the vanilla NeRF. In contrast, we propose ProNeRF, which provides an optimal trade-off between memory footprint (similar to NeRF), speed (faster than HyperReel), and quality (better than K-Planes). ProNeRF is equipped with a novel projection-aware sampling (PAS) network together with a new training strategy for ray exploration and exploitation, allowing for efficient fine-grained particle sampling. Our ProNeRF yields state-of-the-art metrics, being 15-23x faster with 0.65dB higher PSNR than NeRF and yielding 0.95dB higher PSNR than the best published sampler-based method, HyperReel. Our exploration and exploitation training strategy allows ProNeRF to learn the full scenes' color and density distributions while also learning efficient ray sampling focused on the highest-density regions. We provide extensive experimental results that support the effectiveness of our method on the widely adopted forward-facing and 360 datasets, LLFF and Blender, respectively.

ProNeRF : Apprentissage d'un échantillonnage efficace de rayons prenant en compte la projection pour des champs de radiance neuronaux implicites à granularité fine

ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields

Résumé

Support