VR-NeRF : Espaces virtuels navigables de haute fidélité

VR-NeRF: High-Fidelity Virtualized Walkable Spaces

November 5, 2023

Auteurs: Linning Xu, Vasu Agrawal, William Laney, Tony Garcia, Aayush Bansal, Changil Kim, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Aljaž Božič, Dahua Lin, Michael Zollhöfer, Christian Richardt

cs.AI

Résumé

Nous présentons un système de bout en bout pour la capture haute fidélité, la reconstruction de modèles et le rendu en temps réel d'espaces praticables en réalité virtuelle utilisant des champs de radiance neuronaux. À cette fin, nous avons conçu et construit un dispositif multi-caméras personnalisé pour capturer de manière dense des espaces praticables avec une haute fidélité et des images à plage dynamique étendue (HDR) multi-vues d'une qualité et densité sans précédent. Nous étendons les primitives graphiques neuronales instantanées avec un nouvel espace colorimétrique perceptuel pour l'apprentissage d'une apparence HDR précise, ainsi qu'un mécanisme efficace de mip-mapping pour le rendu à niveaux de détail avec anti-crénelage, tout en optimisant soigneusement le compromis entre qualité et vitesse. Notre moteur de rendu multi-GPU permet un rendu volumétrique haute fidélité de notre modèle de champ de radiance neuronal à la résolution VR complète de 2K×2K en double à 36 Hz sur notre machine de démonstration personnalisée. Nous démontrons la qualité de nos résultats sur nos ensembles de données haute fidélité exigeants, et comparons notre méthode et nos ensembles de données aux références existantes. Nous mettons à disposition notre ensemble de données sur le site web de notre projet.

English

We present an end-to-end system for the high-fidelity capture, model reconstruction, and real-time rendering of walkable spaces in virtual reality using neural radiance fields. To this end, we designed and built a custom multi-camera rig to densely capture walkable spaces in high fidelity and with multi-view high dynamic range images in unprecedented quality and density. We extend instant neural graphics primitives with a novel perceptual color space for learning accurate HDR appearance, and an efficient mip-mapping mechanism for level-of-detail rendering with anti-aliasing, while carefully optimizing the trade-off between quality and speed. Our multi-GPU renderer enables high-fidelity volume rendering of our neural radiance field model at the full VR resolution of dual 2Ktimes2K at 36 Hz on our custom demo machine. We demonstrate the quality of our results on our challenging high-fidelity datasets, and compare our method and datasets to existing baselines. We release our dataset on our project website.