VR-NeRF: Spazi Virtuali Camminabili ad Alta Fedeltà
VR-NeRF: High-Fidelity Virtualized Walkable Spaces
November 5, 2023
Autori: Linning Xu, Vasu Agrawal, William Laney, Tony Garcia, Aayush Bansal, Changil Kim, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Aljaž Božič, Dahua Lin, Michael Zollhöfer, Christian Richardt
cs.AI
Abstract
Presentiamo un sistema end-to-end per l'acquisizione ad alta fedeltà, la ricostruzione del modello e il rendering in tempo reale di spazi percorribili in realtà virtuale utilizzando campi di radianza neurale. A tal fine, abbiamo progettato e costruito un'apparecchiatura multi-fotocamera personalizzata per acquisire in modo denso spazi percorribili con immagini multi-vista ad alto intervallo dinamico (HDR) di qualità e densità senza precedenti. Estendiamo le primitive neurali istantanee per la grafica con un nuovo spazio colore percettivo per apprendere un aspetto HDR accurato e un meccanismo efficiente di mip-mapping per il rendering a livelli di dettaglio con anti-aliasing, ottimizzando attentamente il compromesso tra qualità e velocità. Il nostro renderer multi-GPU consente il rendering volumetrico ad alta fedeltà del nostro modello di campo di radianza neurale alla risoluzione VR completa di dual 2K×2K a 36 Hz sulla nostra macchina demo personalizzata. Dimostriamo la qualità dei nostri risultati sui nostri dataset ad alta fedeltà e confrontiamo il nostro metodo e i dataset con le baseline esistenti. Rilasciamo il nostro dataset sul sito web del progetto.
English
We present an end-to-end system for the high-fidelity capture, model
reconstruction, and real-time rendering of walkable spaces in virtual reality
using neural radiance fields. To this end, we designed and built a custom
multi-camera rig to densely capture walkable spaces in high fidelity and with
multi-view high dynamic range images in unprecedented quality and density. We
extend instant neural graphics primitives with a novel perceptual color space
for learning accurate HDR appearance, and an efficient mip-mapping mechanism
for level-of-detail rendering with anti-aliasing, while carefully optimizing
the trade-off between quality and speed. Our multi-GPU renderer enables
high-fidelity volume rendering of our neural radiance field model at the full
VR resolution of dual 2Ktimes2K at 36 Hz on our custom demo machine. We
demonstrate the quality of our results on our challenging high-fidelity
datasets, and compare our method and datasets to existing baselines. We release
our dataset on our project website.