VR-NeRF: Hoogwaardige virtuele begaanbare ruimten

VR-NeRF: High-Fidelity Virtualized Walkable Spaces

November 5, 2023

Auteurs: Linning Xu, Vasu Agrawal, William Laney, Tony Garcia, Aayush Bansal, Changil Kim, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Aljaž Božič, Dahua Lin, Michael Zollhöfer, Christian Richardt

cs.AI

Samenvatting

We presenteren een end-to-end systeem voor de hoogwaardige vastlegging, modelreconstructie en real-time weergave van begaanbare ruimtes in virtual reality met behulp van neurale stralingsvelden. Hiervoor hebben we een speciaal ontworpen multi-camera-opstelling gebouwd om begaanbare ruimtes dicht te kunnen vastleggen in hoge kwaliteit en met multi-view high dynamic range-beelden van ongekende kwaliteit en dichtheid. We breiden instant neurale grafische primitieven uit met een nieuw perceptueel kleurruimte voor het leren van nauwkeurige HDR-weergave, en een efficiënt mip-mapping-mechanisme voor level-of-detail rendering met anti-aliasing, waarbij we zorgvuldig de afweging tussen kwaliteit en snelheid optimaliseren. Onze multi-GPU-renderer maakt hoogwaardige volumetrische rendering mogelijk van ons neurale stralingsveldmodel op de volledige VR-resolutie van dubbele 2K×2K bij 36 Hz op onze aangepaste demomachine. We demonstreren de kwaliteit van onze resultaten op onze uitdagende hoogwaardige datasets, en vergelijken onze methode en datasets met bestaande referentiemodellen. We publiceren onze dataset op onze projectwebsite.

English

We present an end-to-end system for the high-fidelity capture, model reconstruction, and real-time rendering of walkable spaces in virtual reality using neural radiance fields. To this end, we designed and built a custom multi-camera rig to densely capture walkable spaces in high fidelity and with multi-view high dynamic range images in unprecedented quality and density. We extend instant neural graphics primitives with a novel perceptual color space for learning accurate HDR appearance, and an efficient mip-mapping mechanism for level-of-detail rendering with anti-aliasing, while carefully optimizing the trade-off between quality and speed. Our multi-GPU renderer enables high-fidelity volume rendering of our neural radiance field model at the full VR resolution of dual 2Ktimes2K at 36 Hz on our custom demo machine. We demonstrate the quality of our results on our challenging high-fidelity datasets, and compare our method and datasets to existing baselines. We release our dataset on our project website.