VR-NeRF: Hochauflösende virtualisierte begehbare Räume
VR-NeRF: High-Fidelity Virtualized Walkable Spaces
November 5, 2023
Autoren: Linning Xu, Vasu Agrawal, William Laney, Tony Garcia, Aayush Bansal, Changil Kim, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Aljaž Božič, Dahua Lin, Michael Zollhöfer, Christian Richardt
cs.AI
Zusammenfassung
Wir präsentieren ein End-to-End-System zur hochauflösenden Erfassung, Modellrekonstruktion und Echtzeitdarstellung von begehbaren Räumen in der virtuellen Realität unter Verwendung von Neural Radiance Fields. Zu diesem Zweck haben wir eine speziell angefertigte Multi-Kamera-Vorrichtung entwickelt und gebaut, um begehbare Räume in hoher Auflösung und mit Multi-View-High-Dynamic-Range-Bildern in bisher unerreichter Qualität und Dichte zu erfassen. Wir erweitern Instant Neural Graphics Primitives um einen neuartigen wahrnehmungsbasierten Farbraum zur präzisen Erfassung von HDR-Erscheinungsbildern sowie einen effizienten Mip-Mapping-Mechanismus für Level-of-Detail-Rendering mit Anti-Aliasing, wobei wir sorgfältig den Kompromiss zwischen Qualität und Geschwindigkeit optimieren. Unser Multi-GPU-Renderer ermöglicht die hochauflösende Volumenrendering unseres Neural Radiance Field-Modells in der vollen VR-Auflösung von dual 2K×2K bei 36 Hz auf unserer speziell angefertigten Demo-Maschine. Wir demonstrieren die Qualität unserer Ergebnisse anhand unserer anspruchsvollen hochauflösenden Datensätze und vergleichen unsere Methode und Datensätze mit bestehenden Baselines. Wir veröffentlichen unseren Datensatz auf unserer Projektwebsite.
English
We present an end-to-end system for the high-fidelity capture, model
reconstruction, and real-time rendering of walkable spaces in virtual reality
using neural radiance fields. To this end, we designed and built a custom
multi-camera rig to densely capture walkable spaces in high fidelity and with
multi-view high dynamic range images in unprecedented quality and density. We
extend instant neural graphics primitives with a novel perceptual color space
for learning accurate HDR appearance, and an efficient mip-mapping mechanism
for level-of-detail rendering with anti-aliasing, while carefully optimizing
the trade-off between quality and speed. Our multi-GPU renderer enables
high-fidelity volume rendering of our neural radiance field model at the full
VR resolution of dual 2Ktimes2K at 36 Hz on our custom demo machine. We
demonstrate the quality of our results on our challenging high-fidelity
datasets, and compare our method and datasets to existing baselines. We release
our dataset on our project website.