VR-NeRF: Espacios Virtualizados Caminables de Alta Fidelidad

VR-NeRF: High-Fidelity Virtualized Walkable Spaces

November 5, 2023

Autores: Linning Xu, Vasu Agrawal, William Laney, Tony Garcia, Aayush Bansal, Changil Kim, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Aljaž Božič, Dahua Lin, Michael Zollhöfer, Christian Richardt

cs.AI

Resumen

Presentamos un sistema integral para la captura de alta fidelidad, reconstrucción de modelos y renderizado en tiempo real de espacios transitables en realidad virtual utilizando campos de radiancia neurales. Para ello, diseñamos y construimos un dispositivo multicámara personalizado para capturar densamente espacios transitables con alta fidelidad y con imágenes de alto rango dinámico (HDR) multivista de una calidad y densidad sin precedentes. Extendemos los primitivos gráficos neurales instantáneos con un novedoso espacio de color perceptual para aprender la apariencia HDR precisa, y un mecanismo eficiente de mapeo de mip para renderizado con niveles de detalle y anti-aliasing, optimizando cuidadosamente el equilibrio entre calidad y velocidad. Nuestro renderizador multi-GPU permite el renderizado volumétrico de alta fidelidad de nuestro modelo de campo de radiancia neural a la resolución completa de realidad virtual de dual 2K×2K a 36 Hz en nuestra máquina de demostración personalizada. Demostramos la calidad de nuestros resultados en nuestros desafiantes conjuntos de datos de alta fidelidad, y comparamos nuestro método y conjuntos de datos con las líneas base existentes. Publicamos nuestro conjunto de datos en el sitio web de nuestro proyecto.

English

We present an end-to-end system for the high-fidelity capture, model reconstruction, and real-time rendering of walkable spaces in virtual reality using neural radiance fields. To this end, we designed and built a custom multi-camera rig to densely capture walkable spaces in high fidelity and with multi-view high dynamic range images in unprecedented quality and density. We extend instant neural graphics primitives with a novel perceptual color space for learning accurate HDR appearance, and an efficient mip-mapping mechanism for level-of-detail rendering with anti-aliasing, while carefully optimizing the trade-off between quality and speed. Our multi-GPU renderer enables high-fidelity volume rendering of our neural radiance field model at the full VR resolution of dual 2Ktimes2K at 36 Hz on our custom demo machine. We demonstrate the quality of our results on our challenging high-fidelity datasets, and compare our method and datasets to existing baselines. We release our dataset on our project website.