VR-NeRF: Espaços Virtualizados Caminháveis de Alta Fidelidade
VR-NeRF: High-Fidelity Virtualized Walkable Spaces
November 5, 2023
Autores: Linning Xu, Vasu Agrawal, William Laney, Tony Garcia, Aayush Bansal, Changil Kim, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Aljaž Božič, Dahua Lin, Michael Zollhöfer, Christian Richardt
cs.AI
Resumo
Apresentamos um sistema de ponta a ponta para captura de alta fidelidade, reconstrução de modelos e renderização em tempo real de espaços caminháveis em realidade virtual utilizando campos de radiação neural. Para isso, projetamos e construímos um equipamento multicâmera personalizado para capturar densamente espaços caminháveis com alta fidelidade e imagens de alta faixa dinâmica (HDR) multivista de qualidade e densidade sem precedentes. Estendemos os primitivos gráficos neurais instantâneos com um novo espaço de cores perceptivo para aprender a aparência HDR precisa e um mecanismo eficiente de mip-mapping para renderização de nível de detalhe com anti-aliasing, otimizando cuidadosamente o equilíbrio entre qualidade e velocidade. Nosso renderizador multi-GPU permite a renderização volumétrica de alta fidelidade do nosso modelo de campo de radiação neural na resolução completa de VR de dual 2K×2K a 36 Hz em nossa máquina de demonstração personalizada. Demonstramos a qualidade dos nossos resultados em nossos conjuntos de dados desafiadores de alta fidelidade e comparamos nosso método e conjuntos de dados com as linhas de base existentes. Disponibilizamos nosso conjunto de dados no site do projeto.
English
We present an end-to-end system for the high-fidelity capture, model
reconstruction, and real-time rendering of walkable spaces in virtual reality
using neural radiance fields. To this end, we designed and built a custom
multi-camera rig to densely capture walkable spaces in high fidelity and with
multi-view high dynamic range images in unprecedented quality and density. We
extend instant neural graphics primitives with a novel perceptual color space
for learning accurate HDR appearance, and an efficient mip-mapping mechanism
for level-of-detail rendering with anti-aliasing, while carefully optimizing
the trade-off between quality and speed. Our multi-GPU renderer enables
high-fidelity volume rendering of our neural radiance field model at the full
VR resolution of dual 2Ktimes2K at 36 Hz on our custom demo machine. We
demonstrate the quality of our results on our challenging high-fidelity
datasets, and compare our method and datasets to existing baselines. We release
our dataset on our project website.