VR-NeRF: Высококачественные виртуализированные пространства для прогулок
VR-NeRF: High-Fidelity Virtualized Walkable Spaces
November 5, 2023
Авторы: Linning Xu, Vasu Agrawal, William Laney, Tony Garcia, Aayush Bansal, Changil Kim, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Aljaž Božič, Dahua Lin, Michael Zollhöfer, Christian Richardt
cs.AI
Аннотация
Мы представляем сквозную систему для высококачественного захвата, реконструкции модели и рендеринга в реальном времени проходимых пространств в виртуальной реальности с использованием нейронных полей излучения. Для этого мы разработали и собрали специализированную многокамерную установку, позволяющую плотно захватывать проходимые пространства с высокой точностью и многовидовыми изображениями с расширенным динамическим диапазоном, обеспечивая беспрецедентное качество и плотность данных. Мы расширяем метод мгновенных нейронных графических примитивов, вводя новое перцептивное цветовое пространство для обучения точному представлению HDR, а также эффективный механизм мипмаппинга для рендеринга с учетом уровня детализации и сглаживания, тщательно оптимизируя баланс между качеством и скоростью. Наш многопроцессорный рендерер позволяет выполнять высококачественный объемный рендеринг нашей модели нейронного поля излучения с полным разрешением VR 2K×2K на каждом глазу с частотой 36 Гц на нашей демонстрационной машине. Мы демонстрируем качество наших результатов на сложных наборах данных с высокой точностью и сравниваем наш метод и данные с существующими базовыми подходами. Мы публикуем наш набор данных на сайте проекта.
English
We present an end-to-end system for the high-fidelity capture, model
reconstruction, and real-time rendering of walkable spaces in virtual reality
using neural radiance fields. To this end, we designed and built a custom
multi-camera rig to densely capture walkable spaces in high fidelity and with
multi-view high dynamic range images in unprecedented quality and density. We
extend instant neural graphics primitives with a novel perceptual color space
for learning accurate HDR appearance, and an efficient mip-mapping mechanism
for level-of-detail rendering with anti-aliasing, while carefully optimizing
the trade-off between quality and speed. Our multi-GPU renderer enables
high-fidelity volume rendering of our neural radiance field model at the full
VR resolution of dual 2Ktimes2K at 36 Hz on our custom demo machine. We
demonstrate the quality of our results on our challenging high-fidelity
datasets, and compare our method and datasets to existing baselines. We release
our dataset on our project website.