VR-NeRF: 고해상도 가상화 보행 가능 공간

초록

우리는 신경 방사장(NeRF)을 활용하여 가상 현실에서 걸을 수 있는 공간을 고해상도로 캡처하고, 모델을 재구성하며, 실시간 렌더링을 가능하게 하는 종단 간 시스템을 제안합니다. 이를 위해, 우리는 고해상도와 다중 뷰 고다이내믹 레인지(HDR) 이미지를 전례 없는 품질과 밀도로 밀집 캡처할 수 있는 맞춤형 다중 카메라 장비를 설계 및 제작했습니다. 우리는 인스턴트 신경 그래픽스 프리미티브를 확장하여 정확한 HDR 외관을 학습하기 위한 새로운 지각 색 공간과, 앤티앨리어싱을 포함한 세부 수준 렌더링을 위한 효율적인 밉매핑 메커니즘을 도입하면서 품질과 속도 간의 균형을 신중하게 최적화했습니다. 우리의 다중 GPU 렌더러는 맞춤형 데모 머신에서 듀얼 2K×2K의 전체 VR 해상도로 36Hz의 속도로 신경 방사장 모델의 고해상도 볼륨 렌더링을 가능하게 합니다. 우리는 도전적인 고해상도 데이터셋에서 얻은 결과의 품질을 입증하고, 우리의 방법과 데이터셋을 기존 베이스라인과 비교합니다. 우리는 프로젝트 웹사이트를 통해 데이터셋을 공개합니다.

English

We present an end-to-end system for the high-fidelity capture, model reconstruction, and real-time rendering of walkable spaces in virtual reality using neural radiance fields. To this end, we designed and built a custom multi-camera rig to densely capture walkable spaces in high fidelity and with multi-view high dynamic range images in unprecedented quality and density. We extend instant neural graphics primitives with a novel perceptual color space for learning accurate HDR appearance, and an efficient mip-mapping mechanism for level-of-detail rendering with anti-aliasing, while carefully optimizing the trade-off between quality and speed. Our multi-GPU renderer enables high-fidelity volume rendering of our neural radiance field model at the full VR resolution of dual 2Ktimes2K at 36 Hz on our custom demo machine. We demonstrate the quality of our results on our challenging high-fidelity datasets, and compare our method and datasets to existing baselines. We release our dataset on our project website.

VR-NeRF: 고해상도 가상화 보행 가능 공간

VR-NeRF: High-Fidelity Virtualized Walkable Spaces

초록

Support